donderdag 22 januari 2015

Wat betekent een onderscheiding nog?

De examenzittijd is weer volop bezig, en natuurlijk hoort daar het geven van punten bij. Een punt, gegeven op een examen van een individuele student, is op zich betekenisloos zonder context. Wat betekent een 16/20 als elke andere student 17 of meer scoorde? Of wat is de betekenis van een 10/20 als alle andere studenten lager scoorden dan die 10? Zonder context, geen betekenis.
Die context wordt gelukkig wel gegeven door enerzijds het Onderwijs- en Examenreglement van de KU Leuven (de universiteit waar ik doceer), anderzijds door een traditie opgebouwd door de jaren heen. Het Onderwijs- en Examenreglement is vrij summier als het over de beoordelingsschaal gaat. Er wordt gestipuleerd dat een student geslaagd is op een opleidingsonderdeel als hij een kwotering van 10/20 behaalt. Voor kwoteringen van meer dan 10/20 lijkt de enige houvast te zijn dat er een graad van verdienste wordt toegekend. Letterlijk, uit het Onderwijs- en Examenreglement:
Aan een student die het diploma [...] behaalt [...], wordt de volgende graad van verdienste toegekend :
  • op voldoende wijze, als hij minder dan 68% als gewogen percentage behaalt; 
  • onderscheiding, op voorwaarde dat hij ten minste 68% als gewogen percentage behaalt; 
  • grote onderscheiding, op voorwaarde dat hij ten minste 77% als gewogen percentage behaalt; 
  • grootste onderscheiding, op voorwaarde dat hij ten minste 85% als gewogen percentage behaalt; 
  • grootste onderscheiding en de gelukwensen van de examencommissie, op voorwaarde dat hij ten minste 90% als gewogen percentage behaalt.
De verdeling van kwoteringen die een docent toekent, wordt niet toegelicht. Het uitgangspunt is dat elke student op zijn eigen kunnen beoordeeld wordt, onafhankelijk van de andere studenten. We worden geacht geen relatieve kwoteringen te geven, maar wel absolute. In theorie zou het dus mogelijk moeten zijn dat elke student een 18/20 haalt op eenzelfde examen - of zelfs dat geen enkele student zou slagen. Dat klinkt goed, maar in de praktijk botst dit wel eens met de notie van de graad van verdienste. "Onderscheiding" of "Grote Onderscheiding" klinkt mooi. Maar betekent het ook iets? Men zou verwachten dat een student die de graad "Onderscheiding" haalt zich effectief onderscheiden heeft van de rest van de studenten. Maar als iedereen een onderscheiding behaalt, wat dan?

Sinds enkele academiejaren ben ik secretaris van een examencommissie binnen de KU Leuven (Burgerlijk Ingenieur Computerwetenschappen). In juni 2014 hadden we volgende verdeling van de afgestudeerden: Voldoende Wijze (13% van de afgestudeerde studenten), Onderscheiding (54%), Grote Onderscheiding (29%), Grootste Onderscheiding (4%).

Vorige zittijden, of gelijkaardige examencommissies binnen de faculteit ingenieurswetenschappen, laten gelijkaardige cijfers zien. De vraag is of we dit erg moeten vinden? Misschien zijn alle studenten wel gewoon goed? Maar anderzijds druist dit toch een beetje in tegen de subjectieve betekenis die we aan het woordje "onderscheiding" toekennen. Een collega suggereerd me dat daar precies het probleem ligt, en hij suggereerde een ander woordgebruik: Voldoende (13%)  Goed (54%), Zeer Goed (29%) , Excellent (4%). Zo bekeken lijkt het plots allemaal in orde ...

Worden punten hoger doorheen de jaren?

Er is echter wel iets fundamenteler aan de hand. Vele docenten verbazen zich over het hoog aantal graden dat wordt toegekend. Mijn antwoord, als een collega hierover zijn beklag doet, is steeds: "Je had maar niet zo'n hoge punten moeten toekennen." Blijkbaar is er een discrepantie tussen de punten die docenten toekennen, en de verwachtingen die ze hebben over hoe de verdeling van die punten er idealiter zou moeten uitzien.

Zijn de toegekende punten doorheen de jaren dan langzaamaan hoger geworden - een fenomeen dat in de Angelsaksische wereld bekend staat als grade inflation? Dat is moeilijk te achterhalen - tenzij door uitgebreide statistische analyses (die voor sommige landen wel onderzocht is) - maar af en toe vinden we wel aanwijzingen.

Toevallig heb ik in mijn bibliotheek het "Annuaire-Jaarboek 1960-1961 van de KU Leuven" staan, waarin ook alle geslaagde studenten zijn opgenomen, én een verdeling van de graden over de studenten! Blijkbaar was deze informatie toen nog geen welbewaard geheim ... Enkele cijfers, weliswaar voor de volledige universiteit:
  • 1836 (eerste vermeldde jaar, 71(!) studenten): Voldoende (76%), Onderscheiding (14%), Grote Onderscheiding (7%), Grootste Onderscheiding (2.8%)
  • 1880: Voldoende (58%), Onderscheiding (23%), Grote Onderscheiding (9%), Grootste Onderscheiding (9%)
  • 1920: Voldoende (57%), Onderscheiding (28%), Grote Onderscheiding (12%), Grootste Onderscheiding (2.7%)
  • 1960: Voldoende (73%), Onderscheiding (21%), Grote Onderscheiding (5%), Grootste Onderscheiding (0.6%)
Ik laat het aan ieder om hier al dan niet gefundeerde besluiten uit te trekken ...

Moeten we dit erg vinden?

Opnieuw, moeten we dit erg vinden? Zonder context is een cijfer betekenisloos, en de context is ondertussen wel gewijzigd in vergelijking met 5, 20, of 50 jaar geleden. Toekenningen van allerhande beurzen (doctoraat, buitenland, ...) op basis van behaalde punten - en waarbij studenten van verschillende universiteiten met elkaar in concurrentie staan - werken de inflatie in de hand. Uitwisseling van punten in het kader van Europese programma's nopen tot hercalibratie. Maar ook interne maatregelen zoals de nultolerantie in de masterjaren hebben ervoor gezorgd dat het gemiddelde cijfer van een geslaagde student naar boven is verschoven.

Al bij al boeiende materie - maar niet iets waar de gemiddelde student van zal wakker liggen, me dunkt.

4 opmerkingen:

Karsten zei

We zouden dus beter gradaties/punten geven aan de hand van percentielen? Een prof beslist wie er slaagt en wie niet en geeft dan de student een gradatie adh. van zijn situering.(negeer even 2de zit). Geen devaluering meer omdat elke universiteit maar een beperkt aantal gradaties kan uitgeven (evenredig met het aantal inschrijvingen).

Een redelijke redenering voor de bachelor zolang er genoeg studenten zijn om een statistisch verantwoorde beslissingen te kunnen maken. Zoiets zal niet werken in een masterklas van 5 man.

Phil Dutré zei

Karsten,

Dat is inderdaad wat "kwoteren op een schaal" genoemd wordt, iets wat in Angelsaksische landen gebruikelijker is. Het gemiddelde ligt dan per definitie op pakweg 14, en de andere cijfers worden bepaald door een voorgeschreven histogram verdeling.
Voor vakken emt weinig aantal studenten reken je dan wel op het oordeel van de prof die een grotere groep studenten ziet over de jaren heen.

Nick Van den Broeck zei

Er zijn universiteiten, zoals bijvoorbeeld ETH in Zurich, Zwitserland, waar de behaalde resultaten worden herschaald. Als bijvoorbeeld op een examen het gemiddelde 40% is bij een mastervak, dan wordt iedereen zijn punt gewoon door een (door mij onbekende) functie gehaald om ze een "mooiere" verdeling te geven. Denkt u dat een dergelijk idee positief is?

Meer specifiek vraag ik me ook af wat uw mening is over de volgende kwestie:
Examens worden gequoteerd op een bepaalde schaal. Aan onze universiteit, de KU Leuven, is dit een schaal die loopt van 0 tot 20. Er zijn nu bepaalde proffen, bepaalde vakken of bepaalde jaren waarin echter helemaal niet de gehele schaal wordt bereikt. Ik hoorde enkele maanden bijvoorbeeld dat het hoogst behaalde resultaat op een van mijn huidige vakken toen 14/20 bedroeg. Voor mensen die vechten om hoge punten (en ja, er zijn er die dit doen, én ze nodig hebben) is dit natuurlijk een hel.
Samengevat: Vindt u dat de gehele schaal zou moeten benut worden?

Phil Dutré zei

Nick,

Herschaling van resultaten is iets wat vooral Amerikaanse uniefs toepassen - "grading on a curve". Idee is dat bvb het gemiddelde per definitie op 14 ligt, en dat de score van een individuele student niet zozeer zijn eigen absolute kunnen aangeeft, maar wel de relatieve positionering binnen de groep (eventueel groep gespreid over meerdere jaren). De Belgische traditie van kwoteren is helemaal anders, ook al omdat een score bij ons 2 dingen moet doen: een student laten slagen (absolute kennis, onafhankelijk van anderen), en een positionering van 10-20, wat dan eerder een relatieve kwotering is.

In tegenstelling tot wat vele studenten denken zijn er geen richtlijnen over wat een "12", een "14" etc. eigenlijk betekenen. Ik zeg dan ook dikwijls dat een "14" vooral niet betekent dat je 70% van je stof kent, maar enkel zegt dat je beter bent dan diegenen die een 13 haalden, en minder goed dan diegenen die een 15 haalden. De enige harde betekenis heeft een "10" - vanaf dan heb je een credit verworven.
Ook hanteren vele docenten een niet-lineaire schaal van kwoteren. De inspanning om van een 10 naar een 12 te gaan is bvb niet dezelfde om van een 16 naar een 18 te gaan.

Persoonlijk ben ik voorstander om op een examen een aantal vragen te hebben die beslissen over slagen en niet slagen, en een aantal vragen die dan nadien beslissen over de score 10-20. Maar reglementair en wettelijk is dat niet altijd even makkelijk.

Ik vind wel dat examens moeten gekwoteerd worden tot 20. Vakken waarbij het maximum per definitie een 14 is, vind ik onzin. De kwoteringsschaal loopt tot 20, en die moet je dan ook gebruiken. Maar, dit druist dan in tegen het kwoteren op absolute kennis. Als alle studenten slechts gemiddeld scoren op een examen, kan je dan een 20 geven? Uiteraard niet, maar de beperking tot een bepaalde maximum score mag niet structureel zijn ingebouwd.

In het vak "Methodiek vd Informatica" (1ste bach burg.ir., dat ik meer dan 10 jaar gedoceerd heb), met typisch >400 studenten, gaf ik de beste student telkens een 20. In dergelijke grote groepen werkt dat, omdat je qua verdeling sowieso aanleunt tegen een Gausscurve, en er altijd enkele studenten in de 18+ range zitten. Maar voor kleinere aantallen werkt dergelijke aanpassing van punten natuurlijk niet altijd.