zaterdag 11 februari 2023

Feedback in plaats van Quotering (8)

Eerder rapporteerde ik al over mijn ervaringen met summative evaluatie (het geven van punten) te vervangen door louter formatieve evaluatie (louter geven van feedback) voor opdrachten gedurende het semester.

Gedurende 2021-2022 paste ik dit toe bij een groot 1ste-bachelorvak. Het afgelopen semester heb ik hetzelfde geprobeerd bij een 3de-bachelorvak en een vak in het 1ste masterjaar.

De verschillen tussen studentengroepen (zie die wel opdrachten hebben ingediend, en zij die dat niet gedaan hebben), wat betreft gemiddelde quotering op 20 voor het finale examen, alsook het slaagpercentage, zijn hieronder opgelijst:

  • Gegevensstructuren en Algoritmen, 2021-2022
    • Studenten die GEEN milestones hebben ingediend: slaagpercentage 60.19%; gemiddelde  10.06/20
    • Studenten die minstens 1 milestone ingediend: slaagpercentage 86.67%; gemiddelde 13.80 / 20
  • Toepassingen van Meetkunde voor de Informatica, 3de bach Informatica 2022-2023
    • Studenten die GEEN milestones hebben ingediend: slaagpercentage 75%; gemiddelde  11.96 / 20
    • Studenten die minstens 1 milestone ingediend: slaagpercentage 100%; gemiddelde 14.60 /20
  • Ontwerp van Algoritmen, 1ste Master Computerwetenschappen 2022-2023
    • Studenten die GEEN milestones hebben ingediend: slaagpercentage 71.43%; gemiddelde  11.66/20
    • Studenten die minstens 1 milestone ingediend: slaagpercentage 88.24%; gemiddelde 12.88 / 20

Er is dus wel degelijk een positieve correlatie tussen het maken van de milestones enerzijds en de score behaald op het vak anderzijds. Het effect is kleiner voor een mastervak.

Binnenkort geef ik meer uitleg bij mijn ervaringen op een Hapje Onderwijs (event intern KU Leuven), maar zal nadien hier ook wel mijn presentatie en eventueel interessante discussiepunten delen.

dinsdag 7 februari 2023

Examens en feedback

 

De examenperiode is weer afgelopen, eerstdaags vernemen studenten hun quoteringen, en dan begint onvermijdelijk de "feedback"-periode.

Feedback geven op examens is ondertussen ingeburgerd geraakt. De tijd dat je enkel een cijfer kreeg, maar amper te weten kon komen waarom je een minder dan verwacht (of hoger dan verwacht :-)) cijfer had, ligt reeds lang achter ons.

Het Onderwijs- en Examenreglement van de KU Leuven zegt het volgende:

De studenten krijgen tijdens de eerste zeven kalenderdagen na de dag van bekendmaking van de resultaten de mogelijkheid tot feedback. De feedback omvat een individuele en/of een collectieve nabespreking van het examen en een inzage van hun schriftelijke examen. Ten laatste op het feedbackmoment krijgen studenten ook inzage in de resultaten van permanente en partiële evaluatie (cfr. art. 40). Een individuele nabespreking betreft een gesprek tussen examinator en student over een individueel afgelegd examen.

De feedbackregeling wordt ten minste een week voor het einde van de examenperiode aan de studenten bekendgemaakt.

Studenten kunnen zich bij de nabespreking laten vergezellen door een persoon naar keuze, die als waarnemer optreedt. Indien de waarnemer een student is die in datzelfde academiejaar ingeschreven was voor het opleidingsonderdeel, moet de waarnemer voor het opleidingsonderdeel geslaagd zijn.

Studenten kunnen problemen met en klachten over de feedbackregeling melden bij de examenombuds, die zal bemiddelen om een passende oplossing te zoeken.

Doorheen de jaren ben ik zelf geconvergeerd naar een werkwijze die de tijd voor mezelf binnen de perken houdt, maar die tevens maximaal inzet op het leerproces voor de studenten. In een wat verder verleden organiseerde ik individuele feedback. Als je een kwartier per student rekent, dan loopt dat aardig op voor een studentengroep die enkele honderden studenten telt. Daarom ben ik meer en meer overgeschakeld op collectieve feedback, en voornamelijk online zodat ik zelf de tijdsbesteding beter in de hand heb, maar ook dat studenten geen tig afspraken moeten maken bij diverse professoren.

Mijn werkwijze is als volgt:

  1. Na het quoteren van alle examens plaats ik een feedback document over het examen op het leerplatform (bij KU Leuven is dat TOLEDO). Per vraag geef ik weer wat goede elementen in een antwoord waren, wat veel gemaakte fouten zijn, e.d. De ervaring leert dat dit voor vele studenten volstaat. Men is immers voornamelijk geïnteresseerd in het antwoord op de vragen, niet zozeer in een individuele bespreking daarvan. Die feedbackdocumenten blijven gewoon staan voor de volgende jaren ook (ik plaats alle examens van vorige jaren steeds beschikbaar).
  2. Ik kondig eveneens aan dat men steeds een mailtje mag sturen voor verdere individuele toelichting. Ik antwoord per email, met per vraag een meer individuele bespreking op basis van het individuele examen. Tevens licht ik toe waar de studenten voornamelijk punten "verloren" of "gewonnen" heeft, zonder in detail op de verbetersleutel per puntje in te gaan. Dit laatste doe ik nooit, de exacte kwantitatieve verbetersleutel is voor mijn eigen gebruik, de kwalitatieve verbetersleutel mogen studenten uiteraad wel weten.
  3. Tevens zeg ik aan dat studenten dat "indien men nog steeds een discrepantie ziet tussen de eigen geleverde studie-inspanningen, en het behaalde resultaat", een individuele afpraak voor verdere toelichting steeds mogelijk is. Per semester zie ik zo een handvol studenten. Dit zijn vaak studenten met onderliggende vragen inzake studietraject, studiemethode, studiekeuze ... of eventueel een speciale situatie, waar het dan wel aangewezen is dat je er meer tijd kan aan besteden. Vaak gaat dit dan niet over het specifieke vak zelf, maar wel over de studie in de breedte. Het loont de moeite om voor dergelijke studenten dan wat meer tijd uit te trekken, dan aan studenten die louter interesse hebben in de antwoorden an sich.

Die werkwijze loopt al sinds enige jaren goed, en ik heb de indruk dat studenten dergelijke manier van werken ook wel weten te appreciëren.

Toch een voorlaatste puntje: vaak hanteert men bij het geven van feedback de frase "het inkijken van het examen". Persoonlijk vind ik dat misleidend, omdat de schriftelijke examens enkel maar een neerslag zijn van wat de student heeft opgeschreven. Ik verbeter immers geen examens, ik quoteer ze wel. Er is een verschil ;-) Dus het inkijken van een examenkopie (waar enkel de antwoorden van de student op te elzen zijn) is waardeloos als er geen goed feedbackproces aan gekoppeld is, en eigenlijk is dat feedbackproces de voornaamste component. De "inkijk van het examen" is een ongelukkige beschrijving van het feedbackproces.    

En een allerlaatste puntje: feedback op examens moet wat mij betreft ook los gezien worden van eventuele beroepsprocedures die studenten aanspannen. Een beroepsprocedure kan steeds opgestart worden door een student als men zich miskend voelt in zijn rechten. Die procedure bestaat, en wordt inderdaad vaak opgestart als een student meent dat er een flagrante schendig geweest is en men daardoor minder punten kreeg dan waar men recht op heeft. Maar met de specifieke inhoud van het examen heeft dat meestal weinig te maken.