vrijdag 21 oktober 2022

Feedback in plaats van Quotering (7)

Eerder schreef ik reeds over mijn aanpak vorig academiejaar, om gequoteerde opdrachten in een vak in 1ste bachelor te vervangen door niet-gequoteerde opdrachten, maar wel individuele feedback.

Hier wat meer bevindingen, in de vorm van een slideset die ik ook gebruik om één en ander intern in de betrokken opleiding toe te lichten.

De titelslide ...

 

De aanpak t.e.m. academiejaar 2020-2021 bestond erin om 3 gequoteerde opdrachten te geven, die meetelden voor 30% in de finale quotering. Hieronder zie je de deelnamepercentages relatief t.o.v. totaal aantal studenten ingeschreven voor het vak. Het is nominaal een 1ste bachelorvak in het 2de semester, dus steeds zijn er wel studenten ingeschreven die de facto niet meer studeren in het programma.

De correlatie tussen punten behaald op de opdrachten, en punten behaald op het examen. De finale score is een gewogen gemiddelde (70% examen, 30% opdrachten) van beide quoteringen.

Enkele vaststellingen (zie ook eerdere posts) die me deden besluiten om de opdrachten te herbekijken:

De nieuwe aanpak sinds 2021-2022:

Een idee van aanpak vertaalt zich natuurlijk in enkele praktische beslissingen (zie ook hier):

Een eenvoudig voorbeeldje van de eerste milestone binnen opdracht 1, die de analyse van sorteeralgoritmen als inhoud had:

Deelname in absolute aantallen bij de diverse milestones (zie ook hier). Zoals men kan zien (en ook verwacht), zakt het deelnamecijfer gevoelig naarmate we verder vorderen in het semester.

Maar wat is dan precies het effect op de slaagcijfers? Voor het juni examen was het slaagpercentage voor studenten die aan geen enkele opdracht hadden deelgenomen ongeveer 60% met een gemiddelde score van 10. Voor studenten die minstens aan 1 opdracht hadden deelgenomen 86%, met een gemiddelde score van bijna 14. Dat lijkt me significant. Ook de correlatie tussen deelname aan de opdrachten (elke deelgenomen opdracht  = 2 punten in onderstaande grafiek, sommige opdrachten slechts 1 punt) vs de finale score op het examen wordt getoond. De 'wolk' links zijn alle studenten die aan geen enkele opdracht hebben deelgenomen.

Het historische slaagpercentage van het vak over de jaren heen. We zien een stijging in 2021-2022, weliswaar tov corona-jaar 2020-2021.

Om één en ander beter te onderzoeken is er ook een exitbevraging geweest bij studenten. De antwoorden zijn in de cut-and-paste wat weggevallen, maar zijn: milestones hielpen bij het verwerken van de leerstof / inhoud sloot aan bij interesse / door vrijheid van timing kon ik plannen / ik wou de feedback / andere.

Ook deze vraag interessant. Milestone in groep gemaakt (niemand ;-)) / wel gemaakt maar niet ingediend vanwege verstreken deadline / zelf niet tevreden / andere.

Waarom niet ingediend? Opnieuw weinig verrassende antwoorden. Allemaal gemaakt / telden niet mee voor punten / te veel ander werk / heilpen mij niet voor verwerken leerstof / inhoud sloot niet aan bij interesse / te moeilijk / te gemakkelijk / problemen met studieplanning / andere.

 Hielpen de milestones bij het verwerken en beter begrijpen van de leerstof?


Was de individuele feedback nuttig? Gaf die inzicht?

Idem voor de collectieve feedbacksessie:

Algemene appreciatie. Enerzijds peilen of de studenten de aanpak apprecieerden. Anderzijds even eilen naar of er motivatie zou zijn indie de milestones toch gequoteerd zouden worden.

Er was ook de mogelijkheid tot tekstuele feedback. Thema's die terugkwamen waren de deadlines, de zin van de opdrachten die niet steeds duidelijk was, en af en toe onduidelijkheid over wat er precies inhoudelijk verwacht werd.

Er was een ook een volledige vakbevraging, waar de milestones uiteraard ook vermeld werden door studenten.

Mijn plannen voor komend academiejaar ...

Alleszins lijken de reacties positief. Een aantal zaken zal ik zeker aanpassen in het huidige jaar, namelijk meer kwalitatieve feedback en beter kaderen wat de relatie is met het examen en het verwerken van de leerstof.

Een aantal dingen zal ik vermoedelijk niet wijzigen. Samenvallende deadlines is altijd een beetje zwak argument (zie ook deze blogpost). Hulp bij het maken van de milestones druist wat in tegen het opzet - de focus ligt op het proces van zelf na te denken over hoe je iets aanpakt, niet op een exact recept uitvoeren.

Dit jaar heb ik het concept alvast ook toegepast in 2 andere vakken.