donderdag 30 juni 2022

Feedback in plaats van quotering (6)

Eerder schreef ik reeds uitvoerig over het vervangen van summatieve door formatieve feedback voor het vak "Gegevensstructuren & Algoritmen", dat ik doceer o.a. in 1ste bachelor informatica aan de KU Leuven (zie eerdere blogposts in deze reeks). Voor de volledigheid: bewuste vak wordt ook gevolgd door sommige studenten uit de 2de bachelor wiskunde en 3de bachelor fysica.

Gisteren heb ik alle finale quoteringen van het bewuste vak afgerond, en collectieve feedback op het examen voor de studenten beschikbaar gemaakt. Twee slides uit dit collectief feedback document wil ik even toelichten.

Toegenomen slaagpercentage

Het slaagpercentage voor dit vak is, ten opzichte van vorig academiejaar, toegenomen. Onderstaande grafiek toont sinds 2014 het aantal afgelegde examens in juni, alsook het slaagpercentage met en zonder blanco ingediende examens verrekend.

Op het eerste zicht lijkt het dus alsof we dit jaar iets goed gedaan hebben, tenminste als we het ruwe slaagpercentage als criterium nemen. Deze grafiek laat trouwens ook nog andere interessante dingen zien:

  • 2019 (het jaar vóór corona) was het eerste jaar dat ik lesopnames gebruikte voor dit vak (het auditorium waarin ik les gaf was hier toevallig reeds voor uitgerust). Er is een stijging van het slaagpercentage te merken in dat jaar.
  • 2020 is het jaar dat half in corona plaatsvond, en daar heb ik deels de lesopnames uit 2019 herbruikt. Dit was het begin van de corona-pandemie, en alles moest snel-snel gaan. Als vice-decaan was ik toen ook verantwoordelijk voor het uittekenen van het corona-beleid van de faculteit, dus ik prees me gelukkig dat ik reeds over lesopnames beschikte.
  • 2021 is het jaar waarin dit vak volledig online (maar wel live) werd gegeven, via de ingebouwde tools van KU Leuven in het elektronische leerplatform. De opnames van deze sessies werden nadien ter beschikking gesteld. Het slaagpercentage toont daar een dip in vergelijking met de jaren vóór en nadien.
  • In 2022 zijn alle lessen terug in auditorium gegeven, met inbegrip van streaming en lesopnames nadien ter beschikking stellen, maar dus ook met het invoeren van formatieve feedback ipv formatieve feedback op opdrachten gedurende het semester.
  • Van 2014 tot 2022 is het aantal studenten ongeveer met 50% toegenomen (2022: 185 ingeschreven studenten, 153 examendeelnames).

Heeft formatieve feedback een gunstig effect?

Hiervoor laat ik volgende slide zien uit mijn collectief feedback document:

Studenten die dus één of meerdere milestones hebben ingediend (er waren 15 milestones verspreid over het hele semester) scoren dus beduidend beter, zowel qua slaagpercentage, als qua gemiddelde score op het examen.

Of dit nu correlatie is ('de betere studenten zijn ook diegenen die milestones hebben ingediend') dan wel causaliteit ('het actief indienen van milestons leidt tot een betere beheersing van de inhoud van het vak') zal hopelijk blijken uit een afrondende bevraging die volgende week aan de studenten wordt toegestuurd.

Alleszins bemoedigende resultaten!

zaterdag 18 juni 2022

Feedback in plaats van quotering (5)

Vandaag is er examen van een vak dat ik doceer in 1ste bachelor informatica, "Gegevensstructuren en Algoritmen". Dit is ook het vak waar ik dit jaar gequoteerde opdrachten heb vervangen door een reeks "milestones", en waar studenten vrij snel binnen enkele dagen meer persoonlijke feedback op krijgen (maar dus geen quotering meer). Alle punten voor het vak zijn te verdienen met het examen. Zie ook eerdere blogposts in deze reeks voor een meer uitvoerige uitleg.

Eerder berichtte ik over het deelnamepercentage bij de eerste reeks milestones. Het volledig deelname-aantal (185 studenten ingeschreven voor vak) voor alle milestones dit semester is als volgt:

Een eerste reeks ging over de analyse van sorteeralgoritme. Er waren enkele milestones die ontsloten konden worden, maar die heeft niemand ingediend.

  • Milestone 1.1 Selection Sort: 43 ingediende oplossingen
  • Milestone 1.2 Insertion Sort: 36 ingediende oplossingen
  • Milestone 1.3 Merge Sort: 28 ingediende oplossingen
  • Milestone 1.4 Quick Sort: 25 ingediende oplossingen
  • Milestone 1.5 Breng alles samen: 14 ingediende oplossingen

Een tweede reeks ging voornamelijk over prioriteitsrijen. Afgaande op reeks 1 waren er nu geen "te ontsluiten" milestones, en werd er duidelijker aangegeven dat milestone 2.1 de belangrijkste was, en de daaropvolgende (die stap voor stap naar een grotere oefening leiden) eerder het uitwerken van een toepassing was.

  • Milestone 2.1 Analyseren Heap: 24 ingediende oplossingen
  • Milestone 2.2 (onderdeel van een grotere oefening): 11 ingediende oplossingen
  • Milestone 2.3 (onderdeel van een grotere oefening): 8 ingediende oplossingen
  • Milestone 2.4 (onderdeel van een grotere oefening): 7 ingediende oplossingen
  • Milestone 2.5 (onderdeel van een grotere oefening): 4 ingediende oplossingen

Een derde reeks gaf enkele oefeningen i.v.m. dynamisch programmeren, in oplopende moeilijkheidsgraad. De instructies gaven aan dat minstens 1 oefening bekijken toch wel extra inzichten zou geven, maar dat men ze neit allemaal hoefde te maken om dat inzicht te verwerven.

  • Milestone 3.1 Fibonacci: 15 ingediende oplossingen
  • Milestone 3.2 Dobbelstenen: 7 ingediende oplossingen
  • Milestone 3.3 Eiland: 8 ingediende oplossingen
  • Milestone 3.4 Doolhof: 3 ingediende oplossingen
  • Milestone 3.5 pad zoeken: 2 ingediende oplossingen

In totaal hebben 48 unieke studenten één of meerdere milestones ingediend, en 1 student heeft alles ingediend (behalve de 'te ontsluiten'' milsestones in reeks 1).

Er komt alleszins na de examenperiode nog een bevraging bij studenten (in samenwerking met de onderwijsdiensten van de faculteit) hoe ze één en ander ervaren hebben, maar ook zal ik zelf een analsye maken na het examen om na te gaan of er correlatie tussen cijfers op het examen en al dan niet deelname aan de milestones. Het zou me verwonderen indien dat niet zo zou zijn, ook al omdat deelname natuurlijk zelf-selectie is en vermoedelijk de "betere" studenten deelgenomen hebben.

Maar de deelnamecijfers zoals hierboven gegeven zijn uiteraard zeer laag, zeker bij reeks 3 die tegen het einde van het semester viel. Sommigen zullen zeggen "Tja, dat was te voorspellen! Hoe naïef kan je zijn?" Maar alleszins zet ik hier minstens volgend jaar nog mee door. Afhankelijk van de resultaten van de bevraging zullen we uiteraard wel bijsturen, en vermoedelijk nóg beter briefen over het hoe en waarom.

Anderzijds ben ik wel van mening dat het de verantwoordelijkheid is van studenten om zich in te schrijven in een leerproces. Indien men daar - om welke reden dan ook - niet aan wenst deel te nemen, so be it. Uiteindelijk verplichten we studenten ook niet om naar lessen of oefenzittingen te komen, dus waarom zouden we ze dan semi-verplichten aan opdrachten deel te nemen door er enkele punten voor de eindquotering aan te verbinden? Er is hierbij natuurlijk een belangrijke randvoorwaarde, namelijk dat de doelstellingen van het vak wel degelijk volledig worden afgetoetst op het examen. Maar dat is wél degelijk het geval, ook al omdat ik dit jaar enkele andere type oefeningen in het examen heb gebracht die voordien eerder getoetst zouden worden via gequoteerde opdrachten.

Afwachten dus wat de verdere analyse brengt.