Feedback ipv Quotering (11)

Het afgelopen semester van academiejaar 2022-2023 was het tweede jaar dat ik voor een vak dat nominaal in 1ste bachelor informatica gegeven wordt ("Gegevensstructuren & Algoritmen") mijn "ungrading" aanpak voor opdrachten (milestones) gedurende het jaar gebruikt heb. Op basis van ervaring opgedaan bij vorige vakken was ik uiteraard benieuwd naar het effect, ook al omdat ik een aantal bijsturingen had doorgevoerd in de praktische aanpak.

Misschien nog even kort de effecten op slaagpercentages bij vorige vakken:

• Gegevensstructuren en Algoritmen, 2021-2022
• Studenten die GEEN milestones hebben ingediend: slaagpercentage 60.19%; gemiddelde  10.06/20
• Studenten die minstens 1 milestone ingediend: slaagpercentage 86.67%; gemiddelde 13.80 / 20
• Toepassingen van Meetkunde voor de Informatica, 3de bach Informatica 2022-2023
• Studenten die GEEN milestones hebben ingediend: slaagpercentage 75%; gemiddelde  11.96 / 20
• Studenten die minstens 1 milestone ingediend: slaagpercentage 100%; gemiddelde 14.60 /20
• Ontwerp van Algoritmen, 1ste Master Computerwetenschappen 2022-2023
• Studenten die GEEN milestones hebben ingediend: slaagpercentage 71.43%; gemiddelde  11.66/20
• Studenten die minstens 1 milestone ingediend: slaagpercentage 88.24%; gemiddelde 12.88 / 20 

Algemeen kon ik stellen dat er significant verschil was in de bachelorvakken tussen studenten die wel de milestones deels hadden ingediend (en daar dus individuele feedback op ontvingen) vs studenten die dat niet gedaan hadden.

Voor het afgelopen semester zijn de cijfers als volgt:

• Gegevensstructuren en Algoritmen, 2022-2023
• Studenten die GEEN milestones hebben ingediend: slaagpercentage 33.66%; gemiddelde  7.60 / 20 (opmerking: slaagpercentage zonder telling van blanco ingediende examens 38.6%)
  
• Studenten die minstens 1 milestone ingediend: slaagpercentage 64.58%; gemiddelde 11.13 / 20 (opmerking: slaagpercentage zonder telling van blanco ingediende examens 66.0%)

De verschillen tussen beide groepen blijven dus zeker groot, ruweg een verschil van 3.5 punt op 20 en slaagpercentage verschil > 25%, gelijkaardige trend als vorig jaar voor hetzelfde vak.

Wat wel opvalt is het globaal lagere slaagcijfer, en de globaal lagere gemiddelde score. Of dit iets te maken heeft met de ungrading aanpak is een andere discussie, maar ik vermoed het niet. Andere vakken van collega's voor dezelfde studentengroep geven eveneens een lager slaagcijfer in vergelijking met vorig academiejaar.

Feedback ipv Quotering (10)

Mijn aanpak om gedurende het semester geen quoteringen meer toe te kennen aan opdrachten, maar volledig in te zetten op feedback, lopen verder. Binnenkort geef ik een presentatie op de Onderwijsdag van de Faculteit Wetenschappen, om de laatste ervaringen toe te lichten (intern KU Leuven event).

Afgelopen semester heb ik mijn aanpak toegepast in het vak Gegegevensstructuren en Algoritmen, en dit voor de 2de maal. Een volledige analyse volgt als de examens achter de rug zijn, maar ondertussen enkele cijfers.

Onderstaand overzicht geeft weer hoeveel studenten een specifieke milestone hebben ingediend. Volgens TOLEDO (KU Leuven e-platform) zijn er 209 studenten ingeschreven voor dit vak.

Milestone	Indieningen	Opmerkingen
1.1	53	Basis – opstart
1.2	40	Basis
1.3	29	Basis
1.4	25	Basis
1.5	16	Samenbrengen van 1.1 1.2 1.3 en 1.4
1.6	4	Optioneel
1.7	3	Optioneel
1.8	1	Optioneel
2.1	16	Alternatieven: 2.1A of 2.1B
2.1A	11
2.1B	2
2.2	9
2.3	6	Alternatief: 2.3A
2.3A	5
3.1	5
3.2	8	Alternatieven: 3.3 3.4 3.5 of 3.6
3.3	2
3.4	0
3.5	0
3.6	0

Zoals je kan zien neemt het aantal inzendingen per milestone snel af naarmate het semester vordert. In vergelijking met de vorige iteraties, heb ik nu meer aandacht besteed aan de uitleg per milestone, wat een student kan leren, hoeveel en welke milestones men best maakt, e.d. Maar ik vrees dat de realiteit blijft dat studenten nu éénmaal hun tijd spenderen aan die activiteiten die wél quoteringen opleveren. Ik begrijp dat ook, maar in zekere zin vind ik het niet mijn verantwoordelijkheid om te beslissen hoe een student zijn of haar tijd gebruikt, zolang ik maar duidelijk kader wat ik verwacht dat een student voor mijn vak(ken) doet, en welke keuzes daarin kunnen gemaakt worden.

Ter informatie: elke groep milestones (1.1 t.e.m 1.8 is één groep, 2.1 t.e.m 2.3 is een tweede groep, en 3.1 t.e.m. 3.6 vormt een derde groep) werd begroot op ongeveer 10 uur werk voor de student (exclusief het bekijken van de theorie nodig om de milestone tot een goed einde te brengen).

Een tweede grafiek laat zien hoeveel studenten hoeveel milestones hebben ingediend:

13 studenten hebben dus exact 1 enkele milestone ingediend, 8 studenten hebben exact 2 milestones ingediend, ... en een enkeling heeft 14 (van mogelijk 20) milestones ingediend. 53 studenten (cumulatief aantal) hebben dus minstens 1 milestone ingediend.

Waar ik natuurlijk wel op hoop (en eigenlijk vrij zeker van ben) is dat studenten die milestones hebben ingediend (en dus feedback hebben ontvangen), het beter zullen doen op het examen.

Feedback in plaats van Quotering (8)

Eerder rapporteerde ik al over mijn ervaringen met summative evaluatie (het geven van punten) te vervangen door louter formatieve evaluatie (louter geven van feedback) voor opdrachten gedurende het semester.

Gedurende 2021-2022 paste ik dit toe bij een groot 1ste-bachelorvak. Het afgelopen semester heb ik hetzelfde geprobeerd bij een 3de-bachelorvak en een vak in het 1ste masterjaar.

De verschillen tussen studentengroepen (zie die wel opdrachten hebben ingediend, en zij die dat niet gedaan hebben), wat betreft gemiddelde quotering op 20 voor het finale examen, alsook het slaagpercentage, zijn hieronder opgelijst:

• Gegevensstructuren en Algoritmen, 2021-2022
• Studenten die GEEN milestones hebben ingediend: slaagpercentage 60.19%; gemiddelde  10.06/20
• Studenten die minstens 1 milestone ingediend: slaagpercentage 86.67%; gemiddelde 13.80 / 20
• Toepassingen van Meetkunde voor de Informatica, 3de bach Informatica 2022-2023
• Studenten die GEEN milestones hebben ingediend: slaagpercentage 75%; gemiddelde  11.96 / 20
• Studenten die minstens 1 milestone ingediend: slaagpercentage 100%; gemiddelde 14.60 /20
• Ontwerp van Algoritmen, 1ste Master Computerwetenschappen 2022-2023
• Studenten die GEEN milestones hebben ingediend: slaagpercentage 71.43%; gemiddelde  11.66/20
• Studenten die minstens 1 milestone ingediend: slaagpercentage 88.24%; gemiddelde 12.88 / 20

Er is dus wel degelijk een positieve correlatie tussen het maken van de milestones enerzijds en de score behaald op het vak anderzijds. Het effect is kleiner voor een mastervak.

Binnenkort geef ik meer uitleg bij mijn ervaringen op een Hapje Onderwijs (event intern KU Leuven), maar zal nadien hier ook wel mijn presentatie en eventueel interessante discussiepunten delen.

Feedback in plaats van Quotering (7)

Eerder schreef ik reeds over mijn aanpak vorig academiejaar, om gequoteerde opdrachten in een vak in 1ste bachelor te vervangen door niet-gequoteerde opdrachten, maar wel individuele feedback.

Hier wat meer bevindingen, in de vorm van een slideset die ik ook gebruik om één en ander intern in de betrokken opleiding toe te lichten.

De titelslide ...

 

De aanpak t.e.m. academiejaar 2020-2021 bestond erin om 3 gequoteerde opdrachten te geven, die meetelden voor 30% in de finale quotering. Hieronder zie je de deelnamepercentages relatief t.o.v. totaal aantal studenten ingeschreven voor het vak. Het is nominaal een 1ste bachelorvak in het 2de semester, dus steeds zijn er wel studenten ingeschreven die de facto niet meer studeren in het programma.

De correlatie tussen punten behaald op de opdrachten, en punten behaald op het examen. De finale score is een gewogen gemiddelde (70% examen, 30% opdrachten) van beide quoteringen.

Enkele vaststellingen (zie ook eerdere posts) die me deden besluiten om de opdrachten te herbekijken:

De nieuwe aanpak sinds 2021-2022:

Een idee van aanpak vertaalt zich natuurlijk in enkele praktische beslissingen (zie ook hier):

Een eenvoudig voorbeeldje van de eerste milestone binnen opdracht 1, die de analyse van sorteeralgoritmen als inhoud had:

Deelname in absolute aantallen bij de diverse milestones (zie ook hier). Zoals men kan zien (en ook verwacht), zakt het deelnamecijfer gevoelig naarmate we verder vorderen in het semester.

Maar wat is dan precies het effect op de slaagcijfers? Voor het juni examen was het slaagpercentage voor studenten die aan geen enkele opdracht hadden deelgenomen ongeveer 60% met een gemiddelde score van 10. Voor studenten die minstens aan 1 opdracht hadden deelgenomen 86%, met een gemiddelde score van bijna 14. Dat lijkt me significant. Ook de correlatie tussen deelname aan de opdrachten (elke deelgenomen opdracht  = 2 punten in onderstaande grafiek, sommige opdrachten slechts 1 punt) vs de finale score op het examen wordt getoond. De 'wolk' links zijn alle studenten die aan geen enkele opdracht hebben deelgenomen.

Het historische slaagpercentage van het vak over de jaren heen. We zien een stijging in 2021-2022, weliswaar tov corona-jaar 2020-2021.

Om één en ander beter te onderzoeken is er ook een exitbevraging geweest bij studenten. De antwoorden zijn in de cut-and-paste wat weggevallen, maar zijn: milestones hielpen bij het verwerken van de leerstof / inhoud sloot aan bij interesse / door vrijheid van timing kon ik plannen / ik wou de feedback / andere.

Ook deze vraag interessant. Milestone in groep gemaakt (niemand ;-)) / wel gemaakt maar niet ingediend vanwege verstreken deadline / zelf niet tevreden / andere.

Waarom niet ingediend? Opnieuw weinig verrassende antwoorden. Allemaal gemaakt / telden niet mee voor punten / te veel ander werk / heilpen mij niet voor verwerken leerstof / inhoud sloot niet aan bij interesse / te moeilijk / te gemakkelijk / problemen met studieplanning / andere.

 Hielpen de milestones bij het verwerken en beter begrijpen van de leerstof?

Was de individuele feedback nuttig? Gaf die inzicht?

Idem voor de collectieve feedbacksessie:

Algemene appreciatie. Enerzijds peilen of de studenten de aanpak apprecieerden. Anderzijds even eilen naar of er motivatie zou zijn indie de milestones toch gequoteerd zouden worden.

Er was ook de mogelijkheid tot tekstuele feedback. Thema's die terugkwamen waren de deadlines, de zin van de opdrachten die niet steeds duidelijk was, en af en toe onduidelijkheid over wat er precies inhoudelijk verwacht werd.

Er was een ook een volledige vakbevraging, waar de milestones uiteraard ook vermeld werden door studenten.

Mijn plannen voor komend academiejaar ...

Alleszins lijken de reacties positief. Een aantal zaken zal ik zeker aanpassen in het huidige jaar, namelijk meer kwalitatieve feedback en beter kaderen wat de relatie is met het examen en het verwerken van de leerstof.

Een aantal dingen zal ik vermoedelijk niet wijzigen. Samenvallende deadlines is altijd een beetje zwak argument (zie ook deze blogpost). Hulp bij het maken van de milestones druist wat in tegen het opzet - de focus ligt op het proces van zelf na te denken over hoe je iets aanpakt, niet op een exact recept uitvoeren.

Dit jaar heb ik het concept alvast ook toegepast in 2 andere vakken.

Feedback in plaats van quotering (6)

Eerder schreef ik reeds uitvoerig over het vervangen van summatieve door formatieve feedback voor het vak "Gegevensstructuren & Algoritmen", dat ik doceer o.a. in 1ste bachelor informatica aan de KU Leuven (zie eerdere blogposts in deze reeks). Voor de volledigheid: bewuste vak wordt ook gevolgd door sommige studenten uit de 2de bachelor wiskunde en 3de bachelor fysica.

Gisteren heb ik alle finale quoteringen van het bewuste vak afgerond, en collectieve feedback op het examen voor de studenten beschikbaar gemaakt. Twee slides uit dit collectief feedback document wil ik even toelichten.

Toegenomen slaagpercentage

Het slaagpercentage voor dit vak is, ten opzichte van vorig academiejaar, toegenomen. Onderstaande grafiek toont sinds 2014 het aantal afgelegde examens in juni, alsook het slaagpercentage met en zonder blanco ingediende examens verrekend.

Op het eerste zicht lijkt het dus alsof we dit jaar iets goed gedaan hebben, tenminste als we het ruwe slaagpercentage als criterium nemen. Deze grafiek laat trouwens ook nog andere interessante dingen zien:

• 2019 (het jaar vóór corona) was het eerste jaar dat ik lesopnames gebruikte voor dit vak (het auditorium waarin ik les gaf was hier toevallig reeds voor uitgerust). Er is een stijging van het slaagpercentage te merken in dat jaar.
• 2020 is het jaar dat half in corona plaatsvond, en daar heb ik deels de lesopnames uit 2019 herbruikt. Dit was het begin van de corona-pandemie, en alles moest snel-snel gaan. Als vice-decaan was ik toen ook verantwoordelijk voor het uittekenen van het corona-beleid van de faculteit, dus ik prees me gelukkig dat ik reeds over lesopnames beschikte.
  
• 2021 is het jaar waarin dit vak volledig online (maar wel live) werd gegeven, via de ingebouwde tools van KU Leuven in het elektronische leerplatform. De opnames van deze sessies werden nadien ter beschikking gesteld. Het slaagpercentage toont daar een dip in vergelijking met de jaren vóór en nadien.
  
• In 2022 zijn alle lessen terug in auditorium gegeven, met inbegrip van streaming en lesopnames nadien ter beschikking stellen, maar dus ook met het invoeren van formatieve feedback ipv formatieve feedback op opdrachten gedurende het semester.
• Van 2014 tot 2022 is het aantal studenten ongeveer met 50% toegenomen (2022: 185 ingeschreven studenten, 153 examendeelnames).
  

Heeft formatieve feedback een gunstig effect?

Hiervoor laat ik volgende slide zien uit mijn collectief feedback document:

Studenten die dus één of meerdere milestones hebben ingediend (er waren 15 milestones verspreid over het hele semester) scoren dus beduidend beter, zowel qua slaagpercentage, als qua gemiddelde score op het examen.

Of dit nu correlatie is ('de betere studenten zijn ook diegenen die milestones hebben ingediend') dan wel causaliteit ('het actief indienen van milestons leidt tot een betere beheersing van de inhoud van het vak') zal hopelijk blijken uit een afrondende bevraging die volgende week aan de studenten wordt toegestuurd.

Alleszins bemoedigende resultaten!

Feedback in plaats van quotering (4)

Mijn experiment om gequoteerde opdrachten te vervangen door opdrachten met snellere feedback (maar dan zonder quotering) loopt nog steeds. We zitten in een 2de opdracht met nieuwe milestones, en het deelnamepercentage ligt voorlopig lager dan bij de eerste reeks milestones, maar goed, alles loopt nog. Ondertussen werk ik aan een derde en laatste reeks milestones, die de studenten binnenkort ter beschikking krijgen.

De laatste weken heb ik wat meer informele feedback van studenten gekregen:

• Een student vertelde me dat hij niet alle milestones had ingediend, maar ze wel maakte. Hij vond het beter en rustiger zo, en kon daardoor zich meer richten op verwerking van de leerstof. Hij diende niet altijd in, omdat hij wist dat hij de leerstof onder de knie had.
  
• Een andere student - die het bewuste vak een tweede keer opneemt - vertelde me dat het aangenamer werken was. Minder druk.
• Nog een andere student vertelde me dat hij de milestones niet op tijd kon indienen, maar dat niet erg vond. Hij kong steeds bezig zijn met de opdrachten zonder een schuldgevoel te hebben.

Alhoewel deze getuigenissen natuurlijk anekdotisch zijn, geven ze me wel een bevestiging van het gehele opzet: studenten op een aangenamere en betere manier laten omgaan met de leerstof.

De laatste weken ben ik ook wat relaxer geworden over al dan niet deelname. Uiteindelijk hebben studenten ook de vrije keuze om al dan niet de lessen te volgen, of de oefenzittingen mee te volgen e.d. Waarom dan niet de opdrachten aanbieden, maar het open laten of je er aan wil deelnemen of niet? Zoalng de bedoelingen duidelijk gejaderd zijn, en wat men er al dan niet mee kan leren in functie van het finale examan, is het een volwassener manier om een goed leerproces op te zetten.

Feedback in plaats van quotering (3)

Eerder beschreef ik de aanpak die ik dit semester hanteer voor de praktische opdrachten in een 1ste bachelorvak met 185 studenten, door af te stappen van quoteringen en meer in te zetten op directe en individuele feedback. Zie o.a. hier en hier. 

De eerste opdracht is ondertussen afgelopen. Het opzet is om een bevraging te houden bij studenten op het einde van dit semester (de tweede opdracht loopt op dit ogenblik, en normaliter volgt er nog een derde), maar toch reeds enkele ervaringen:

• De opdracht bestond uit 5 kleine milestones, elk individueel in te dienen, met 3 milestones die konden ontsloten worden als een eerdere milestone tot een goed einde werde gebracht. De 5 milestones waren samen de volledige opdracht zoals we die vorig jaar nog vroegen aan studenten, maar nu konden studenten dus deelopdrachten indienen, waarop dan binnen enkele dagen feedback kwam.
  Voor de specialisten: De 4 milestones vroegen telkens om het aantal vergelijkingen tussen elementen na te gaan in een sorteeralgoritme, (respectievelijk Selection Sort, Insertion Sort, Merge Sort en Quick Sort), en te toetsen aan de theoretische modellen zoals behandeld in de les en oefenzittingen. De vijfde milestone vroeg om alle grafieken samen te brengen. Telkens gaven we ook aan dat er maximaal 1A4 mocht ingediend worden. De 3 "geavanceerde" milestones gingen verder in op meer speciale analyses voor specifieke situaties van sorteeralgoritmen.
  In totaal werden 3 weken voorzien gedurende dewelke studenten oplossingen konden indienen. Gedurende de daaropvolgende week organiseerden we een collectieve feedbacksessie, die dus kwam bovenop de individuele feedback.
  
• Hoeveel studenten dienden in? Aanvankelijk kwam één en ander traag op gang, maar naarmate de finale deadline in zicht kwam stroomden er meer inzendingen binnen. Vooral het laatste weekend zag plots een sterke toename.
  Op 185 studenten:
• Milestone 1.1 Selection Sort: 43 ingediende oplossingen (23%)
  
• Milestone 1.2 Insertion Sort: 36 ingediende oplossingen (19%)
  
• Milestone 1.3 Merge Sort: 28 ingediende oplossingen (15%)
  
• Milestone 1.4 Quick Sort: 25 ingediende oplossingen (14%)
  
• Milestone 1.5 Breng alles samen: 14 ingediende oplossingen (8%)
  
• Geavanceerde milestones: geen inzendingen.
• Ter vergelijking: vorig academiejaar (dus met quotering) dienden 68% studenten de opdracht in.
  In zekere zin hadden we een terugval natuurlijk verwacht. Ook hadden we aangegeven dat indienen niet verplicht was, dat je kon samenwerken (en dus maar 1 indiening had), etc. Ondanks dat, denk ik dat de % toch wat te laag zijn, en dat we moeten streven naar 25%, zeker omdat 1.2 en 1.4 de belangrijkste inzichten opleverden voor studenten. We hebben dit alleszins meegenomen naar de 2de opdracht en daar de diverse milestones wat beter gekaderd wat betreft relatieve belangrijkheid.
  
• De individuele feedback per milestone werd steeds gegeven binnen enkele dagen, en de idee was dat studenten de feedback konden meenemen naar een volgende milestone. De feedback had als bedoeling de student meer inzicht te geven in wat goed was, eventueel slecht was, wat beter kon, e.d. In functie daarvan werd een score van 2 (alles in orde), 1 (verbeteringen mogelijk), of 0 (je hebt de bal misgeslagen) gegeven. Eventueel konden studenten een nieuwe oplossing indienen, maar dit werd slechts in beperkte mate gedaan. Op zich is dit ook niet erg, zolang een student leert uit de feedback.
  Er waren ook enkele studenten die *alle* milestones in gelijktijdig indienden. Op zich ok, maar dat beperkt natuurlijk het leerproces dat een student kan doormaken. Echter, dit is een keuze van de student.
  
• De assistenten die de rapportjes doornamen, verzamelden ook "goede" en "minder goede" antwoorden (grafiekjes, stukken tekst, ...) die we samenbrachten in een slideset voor de collectieve feedbacksessie. De collectieve sessie werd dan opgevat als een discussiesessie, waarbij we vroegen aan studenten wat ze goed of slecht vonden aan een getoonde indiening. Ook gingen we wat dieper in op de geavanceerde milestones en wat daar goede of minder goede antwoorden hadden kunnen zijn. 

Het is nog te vroeg om harde conclusies te trekken (het vak loopt nog ...), maar onze eerste ervaringen en informele commentaar van studenten is alleszins positief. Een student zei me dat dit systeem minder stress gaf en meer vrijheid om te focussen op het begrijpen van de inhoud - wat natuurlijk deels de bedoeling was.

Het is uiteraard nog af te wachten wat de effecten zullen zijn op de finale quotering in juni, en wat de correlatie is tussen al dan niet meedoen met de milestones en het behaalde resultaat. Ter info, hieronder is de correlatie van vorig academiejaar tussen de punten behaald op de opdrachten (toen alles nog gequoteerd werd), en de punten behaald op het examen zonder verdere verekening van de opdrachten voor een finale score op het vak.