In het kader van mijn lopende aanpak, om gequoteerde opdrachten te vervangen door louter feedback-gerichte opdrachten, heb ik op 27 februari 2023 een presentatie gegeven (intern KULeuven).
Wegens technische problemen was er geen opname mogelijk, maar ik heb nadien de presentatie zelf opnieuw ingesproken.
Eerder rapporteerde ik al over mijn ervaringen met summative evaluatie (het geven van punten) te vervangen door louter formatieve evaluatie (louter geven van feedback) voor opdrachten gedurende het semester.
Gedurende 2021-2022 paste ik dit toe bij een groot 1ste-bachelorvak. Het afgelopen semester heb ik hetzelfde geprobeerd bij een 3de-bachelorvak en een vak in het 1ste masterjaar.
De verschillen tussen studentengroepen (zie die wel opdrachten hebben ingediend, en zij die dat niet gedaan hebben), wat betreft gemiddelde quotering op 20 voor het finale examen, alsook het slaagpercentage, zijn hieronder opgelijst:
Er is dus wel degelijk een positieve correlatie tussen het maken van de milestones enerzijds en de score behaald op het vak anderzijds. Het effect is kleiner voor een mastervak.
Binnenkort geef ik meer uitleg bij mijn ervaringen op een Hapje Onderwijs (event intern KU Leuven), maar zal nadien hier ook wel mijn presentatie en eventueel interessante discussiepunten delen.
De examenperiode is weer afgelopen, eerstdaags vernemen studenten hun quoteringen, en dan begint onvermijdelijk de "feedback"-periode.
Feedback geven op examens is ondertussen ingeburgerd geraakt. De tijd dat je enkel een cijfer kreeg, maar amper te weten kon komen waarom je een minder dan verwacht (of hoger dan verwacht :-)) cijfer had, ligt reeds lang achter ons.
Het Onderwijs- en Examenreglement van de KU Leuven zegt het volgende:
De studenten krijgen tijdens de eerste zeven kalenderdagen na de dag van bekendmaking van de resultaten de mogelijkheid tot feedback. De feedback omvat een individuele en/of een collectieve nabespreking van het examen en een inzage van hun schriftelijke examen. Ten laatste op het feedbackmoment krijgen studenten ook inzage in de resultaten van permanente en partiële evaluatie (cfr. art. 40). Een individuele nabespreking betreft een gesprek tussen examinator en student over een individueel afgelegd examen.
De feedbackregeling wordt ten minste een week voor het einde van de examenperiode aan de studenten bekendgemaakt.
Studenten kunnen zich bij de nabespreking laten vergezellen door een persoon naar keuze, die als waarnemer optreedt. Indien de waarnemer een student is die in datzelfde academiejaar ingeschreven was voor het opleidingsonderdeel, moet de waarnemer voor het opleidingsonderdeel geslaagd zijn.
Studenten kunnen problemen met en klachten over de feedbackregeling melden bij de examenombuds, die zal bemiddelen om een passende oplossing te zoeken.
Doorheen de jaren ben ik zelf geconvergeerd naar een werkwijze die de tijd voor mezelf binnen de perken houdt, maar die tevens maximaal inzet op het leerproces voor de studenten. In een wat verder verleden organiseerde ik individuele feedback. Als je een kwartier per student rekent, dan loopt dat aardig op voor een studentengroep die enkele honderden studenten telt. Daarom ben ik meer en meer overgeschakeld op collectieve feedback, en voornamelijk online zodat ik zelf de tijdsbesteding beter in de hand heb, maar ook dat studenten geen tig afspraken moeten maken bij diverse professoren.
Mijn werkwijze is als volgt:
Die werkwijze loopt al sinds enige jaren goed, en ik heb de indruk dat studenten dergelijke manier van werken ook wel weten te appreciëren.
Toch een voorlaatste puntje: vaak hanteert men bij het geven van feedback de frase "het inkijken van het examen". Persoonlijk vind ik dat misleidend, omdat de schriftelijke examens enkel maar een neerslag zijn van wat de student heeft opgeschreven. Ik verbeter immers geen examens, ik quoteer ze wel. Er is een verschil ;-) Dus het inkijken van een examenkopie (waar enkel de antwoorden van de student op te elzen zijn) is waardeloos als er geen goed feedbackproces aan gekoppeld is, en eigenlijk is dat feedbackproces de voornaamste component. De "inkijk van het examen" is een ongelukkige beschrijving van het feedbackproces.
En een allerlaatste puntje: feedback op examens moet wat mij betreft ook los gezien worden van eventuele beroepsprocedures die studenten aanspannen. Een beroepsprocedure kan steeds opgestart worden door een student als men zich miskend voelt in zijn rechten. Die procedure bestaat, en wordt inderdaad vaak opgestart als een student meent dat er een flagrante schendig geweest is en men daardoor minder punten kreeg dan waar men recht op heeft. Maar met de specifieke inhoud van het examen heeft dat meestal weinig te maken.
We zitten toch al even in het post-corona tijdperk, of toch wat betreft de manier waarop we ons hoger onderwijs organiseren: studenten mogen terug voluit naar de campus komen, alle contactmomenten kunnen fysisch doorgaan.
Er dient zich nu echter een nieuw probleem aan, en dat is welke werkvormen we nu best gebruiken, gegeven de corona-ervaringen? Op dit ogenblik lijkt het wel alsof we aan het convergeren naar een soort gemakkelijkheidsrustpunt: door het beschikbaar stellen van lesopnames is er een flink deel van de studenten dat niet meer de moeite neemt om nog naar de campus te komen. Hoorcolleges worden slechts door een kleine fractie van de studenten nog bijgewoond. Interactie staat op een laag pitje. Het lijkt wel alsof we in een dissociatie beland zijn: we geven les alsof er veel volk naar de lessen komt, maar eigenlijk komt er amper iemand, en iedereen bekijkt alles wel nadien in de opname. Dat model is niet langer houdbaar. Het is gewoon slecht gebruik van onze onderwijsmiddelen.
Uiteraard ken ik alle argumenten pro en contra lesopnames (de voorbije 2 jaar ging het in discussies over onderwijs amper over iets anders). Lesopnames zijn goed als back-up, als studenten bijvoorbeeld ziek vallen, door een omstandigheid niet aanwezig kunnen zijn, nadien de leerstof nog eens willen bekijken. Anderzijds hebben lesopnames ook nadelen: het wordt moeilijker en moeilijker om studenten significant te bereiken, interactie tijdens contactmomenten heeft kritische massa nodig die er niet meer is, klassieke lessen zijn bedoeld voor grote groepen en missen deels hun doel of "werken niet" als die grote groep niet voor je in de zaal zit.
Een ander argument om de huidige malaise (want ja, ik noem het een malaise) te verklaren is dat lesopnames bekijken voldoende zijn om te slagen op het examen. Waarom zou je iets meer doen, als gewoon de slides bekijken (al dan niet in opgenomen vorm) voldoende zijn om een slaagcijfer te behalen? En in zekere zin begrijp ik dat argument zelfs. Alleen drijft het ons naar gemakzuchtig onderwijs, aan beide kanten. Voor de studenten betekent het gewoon voor je computer zitten en alles passief consumeren. Voor docenten betekent het opnames van enkele jaren terug hergebruiken en af en toe nog eens antwoorden op een emailtje. Maar dat kan toch niet de bedoeling zijn van hoger onderwijs? Als we daarop afstevenen, dan kunnen we er beter mee stoppen en iedereen zich laten inschrijven aan één of andere online univeristeit en micro-credentials laten behalen ;-)
Daarom heb ik besloten om nog meer dan vandaag voluit de kaart te trekken van de "blended"-onderwijs aanpak: studenten bekijken leerstof op voorhand (al dan niet via een opname), en de contactmomenten worden gebruikt om dieper in te gaan op de reeds bekeken leerstof, om te focussen op de moeilijke delen, verder te bouwen op de reeds opgedane kennis van studenten. De blended aanpak wordt op vrij veel plaatsen naar voor geschoven als het antwoord op de mix tussen onderwijs en technologie. Alleen vraagt het natuurlijk een significant inspanning om bestaande vakken blended te maken, maar ik ben alleszins wel overtuigd. Nu nog de studenten meekrijgen :-)
Eerder schreef ik reeds over mijn aanpak vorig academiejaar, om gequoteerde opdrachten in een vak in 1ste bachelor te vervangen door niet-gequoteerde opdrachten, maar wel individuele feedback.
Hier wat meer bevindingen, in de vorm van een slideset die ik ook gebruik om één en ander intern in de betrokken opleiding toe te lichten.
De titelslide ...
De aanpak t.e.m. academiejaar 2020-2021 bestond erin om 3 gequoteerde opdrachten te geven, die meetelden voor 30% in de finale quotering. Hieronder zie je de deelnamepercentages relatief t.o.v. totaal aantal studenten ingeschreven voor het vak. Het is nominaal een 1ste bachelorvak in het 2de semester, dus steeds zijn er wel studenten ingeschreven die de facto niet meer studeren in het programma.
De correlatie tussen punten behaald op de opdrachten, en punten behaald op het examen. De finale score is een gewogen gemiddelde (70% examen, 30% opdrachten) van beide quoteringen.
Enkele vaststellingen (zie ook eerdere posts) die me deden besluiten om de opdrachten te herbekijken:
De nieuwe aanpak sinds 2021-2022:
Een idee van aanpak vertaalt zich natuurlijk in enkele praktische beslissingen (zie ook hier):
Een eenvoudig voorbeeldje van de eerste milestone binnen opdracht 1, die de analyse van sorteeralgoritmen als inhoud had:
Deelname in absolute aantallen bij de diverse milestones (zie ook hier). Zoals men kan zien (en ook verwacht), zakt het deelnamecijfer gevoelig naarmate we verder vorderen in het semester.
Maar wat is dan precies het effect op de slaagcijfers? Voor het juni examen was het slaagpercentage voor studenten die aan geen enkele opdracht hadden deelgenomen ongeveer 60% met een gemiddelde score van 10. Voor studenten die minstens aan 1 opdracht hadden deelgenomen 86%, met een gemiddelde score van bijna 14. Dat lijkt me significant. Ook de correlatie tussen deelname aan de opdrachten (elke deelgenomen opdracht = 2 punten in onderstaande grafiek, sommige opdrachten slechts 1 punt) vs de finale score op het examen wordt getoond. De 'wolk' links zijn alle studenten die aan geen enkele opdracht hebben deelgenomen.
Het historische slaagpercentage van het vak over de jaren heen. We zien een stijging in 2021-2022, weliswaar tov corona-jaar 2020-2021.
Om één en ander beter te onderzoeken is er ook een exitbevraging geweest bij studenten. De antwoorden zijn in de cut-and-paste wat weggevallen, maar zijn: milestones hielpen bij het verwerken van de leerstof / inhoud sloot aan bij interesse / door vrijheid van timing kon ik plannen / ik wou de feedback / andere.
Ook deze vraag interessant. Milestone in groep gemaakt (niemand ;-)) / wel gemaakt maar niet ingediend vanwege verstreken deadline / zelf niet tevreden / andere.
Waarom niet ingediend? Opnieuw weinig verrassende antwoorden. Allemaal gemaakt / telden niet mee voor punten / te veel ander werk / heilpen mij niet voor verwerken leerstof / inhoud sloot niet aan bij interesse / te moeilijk / te gemakkelijk / problemen met studieplanning / andere.
Hielpen de milestones bij het verwerken en beter begrijpen van de leerstof?
Was de individuele feedback nuttig? Gaf die inzicht?
Idem voor de collectieve feedbacksessie:
Algemene appreciatie. Enerzijds peilen of de studenten de aanpak apprecieerden. Anderzijds even eilen naar of er motivatie zou zijn indie de milestones toch gequoteerd zouden worden.
Er was ook de mogelijkheid tot tekstuele feedback. Thema's die terugkwamen waren de deadlines, de zin van de opdrachten die niet steeds duidelijk was, en af en toe onduidelijkheid over wat er precies inhoudelijk verwacht werd.
Er was een ook een volledige vakbevraging, waar de milestones uiteraard ook vermeld werden door studenten.
Mijn plannen voor komend academiejaar ...
Alleszins lijken de reacties positief. Een aantal zaken zal ik zeker aanpassen in het huidige jaar, namelijk meer kwalitatieve feedback en beter kaderen wat de relatie is met het examen en het verwerken van de leerstof.
Een aantal dingen zal ik vermoedelijk niet wijzigen. Samenvallende deadlines is altijd een beetje zwak argument (zie ook deze blogpost). Hulp bij het maken van de milestones druist wat in tegen het opzet - de focus ligt op het proces van zelf na te denken over hoe je iets aanpakt, niet op een exact recept uitvoeren.
Dit jaar heb ik het concept alvast ook toegepast in 2 andere vakken.
Samenvallende deadlines zijn noit aangenaam, en plaatsen studenten onder een zekere druk om precies op dezelfde dag verschillende opdrachten in te leveren. Begrijpbaar. Er worden dan ook regelmatig pogingen ondernomen om de planning van de opdrachten doorheen een semester over de verschillende vakken wat op elkaar af te stemmen, maar helaas zonder al te veel resultaat. Immers, vakken bestaan doorgaans niet geïsoleerd binnen één enkele opleiding, en een synchronisatie van deadlines moet dan in alle opleidingen waar dat vak voorkomt gebeuren. Door de flexibilisering van het hoger onderwijs is het ook niet zo dat jaarcohortes van studenten dezelfde subset van vakken opnmenen. Bovendien bestaat (tenminste aan mijn universiteit) een semester slechts uit 13 lesweken. Gecombineerd met het feit dat er eerst toch wat leerstof moet behandeld zijn vooraleer men betekenisvolle opdrachten kan opgeven, leidt dat vaak tot een opeenhoping van opdrachten in de 2de helft van het semester. Opdrachten laten overlopen in de blok en examenperiode is ook niet steeds aangewezen, omdat de aandacht van studenten dan gaat naar examens. En de didactische teams moeten één en ander ook nagekeken en gequoteerd krijgen, tenminste als de opdrachten "op punten" staan. Allemaal randvoorwaarden die één en ander niet eenvoudig maken.
Anderzijds, moeten samenvallende deadlines wel een probleem vormen? Doorgaans krijgen studenten een bepaalde periode (enkele weken ...) om een opdracht af te werken, precies met de idee dat de opdracht in die periode kan ingepland worden. Immers, om een specifieke opdracht te maken is typisch niet die hele periode nodig, en de student zou in principe moeten kunnen plannen wanneer men aan de opdracht werkt, in plaats van alles voor zich uit te schuiven tot enkele dagen voor de deadline. Het zou een ander verhaal zijn mocht men een opdracht opgeven, en daags nadien een resultaat verwachten. Dán is een afstemming van de deadlines levensnoodzakelijk. Maar in een fluïde systeem waar zelfplanning mogelijk is?
Maar goed, wat probeer ik als individueel docent er zelf aan te doen?
Desondanks alle goede bedoelingen en initiatieven van didactische teams, blijven deadlines een weerkerend discussiepunt ...
De laatste jaren worden er - althans in mijn faculteit - steeds meer jobstudenten ingeschakeld in het onderwijs. Het betreft dan meestal ouderejaars, die bijvoorbeeld oefenzittingen (werkcolleges) geven aan eerstejaars. De achterliggende reden zijn de groeiende aantallen studenten, en de relatief kleinere wordende groep nederlandstalige abap'ers (assisterend en bijzonder academisch personeel - vaak doctoraatsstudenten). Occasioneel is dit gekoppeld aan een vak dat een ouderejaarsstudent kan volgen in zijn of haar eigen opleiding.
Zelf heb ik deze boot altijd afgehouden voor de vakken die ik zelf doceer in de bachelorjaren. Echter, sommige collega's wijzen op de positieve ervaringen, dat deze jobstudenten het geven van de oefenzittingen écht wel goed doen, en dat men niet zomaar iedereen aanneemt. Er moet minstens een screening zijn, zowel naar kennis en motivatie van de jobstudent.
Ik geloof graag dat de ervaringen positief zijn, maar ik denk dat dit in grote mate afhangt van de invulling die men geeft aan oefenzittingen. Oefeningen die men studenten voorschotelt kunnen variëren van louter wat uitrekenoefeningen tot volwaardige doordenk-oefeningen met meerdere lagen en diverse moeilijkheidsgraden. Ik heb het gevoel dat indien de oefenzittingen beperkt zijn tot het uitrekenen van bepaalde vraagstukken, jobstudenten hier wel bij kunnen helpen. Maar denkoefeningen? Daar heb ik toch mijn twijfels bij, als de jobstudent uiteindelijk zelf ook maar het bewuste vak gevolgd heeft enkele jaren voordien, en zelf nog niet als ingenieur afgestudeerd is.
De oefenzittingen in mijn vakken zijn vaak zorgvuldig samengesteld. Er zitten wat "opwarmertjes" bij, maar vooral ook denkoefeningen. Voorafgaand aan elke oefenzittingen zit ik met de betrokken assistenten samen om alles te overlopen, en bij elke oefening hebben we meerdere "lagen" van oplossing: de triviale aanpak die niet altijd leidt tot het meeste inzicht, de aanpak die tot een wat meer algemene oplossing leidt, de aanpak die verbanden legt met andere delen van de theorie en die tot diepere inzichten leidt, en de gevorderde aanpak voor sepcialisten in het domein. De meeste studenten zien niveau 1 of 2 (de slimmeren zien niveau 3), en vaak is dat voldoende voor de doelstellingen van het vak. Maar als didactisch team hebben we steeds wel niveau 3 en 4 in ons achterhoofd in geval we sommige studenten dieper willen laten kennismaken met de leerstof. Die aanpak is m.i. moeilijk te bereiken met jobstudenten , precies omdat ze nog niet die diverse gelaagdheid kunnen herkennen zoals een doctoraatsstudent dat wél kan doen.
Persoonlijk vind ik het belangrijk dat oefenzittingen niet zomaar bestaan uit mechanistisch wat vraagstukjes oplossen, maar dat er effectief ook denkwerk in zit. Dat kan je mijn insziens best bereiken met "professionals", alle goede bedoeling van het inzetten van jobstudenten ten spijt.
Eerder schreef ik reeds uitvoerig over het vervangen van summatieve door formatieve feedback voor het vak "Gegevensstructuren & Algoritmen", dat ik doceer o.a. in 1ste bachelor informatica aan de KU Leuven (zie eerdere blogposts in deze reeks). Voor de volledigheid: bewuste vak wordt ook gevolgd door sommige studenten uit de 2de bachelor wiskunde en 3de bachelor fysica.
Gisteren heb ik alle finale quoteringen van het bewuste vak afgerond, en collectieve feedback op het examen voor de studenten beschikbaar gemaakt. Twee slides uit dit collectief feedback document wil ik even toelichten.
Toegenomen slaagpercentage
Het slaagpercentage voor dit vak is, ten opzichte van vorig academiejaar, toegenomen. Onderstaande grafiek toont sinds 2014 het aantal afgelegde examens in juni, alsook het slaagpercentage met en zonder blanco ingediende examens verrekend.
Heeft formatieve feedback een gunstig effect?
Hiervoor laat ik volgende slide zien uit mijn collectief feedback document:
Studenten die dus één of meerdere milestones hebben ingediend (er waren 15 milestones verspreid over het hele semester) scoren dus beduidend beter, zowel qua slaagpercentage, als qua gemiddelde score op het examen.
Of dit nu correlatie is ('de betere studenten zijn ook diegenen die milestones hebben ingediend') dan wel causaliteit ('het actief indienen van milestons leidt tot een betere beheersing van de inhoud van het vak') zal hopelijk blijken uit een afrondende bevraging die volgende week aan de studenten wordt toegestuurd.
Alleszins bemoedigende resultaten!
Vandaag is er examen van een vak dat ik doceer in 1ste bachelor informatica, "Gegevensstructuren en Algoritmen". Dit is ook het vak waar ik dit jaar gequoteerde opdrachten heb vervangen door een reeks "milestones", en waar studenten vrij snel binnen enkele dagen meer persoonlijke feedback op krijgen (maar dus geen quotering meer). Alle punten voor het vak zijn te verdienen met het examen. Zie ook eerdere blogposts in deze reeks voor een meer uitvoerige uitleg.
Eerder berichtte ik over het deelnamepercentage bij de eerste reeks milestones. Het volledig deelname-aantal (185 studenten ingeschreven voor vak) voor alle milestones dit semester is als volgt:
Een eerste reeks ging over de analyse van sorteeralgoritme. Er waren enkele milestones die ontsloten konden worden, maar die heeft niemand ingediend.
Een tweede reeks ging voornamelijk over prioriteitsrijen. Afgaande op reeks 1 waren er nu geen "te ontsluiten" milestones, en werd er duidelijker aangegeven dat milestone 2.1 de belangrijkste was, en de daaropvolgende (die stap voor stap naar een grotere oefening leiden) eerder het uitwerken van een toepassing was.
Een derde reeks gaf enkele oefeningen i.v.m. dynamisch programmeren, in oplopende moeilijkheidsgraad. De instructies gaven aan dat minstens 1 oefening bekijken toch wel extra inzichten zou geven, maar dat men ze neit allemaal hoefde te maken om dat inzicht te verwerven.
In totaal hebben 48 unieke studenten één of meerdere milestones ingediend, en 1 student heeft alles ingediend (behalve de 'te ontsluiten'' milsestones in reeks 1).
Er komt alleszins na de examenperiode nog een bevraging bij studenten (in samenwerking met de onderwijsdiensten van de faculteit) hoe ze één en ander ervaren hebben, maar ook zal ik zelf een analsye maken na het examen om na te gaan of er correlatie tussen cijfers op het examen en al dan niet deelname aan de milestones. Het zou me verwonderen indien dat niet zo zou zijn, ook al omdat deelname natuurlijk zelf-selectie is en vermoedelijk de "betere" studenten deelgenomen hebben.
Maar de deelnamecijfers zoals hierboven gegeven zijn uiteraard zeer laag, zeker bij reeks 3 die tegen het einde van het semester viel. Sommigen zullen zeggen "Tja, dat was te voorspellen! Hoe naïef kan je zijn?" Maar alleszins zet ik hier minstens volgend jaar nog mee door. Afhankelijk van de resultaten van de bevraging zullen we uiteraard wel bijsturen, en vermoedelijk nóg beter briefen over het hoe en waarom.
Anderzijds ben ik wel van mening dat het de verantwoordelijkheid is van studenten om zich in te schrijven in een leerproces. Indien men daar - om welke reden dan ook - niet aan wenst deel te nemen, so be it. Uiteindelijk verplichten we studenten ook niet om naar lessen of oefenzittingen te komen, dus waarom zouden we ze dan semi-verplichten aan opdrachten deel te nemen door er enkele punten voor de eindquotering aan te verbinden? Er is hierbij natuurlijk een belangrijke randvoorwaarde, namelijk dat de doelstellingen van het vak wel degelijk volledig worden afgetoetst op het examen. Maar dat is wél degelijk het geval, ook al omdat ik dit jaar enkele andere type oefeningen in het examen heb gebracht die voordien eerder getoetst zouden worden via gequoteerde opdrachten.
Afwachten dus wat de verdere analyse brengt.
Mijn experiment om gequoteerde opdrachten te vervangen door opdrachten met snellere feedback (maar dan zonder quotering) loopt nog steeds. We zitten in een 2de opdracht met nieuwe milestones, en het deelnamepercentage ligt voorlopig lager dan bij de eerste reeks milestones, maar goed, alles loopt nog. Ondertussen werk ik aan een derde en laatste reeks milestones, die de studenten binnenkort ter beschikking krijgen.
De laatste weken heb ik wat meer informele feedback van studenten gekregen:
Alhoewel deze getuigenissen natuurlijk anekdotisch zijn, geven ze me wel een bevestiging van het gehele opzet: studenten op een aangenamere en betere manier laten omgaan met de leerstof.
De laatste weken ben ik ook wat relaxer geworden over al dan niet deelname. Uiteindelijk hebben studenten ook de vrije keuze om al dan niet de lessen te volgen, of de oefenzittingen mee te volgen e.d. Waarom dan niet de opdrachten aanbieden, maar het open laten of je er aan wil deelnemen of niet? Zoalng de bedoelingen duidelijk gejaderd zijn, en wat men er al dan niet mee kan leren in functie van het finale examan, is het een volwassener manier om een goed leerproces op te zetten.
