Hoger onderwijs, post-corona

We zitten toch al even in het post-corona tijdperk, of toch wat betreft de manier waarop we ons hoger onderwijs organiseren: studenten mogen terug voluit naar de campus komen, alle contactmomenten kunnen fysisch doorgaan.

Er dient zich nu echter een nieuw probleem aan, en dat is welke werkvormen we nu best gebruiken, gegeven de corona-ervaringen? Op dit ogenblik lijkt het wel alsof we aan het convergeren naar een soort gemakkelijkheidsrustpunt: door het beschikbaar stellen van lesopnames is er een flink deel van de studenten dat niet meer de moeite neemt om nog naar de campus te komen. Hoorcolleges worden slechts door een kleine fractie van de studenten nog bijgewoond. Interactie staat op een laag pitje. Het lijkt wel alsof we in een dissociatie beland zijn: we geven les alsof er veel volk naar de lessen komt, maar eigenlijk komt er amper iemand, en iedereen bekijkt alles wel nadien in de opname. Dat model is niet langer houdbaar. Het is gewoon slecht gebruik van onze onderwijsmiddelen.

Uiteraard ken ik alle argumenten pro en contra lesopnames (de voorbije 2 jaar ging het in discussies over onderwijs amper over iets anders). Lesopnames zijn goed als back-up, als studenten bijvoorbeeld ziek vallen, door een  omstandigheid niet aanwezig kunnen zijn, nadien de leerstof nog eens willen bekijken. Anderzijds hebben lesopnames ook nadelen: het wordt moeilijker en moeilijker om studenten significant te bereiken, interactie tijdens contactmomenten heeft kritische massa nodig die er niet meer is, klassieke lessen zijn bedoeld voor grote groepen en missen deels hun doel of "werken niet" als die grote groep niet voor je in de zaal zit.

Een ander argument om de huidige malaise (want ja, ik noem het een malaise) te verklaren is dat lesopnames bekijken voldoende zijn om te slagen op het examen. Waarom zou je iets meer doen, als gewoon de slides bekijken (al dan niet in opgenomen vorm) voldoende zijn om een slaagcijfer te behalen? En in zekere zin begrijp ik dat argument zelfs. Alleen drijft het ons naar gemakzuchtig onderwijs, aan beide kanten. Voor de studenten betekent het gewoon voor je computer zitten en alles passief consumeren. Voor docenten betekent het opnames van enkele jaren terug hergebruiken en af en toe nog eens antwoorden op een emailtje. Maar dat kan toch niet de bedoeling zijn van hoger onderwijs? Als we daarop afstevenen, dan kunnen we er beter mee stoppen en iedereen zich laten inschrijven aan één of andere online univeristeit en micro-credentials laten behalen ;-)

Daarom heb ik besloten om nog meer dan vandaag voluit de kaart te trekken van de "blended"-onderwijs aanpak: studenten bekijken leerstof op voorhand (al dan niet via een opname), en de contactmomenten worden gebruikt om dieper in te gaan op de reeds bekeken leerstof, om te focussen op de moeilijke delen, verder te bouwen op de reeds opgedane kennis van studenten. De blended aanpak wordt op vrij veel plaatsen naar voor geschoven als het antwoord op de mix tussen onderwijs en technologie. Alleen vraagt het natuurlijk een significant inspanning om bestaande vakken blended te maken, maar ik ben alleszins wel overtuigd. Nu nog de studenten meekrijgen :-)

Feedback in plaats van Quotering (7)

Eerder schreef ik reeds over mijn aanpak vorig academiejaar, om gequoteerde opdrachten in een vak in 1ste bachelor te vervangen door niet-gequoteerde opdrachten, maar wel individuele feedback.

Hier wat meer bevindingen, in de vorm van een slideset die ik ook gebruik om één en ander intern in de betrokken opleiding toe te lichten.

De titelslide ...

 

De aanpak t.e.m. academiejaar 2020-2021 bestond erin om 3 gequoteerde opdrachten te geven, die meetelden voor 30% in de finale quotering. Hieronder zie je de deelnamepercentages relatief t.o.v. totaal aantal studenten ingeschreven voor het vak. Het is nominaal een 1ste bachelorvak in het 2de semester, dus steeds zijn er wel studenten ingeschreven die de facto niet meer studeren in het programma.

De correlatie tussen punten behaald op de opdrachten, en punten behaald op het examen. De finale score is een gewogen gemiddelde (70% examen, 30% opdrachten) van beide quoteringen.

Enkele vaststellingen (zie ook eerdere posts) die me deden besluiten om de opdrachten te herbekijken:

De nieuwe aanpak sinds 2021-2022:

Een idee van aanpak vertaalt zich natuurlijk in enkele praktische beslissingen (zie ook hier):

Een eenvoudig voorbeeldje van de eerste milestone binnen opdracht 1, die de analyse van sorteeralgoritmen als inhoud had:

Deelname in absolute aantallen bij de diverse milestones (zie ook hier). Zoals men kan zien (en ook verwacht), zakt het deelnamecijfer gevoelig naarmate we verder vorderen in het semester.

Maar wat is dan precies het effect op de slaagcijfers? Voor het juni examen was het slaagpercentage voor studenten die aan geen enkele opdracht hadden deelgenomen ongeveer 60% met een gemiddelde score van 10. Voor studenten die minstens aan 1 opdracht hadden deelgenomen 86%, met een gemiddelde score van bijna 14. Dat lijkt me significant. Ook de correlatie tussen deelname aan de opdrachten (elke deelgenomen opdracht  = 2 punten in onderstaande grafiek, sommige opdrachten slechts 1 punt) vs de finale score op het examen wordt getoond. De 'wolk' links zijn alle studenten die aan geen enkele opdracht hebben deelgenomen.

Het historische slaagpercentage van het vak over de jaren heen. We zien een stijging in 2021-2022, weliswaar tov corona-jaar 2020-2021.

Om één en ander beter te onderzoeken is er ook een exitbevraging geweest bij studenten. De antwoorden zijn in de cut-and-paste wat weggevallen, maar zijn: milestones hielpen bij het verwerken van de leerstof / inhoud sloot aan bij interesse / door vrijheid van timing kon ik plannen / ik wou de feedback / andere.

Ook deze vraag interessant. Milestone in groep gemaakt (niemand ;-)) / wel gemaakt maar niet ingediend vanwege verstreken deadline / zelf niet tevreden / andere.

Waarom niet ingediend? Opnieuw weinig verrassende antwoorden. Allemaal gemaakt / telden niet mee voor punten / te veel ander werk / heilpen mij niet voor verwerken leerstof / inhoud sloot niet aan bij interesse / te moeilijk / te gemakkelijk / problemen met studieplanning / andere.

 Hielpen de milestones bij het verwerken en beter begrijpen van de leerstof?

Was de individuele feedback nuttig? Gaf die inzicht?

Idem voor de collectieve feedbacksessie:

Algemene appreciatie. Enerzijds peilen of de studenten de aanpak apprecieerden. Anderzijds even eilen naar of er motivatie zou zijn indie de milestones toch gequoteerd zouden worden.

Er was ook de mogelijkheid tot tekstuele feedback. Thema's die terugkwamen waren de deadlines, de zin van de opdrachten die niet steeds duidelijk was, en af en toe onduidelijkheid over wat er precies inhoudelijk verwacht werd.

Er was een ook een volledige vakbevraging, waar de milestones uiteraard ook vermeld werden door studenten.

Mijn plannen voor komend academiejaar ...

Alleszins lijken de reacties positief. Een aantal zaken zal ik zeker aanpassen in het huidige jaar, namelijk meer kwalitatieve feedback en beter kaderen wat de relatie is met het examen en het verwerken van de leerstof.

Een aantal dingen zal ik vermoedelijk niet wijzigen. Samenvallende deadlines is altijd een beetje zwak argument (zie ook deze blogpost). Hulp bij het maken van de milestones druist wat in tegen het opzet - de focus ligt op het proces van zelf na te denken over hoe je iets aanpakt, niet op een exact recept uitvoeren.

Dit jaar heb ik het concept alvast ook toegepast in 2 andere vakken.

Het samenvallen van deadlines ...

Binnen de onderwijscommissies van diverse opleidingen waar ik bij betrokken ben gaat het regelmatig over deadlines van allerhande opdrachten die opgelegd worden aan studenten, en meer specifiek aan het samenvallen van deadlines.

Samenvallende deadlines zijn noit aangenaam, en plaatsen studenten onder een zekere druk om precies op dezelfde dag verschillende opdrachten in te leveren. Begrijpbaar. Er worden dan ook regelmatig pogingen ondernomen om de planning van de opdrachten doorheen een semester over de verschillende vakken wat op elkaar af te stemmen, maar helaas zonder al te veel resultaat. Immers, vakken bestaan doorgaans niet geïsoleerd binnen één enkele opleiding, en een synchronisatie van deadlines moet dan in alle opleidingen waar dat vak voorkomt gebeuren. Door de flexibilisering van het hoger onderwijs is het ook niet zo dat jaarcohortes van studenten dezelfde subset van vakken opnmenen. Bovendien bestaat (tenminste aan mijn universiteit) een semester slechts uit 13 lesweken. Gecombineerd met het feit dat er eerst toch wat leerstof moet behandeld zijn vooraleer men betekenisvolle opdrachten kan opgeven, leidt dat vaak tot een opeenhoping van opdrachten in de 2de helft van het semester. Opdrachten laten overlopen in de blok en examenperiode is ook niet steeds aangewezen, omdat de aandacht van studenten dan gaat naar examens. En de didactische teams moeten één en ander ook nagekeken en gequoteerd krijgen, tenminste als de opdrachten "op punten" staan. Allemaal randvoorwaarden die één en ander niet eenvoudig maken.

Anderzijds, moeten samenvallende deadlines wel een probleem vormen? Doorgaans krijgen studenten een bepaalde periode (enkele weken ...) om een opdracht af te werken, precies met de idee dat de opdracht in die periode kan ingepland worden. Immers, om een specifieke opdracht te maken is typisch niet die hele periode nodig, en de student zou in principe moeten kunnen plannen wanneer men aan de opdracht werkt, in plaats van alles voor zich uit te schuiven tot enkele dagen voor de deadline. Het zou een ander verhaal zijn mocht men een opdracht opgeven, en daags nadien een resultaat verwachten. Dán is een afstemming van de deadlines levensnoodzakelijk. Maar in een fluïde systeem waar zelfplanning mogelijk is?

Maar goed, wat probeer ik als individueel docent er zelf aan te doen?

1. Het semester bestaat uit 13 weken, en ik tracht die voor pakweg 3 opdrachten, in te delen in 3 periodes van 3 of 4 weken elk. Studenten krijgen dus 3 of 4 weken tussen bekendmaking van de opdracht en de deadline, waarna eventuele feedback volgt, en de volgende opdracht wordt bekend gemaakt. Veel rek zit daar niet op. Hoogstens kan je enkele dagen schuiven, maar alles met pakweg 2 weken verschuiven is weinig haalbaar. Ik denk dat dergelijke spreiding "werkbaar" moet zijn voor studenten, tenminste alles men niet alles voor zich uit blijft schuiven. Dat er dan op het einde van dergelijke periode toevallig een deadline samenvalt met een deadline van een ander vak, so be it. Tijd genoeg gehad, niet?
2. Enkele jaren geleden heb ik één van mijn grote vakken, waar een groot project aan verbonden was, in twee gesplitst: een theorie-vak, in semester 1, en een projectvak, in semester 2. Voordeel is dat alle studenten de theorie reeds gestudeerd hebben vooraleer men aan het projectvak begint. En het projectvak kan qua inspanningen en begeleiding veel beter gespreid worden over het hele semester dan enkel in de 2de helft. De ervaringen van de studenten met dergelijke aanpak zijn positief, alhoewel er natuurlijk andere nadelige effecten kunnen optreden als alle vakken dit zouden doen.

Desondanks alle goede bedoelingen en initiatieven van didactische teams, blijven deadlines een weerkerend discussiepunt ...

Jobstudenten inschakelen in reguliere vakken?

De laatste jaren worden er  - althans in mijn faculteit - steeds meer jobstudenten ingeschakeld in het onderwijs. Het betreft dan meestal ouderejaars, die bijvoorbeeld oefenzittingen (werkcolleges) geven aan eerstejaars. De achterliggende reden zijn de groeiende aantallen studenten, en de relatief kleinere wordende groep nederlandstalige abap'ers (assisterend en bijzonder academisch personeel - vaak doctoraatsstudenten). Occasioneel is dit gekoppeld aan een vak dat een ouderejaarsstudent kan volgen in zijn of haar eigen opleiding.

Zelf heb ik deze boot altijd afgehouden voor de vakken die ik zelf doceer in de bachelorjaren. Echter, sommige collega's wijzen op de positieve ervaringen, dat deze jobstudenten het geven van de oefenzittingen écht wel goed doen, en dat men niet zomaar iedereen aanneemt. Er moet minstens een screening zijn, zowel naar kennis en motivatie van de jobstudent.

Ik geloof graag dat de ervaringen positief zijn, maar ik denk dat dit in grote mate afhangt van de invulling die men geeft aan oefenzittingen. Oefeningen die men studenten voorschotelt kunnen variëren van louter wat uitrekenoefeningen tot volwaardige doordenk-oefeningen met meerdere lagen en diverse moeilijkheidsgraden. Ik heb het gevoel dat indien de oefenzittingen beperkt zijn tot het uitrekenen van bepaalde vraagstukken, jobstudenten hier wel bij kunnen helpen. Maar denkoefeningen? Daar heb ik toch mijn twijfels bij, als de jobstudent uiteindelijk zelf ook maar het bewuste vak gevolgd heeft enkele jaren voordien, en zelf nog niet als ingenieur afgestudeerd is.

De oefenzittingen in mijn vakken zijn vaak zorgvuldig samengesteld. Er zitten wat "opwarmertjes" bij, maar vooral ook denkoefeningen. Voorafgaand aan elke oefenzittingen zit ik met de betrokken assistenten samen om alles te overlopen, en bij elke oefening hebben we meerdere "lagen" van oplossing: de triviale aanpak die niet altijd leidt tot het meeste inzicht, de aanpak die tot een wat meer algemene oplossing leidt, de aanpak die verbanden legt met andere delen van de theorie en die tot diepere inzichten leidt, en de gevorderde aanpak voor sepcialisten in het domein. De meeste studenten zien niveau 1 of 2 (de slimmeren zien niveau 3), en vaak is dat voldoende voor de doelstellingen van het vak. Maar als didactisch team hebben we steeds wel niveau 3 en 4 in ons achterhoofd in geval we sommige studenten dieper willen laten kennismaken met de leerstof. Die aanpak is m.i. moeilijk te bereiken met jobstudenten , precies omdat ze nog niet die diverse gelaagdheid kunnen herkennen zoals een doctoraatsstudent dat wél kan doen.

Persoonlijk vind ik het belangrijk dat oefenzittingen niet zomaar bestaan uit mechanistisch wat vraagstukjes oplossen, maar dat er effectief ook denkwerk in zit. Dat kan je mijn insziens best bereiken met "professionals", alle goede bedoeling van het inzetten van jobstudenten ten spijt.

Feedback in plaats van quotering (6)

Eerder schreef ik reeds uitvoerig over het vervangen van summatieve door formatieve feedback voor het vak "Gegevensstructuren & Algoritmen", dat ik doceer o.a. in 1ste bachelor informatica aan de KU Leuven (zie eerdere blogposts in deze reeks). Voor de volledigheid: bewuste vak wordt ook gevolgd door sommige studenten uit de 2de bachelor wiskunde en 3de bachelor fysica.

Gisteren heb ik alle finale quoteringen van het bewuste vak afgerond, en collectieve feedback op het examen voor de studenten beschikbaar gemaakt. Twee slides uit dit collectief feedback document wil ik even toelichten.

Toegenomen slaagpercentage

Het slaagpercentage voor dit vak is, ten opzichte van vorig academiejaar, toegenomen. Onderstaande grafiek toont sinds 2014 het aantal afgelegde examens in juni, alsook het slaagpercentage met en zonder blanco ingediende examens verrekend.

Op het eerste zicht lijkt het dus alsof we dit jaar iets goed gedaan hebben, tenminste als we het ruwe slaagpercentage als criterium nemen. Deze grafiek laat trouwens ook nog andere interessante dingen zien:

• 2019 (het jaar vóór corona) was het eerste jaar dat ik lesopnames gebruikte voor dit vak (het auditorium waarin ik les gaf was hier toevallig reeds voor uitgerust). Er is een stijging van het slaagpercentage te merken in dat jaar.
• 2020 is het jaar dat half in corona plaatsvond, en daar heb ik deels de lesopnames uit 2019 herbruikt. Dit was het begin van de corona-pandemie, en alles moest snel-snel gaan. Als vice-decaan was ik toen ook verantwoordelijk voor het uittekenen van het corona-beleid van de faculteit, dus ik prees me gelukkig dat ik reeds over lesopnames beschikte.
  
• 2021 is het jaar waarin dit vak volledig online (maar wel live) werd gegeven, via de ingebouwde tools van KU Leuven in het elektronische leerplatform. De opnames van deze sessies werden nadien ter beschikking gesteld. Het slaagpercentage toont daar een dip in vergelijking met de jaren vóór en nadien.
  
• In 2022 zijn alle lessen terug in auditorium gegeven, met inbegrip van streaming en lesopnames nadien ter beschikking stellen, maar dus ook met het invoeren van formatieve feedback ipv formatieve feedback op opdrachten gedurende het semester.
• Van 2014 tot 2022 is het aantal studenten ongeveer met 50% toegenomen (2022: 185 ingeschreven studenten, 153 examendeelnames).
  

Heeft formatieve feedback een gunstig effect?

Hiervoor laat ik volgende slide zien uit mijn collectief feedback document:

Studenten die dus één of meerdere milestones hebben ingediend (er waren 15 milestones verspreid over het hele semester) scoren dus beduidend beter, zowel qua slaagpercentage, als qua gemiddelde score op het examen.

Of dit nu correlatie is ('de betere studenten zijn ook diegenen die milestones hebben ingediend') dan wel causaliteit ('het actief indienen van milestons leidt tot een betere beheersing van de inhoud van het vak') zal hopelijk blijken uit een afrondende bevraging die volgende week aan de studenten wordt toegestuurd.

Alleszins bemoedigende resultaten!

Feedback in plaats van quotering (5)

Vandaag is er examen van een vak dat ik doceer in 1ste bachelor informatica, "Gegevensstructuren en Algoritmen". Dit is ook het vak waar ik dit jaar gequoteerde opdrachten heb vervangen door een reeks "milestones", en waar studenten vrij snel binnen enkele dagen meer persoonlijke feedback op krijgen (maar dus geen quotering meer). Alle punten voor het vak zijn te verdienen met het examen. Zie ook eerdere blogposts in deze reeks voor een meer uitvoerige uitleg.

Eerder berichtte ik over het deelnamepercentage bij de eerste reeks milestones. Het volledig deelname-aantal (185 studenten ingeschreven voor vak) voor alle milestones dit semester is als volgt:

Een eerste reeks ging over de analyse van sorteeralgoritme. Er waren enkele milestones die ontsloten konden worden, maar die heeft niemand ingediend.

• Milestone 1.1 Selection Sort: 43 ingediende oplossingen
  
• Milestone 1.2 Insertion Sort: 36 ingediende oplossingen
  
• Milestone 1.3 Merge Sort: 28 ingediende oplossingen
  
• Milestone 1.4 Quick Sort: 25 ingediende oplossingen
  
• Milestone 1.5 Breng alles samen: 14 ingediende oplossingen

Een tweede reeks ging voornamelijk over prioriteitsrijen. Afgaande op reeks 1 waren er nu geen "te ontsluiten" milestones, en werd er duidelijker aangegeven dat milestone 2.1 de belangrijkste was, en de daaropvolgende (die stap voor stap naar een grotere oefening leiden) eerder het uitwerken van een toepassing was.

• Milestone 2.1 Analyseren Heap: 24 ingediende oplossingen
• Milestone 2.2 (onderdeel van een grotere oefening): 11 ingediende oplossingen
• Milestone 2.3 (onderdeel van een grotere oefening): 8 ingediende oplossingen
• Milestone 2.4 (onderdeel van een grotere oefening): 7 ingediende oplossingen
• Milestone 2.5 (onderdeel van een grotere oefening): 4 ingediende oplossingen

Een derde reeks gaf enkele oefeningen i.v.m. dynamisch programmeren, in oplopende moeilijkheidsgraad. De instructies gaven aan dat minstens 1 oefening bekijken toch wel extra inzichten zou geven, maar dat men ze neit allemaal hoefde te maken om dat inzicht te verwerven.

• Milestone 3.1 Fibonacci: 15 ingediende oplossingen
• Milestone 3.2 Dobbelstenen: 7 ingediende oplossingen
• Milestone 3.3 Eiland: 8 ingediende oplossingen
• Milestone 3.4 Doolhof: 3 ingediende oplossingen
• Milestone 3.5 pad zoeken: 2 ingediende oplossingen

In totaal hebben 48 unieke studenten één of meerdere milestones ingediend, en 1 student heeft alles ingediend (behalve de 'te ontsluiten'' milsestones in reeks 1).

Er komt alleszins na de examenperiode nog een bevraging bij studenten (in samenwerking met de onderwijsdiensten van de faculteit) hoe ze één en ander ervaren hebben, maar ook zal ik zelf een analsye maken na het examen om na te gaan of er correlatie tussen cijfers op het examen en al dan niet deelname aan de milestones. Het zou me verwonderen indien dat niet zo zou zijn, ook al omdat deelname natuurlijk zelf-selectie is en vermoedelijk de "betere" studenten deelgenomen hebben.

Maar de deelnamecijfers zoals hierboven gegeven zijn uiteraard zeer laag, zeker bij reeks 3 die tegen het einde van het semester viel. Sommigen zullen zeggen "Tja, dat was te voorspellen! Hoe naïef kan je zijn?" Maar alleszins zet ik hier minstens volgend jaar nog mee door. Afhankelijk van de resultaten van de bevraging zullen we uiteraard wel bijsturen, en vermoedelijk nóg beter briefen over het hoe en waarom.

Anderzijds ben ik wel van mening dat het de verantwoordelijkheid is van studenten om zich in te schrijven in een leerproces. Indien men daar - om welke reden dan ook - niet aan wenst deel te nemen, so be it. Uiteindelijk verplichten we studenten ook niet om naar lessen of oefenzittingen te komen, dus waarom zouden we ze dan semi-verplichten aan opdrachten deel te nemen door er enkele punten voor de eindquotering aan te verbinden? Er is hierbij natuurlijk een belangrijke randvoorwaarde, namelijk dat de doelstellingen van het vak wel degelijk volledig worden afgetoetst op het examen. Maar dat is wél degelijk het geval, ook al omdat ik dit jaar enkele andere type oefeningen in het examen heb gebracht die voordien eerder getoetst zouden worden via gequoteerde opdrachten.

Afwachten dus wat de verdere analyse brengt.

Feedback in plaats van quotering (4)

Mijn experiment om gequoteerde opdrachten te vervangen door opdrachten met snellere feedback (maar dan zonder quotering) loopt nog steeds. We zitten in een 2de opdracht met nieuwe milestones, en het deelnamepercentage ligt voorlopig lager dan bij de eerste reeks milestones, maar goed, alles loopt nog. Ondertussen werk ik aan een derde en laatste reeks milestones, die de studenten binnenkort ter beschikking krijgen.

De laatste weken heb ik wat meer informele feedback van studenten gekregen:

• Een student vertelde me dat hij niet alle milestones had ingediend, maar ze wel maakte. Hij vond het beter en rustiger zo, en kon daardoor zich meer richten op verwerking van de leerstof. Hij diende niet altijd in, omdat hij wist dat hij de leerstof onder de knie had.
  
• Een andere student - die het bewuste vak een tweede keer opneemt - vertelde me dat het aangenamer werken was. Minder druk.
• Nog een andere student vertelde me dat hij de milestones niet op tijd kon indienen, maar dat niet erg vond. Hij kong steeds bezig zijn met de opdrachten zonder een schuldgevoel te hebben.

Alhoewel deze getuigenissen natuurlijk anekdotisch zijn, geven ze me wel een bevestiging van het gehele opzet: studenten op een aangenamere en betere manier laten omgaan met de leerstof.

De laatste weken ben ik ook wat relaxer geworden over al dan niet deelname. Uiteindelijk hebben studenten ook de vrije keuze om al dan niet de lessen te volgen, of de oefenzittingen mee te volgen e.d. Waarom dan niet de opdrachten aanbieden, maar het open laten of je er aan wil deelnemen of niet? Zoalng de bedoelingen duidelijk gejaderd zijn, en wat men er al dan niet mee kan leren in functie van het finale examan, is het een volwassener manier om een goed leerproces op te zetten.

Feedback in plaats van quotering (3)

Eerder beschreef ik de aanpak die ik dit semester hanteer voor de praktische opdrachten in een 1ste bachelorvak met 185 studenten, door af te stappen van quoteringen en meer in te zetten op directe en individuele feedback. Zie o.a. hier en hier. 

De eerste opdracht is ondertussen afgelopen. Het opzet is om een bevraging te houden bij studenten op het einde van dit semester (de tweede opdracht loopt op dit ogenblik, en normaliter volgt er nog een derde), maar toch reeds enkele ervaringen:

• De opdracht bestond uit 5 kleine milestones, elk individueel in te dienen, met 3 milestones die konden ontsloten worden als een eerdere milestone tot een goed einde werde gebracht. De 5 milestones waren samen de volledige opdracht zoals we die vorig jaar nog vroegen aan studenten, maar nu konden studenten dus deelopdrachten indienen, waarop dan binnen enkele dagen feedback kwam.
  Voor de specialisten: De 4 milestones vroegen telkens om het aantal vergelijkingen tussen elementen na te gaan in een sorteeralgoritme, (respectievelijk Selection Sort, Insertion Sort, Merge Sort en Quick Sort), en te toetsen aan de theoretische modellen zoals behandeld in de les en oefenzittingen. De vijfde milestone vroeg om alle grafieken samen te brengen. Telkens gaven we ook aan dat er maximaal 1A4 mocht ingediend worden. De 3 "geavanceerde" milestones gingen verder in op meer speciale analyses voor specifieke situaties van sorteeralgoritmen.
  In totaal werden 3 weken voorzien gedurende dewelke studenten oplossingen konden indienen. Gedurende de daaropvolgende week organiseerden we een collectieve feedbacksessie, die dus kwam bovenop de individuele feedback.
  
• Hoeveel studenten dienden in? Aanvankelijk kwam één en ander traag op gang, maar naarmate de finale deadline in zicht kwam stroomden er meer inzendingen binnen. Vooral het laatste weekend zag plots een sterke toename.
  Op 185 studenten:
• Milestone 1.1 Selection Sort: 43 ingediende oplossingen (23%)
  
• Milestone 1.2 Insertion Sort: 36 ingediende oplossingen (19%)
  
• Milestone 1.3 Merge Sort: 28 ingediende oplossingen (15%)
  
• Milestone 1.4 Quick Sort: 25 ingediende oplossingen (14%)
  
• Milestone 1.5 Breng alles samen: 14 ingediende oplossingen (8%)
  
• Geavanceerde milestones: geen inzendingen.
• Ter vergelijking: vorig academiejaar (dus met quotering) dienden 68% studenten de opdracht in.
  In zekere zin hadden we een terugval natuurlijk verwacht. Ook hadden we aangegeven dat indienen niet verplicht was, dat je kon samenwerken (en dus maar 1 indiening had), etc. Ondanks dat, denk ik dat de % toch wat te laag zijn, en dat we moeten streven naar 25%, zeker omdat 1.2 en 1.4 de belangrijkste inzichten opleverden voor studenten. We hebben dit alleszins meegenomen naar de 2de opdracht en daar de diverse milestones wat beter gekaderd wat betreft relatieve belangrijkheid.
  
• De individuele feedback per milestone werd steeds gegeven binnen enkele dagen, en de idee was dat studenten de feedback konden meenemen naar een volgende milestone. De feedback had als bedoeling de student meer inzicht te geven in wat goed was, eventueel slecht was, wat beter kon, e.d. In functie daarvan werd een score van 2 (alles in orde), 1 (verbeteringen mogelijk), of 0 (je hebt de bal misgeslagen) gegeven. Eventueel konden studenten een nieuwe oplossing indienen, maar dit werd slechts in beperkte mate gedaan. Op zich is dit ook niet erg, zolang een student leert uit de feedback.
  Er waren ook enkele studenten die *alle* milestones in gelijktijdig indienden. Op zich ok, maar dat beperkt natuurlijk het leerproces dat een student kan doormaken. Echter, dit is een keuze van de student.
  
• De assistenten die de rapportjes doornamen, verzamelden ook "goede" en "minder goede" antwoorden (grafiekjes, stukken tekst, ...) die we samenbrachten in een slideset voor de collectieve feedbacksessie. De collectieve sessie werd dan opgevat als een discussiesessie, waarbij we vroegen aan studenten wat ze goed of slecht vonden aan een getoonde indiening. Ook gingen we wat dieper in op de geavanceerde milestones en wat daar goede of minder goede antwoorden hadden kunnen zijn. 

Het is nog te vroeg om harde conclusies te trekken (het vak loopt nog ...), maar onze eerste ervaringen en informele commentaar van studenten is alleszins positief. Een student zei me dat dit systeem minder stress gaf en meer vrijheid om te focussen op het begrijpen van de inhoud - wat natuurlijk deels de bedoeling was.

Het is uiteraard nog af te wachten wat de effecten zullen zijn op de finale quotering in juni, en wat de correlatie is tussen al dan niet meedoen met de milestones en het behaalde resultaat. Ter info, hieronder is de correlatie van vorig academiejaar tussen de punten behaald op de opdrachten (toen alles nog gequoteerd werd), en de punten behaald op het examen zonder verdere verekening van de opdrachten voor een finale score op het vak.