"Zeg ons wat we moeten doen ... "

De laatste jaren zoniet decennia zijn de opdrachten en werkjes allerhande die gedurende het reguliere semester aan studenten worden opgegeven schijnbaar enkel maar toegenomen. Het aandeel van "permanente evaluatie" bij het beoordelen van studenten is gestaag toegenomen. Enerzijds lijkt dit goed: waarom immers alles laten afhangen van een enkel examen op het einde? Anderzijds leidt dit tot wat ik onder collega's  wel eens de "werkjes-diarree" noem, een niet-aflatende stroom van micro-taakjes die studenten moeten maken, vaak in wisselende groepjes (met alle logistieke nachtmerries vandien), en die elk op wat puntjes staan. Het is één van de redenen waarom ik me gaan verdiepen ben in de aanpak van feedback en ungrading, in plaats van telkens maar te quoteren. Ik denk oprecht dat dit tot een beter onderwijs leidt.

Het nieuw soort opdrachten die ik geef aan studenten zijn niet gericht op het snel kunnen afvinken van een lijstje, om zo tot een punt te komen. Het zijn eerder open opdrachten, die vragen om te experimenteren met een bepaald algoritme, een bewijs te construeren, een inzicht te tonen. Maar uit de exitbevragingen bij mijn aanpak blijkt ook dat sommige studenten zich hierbij onzeker voelen. Ze zijn zo gewoon geworden aan opdrachten die precies zeggen wat ze wel en niet moeten doen, dat een "open" opdracht voor twijfels zorgt. Een student schreef zelf: "Zeg ons wat we moeten doen!"

Dit verbaasde me. Ik zou net denken dat de vrijheid die je geeft aan studenten door als docent enkel met feedback en niet met quoteringen te werken, letterlijk bevrijdend kan werken. Ik begrijp wel dat studenten een houvast willen, vooral inzake grootte en omvang van een opdracht en hoeveel uur ze eraan mogen of kunnen besteden. Maar hen letterlijk voorkauwen wat ik van hen verwacht? Dat lijkt me toch geen goed universitair onderwijs?

Een concreet voorbeeld: In één van mijn vakken over algoritmen vraag ik aan studenten om een bepaald algoritme uit te voeren op een aantal willekeurige inputs, en de waargenomen tijdscomplexiteit te vergelijken met het theoretisch model zoals gezien in de hoorcolleges. Komen beiden overeen? Waarom wel? Waarom niet?

Er zitten natuurlijk enkele inzichten verborgen in dergelijke opdracht, die studenten slechts zullen oppikken als ze effectief de opdracht uitvoeren. Eentje daarvan is te ontdekken welke type grafiek je best gebruikt om je resultaten te plotten. Voor een aantal oefeningen blijken logaritmische grafieken het betere inzicht te verschaffen. Sommigen studenten zien dat in, en voor hen is dat dan een "aha!"-moment, een sterke leerervaring. Studenten die de opdracht indienen met een lineaire grafiek, krijgen als feedback " ... probeer eens een logaritmische grafiek. Leidt dit tot een betere interpretatie van de resultaten?"  Alsnog leidt dit tot een sterkere leerervaring.

Maar sommige studenten vroegen we waarom ik niet dadelijk zei dat een logaritmische grafiek beter was. Dat bespaarde immers tijd. Echter, de leerervaring door zelf iets te ontdekken is dan weg. De vrijheid die ik aan studenten geef om zelf te beslissen en in te zien wat het betere werkinstrument is, gaat verloren als ik op voorhand zeg welk instrument ze best gebruiken. Ik zeg er dan vaak bij dat voor mij een opdracht geen afvinklijstje is, maar wel als bedoeling heeft om zelf iets te ontdekken, om zelf iets te leren. Voor sommigen zal dit wat sneller of trager gaan. Maar de bedoeling kan alleszins niet zijn machinaal iets uit te voeren wat de prof vraagt, en dan denken dat we met z'n allen goed bezig zijn.

De waarde van een goed handboek

De laatste weken heb ik me ingewerkt in de nieuwe elektronische leeromgeving van de KU Leuven. Toledo Ultra wordt de opvolger van TOLEDO Original. En alhoewel een gedeeltelijke automatische omzetting van alle cursusmateriaal van de oude naar de nieuwe omgeving ondersteund wordt, is er toch nog veel manueel werk nodig. Maar goed, het is altijd nuttig om je online leermateriaal eens van scratch te herbekijken voor alle vakken (OPO's - of Opleidingsonderdelen - in het jargon). Kan nooit kwaad.

Echter, ik tracht nooit té ver te gaan in het ontwerpen van een online cursus voor studenten. Misschien ben ik old-school, maar ik ben nog steeds van mening dat het gebruik van een goed handboek op lange termijn nog steeds de beste investering is. Of dat handboek in fysieke of digitale vorm beschikbaar is, is een andere discussie. Mij gaat het vooral over het georganiseerd bundelen van cursusmateriaal.

Immers, de huidige elektronische leeromgevingen duwen je in zekere zin om je leermateriaal te balkaniseren in kleine stukjes. Het hele vak wordt opgedeeld in leermodules, binnen elke module kan je stukjes tekst, filmpjes, testjes, discussies ... opzetten, die studenten al dan niet in een opgelegde volgorde moeten bekijken. Het kan misschien wel goed zijn voor het leerproces van een student die voor de eerste maal zich door het leermateriaal worstelt, maar het fragmenteert alle materiaal dat samen de inhoud van het vak vormt.

Wat gebeurt er immers nádat een student het vak heeft afgerond? Heeft men nog toegang tot het materiaal? Vaak niet meer, vermits binnen de elektronische leeromgeving enkel studenten toegang hebben die dat academiejaar zijn ingeschreven voor een bewust vak. Heeft men dan een archief gemaakt van alle leermateriaal? Dat zou je misschien  verwachten, maar dat komt dan neer op een hoop pdf-documentjes, wat screenshots, en hoe maak je back-up van gelinkt materiaal zoals filmpjes? Technisch kan het uiteraard allemaal wel, maar het is een hoop gedoe. Bovendien is al dat materiaal dan vaak ongeorganiseerd. De structuur werd immers bepaald door de leeromggeving, maar die valt weg. Een index heb je dan al helemaal niet. Kortom, vanuit praktisch oogpunt ben je je leermateriaal vaak kwijt.

Vandaar dat een goed uitgegeven handboek zo nuttig is. Je kan er jaren nadien nog steeds dingen in opzoeken of herlezen, onafhankelijk van om het even welke leeromgeving waarin je een ooit een vak hebt gevolgd.

Verder inzetten op "ungrading" ...

De afgelopen 2 jaar heb ik volop de kaart getrokken van "ungrading" voor opdrachten die studenten maken gedurende het semester. Er worden geen quoteringen meer gegeven op ingediend werk, maar wel individuele feedback. Dit leidt tot een sterker leerproces en een duidelijk effect op de eindbeoordeling van het examen, tenminste voor die studenten die de opdrachten ook effectief indienen (zie ook mjn vorige blogposts voor meer gedetailleerde analyses).

Ik zal hier niet opnieuw ingaan op alle beoogde positieve effecten en negatieve neveneffecten (daarvoor moet je mijn vorige blogposts er maar op naslaan), maar wel even toelichten welke lessen ik getrokken heb en hoe ik komend academiejaar één en ander zal aanpakken.

1. Opdrachten klein en atomair houden.
   Een traditionele opdracht of project (die ook gequoteerd wordt) heeft vaak een grotere omvang. Studenten stellen de hoeveelheid werk (en de zin of onzin van dergelijke opdracht) vaak niet in vraag, want "er zijn punten mee te verdienen!" Als men een ungrading aanpak gebruikt (en de facto het optioneel laat om een opdracht in te dienen), moet je studenten kunnen aanmoedigen, of minstens niet ontmoedigen, om een opdracht aan te vatten. Dat betekent dat kleinere opdrachten, waarbij studenten een duidelijk eindpunt kunnen zien, beter zijn dan grotere projecten. Opdrachten die daarom op een enkele avond of maximaal een uurtje of een paar uurtjes kunnen afgerond worden verdienen de voorkeur.
2. Opdrachten na elke les beschikbaar maken
   Aanvankelijk maakte ik opdrachten beschikbaar in grote blokken, maar het is beter na elk hoorcollege een opdracht beschikbaar te maken indien die reeds kan gemaakt worden door studenten. Dit geeft uiteraard een betere spreiding in de tijd, en kan studenten meer motiveren om een opdracht aan te vatten.
3. Aangeven van relevantie
   Als docent moet je duidelijk aangeven wat de relevantie van een opdracht is m.b.t. het finale examen. Welke inzichten kan je verwerven? Welke vaardigheden? Bij welke onderdelen van de theorie sluit de opdracht aan? Wat zijn mogelijke examenvragen die aansluiten bij deze opdracht? Opnieuw heeft dit te maken met de motivatie van studenten om een opdracht aan te vatten.
   
4. Complementariteit
   Qua inhoud moeten opdrachten complementair zijn aan de andere leeractiviteiten van een vak. Het heeft weinig zin om studenten iets te laten maken dat sterk overlapt of redundant is met theorie uit het hoorcollege of oefeningen uit oefenzittingen. "More of the same" is geen goede aanpak. Opdrachten moeten bij voorkeur een aha!-moment bevatten, iets wat een student kan opsteken en dat *niet* wordt afgedekt door theorie of andere activiteiten die men reeds uitgevoerd heeft.
5. Niet wakker liggen van deelnamepercentage
   We moeten er niet flauw over doen: als iets niet gequoteerd wordt, zullen (veel) minder studenten een opdracht ook maken. Echter, ik zie het niet als mijn taak om studenten telkens te motiveren om iets te verrichten. Studenten zijn volwassen mensen en zelf verantwoordelijk voor hun leerproces, en een goed student geeft elk vak de nodige aandacht. Uiteindelijk verplichten we studenten ook niet om naar lessen of oefenzittingen te komen, waarom zou ik hen dan verplichten om opdrachten uit te voeren? Hier is wel een belangrijke randvoorwaarde, namelijk dat de doelstellingen van een vak dan wel volledig kunnen afgedekt worden via een finaal examen.

Feedback ipv Quotering (11)

Het afgelopen semester van academiejaar 2022-2023 was het tweede jaar dat ik voor een vak dat nominaal in 1ste bachelor informatica gegeven wordt ("Gegevensstructuren & Algoritmen") mijn "ungrading" aanpak voor opdrachten (milestones) gedurende het jaar gebruikt heb. Op basis van ervaring opgedaan bij vorige vakken was ik uiteraard benieuwd naar het effect, ook al omdat ik een aantal bijsturingen had doorgevoerd in de praktische aanpak.

Misschien nog even kort de effecten op slaagpercentages bij vorige vakken:

• Gegevensstructuren en Algoritmen, 2021-2022
• Studenten die GEEN milestones hebben ingediend: slaagpercentage 60.19%; gemiddelde  10.06/20
• Studenten die minstens 1 milestone ingediend: slaagpercentage 86.67%; gemiddelde 13.80 / 20
• Toepassingen van Meetkunde voor de Informatica, 3de bach Informatica 2022-2023
• Studenten die GEEN milestones hebben ingediend: slaagpercentage 75%; gemiddelde  11.96 / 20
• Studenten die minstens 1 milestone ingediend: slaagpercentage 100%; gemiddelde 14.60 /20
• Ontwerp van Algoritmen, 1ste Master Computerwetenschappen 2022-2023
• Studenten die GEEN milestones hebben ingediend: slaagpercentage 71.43%; gemiddelde  11.66/20
• Studenten die minstens 1 milestone ingediend: slaagpercentage 88.24%; gemiddelde 12.88 / 20 

Algemeen kon ik stellen dat er significant verschil was in de bachelorvakken tussen studenten die wel de milestones deels hadden ingediend (en daar dus individuele feedback op ontvingen) vs studenten die dat niet gedaan hadden.

Voor het afgelopen semester zijn de cijfers als volgt:

• Gegevensstructuren en Algoritmen, 2022-2023
• Studenten die GEEN milestones hebben ingediend: slaagpercentage 33.66%; gemiddelde  7.60 / 20 (opmerking: slaagpercentage zonder telling van blanco ingediende examens 38.6%)
  
• Studenten die minstens 1 milestone ingediend: slaagpercentage 64.58%; gemiddelde 11.13 / 20 (opmerking: slaagpercentage zonder telling van blanco ingediende examens 66.0%)

De verschillen tussen beide groepen blijven dus zeker groot, ruweg een verschil van 3.5 punt op 20 en slaagpercentage verschil > 25%, gelijkaardige trend als vorig jaar voor hetzelfde vak.

Wat wel opvalt is het globaal lagere slaagcijfer, en de globaal lagere gemiddelde score. Of dit iets te maken heeft met de ungrading aanpak is een andere discussie, maar ik vermoed het niet. Andere vakken van collega's voor dezelfde studentengroep geven eveneens een lager slaagcijfer in vergelijking met vorig academiejaar.