donderdag 14 september 2023

Mijn evolutie als docent, en hoe geven we goed les?

Over iets meer dan een week start het nieuwe academiejaar. De voorbereidingen voor vakken en bijhorende lessen draaien weer op volle toeren. In het hoger onderwijs hebben we als docent een vrij grote vrijheid om zowel de inhoud als de aanpak onze vakken zelf vorm te geven. Nét daarom is het nuttig om regelmatig eens stil te staan bij de aanpak die men gebruikt.

Als ik kijk naar mijn eigen onderwijsaanpak, zie ik toch wel merkelijke evoluties gedurende de meer dan 20 jaar dat ik ondertussen professor ben:

  1. Als jong beginnend docent was ik voornamelijk bekommerd over de inhoud - en dan vooral de hoeveelheid pure kennis - die werd aangebracht. Het is een fase waar je vaak ook nog zelf sterk actief bent in wetenschappelijk onderzoek, en het is daarom niet verwonderlijk dat je zoveel mogelijk recente wetenschappelijke inzichten ook wil delen met studenten. Het is een aanpak die ik nu ook herken bij jonge collega's. Vakken worden soms té volgepropt, waardoor een vak een hoog "show-and-tell" gehalte krijgt. "Kijk eens wat we allemaal kunnen!" Maar dit leidt niet altijd tot inzicht bij studenten. De lessen zijn vaak wel "cool", maar hebben te weinig diepgang. Studenten vertellen ná, maar begrijpen niet altijd waar het in essentie over gaat.
  2. In een latere fase werd ik meer bekommerd om de werkvormen. Vroeg of laat begin je immers na te denken of je manier van onderwijs geven wel de best mogelijke is. Als docent begon ik me dan ook meer te interesseren voor de manier waarop er werd les gegeven, de organisatie en aanpak van oefenzittingen, van projectmatige vakken, ... M.a.w., je wordt meer bekommerd over hoe studenten je onderwijs ervaren dan wel over de fantastische inhoud die je met hen wil delen. Je inlezen in diverse onderwijsmethodologieën, maar ook eens kijken naar hoe andere instellingen één en ander op poten zetten, hoort er dan onvermijdelijk bij.
  3. In een verdere fase begon ik na te denken over waarom we hoger onderwijs geven. Wat willen we precies bereiken? Enkel maar kennis en vaardigheden overbrengen, of ook vooral een manier van denken en inzicht geven aan studenten? Het éne kan natuurlijk niet zonder het ander, maar het kan wel de focus verleggen. Door een selectie te maken in de kennis, kan je meer tijd besteden om dieper te gaan in de kennis die je wel behandelt. Is het belangrijker dat een student wel eens oppervlakkig hoort van tien topics, dan wel slechts van drie, maar de verworven inzichten zelf kan exporteren naar nieuwe topics die men zal ontmoeten in latere jaren? M.a.w., hoe brengen we kritisch denken over, en op welke manier?

Ik vermoed dat velen die het onderwijs genegen zijn wel een gelijkaardige evolutie hebben doorgemaakt doorheen hun carrière, dus misschien vertel ik hier niet zoveel nieuws.

Maar vroeg of laat moet je één en ander wel vertalen in een specifieke praktische aanpak in een les of hoorcollege. Die omslag wordt vaak té weinig aangebracht bij workshops of opleidingen allerhande over goed (hoger) onderwijs. Kaders om na te denken over je onderwijs zijn uiteraard goed, maar hoe vertaalt zich dat in praktische tips en tricks, de "truken van de foor", om een contactmoment zo boeiend mogelijk te maken? Je kan best "mee" zijn met na te denken over goed onderwijs, maar dat maakt je nog geen bevlogen of enthousiasmerend docent.

Doorheen de jaren heb ik hier met vallen opstaan wel wat ervaring in opgebouwd. Dus waar probeer ik op te letten bij het voorbereiden en ontwerpen van een hoorcollege? Een niet-exclusief lijstje ...

Afwisseling in vorm en inhoud 

Het cliché van een universiteitsles als een 2 uur durende monoloog moet je absoluut trachten te vermijden. Een manier om dat te doen is om regelmatig af te wisselen van aard van de inhoud, maar ook van vorm waarin die inhoud gebracht wordt. Las na een sterk wiskundig bewijs een historische anekdote in. Vertel over een toepassing als je het eerder had over theorie. Op die manier kan je studenten met diverse interesses telkens bereiken. Niet alles is uiteraard voor iedereen interessant, maar hopelijk vind elke student wel iets dat hem of haar onmiddellijk aanspreekt. Dit geldt tevens voor de werkvorm zelf: slides afwisselen met filmpjes, afwisselen met een live demo, afwisselen met een uitwerking op bord ... Die voortdurende afwisseling zorgt ook voor kleine disrupties en houdt iedereen wakker, en bij de les ;-) !

Dit idee van voortdurende afwisseling wordt ook mooi verwoord door één van mijn wetenschappelijke helden, Richard Feynman:


Elke les heeft een goed afgelijnd topic

Stel dat je vak 11 lessen van telkens 2 uur telt (een typisch aantal voor een vak in 1 semester van 13 weken aan mijn universiteit).

Elk van die 11 lessen moet idealiter op zichzelf staand zijn. Uiteraard is er opbouw over de lessen heen en doorheen het vak, maar een les begint met een vraagstuk, een probleemstelling, "Wat gaan we vandaag behandelen?". Je bouwt gedurende die 2 uur dan verder de inhoud op, zodat je 120 minuten later landt bij een mooi afgelijnd eindpunt. Geen losse eindjes, geen "ik heb hier nog 10 minuutjes nodig volgende les om dit of dat af te maken ... ". Een student moet het auditorium verlaten met de idee dat het specifieke topic is afgehandeld, niet dat het slechts een deeltje was van een lange diarreelijn zonder begin of einde.

Dit impliceert natuurlijk dat je je vak in 11 duidelijke brokken onderverdeelt, en die hoeven niet altijd mooi de volgorde van het handboek te volgen. Wel moeten ze een mooi logisch en samenhangend geheel vormen.

Zelf houd ik hier zeer sterk aan. Mijn lessen zijn zo goed mogelijk op zichzelf staand binnen de context van het vak. Ik begin elke les met het grotere verhaal te herhalen: "Wat hebben we in de vorige lessen behandeld? Waar willen we naartoe? Hoe hangt alles tot nu toe samen? En op welk deel gaan we vandaag inzoomen?" Die verbanden leggen vind ik zeer belangrijk, het geeft de studenten ook de kapstokken om de individuele puzzelstukken samen te leggen tot een grotere puzzel. En elke les vormt precies 1 puzzelstuk ;-)

Daag studenten uit

Voor mij moet goed universitair onderwijs studenten leren nadenken, en hen in aanraking doen komen met kennis en inhoud die ze nooit eerder gezien hebben, of anders nooit op eigen houtje zouden ontdekken. Het is allemaal leuk om kant-en-klare vaardigheden aan te leren die direct inzetbaar zijn op de arbeidsmarkt, maar daar heeft elk van ons nadien nog 45 jaar de tijd voor. Laten we de kostbare tijd aan de universiteit daar dus niet al te veel aan verknoeien.

Dat klinkt allemaal goed, maar hoe doe je dat, "studenten kritisch leren nadenken"? Ik moet toegeven dat ik dit nog steeds één van de moeilijkste uitdagingen als lesgever vind.

Een aanpak die ik tracht te volgen is studenten uit te dagen door hen vragen die discussie uitlokken voor te schotelen. Ze beseffen het misschien niet altijd, maar door hen een goed gekozen vraag te stellen, en dan de discussie te starten, kan je één en ander in beweging krijgen. Niet alle studenten voelen zich altijd comfortabel om mee de discussie te voeren, maar de stille aanwezigen pikken wel dingen op door actief te luisteren.

"Wat zijn de belangrijkste technologische uitvindingen van de 20ste eeuw?", "Wat maakt een computer anders dan andere machines?", "Wat zijn voor jou de belangrijkste eigenschappen van een algoritme?", "Waarom zijn recursieve algoritmen vaak een goed idee?", "Waarom stellen we een 3D object vaak voor een verzameling van geconnecteerde veelhoeken?" Elk van deze vragen zijn schijnbaar triviaal, maar hebben meerdere lagen, zonder een duidelijk goed-of-fout antwoord. In de exacte (beta-)wetenschappen wordt dit naar mijn aanvoelen té weinig gedaan, omdat men ook als docent vaak de reactie heeft dat er niet te discusiëren valt over een wiskundig bewijs of de correctheid van een computeralgoritme. Die correctheid is er, en niet onderhevig aan subjectieve argumenten. Maar je kan natuurlijk wel discussiëren over perifere aspecten, zoals of een bewijs veralgemeenbaar is, of de diepere betekenis en gevolgen ervan, of waarom we dit nu überhaupt behandelen, of zelfs over de esthetische ervaring van het algoritme dat we net gezien hebben ...

Eén en ander wordt mooi geïllustreerd in de film "Mona Lisa Smile", waarin Julia Roberts de rol van universiteitsdocente speelt. Na haar eerste les merkt ze dat studenten weinig zullen opsteken als ze zich netjes aan de syllabus houdt. Dus beslist ze de volgende les op een andere manier te starten ...


Vragen, vragen, vragen, ...

Eerder had ik het al over het cliché van de 2 uur durende monoloog. En ik hoop oprecht dat dergelijke manier van lesgeven tot het verleden behoort, of toch niet al te vaak meer voorkomt. Een goede les vraagt interactie, en dat betekent niet enkel discussies zoals hierboven uitgelegd, maar ook dat je als docent ruimte laat voor vragen vanwege studenten.

In de Vlaamse context voelen studenten vaak enige schroom om spontaan vragen te stellen. Misschien dat onze volksaard daar voor iets tussen zit? Als docent moet je dus wel studenten een comfortabel gevoel geven, zodat ze die schroom overwinnen.

In een ver verleden gebruikte ik een gimmick om vragen uit te lokken. Een student die een vraag stelde kreeg een Chokotoff. Dat bracht een ludiek elementje in de les, en af en toe ambiance als ik een snoepje doorheen de zaal wierp naar de laatste banken. Af en toe krijg ik nog steeds positieve reacties van voormalige studenten hierop, maar ik ben ermee gestopt omdat ik van sommige studenten ook negatieve reacties kreeg omdat ze het denigrerend vonden.

Een tiental jaar geleden ben ik uitvoerig beginnen werken met een online poll-systeem. Het laat toe om alle studenten op een eenvoudige manier te betrekken bij een vraag. Iedereen stemt op één van de mogelijke antwoorden al dan niet met discussie vooraf, dan toon je de antwoorden, je laat hen onderling opnieuw wat roezemoezend discussiëren, eventueel opnieuw stemmen; of je pikt er een aantal studenten uit om hun antwoord uit te leggen. Als je het goed aanpakt, verlaag je de drempel om vragen te stellen aanzienlijk, zodat je pakweg na 4 of 5 lessen het poll-systeem achterwege kan laten en de vragen spontaan komen.

Maar alleszins een gouden regel bij het beantwoorden van vragen: behandel elke vraag op een ernstige manier. Als professor is het zeer eenvoudig om een student belachelijk te maken bij het beantwoorden van een in jouw opzicht trviale vraag. Maar elke vraag heeft zin, en door op elke vraag - hoe onnozel ook - op een ernstige manier in te gaan, verlaag je ook de drempel voor volgende studenten, "Aha, we mogen dus vragen stellen! En de prof neemt ze zelfs au sérieux!" Een kwinkslag en grapje moet uiteraard kunnen, maar mag er nooit toe leiden dat de student zich aangepakt voelt. De andere studenten voelen dit immers ook, en op die manier creëer je een weinig responsieve sfeer in het auditorium.

Volgend clipje, uit "The Oxford Murders", en waarbij John Hurt als professor Elijah Wood als student van antwoord dient, vind ik sterk op het randje. Inhoudelijk als antwoord ok (wie kan er nu tegen Wittgenstein zijn?), maar qua stijl te vermijden. Maar het is film uiteraard, dus enige artistieke vrijheid speelt hier wel.

 

Tot besluit, als docent moet je je eigen onderwijsvormen voortdurend in vraag stellen, verbeteren, en evolueren doorheen de tijd. Wat goede praktijken waren 10, 20 of 50 jaar geleden zijn dat misschien niet meer vandaag. Onderwijsvormen passen zich ook aan de tijdsgeest en aan telkens nieuwe generaties. Elk jaar opnieuw werk aan de winkel dus!

dinsdag 29 augustus 2023

"Zeg ons wat we moeten doen ... "

De laatste jaren zoniet decennia zijn de opdrachten en werkjes allerhande die gedurende het reguliere semester aan studenten worden opgegeven schijnbaar enkel maar toegenomen. Het aandeel van "permanente evaluatie" bij het beoordelen van studenten is gestaag toegenomen. Enerzijds lijkt dit goed: waarom immers alles laten afhangen van een enkel examen op het einde? Anderzijds leidt dit tot wat ik onder collega's  wel eens de "werkjes-diarree" noem, een niet-aflatende stroom van micro-taakjes die studenten moeten maken, vaak in wisselende groepjes (met alle logistieke nachtmerries vandien), en die elk op wat puntjes staan. Het is één van de redenen waarom ik me gaan verdiepen ben in de aanpak van feedback en ungrading, in plaats van telkens maar te quoteren. Ik denk oprecht dat dit tot een beter onderwijs leidt.

Het nieuw soort opdrachten die ik geef aan studenten zijn niet gericht op het snel kunnen afvinken van een lijstje, om zo tot een punt te komen. Het zijn eerder open opdrachten, die vragen om te experimenteren met een bepaald algoritme, een bewijs te construeren, een inzicht te tonen. Maar uit de exitbevragingen bij mijn aanpak blijkt ook dat sommige studenten zich hierbij onzeker voelen. Ze zijn zo gewoon geworden aan opdrachten die precies zeggen wat ze wel en niet moeten doen, dat een "open" opdracht voor twijfels zorgt. Een student schreef zelf: "Zeg ons wat we moeten doen!"

Dit verbaasde me. Ik zou net denken dat de vrijheid die je geeft aan studenten door als docent enkel met feedback en niet met quoteringen te werken, letterlijk bevrijdend kan werken. Ik begrijp wel dat studenten een houvast willen, vooral inzake grootte en omvang van een opdracht en hoeveel uur ze eraan mogen of kunnen besteden. Maar hen letterlijk voorkauwen wat ik van hen verwacht? Dat lijkt me toch geen goed universitair onderwijs?

Een concreet voorbeeld: In één van mijn vakken over algoritmen vraag ik aan studenten om een bepaald algoritme uit te voeren op een aantal willekeurige inputs, en de waargenomen tijdscomplexiteit te vergelijken met het theoretisch model zoals gezien in de hoorcolleges. Komen beiden overeen? Waarom wel? Waarom niet?

Er zitten natuurlijk enkele inzichten verborgen in dergelijke opdracht, die studenten slechts zullen oppikken als ze effectief de opdracht uitvoeren. Eentje daarvan is te ontdekken welke type grafiek je best gebruikt om je resultaten te plotten. Voor een aantal oefeningen blijken logaritmische grafieken het betere inzicht te verschaffen. Sommigen studenten zien dat in, en voor hen is dat dan een "aha!"-moment, een sterke leerervaring. Studenten die de opdracht indienen met een lineaire grafiek, krijgen als feedback " ... probeer eens een logaritmische grafiek. Leidt dit tot een betere interpretatie van de resultaten?"  Alsnog leidt dit tot een sterkere leerervaring.

Maar sommige studenten vroegen we waarom ik niet dadelijk zei dat een logaritmische grafiek beter was. Dat bespaarde immers tijd. Echter, de leerervaring door zelf iets te ontdekken is dan weg. De vrijheid die ik aan studenten geef om zelf te beslissen en in te zien wat het betere werkinstrument is, gaat verloren als ik op voorhand zeg welk instrument ze best gebruiken. Ik zeg er dan vaak bij dat voor mij een opdracht geen afvinklijstje is, maar wel als bedoeling heeft om zelf iets te ontdekken, om zelf iets te leren. Voor sommigen zal dit wat sneller of trager gaan. Maar de bedoeling kan alleszins niet zijn machinaal iets uit te voeren wat de prof vraagt, en dan denken dat we met z'n allen goed bezig zijn.

woensdag 23 augustus 2023

De waarde van een goed handboek

De laatste weken heb ik me ingewerkt in de nieuwe elektronische leeromgeving van de KU Leuven. Toledo Ultra wordt de opvolger van TOLEDO Original. En alhoewel een gedeeltelijke automatische omzetting van alle cursusmateriaal van de oude naar de nieuwe omgeving ondersteund wordt, is er toch nog veel manueel werk nodig. Maar goed, het is altijd nuttig om je online leermateriaal eens van scratch te herbekijken voor alle vakken (OPO's - of Opleidingsonderdelen - in het jargon). Kan nooit kwaad.

Echter, ik tracht nooit té ver te gaan in het ontwerpen van een online cursus voor studenten. Misschien ben ik old-school, maar ik ben nog steeds van mening dat het gebruik van een goed handboek op lange termijn nog steeds de beste investering is. Of dat handboek in fysieke of digitale vorm beschikbaar is, is een andere discussie. Mij gaat het vooral over het georganiseerd bundelen van cursusmateriaal.

Immers, de huidige elektronische leeromgevingen duwen je in zekere zin om je leermateriaal te balkaniseren in kleine stukjes. Het hele vak wordt opgedeeld in leermodules, binnen elke module kan je stukjes tekst, filmpjes, testjes, discussies ... opzetten, die studenten al dan niet in een opgelegde volgorde moeten bekijken. Het kan misschien wel goed zijn voor het leerproces van een student die voor de eerste maal zich door het leermateriaal worstelt, maar het fragmenteert alle materiaal dat samen de inhoud van het vak vormt.

Wat gebeurt er immers nádat een student het vak heeft afgerond? Heeft men nog toegang tot het materiaal? Vaak niet meer, vermits binnen de elektronische leeromgeving enkel studenten toegang hebben die dat academiejaar zijn ingeschreven voor een bewust vak. Heeft men dan een archief gemaakt van alle leermateriaal? Dat zou je misschien  verwachten, maar dat komt dan neer op een hoop pdf-documentjes, wat screenshots, en hoe maak je back-up van gelinkt materiaal zoals filmpjes? Technisch kan het uiteraard allemaal wel, maar het is een hoop gedoe. Bovendien is al dat materiaal dan vaak ongeorganiseerd. De structuur werd immers bepaald door de leeromggeving, maar die valt weg. Een index heb je dan al helemaal niet. Kortom, vanuit praktisch oogpunt ben je je leermateriaal vaak kwijt.

Vandaar dat een goed uitgegeven handboek zo nuttig is. Je kan er jaren nadien nog steeds dingen in opzoeken of herlezen, onafhankelijk van om het even welke leeromgeving waarin je een ooit een vak hebt gevolgd.

donderdag 17 augustus 2023

Verder inzetten op "ungrading" ...

De afgelopen 2 jaar heb ik volop de kaart getrokken van "ungrading" voor opdrachten die studenten maken gedurende het semester. Er worden geen quoteringen meer gegeven op ingediend werk, maar wel individuele feedback. Dit leidt tot een sterker leerproces en een duidelijk effect op de eindbeoordeling van het examen, tenminste voor die studenten die de opdrachten ook effectief indienen (zie ook mjn vorige blogposts voor meer gedetailleerde analyses).

Ik zal hier niet opnieuw ingaan op alle beoogde positieve effecten en negatieve neveneffecten (daarvoor moet je mijn vorige blogposts er maar op naslaan), maar wel even toelichten welke lessen ik getrokken heb en hoe ik komend academiejaar één en ander zal aanpakken.

  1. Opdrachten klein en atomair houden.
    Een traditionele opdracht of project (die ook gequoteerd wordt) heeft vaak een grotere omvang. Studenten stellen de hoeveelheid werk (en de zin of onzin van dergelijke opdracht) vaak niet in vraag, want "er zijn punten mee te verdienen!" Als men een ungrading aanpak gebruikt (en de facto het optioneel laat om een opdracht in te dienen), moet je studenten kunnen aanmoedigen, of minstens niet ontmoedigen, om een opdracht aan te vatten. Dat betekent dat kleinere opdrachten, waarbij studenten een duidelijk eindpunt kunnen zien, beter zijn dan grotere projecten. Opdrachten die daarom op een enkele avond of maximaal een uurtje of een paar uurtjes kunnen afgerond worden verdienen de voorkeur.
  2. Opdrachten na elke les beschikbaar maken
    Aanvankelijk maakte ik opdrachten beschikbaar in grote blokken, maar het is beter na elk hoorcollege een opdracht beschikbaar te maken indien die reeds kan gemaakt worden door studenten. Dit geeft uiteraard een betere spreiding in de tijd, en kan studenten meer motiveren om een opdracht aan te vatten.
  3. Aangeven van relevantie
    Als docent moet je duidelijk aangeven wat de relevantie van een opdracht is m.b.t. het finale examen. Welke inzichten kan je verwerven? Welke vaardigheden? Bij welke onderdelen van de theorie sluit de opdracht aan? Wat zijn mogelijke examenvragen die aansluiten bij deze opdracht? Opnieuw heeft dit te maken met de motivatie van studenten om een opdracht aan te vatten.
  4. Complementariteit
    Qua inhoud moeten opdrachten complementair zijn aan de andere leeractiviteiten van een vak. Het heeft weinig zin om studenten iets te laten maken dat sterk overlapt of redundant is met theorie uit het hoorcollege of oefeningen uit oefenzittingen. "More of the same" is geen goede aanpak. Opdrachten moeten bij voorkeur een aha!-moment bevatten, iets wat een student kan opsteken en dat *niet* wordt afgedekt door theorie of andere activiteiten die men reeds uitgevoerd heeft.
  5. Niet wakker liggen van deelnamepercentage
    We moeten er niet flauw over doen: als iets niet gequoteerd wordt, zullen (veel) minder studenten een opdracht ook maken. Echter, ik zie het niet als mijn taak om studenten telkens te motiveren om iets te verrichten. Studenten zijn volwassen mensen en zelf verantwoordelijk voor hun leerproces, en een goed student geeft elk vak de nodige aandacht. Uiteindelijk verplichten we studenten ook niet om naar lessen of oefenzittingen te komen, waarom zou ik hen dan verplichten om opdrachten uit te voeren? Hier is wel een belangrijke randvoorwaarde, namelijk dat de doelstellingen van een vak dan wel volledig kunnen afgedekt worden via een finaal examen.

Feedback ipv Quotering (11)

Het afgelopen semester van academiejaar 2022-2023 was het tweede jaar dat ik voor een vak dat nominaal in 1ste bachelor informatica gegeven wordt ("Gegevensstructuren & Algoritmen") mijn "ungrading" aanpak voor opdrachten (milestones) gedurende het jaar gebruikt heb. Op basis van ervaring opgedaan bij vorige vakken was ik uiteraard benieuwd naar het effect, ook al omdat ik een aantal bijsturingen had doorgevoerd in de praktische aanpak.

Misschien nog even kort de effecten op slaagpercentages bij vorige vakken:

  • Gegevensstructuren en Algoritmen, 2021-2022
    • Studenten die GEEN milestones hebben ingediend: slaagpercentage 60.19%; gemiddelde  10.06/20
    • Studenten die minstens 1 milestone ingediend: slaagpercentage 86.67%; gemiddelde 13.80 / 20
  • Toepassingen van Meetkunde voor de Informatica, 3de bach Informatica 2022-2023
    • Studenten die GEEN milestones hebben ingediend: slaagpercentage 75%; gemiddelde  11.96 / 20
    • Studenten die minstens 1 milestone ingediend: slaagpercentage 100%; gemiddelde 14.60 /20
  • Ontwerp van Algoritmen, 1ste Master Computerwetenschappen 2022-2023
    • Studenten die GEEN milestones hebben ingediend: slaagpercentage 71.43%; gemiddelde  11.66/20
    • Studenten die minstens 1 milestone ingediend: slaagpercentage 88.24%; gemiddelde 12.88 / 20 

Algemeen kon ik stellen dat er significant verschil was in de bachelorvakken tussen studenten die wel de milestones deels hadden ingediend (en daar dus individuele feedback op ontvingen) vs studenten die dat niet gedaan hadden.

Voor het afgelopen semester zijn de cijfers als volgt:

  • Gegevensstructuren en Algoritmen, 2022-2023
    • Studenten die GEEN milestones hebben ingediend: slaagpercentage 33.66%; gemiddelde  7.60 / 20 (opmerking: slaagpercentage zonder telling van blanco ingediende examens 38.6%)
    • Studenten die minstens 1 milestone ingediend: slaagpercentage 64.58%; gemiddelde 11.13 / 20 (opmerking: slaagpercentage zonder telling van blanco ingediende examens 66.0%)

De verschillen tussen beide groepen blijven dus zeker groot, ruweg een verschil van 3.5 punt op 20 en slaagpercentage verschil > 25%, gelijkaardige trend als vorig jaar voor hetzelfde vak.

Wat wel opvalt is het globaal lagere slaagcijfer, en de globaal lagere gemiddelde score. Of dit iets te maken heeft met de ungrading aanpak is een andere discussie, maar ik vermoed het niet. Andere vakken van collega's voor dezelfde studentengroep geven eveneens een lager slaagcijfer in vergelijking met vorig academiejaar.

woensdag 31 mei 2023

Hoger Onderwijs, post-corona (2)

Eerder schreef ik reeds over hoe ons hoger onderwijs aan het evolueren is post-corona, met de (groeiende) invloed van online onderwijsvormen. Nu het academiejaar (toch qua contactmomenten) weer is afgelopen, leek het me nuttig mijn ervaringen van het voorbije jaar kort op te lijsten. 

In de bovenvermelde blogpost had ik het voornamelijk over de lage opkomst in de hoorcolleges, ondermeer door het ter beschikking stellen van lesopnames. Dat was alleszins mijn ervaring in het 1ste semester. De opkomst was weliswaar sterk vak-afhankelijk, maar studenten staken in een (anonieme) informele evaluatie niet onder stoelen of banken dat lesopnames een "gamechanger" waren. Voor een vak dat ik doceerde in 1ste master (en waar de fysieke opkomst zeer laag was), kwamen volgende opmerkingen van studenten naar voor op de vraag waarom de lessen amper werden bijgewoond (selectie):

  • Op en af gaan naar Heverlee kost extra tijd en moeite. Er is al zo'n grote lading werk (exclusief een examengerichte aanpak) dat die extra tijd heel aangenaam is. Bovendien kan je de opname pauzeren, waardoor er minder nood is aan de les later herhalen + meer flexibiliteit. Wel goede lessen =) 
  • Zeer goede lessen, helaas waren er veel groepswerken en deadlines die tegelijk vielen en was het soms onmogelijk om momenten te vinden om daarvoor samen te zitten zonder lessen te skippen. (en hoge werkdruk dus soms handig om met de uren te kunnen schuiven).  
  • De opkomst is laag bij alle lessen. Sinds corona hebben veel studenten beseft dat het makkelijker is leerstof op zichzelf te verwerken en opnames te kijken indien nodig. Er waren ook zó veel tijdrovende projecten dat ik te veel moest brossen, want eigenlijk was deze les wel aangenaam en nuttig. 
  • Tijdswinst: Doordat ik 20 minuten heen en terug zou moeten fietsen van de campus en de opnames op maal 1.25 perfect volgbaar zijn win ik een aanzienlijke hoeveelheid tijd als ik ze gewoon op kot kijk. 

In zekere zin zijn deze antwoorden zelfs begrijpbaar. De contactmomenten worden niet ervaren alsof het live bijwonen een meerwaarde vormt, of toch niet in die mate dat het opweegt tegen andere ongemakken zoals het zich verplaatsen naar de campus. Ik kan dat als docent jammer vinden - zeker omdat ik veel moeite steek in het goed voorbereiden en interactief maken van lessen (en ook wel regelmatig gouden krijtes allerhande win vanwege de studenten :-)) - maar goed, the proof of the pudding is in the eating.

Docenten kunnen hier dan op verschillende manieren mee om gaan. Ofwel kan je eerder een dwingend systeem opzetten door bijvoorbeeld de beschikbaarheid van lesopnames te beperken in de tijd, ofwel kan je actiever gaan nadenken over de rol en functie van hoorcolleges en op welke manier we die contactmomenten meer optimaal kunnen gebruiken. Dat laatste heeft alleszins mijn voorkeur. 

Eén van de werkvormen die dan vaak naar worden geschoven is dat van flipped classroom. Grosso modo houdt dit in dat je studenten vóór het contactmoment de opdracht geeft om een opname te bekijken, een stuk tekst te lezen, een probleem tot nadenken geeft ... en dat het contactmoment dan dient om hier verder dieper in te gaan. De meerwaarde is dan dat je inhoudelijk meer kan bieden, en er meer tweerichtingsverkeer is tijdens het contactmoment zelf. Dat is de theorie.

In praktijk vraagt dergelijke aanpak natuurlijk wel een ander type inspanning, zowel van docent als student. Als docent moet je anders gaan nadenken over hoe je bepaalde inhoud wil aanbrengen. Van studenten wordt verwacht dat men op voorhand het materiaal doorneemt, anders heeft het hele opzet natuurlijk geen zin. En vooral bij dat laatste loopt het soms wel mis. Vanuit diverse onderwijscommissies (aan mijn universiteit verantwoordelijk voor een opleiding) waar ik in zetel, hoor ik van studenten dat flipped classroom soms wel is doorgeslagen. Docenten stellen een video ter beschikking die langer duurt dan het contact moment zelf. Tja ... zoiets werkt natuurlijk niet, vooral omdat je een onevenredig groot deel beslag legt op de tijd van de student.

In een mastervak dit afgelopen tweede semester van het academiejaar heb ik daarom bewust geëxperimenteerd met korte videoclips in de flipped classroom werkvorm, variërende van 10 tot pakweg 25 minuten. Telkens trachtte ik een probleem te situeren, wat diverse oplossingen zouden kunnen zijn, met telkens de vraag aan studenten om er op voorhand concreet over na te denken en hun zienswijze mee te brengen naar het hoorcollege. Dat gebruikte ik dan als startpunt van de discussie in een eerste helft van de les, om dan in de tweede helft geavanceerde inhoud te behandelen die hierop verderging. De videoclip in kwestie nam ik zelf enkele dagen op voorhand op, in een informele stijl, vaak met wat snelle handgeschreven slides (dus zeker geen afgeborsteld filmpje), en ik vermoed dat dat wel hielp om studenten in de juiste mindset te krijgen. Alleszins beter dan studenten een lesopname van 2 uur voor te schotelen of een tekst van 20 pagina's te laten doorworstelen.

Enfin, zoals ik zei, the proof of the pudding is in the eating. Binnenkort examens, dus ik zal wel merken wat de leereffecten zijn ...

woensdag 24 mei 2023

Feedback ipv Quotering (10)

Mijn aanpak om gedurende het semester geen quoteringen meer toe te kennen aan opdrachten, maar volledig in te zetten op feedback, lopen verder. Binnenkort geef ik een presentatie op de Onderwijsdag van de Faculteit Wetenschappen, om de laatste ervaringen toe te lichten (intern KU Leuven event).

Afgelopen semester heb ik mijn aanpak toegepast in het vak Gegegevensstructuren en Algoritmen, en dit voor de 2de maal. Een volledige analyse volgt als de examens achter de rug zijn, maar ondertussen enkele cijfers.

Onderstaand overzicht geeft weer hoeveel studenten een specifieke milestone hebben ingediend. Volgens TOLEDO (KU Leuven e-platform) zijn er 209 studenten ingeschreven voor dit vak.

Milestone

Indieningen

Opmerkingen

1.1

53

Basis – opstart

1.2

40

Basis

1.3

29

Basis

1.4

25

Basis

1.5

16

Samenbrengen van 1.1 1.2 1.3 en 1.4

1.6

4

Optioneel

1.7

3

Optioneel

1.8

1

Optioneel

2.1

16

Alternatieven: 2.1A of 2.1B

2.1A

11


2.1B

2


2.2

9


2.3

6

Alternatief: 2.3A

2.3A

5


3.1

5


3.2

8

Alternatieven: 3.3 3.4 3.5 of 3.6

3.3

2


3.4

0


3.5

0


3.6

0


Zoals je kan zien neemt het aantal inzendingen per milestone snel af naarmate het semester vordert. In vergelijking met de vorige iteraties, heb ik nu meer aandacht besteed aan de uitleg per milestone, wat een student kan leren, hoeveel en welke milestones men best maakt, e.d. Maar ik vrees dat de realiteit blijft dat studenten nu éénmaal hun tijd spenderen aan die activiteiten die wél quoteringen opleveren. Ik begrijp dat ook, maar in zekere zin vind ik het niet mijn verantwoordelijkheid om te beslissen hoe een student zijn of haar tijd gebruikt, zolang ik maar duidelijk kader wat ik verwacht dat een student voor mijn vak(ken) doet, en welke keuzes daarin kunnen gemaakt worden.

Ter informatie: elke groep milestones (1.1 t.e.m 1.8 is één groep, 2.1 t.e.m 2.3 is een tweede groep, en 3.1 t.e.m. 3.6 vormt een derde groep) werd begroot op ongeveer 10 uur werk voor de student (exclusief het bekijken van de theorie nodig om de milestone tot een goed einde te brengen).

Een tweede grafiek laat zien hoeveel studenten hoeveel milestones hebben ingediend:

13 studenten hebben dus exact 1 enkele milestone ingediend, 8 studenten hebben exact 2 milestones ingediend, ... en een enkeling heeft 14 (van mogelijk 20) milestones ingediend. 53 studenten (cumulatief aantal) hebben dus minstens 1 milestone ingediend.

Waar ik natuurlijk wel op hoop (en eigenlijk vrij zeker van ben) is dat studenten die milestones hebben ingediend (en dus feedback hebben ontvangen), het beter zullen doen op het examen.

maandag 13 maart 2023

Feedback in plaats van Quotering (9)

In het kader van mijn lopende aanpak, om gequoteerde opdrachten te vervangen door louter feedback-gerichte opdrachten, heb ik op 27 februari 2023 een presentatie gegeven (intern KULeuven).

Wegens technische problemen was er geen opname mogelijk, maar ik heb nadien de presentatie zelf opnieuw ingesproken.


 

zaterdag 11 februari 2023

Feedback in plaats van Quotering (8)

Eerder rapporteerde ik al over mijn ervaringen met summative evaluatie (het geven van punten) te vervangen door louter formatieve evaluatie (louter geven van feedback) voor opdrachten gedurende het semester.

Gedurende 2021-2022 paste ik dit toe bij een groot 1ste-bachelorvak. Het afgelopen semester heb ik hetzelfde geprobeerd bij een 3de-bachelorvak en een vak in het 1ste masterjaar.

De verschillen tussen studentengroepen (zie die wel opdrachten hebben ingediend, en zij die dat niet gedaan hebben), wat betreft gemiddelde quotering op 20 voor het finale examen, alsook het slaagpercentage, zijn hieronder opgelijst:

  • Gegevensstructuren en Algoritmen, 2021-2022
    • Studenten die GEEN milestones hebben ingediend: slaagpercentage 60.19%; gemiddelde  10.06/20
    • Studenten die minstens 1 milestone ingediend: slaagpercentage 86.67%; gemiddelde 13.80 / 20
  • Toepassingen van Meetkunde voor de Informatica, 3de bach Informatica 2022-2023
    • Studenten die GEEN milestones hebben ingediend: slaagpercentage 75%; gemiddelde  11.96 / 20
    • Studenten die minstens 1 milestone ingediend: slaagpercentage 100%; gemiddelde 14.60 /20
  • Ontwerp van Algoritmen, 1ste Master Computerwetenschappen 2022-2023
    • Studenten die GEEN milestones hebben ingediend: slaagpercentage 71.43%; gemiddelde  11.66/20
    • Studenten die minstens 1 milestone ingediend: slaagpercentage 88.24%; gemiddelde 12.88 / 20

Er is dus wel degelijk een positieve correlatie tussen het maken van de milestones enerzijds en de score behaald op het vak anderzijds. Het effect is kleiner voor een mastervak.

Binnenkort geef ik meer uitleg bij mijn ervaringen op een Hapje Onderwijs (event intern KU Leuven), maar zal nadien hier ook wel mijn presentatie en eventueel interessante discussiepunten delen.

dinsdag 7 februari 2023

Examens en feedback

 

De examenperiode is weer afgelopen, eerstdaags vernemen studenten hun quoteringen, en dan begint onvermijdelijk de "feedback"-periode.

Feedback geven op examens is ondertussen ingeburgerd geraakt. De tijd dat je enkel een cijfer kreeg, maar amper te weten kon komen waarom je een minder dan verwacht (of hoger dan verwacht :-)) cijfer had, ligt reeds lang achter ons.

Het Onderwijs- en Examenreglement van de KU Leuven zegt het volgende:

De studenten krijgen tijdens de eerste zeven kalenderdagen na de dag van bekendmaking van de resultaten de mogelijkheid tot feedback. De feedback omvat een individuele en/of een collectieve nabespreking van het examen en een inzage van hun schriftelijke examen. Ten laatste op het feedbackmoment krijgen studenten ook inzage in de resultaten van permanente en partiële evaluatie (cfr. art. 40). Een individuele nabespreking betreft een gesprek tussen examinator en student over een individueel afgelegd examen.

De feedbackregeling wordt ten minste een week voor het einde van de examenperiode aan de studenten bekendgemaakt.

Studenten kunnen zich bij de nabespreking laten vergezellen door een persoon naar keuze, die als waarnemer optreedt. Indien de waarnemer een student is die in datzelfde academiejaar ingeschreven was voor het opleidingsonderdeel, moet de waarnemer voor het opleidingsonderdeel geslaagd zijn.

Studenten kunnen problemen met en klachten over de feedbackregeling melden bij de examenombuds, die zal bemiddelen om een passende oplossing te zoeken.

Doorheen de jaren ben ik zelf geconvergeerd naar een werkwijze die de tijd voor mezelf binnen de perken houdt, maar die tevens maximaal inzet op het leerproces voor de studenten. In een wat verder verleden organiseerde ik individuele feedback. Als je een kwartier per student rekent, dan loopt dat aardig op voor een studentengroep die enkele honderden studenten telt. Daarom ben ik meer en meer overgeschakeld op collectieve feedback, en voornamelijk online zodat ik zelf de tijdsbesteding beter in de hand heb, maar ook dat studenten geen tig afspraken moeten maken bij diverse professoren.

Mijn werkwijze is als volgt:

  1. Na het quoteren van alle examens plaats ik een feedback document over het examen op het leerplatform (bij KU Leuven is dat TOLEDO). Per vraag geef ik weer wat goede elementen in een antwoord waren, wat veel gemaakte fouten zijn, e.d. De ervaring leert dat dit voor vele studenten volstaat. Men is immers voornamelijk geïnteresseerd in het antwoord op de vragen, niet zozeer in een individuele bespreking daarvan. Die feedbackdocumenten blijven gewoon staan voor de volgende jaren ook (ik plaats alle examens van vorige jaren steeds beschikbaar).
  2. Ik kondig eveneens aan dat men steeds een mailtje mag sturen voor verdere individuele toelichting. Ik antwoord per email, met per vraag een meer individuele bespreking op basis van het individuele examen. Tevens licht ik toe waar de studenten voornamelijk punten "verloren" of "gewonnen" heeft, zonder in detail op de verbetersleutel per puntje in te gaan. Dit laatste doe ik nooit, de exacte kwantitatieve verbetersleutel is voor mijn eigen gebruik, de kwalitatieve verbetersleutel mogen studenten uiteraad wel weten.
  3. Tevens zeg ik aan dat studenten dat "indien men nog steeds een discrepantie ziet tussen de eigen geleverde studie-inspanningen, en het behaalde resultaat", een individuele afpraak voor verdere toelichting steeds mogelijk is. Per semester zie ik zo een handvol studenten. Dit zijn vaak studenten met onderliggende vragen inzake studietraject, studiemethode, studiekeuze ... of eventueel een speciale situatie, waar het dan wel aangewezen is dat je er meer tijd kan aan besteden. Vaak gaat dit dan niet over het specifieke vak zelf, maar wel over de studie in de breedte. Het loont de moeite om voor dergelijke studenten dan wat meer tijd uit te trekken, dan aan studenten die louter interesse hebben in de antwoorden an sich.

Die werkwijze loopt al sinds enige jaren goed, en ik heb de indruk dat studenten dergelijke manier van werken ook wel weten te appreciëren.

Toch een voorlaatste puntje: vaak hanteert men bij het geven van feedback de frase "het inkijken van het examen". Persoonlijk vind ik dat misleidend, omdat de schriftelijke examens enkel maar een neerslag zijn van wat de student heeft opgeschreven. Ik verbeter immers geen examens, ik quoteer ze wel. Er is een verschil ;-) Dus het inkijken van een examenkopie (waar enkel de antwoorden van de student op te elzen zijn) is waardeloos als er geen goed feedbackproces aan gekoppeld is, en eigenlijk is dat feedbackproces de voornaamste component. De "inkijk van het examen" is een ongelukkige beschrijving van het feedbackproces.    

En een allerlaatste puntje: feedback op examens moet wat mij betreft ook los gezien worden van eventuele beroepsprocedures die studenten aanspannen. Een beroepsprocedure kan steeds opgestart worden door een student als men zich miskend voelt in zijn rechten. Die procedure bestaat, en wordt inderdaad vaak opgestart als een student meent dat er een flagrante schendig geweest is en men daardoor minder punten kreeg dan waar men recht op heeft. Maar met de specifieke inhoud van het examen heeft dat meestal weinig te maken.