maandag 25 mei 2015

Goede praktijken voor het organiseren van een universiteitsvak ...

De hoorcolleges voor dit semester zijn weer achter de rug. Voor mij is dit steeds een goede gelegenheid om even terug te blikken hoe het met mijn vakken verlopen is, welke lessen ik zelf geleerd heb, en hoe het volgend academiejaar qua aanpak beter zou kunnen.

Vaak wordt onderwijsverbetering gezien in functie van leerdoelstellingen van de opleiding, en in welke mate welk vak bijdraagt aan welke doelstelling. Echter, goed onderwijs komt vaak neer op hoe een individuele docent zijn vak praktisch aanpakt, onafhankelijk van het bredere kader waarin dat vak opereert.

Ook voor dit laatste facet evolueert men als docent doorheen zijn of haar carrière. De manier waarop ik nu les geef en mijn vakken organiseer, verschilt van die van 10 jaar geleden; en binnen 10 jaar zal mijn stijl wellicht weer wat anders zijn. Onderstaande vijf "good practices" zijn dan ook een momentopname van hoe ik mijn vakken benader.

Maak een onderscheid tussen wat "verplicht" en "aangeraden" is.

Bij het doceren van een vak hoop je als docent natuurlijk altijd dat studenten door jouw manier van lesgeven zich geïnspireerd voelen, dat ze zelf op zoek gaan naar nieuwe informatie, achtergrond en diepgang. En om hen een handje te helpen kan je natuurlijk zelf reeds veel informatie  aanbieden.

Echter, er is ook nog zoiets als een examen dat dikwijls verengd wordt tot een bepaalde hoeveelheid leerstof die te blokken is. Zowat de meest gehoorde vraag is dan ook: "Moet dit gekend zijn voor het examen?". Die laatste vraag doet me altijd een beetje huiveren. Ze impliceert immers dat een student misschien toch niet veel interesse heeft in het vak an sich. Maar ik begrijp ze wel. Er is immers slechts een beperkte hoeveelheid tijd waarin een student zich de stof eigen kan maken, en niet elke student vind elk vak even interessant.

Daarom maak ik op TOLEDO - de elektronische leeromgeving aan de KULeuven - duidelijk onderscheid  tussen wat ik beschouw als leerstof, en wat ik beschouw als aanzetten voor "de geïnteresseerde student". Deze laatste sectie moet de student toelaten de leerstof verder te exploreren als hij daar zin en tijd in heeft, zonder onnodig de druk te verhogen voor het studeren voor het examen. Onderstaand screenshotje geeft de TOLEDO-sectie weer voor één van mijn lessen uit het vak Fundamenten van de Computergrafiek.

(Screenshot TOLEDO)

Geef aan wat typische examenvragen zijn.

Het verbaast me nog steeds dat sommige collega's vragen van voorgaand examens absoluut geheim willen houden. Ik heb er niet zoveel problemen mee om al mijn vragen van de voorgaande jaren gewoonweg beschikbaar te maken. Ondertussen is dat al een flinke set die zowat de volledige leerstof ettelijke malen bevat.

Ik zie diverse voordelen. Het geeft studenten een idee van wat ze kunnen verwachten op het examen, en het spaart hen de moeite om allerlei parallelle kanalen op te zetten waar die (foutieve versies) van examenvragen dan toch verzameld worden.

(Screenshot TOLEDO)
Zoals hierboven te zien is, geef ik ook bij elk topic een setje "Typische examenvragen" mee. Zullen dat vragen zijn die op het examen voorkomen? Misschien. Misschien ook niet. Maar ze zijn wel richtingaangevend voor het examen, en helpt daarom studenten op de goede weg.

Specifieer de doelstelling van een praktische opdracht.

In mijn domein hebben heel wat vakken praktische opdrachten als onderdeel - veelal het ontwerpen en schrijven van een stuk software. Vaak weet een didactisch team perfect wat ze willen bereiken met een praktische opdracht, maar weten studenten dat niet altijd.  Het gevolg is dat studenten achterpoortjes beginnen verzinnen om wel te voldoen aan de letter van de opdracht, maar daarom niet altijd aan de geest ervan. En als reactie verzint de docent het jaar nadien dan allerlei maatregelen om dergelijke shortcuts tegen te gaan, waarbij men vervalt in een stroper-boswachter scenario.

Dit is gewoon te vermijden door als deel van de opdracht te stellen wat precies de achterliggende bedoeling is, en waarom je verwacht dat studenten de opdracht maken, en wat ze eruit kunnen leren. Mijn ervaring is dat studenten een opdracht ernstig nemen, als men weet wat je als docent ermee tracht te bereiken. Als men de indruk geeft dat het enkel maar bezigheidstherapie is, dan krijg je immers stropersgedrag, waarbij de doelstelling wordt om zoveel mogelijk truukjes te gebruiken om niet gevat te worden door de regels die de boswachter heeft uitgevaardigd.

Geef duidelijk aan hoe een opdracht gekwoteerd wordt.

Bij praktisch werk begroot je als didactisch team dikwijls het aantal uren dat een student verwacht wordt te besteden aan de opdracht. Maar even dikwijls blijkt dit een onderschatting te zijn.

Het is daarom nuttig om een soort van minimale vereiste te stellen waaraan een opdracht moet voldoen om - zonder garantie uiteraard - een bepaalde score te halen. Hierbij de essentie van de onnodige toeters en bellen scheiden kan studenten enkel maar helpen om hun tijd realistisch te begroten. Als docent weet je wel wat onnodige tierlantijntjes zijn die de score amper zullen beïnvloeden, maar studenten weten dat niet.

En omdat niet elke student elk vak even interessant vindt, is het nuttig om aan te geven wanneer een bepaalde hoeveelheid werk - indien van goede kwaliteit uiteraard - voldoende is om te slagen op de opdracht. De studenten die dan een tandje willen bijsteken om een hogere score te halen, doen dat dan ook uit eigen keuze en motivatie.

Geef studenten ook tijd om zich in te werken in een vak. Bij meerdere opdrachten telt de slechts gekwoteerde opdracht voor relatief minder punten mee. En die opdracht kan voor elke student verschillend zijn. 

Wees beschikbaar voor vragen.

We hebben het tegenwoordig allemaal druk. Maar dat is geen alibi om niet beschikbaar te zijn voor studenten. Loop niet weg tijdens de pauze in je college. Blijf na de les even beschikbaar. Organizeer een "office hour" waarop studenten je kunnen vinden. Of zeg gewoon dat je open-deur-politiek hebt. Docenten zijn er om studenten wegwijs te maken en vooruit te helpen, daarvoor dient de universiteit.

Echter, dit is absoluut geen vrijgeleide voor studenten om intellectueel lui te zijn. Ik verwacht wél dat als een student mij komt opzoeken om vragen te stellen, dat hij tenminste zelf een ernstige poging heeft ondernomen om antwoorden te vinden. Een privé-lesje omdat men niet oplette tijdens het college kan niet de bedoeling zijn.

Tussen droom en daad ...

Volg ik mijn eigen aanbevelingen? Ik probeer dat alleszins, maar omwille van praktische belemmeringen lukt dat niet altijd. Ik ben we daar bewust van. Tussen droom en daad staan nu eenmaal wetten in de weg, en praktische bezwaren. Maar een ideaal nastreven kan nooit kwaad ...

donderdag 2 april 2015

Docenten: maak je onderwijsevaluaties bekend aan studenten!

Om de transparantie van onderwijsevaluaties te verhogen, lijkt het een goed idee dat docenten hun onderwijsevaluaties bekend maken aan hun studenten, eventueel voorzien van commentaar en plannen voor verbetering.

Ongeveer 10 jaar geleden werden er de zogenaamde docentenevaluaties ingevoerd aan de KU Leuven. Sindsdien wordt tweejaarlijks (in de laatste incarnatie driejaarlijks) elke vak-docent combinatie door studenten geëvalueerd aan de hand van een vragenlijst. Het opzet is uiteraard nobel: de onderwijskwaliteit nagaan en waar nodig bijsturen. En omdat alles geen dode letter zou blijven, maken de evaluaties ook deel uit van het personeelsdossier van een individuele docent. Bijvoorbeeld voor een bevorderingsaanvraag maken deze resultaten deel uit van het ingediende dossier, net zoals de onderzoeksresultaten. 

Responsgraad

Maar uiteraard zijn er wel wat stapjes ingebouwd om één en ander niet te laten ontsporen. De responsgraad is daar eentje van. Deze houdt in dat de resultaten van een bevraging enkel deel uitmaken van de globale evaluatie van een docent indien een voldoende aantal studenten de vragenlijst heeft ingevuld. Die responsgraad wordt bepaald door elke faculteit, maar kan ook variëren  voor grote of kleine vakken. Als 100 studenten op een totaal van 250 in een bachelorvak zijn mening geeft, is dat significant; maar als slechts 4 studenten op 10 dit doen voor een gespecialiseerd mastervak, kan er al een vertekening optreden.

Om de hele oefening daarom nuttig te houden, lijkt het van belang de responsgraad zo hoog mogelijk te houden. En daar knelt af en toe het schoentje. De voorbije jaren lag de responsgraad voor een groot aantal vakken onder de drempel. Via diverse fora worden studenten daarom aangemoedigd om de enquêtes in te vullen, en her en der worden zelfs prijzen verloot, en dit om toch maar de nodige aantallen te bereiken. Maar dit lijkt me enigszins vreemd. Onderwijsevaluaties mag men toch niet afhankelijk maken van het winnen van een tombola, en zeker niet als dit impact kan hebben op personeelsdossiers? Doe het omgekeerde voor pakweg het op tijd indienen van examenpunten, en studenten staan terecht op hun achterste poten

Als verklaring voor de lage responsgraad worden verschillende argumenten gegeven. Eentje is de lengte en aantal van de vragenlijsten. Dat is nu grotendeels opgelost door elk jaar grosso modo slechts een derde van de vakken te bevragen. Een ander – belangrijker argument – is dat van de transparantie. Het is voor studenten onduidelijk wat er nadien met de resultaten gebeurt.

Transparantie 
 

Nochtans kennen de bevragingen wel degelijk opvolging. Enerzijds zijn er de besprekingen en opvolgingen in de permanente onderwijscommissies (POCs), anderzijds wordt van elke docent verwacht dat hij de bevindingen ter harte neemt, ongeacht de responsgraad. In die zin kan het ook geen kwaad dat elke docent zelf communiceert over de bevragingen voor zijn vakken. Zelf plaats ik de resultaten van de bevragingen – goed of slecht – al meerdere jaren gewoon op TOLEDO. Op die manier kunnen de studenten nagaan wat de bevindingen waren de voorbije jaren, en of de docent wel degelijk heeft rekening gehouden met de opmerkingen en verzuchtingen van hun voorgangers.

Op dergelijke vraag naar transparantie wordt vaak nog te krampachtig gereageerd. Oorzaak lijkt me de koppeling met het personeelsdossier te zijn. Nu dient de bevraging zowel om ons onderwijs onder de loupe te nemen, maar tegelijkertijd om personen te beoordelen en hun carrière hiervan te laten afhangen. Dat maakt openheid moeilijk. Er is echter een precedent: onderzoeksresultaten van academici zijn ook open. We kunnen perfect via allerlei databases van elke collega weten hoeveel hij publiceert en hoe vaak elk artikel geciteerd wordt.

Uiteraard dient ruwe data altijd genuanceerd te worden. Maar dat gebeurt op dit ogenblik ook voor andere aspecten in een personeelsdossier als er over een bevordering of aanstelling moet beslist worden. Waarom dan niet met de resultaten van de onderwijsbevraging?  
 
Daarom een oproep aan alle collega’s om meer openheid te tonen i.v.m. hun onderwijsevaluaties. Plaats bijvoorbeeld je evaluaties op TOLEDO, en geef aan welke wijzigingen je als gevolg van voorgaande evaluaties hebt doorgevoerd. En om zelf het goede voorbeeld te geven, en om alle speculaties weg te nemen over hoe zo'n evaluatie er nu precies uitziet, hierbij de link naar de evaluatie van het (enige) vak dat ik doceerde afgelopen semester ... 
 

donderdag 22 januari 2015

Wat betekent een onderscheiding nog?

De examenzittijd is weer volop bezig, en natuurlijk hoort daar het geven van punten bij. Een punt, gegeven op een examen van een individuele student, is op zich betekenisloos zonder context. Wat betekent een 16/20 als elke andere student 17 of meer scoorde? Of wat is de betekenis van een 10/20 als alle andere studenten lager scoorden dan die 10? Zonder context, geen betekenis.
Die context wordt gelukkig wel gegeven door enerzijds het Onderwijs- en Examenreglement van de KU Leuven (de universiteit waar ik doceer), anderzijds door een traditie opgebouwd door de jaren heen. Het Onderwijs- en Examenreglement is vrij summier als het over de beoordelingsschaal gaat. Er wordt gestipuleerd dat een student geslaagd is op een opleidingsonderdeel als hij een kwotering van 10/20 behaalt. Voor kwoteringen van meer dan 10/20 lijkt de enige houvast te zijn dat er een graad van verdienste wordt toegekend. Letterlijk, uit het Onderwijs- en Examenreglement:
Aan een student die het diploma [...] behaalt [...], wordt de volgende graad van verdienste toegekend :
  • op voldoende wijze, als hij minder dan 68% als gewogen percentage behaalt; 
  • onderscheiding, op voorwaarde dat hij ten minste 68% als gewogen percentage behaalt; 
  • grote onderscheiding, op voorwaarde dat hij ten minste 77% als gewogen percentage behaalt; 
  • grootste onderscheiding, op voorwaarde dat hij ten minste 85% als gewogen percentage behaalt; 
  • grootste onderscheiding en de gelukwensen van de examencommissie, op voorwaarde dat hij ten minste 90% als gewogen percentage behaalt.
De verdeling van kwoteringen die een docent toekent, wordt niet toegelicht. Het uitgangspunt is dat elke student op zijn eigen kunnen beoordeeld wordt, onafhankelijk van de andere studenten. We worden geacht geen relatieve kwoteringen te geven, maar wel absolute. In theorie zou het dus mogelijk moeten zijn dat elke student een 18/20 haalt op eenzelfde examen - of zelfs dat geen enkele student zou slagen. Dat klinkt goed, maar in de praktijk botst dit wel eens met de notie van de graad van verdienste. "Onderscheiding" of "Grote Onderscheiding" klinkt mooi. Maar betekent het ook iets? Men zou verwachten dat een student die de graad "Onderscheiding" haalt zich effectief onderscheiden heeft van de rest van de studenten. Maar als iedereen een onderscheiding behaalt, wat dan?

Sinds enkele academiejaren ben ik secretaris van een examencommissie binnen de KU Leuven (Burgerlijk Ingenieur Computerwetenschappen). In juni 2014 hadden we volgende verdeling van de afgestudeerden: Voldoende Wijze (13% van de afgestudeerde studenten), Onderscheiding (54%), Grote Onderscheiding (29%), Grootste Onderscheiding (4%).

Vorige zittijden, of gelijkaardige examencommissies binnen de faculteit ingenieurswetenschappen, laten gelijkaardige cijfers zien. De vraag is of we dit erg moeten vinden? Misschien zijn alle studenten wel gewoon goed? Maar anderzijds druist dit toch een beetje in tegen de subjectieve betekenis die we aan het woordje "onderscheiding" toekennen. Een collega suggereerd me dat daar precies het probleem ligt, en hij suggereerde een ander woordgebruik: Voldoende (13%)  Goed (54%), Zeer Goed (29%) , Excellent (4%). Zo bekeken lijkt het plots allemaal in orde ...

Worden punten hoger doorheen de jaren?

Er is echter wel iets fundamenteler aan de hand. Vele docenten verbazen zich over het hoog aantal graden dat wordt toegekend. Mijn antwoord, als een collega hierover zijn beklag doet, is steeds: "Je had maar niet zo'n hoge punten moeten toekennen." Blijkbaar is er een discrepantie tussen de punten die docenten toekennen, en de verwachtingen die ze hebben over hoe de verdeling van die punten er idealiter zou moeten uitzien.

Zijn de toegekende punten doorheen de jaren dan langzaamaan hoger geworden - een fenomeen dat in de Angelsaksische wereld bekend staat als grade inflation? Dat is moeilijk te achterhalen - tenzij door uitgebreide statistische analyses (die voor sommige landen wel onderzocht is) - maar af en toe vinden we wel aanwijzingen.

Toevallig heb ik in mijn bibliotheek het "Annuaire-Jaarboek 1960-1961 van de KU Leuven" staan, waarin ook alle geslaagde studenten zijn opgenomen, én een verdeling van de graden over de studenten! Blijkbaar was deze informatie toen nog geen welbewaard geheim ... Enkele cijfers, weliswaar voor de volledige universiteit:
  • 1836 (eerste vermeldde jaar, 71(!) studenten): Voldoende (76%), Onderscheiding (14%), Grote Onderscheiding (7%), Grootste Onderscheiding (2.8%)
  • 1880: Voldoende (58%), Onderscheiding (23%), Grote Onderscheiding (9%), Grootste Onderscheiding (9%)
  • 1920: Voldoende (57%), Onderscheiding (28%), Grote Onderscheiding (12%), Grootste Onderscheiding (2.7%)
  • 1960: Voldoende (73%), Onderscheiding (21%), Grote Onderscheiding (5%), Grootste Onderscheiding (0.6%)
Ik laat het aan ieder om hier al dan niet gefundeerde besluiten uit te trekken ...

Moeten we dit erg vinden?

Opnieuw, moeten we dit erg vinden? Zonder context is een cijfer betekenisloos, en de context is ondertussen wel gewijzigd in vergelijking met 5, 20, of 50 jaar geleden. Toekenningen van allerhande beurzen (doctoraat, buitenland, ...) op basis van behaalde punten - en waarbij studenten van verschillende universiteiten met elkaar in concurrentie staan - werken de inflatie in de hand. Uitwisseling van punten in het kader van Europese programma's nopen tot hercalibratie. Maar ook interne maatregelen zoals de nultolerantie in de masterjaren hebben ervoor gezorgd dat het gemiddelde cijfer van een geslaagde student naar boven is verschoven.

Al bij al boeiende materie - maar niet iets waar de gemiddelde student van zal wakker liggen, me dunkt.