Wat betekent een onderscheiding nog?

De examenzittijd is weer volop bezig, en natuurlijk hoort daar het geven van punten bij. Een punt, gegeven op een examen van een individuele student, is op zich betekenisloos zonder context. Wat betekent een 16/20 als elke andere student 17 of meer scoorde? Of wat is de betekenis van een 10/20 als alle andere studenten lager scoorden dan die 10? Zonder context, geen betekenis.
Die context wordt gelukkig wel gegeven door enerzijds het Onderwijs- en Examenreglement van de KU Leuven (de universiteit waar ik doceer), anderzijds door een traditie opgebouwd door de jaren heen. Het Onderwijs- en Examenreglement is vrij summier als het over de beoordelingsschaal gaat. Er wordt gestipuleerd dat een student geslaagd is op een opleidingsonderdeel als hij een kwotering van 10/20 behaalt. Voor kwoteringen van meer dan 10/20 lijkt de enige houvast te zijn dat er een graad van verdienste wordt toegekend. Letterlijk, uit het Onderwijs- en Examenreglement:

Aan een student die het diploma [...] behaalt [...], wordt de volgende graad van verdienste toegekend :

• op voldoende wijze, als hij minder dan 68% als gewogen percentage behaalt; 
• onderscheiding, op voorwaarde dat hij ten minste 68% als gewogen percentage behaalt; 
• grote onderscheiding, op voorwaarde dat hij ten minste 77% als gewogen percentage behaalt; 
• grootste onderscheiding, op voorwaarde dat hij ten minste 85% als gewogen percentage behaalt; 
• grootste onderscheiding en de gelukwensen van de examencommissie, op voorwaarde dat hij ten minste 90% als gewogen percentage behaalt.

De verdeling van kwoteringen die een docent toekent, wordt niet toegelicht. Het uitgangspunt is dat elke student op zijn eigen kunnen beoordeeld wordt, onafhankelijk van de andere studenten. We worden geacht geen relatieve kwoteringen te geven, maar wel absolute. In theorie zou het dus mogelijk moeten zijn dat elke student een 18/20 haalt op eenzelfde examen - of zelfs dat geen enkele student zou slagen. Dat klinkt goed, maar in de praktijk botst dit wel eens met de notie van de graad van verdienste. "Onderscheiding" of "Grote Onderscheiding" klinkt mooi. Maar betekent het ook iets? Men zou verwachten dat een student die de graad "Onderscheiding" haalt zich effectief onderscheiden heeft van de rest van de studenten. Maar als iedereen een onderscheiding behaalt, wat dan?

Sinds enkele academiejaren ben ik secretaris van een examencommissie binnen de KU Leuven (Burgerlijk Ingenieur Computerwetenschappen). In juni 2014 hadden we volgende verdeling van de afgestudeerden: Voldoende Wijze (13% van de afgestudeerde studenten), Onderscheiding (54%), Grote Onderscheiding (29%), Grootste Onderscheiding (4%).

Vorige zittijden, of gelijkaardige examencommissies binnen de faculteit ingenieurswetenschappen, laten gelijkaardige cijfers zien. De vraag is of we dit erg moeten vinden? Misschien zijn alle studenten wel gewoon goed? Maar anderzijds druist dit toch een beetje in tegen de subjectieve betekenis die we aan het woordje "onderscheiding" toekennen. Een collega suggereerd me dat daar precies het probleem ligt, en hij suggereerde een ander woordgebruik: Voldoende (13%)  Goed (54%), Zeer Goed (29%) , Excellent (4%). Zo bekeken lijkt het plots allemaal in orde ...

Worden punten hoger doorheen de jaren?

Er is echter wel iets fundamenteler aan de hand. Vele docenten verbazen zich over het hoog aantal graden dat wordt toegekend. Mijn antwoord, als een collega hierover zijn beklag doet, is steeds: "Je had maar niet zo'n hoge punten moeten toekennen." Blijkbaar is er een discrepantie tussen de punten die docenten toekennen, en de verwachtingen die ze hebben over hoe de verdeling van die punten er idealiter zou moeten uitzien.

Zijn de toegekende punten doorheen de jaren dan langzaamaan hoger geworden - een fenomeen dat in de Angelsaksische wereld bekend staat als grade inflation? Dat is moeilijk te achterhalen - tenzij door uitgebreide statistische analyses (die voor sommige landen wel onderzocht is) - maar af en toe vinden we wel aanwijzingen.

Toevallig heb ik in mijn bibliotheek het "Annuaire-Jaarboek 1960-1961 van de KU Leuven" staan, waarin ook alle geslaagde studenten zijn opgenomen, én een verdeling van de graden over de studenten! Blijkbaar was deze informatie toen nog geen welbewaard geheim ... Enkele cijfers, weliswaar voor de volledige universiteit:

• 1836 (eerste vermeldde jaar, 71(!) studenten): Voldoende (76%), Onderscheiding (14%), Grote Onderscheiding (7%), Grootste Onderscheiding (2.8%)
• 1880: Voldoende (58%), Onderscheiding (23%), Grote Onderscheiding (9%), Grootste Onderscheiding (9%)
• 1920: Voldoende (57%), Onderscheiding (28%), Grote Onderscheiding (12%), Grootste Onderscheiding (2.7%)
• 1960: Voldoende (73%), Onderscheiding (21%), Grote Onderscheiding (5%), Grootste Onderscheiding (0.6%)

Ik laat het aan ieder om hier al dan niet gefundeerde besluiten uit te trekken ...

Moeten we dit erg vinden?

Opnieuw, moeten we dit erg vinden? Zonder context is een cijfer betekenisloos, en de context is ondertussen wel gewijzigd in vergelijking met 5, 20, of 50 jaar geleden. Toekenningen van allerhande beurzen (doctoraat, buitenland, ...) op basis van behaalde punten - en waarbij studenten van verschillende universiteiten met elkaar in concurrentie staan - werken de inflatie in de hand. Uitwisseling van punten in het kader van Europese programma's nopen tot hercalibratie. Maar ook interne maatregelen zoals de nultolerantie in de masterjaren hebben ervoor gezorgd dat het gemiddelde cijfer van een geslaagde student naar boven is verschoven.

Al bij al boeiende materie - maar niet iets waar de gemiddelde student van zal wakker liggen, me dunkt.

Examens door een professorenbril

Examens zijn een vreemde vorm van tijdsverdrijf, maar horen ontegensprekelijk bij het universitaire leven. In zekere zin zijn ze een noodzakelijk kwaad. Een vorm van evaluatie hoort nu éénmaal bij het hoger onderwijs, al was het maar opdat de student na 5 jaar kan bewijzen - papiertje in de hand - dat de tijd aan onze Alma Mater niet helemaal verprutst werd op kotfeestjes of in de fakbar

Dat examens de gemoederen dikwijls kunnen beroeren - niet enkel bij studenten maar ook bij professoren - mag blijken uit volgende uitspraak van de legendarische prof. R. Van Cauteren uit de faculteit ingenieurswetenschappen, anno 1956: “Er zijn, blijkens de ervaring, twee dingen die men het leven lang niet vergeet, dat is een bombardement en een universiteitsexamen. De sfeer waarin thans examens afgenomen worden, wordt bepaald door de confrontatie van twee wezens: één dat vol nerveuze en soms angstige overspanning aanbotst tegen een ander dat loom en lusteloos naar steeds nieuwe vragen zoekt en veel energie moet opbrengen om enige aandacht te behouden.”

Zelf heb ik al vele honderden studenten de revue zien passeren. Alhoewel omwille van pragmatische redenen de laatste jaren meer en meer schriftelijke examens georganiseerd worden, blijven mondelinge examens toch een zekere voorkeur wegdragen, al was het maar omdat aan beide kanten nadien straffe verhalen kunnen verteld worden. Want bij de koffiemachine worden de grappige, triestige, geweldige, en idiote voorvallen gedurende de examens onder professoren natuurlijk gretig gedeeld, net zoals studenten dat doen.

Onderstaande “examentips” zijn allen gebaseerd op ware voorvallen die de laatste jaren mijn aandacht getrokken hebben, en die ik daarom even wil meegeven aan het studentenpubliek. Natuurlijk zijn deze gekleurd door de praktijken uit mijn eigen faculteit, en ik ben er me terdege van bewust dat de raadgevingen die ik hier geef misschien best worden afgetoetst tegenover de geplogendheden in de eigen studierichting …

1. De kleren maken de man.
   Laten we beginnen bij het begin. Wat trek je aan voor een examen? Sommigen zweren bij driedelig maatpak (of een equivalente kledingstijl voor de dames), anderen verkiezen een meer casual outfit. Zelf betreur ik wel eens het heengaan van een striktere kledij-etiquette, maar om eerlijk te zijn: het zal me worst wezen welke kledij je draagt, zolang je maar netjes en niet aanstootgevend voor de dag komt. En dat kan in jeans en t-shirt zijn, waarom niet? Nochtans zijn er bepaalde normen die best niet overschreden worden. Een strandoutfit (Bermuda-broek, teenslippers) is er toch net ietsjes over, en vulgaire opschriften op je kledij laat je best ook achterwege. Ook komische effecten zoals een duidelijk te korte kostuumbroek die geleend is van je vader, of een zwart-witte oberoutfit zijn niet aan te raden. Af en toe begin ik net niet te lachen als er iemand zich op die manier aanbiedt, wat dan weer niet bevorderlijk is voor de concentratie. Maar vooral: neem een douche en poets je tanden!
2.   Lees niet enkel het begin, ook het einde.
   Eens je de vragen in handen hebt, of het nu tijdens een schriftelijk of mondeling examen is, lijkt het mij essentieel dat je de vraag volledig leest. Vele studenten lezen slechts de helft van een vraag, waardoor de feitelijke vraagstelling soms gewoon over het hoofd gezien wordt. Vooral tijdens de mondelinge toelichting komt dan de confrontatie, waarop je als prof nogal verveeld moet zeggen: “En, waar is het tweede deel van uw antwoord?” Indien er tijd genoeg is, stuur ik dergelijke studenten wel terug naar hun plaats, maar bij schriftelijke examens is het kalf dan al verdronken.
3. Orde, mijne dames en heren, orde en netheid!
   Dit is meer van toepassing op schriftelijke examens, maar het is ongelooflijk welke beduimelde hoopjes papier er moeten doorgaan voor een ingediend examen. Overvloedig gebruik van corrector, veelvuldige inktvlekken, amper leesbaar schrijven, allerhande flauwe excuses (“Geen tijd meer meneer”, “Indien verdere uitleg noodzakelijk, hier mijn GSM-nummer”), luie redeneringen waarvan zelfs de student moet zien dat die fout zijn ... de “propere” examens hebben subjectief al bijna een punt in het voordeel … Af en toe tref je nog wel een exemplaar aan in een loopy-lagere-school-meisjes-handschrift, wat dan weer een beetje soelaas kan bieden in deze barre tijden.
4. Hanteer de juiste terminologie.
   Een aantal studenten zijn niet niet in staat om de juiste terminologie betreffende begrippen en definities te gebruiken. Nu weet ik wel dat een juiste benaming ondergeschikt is aan de onderliggende betekenis, maar het verkeerd gebruiken van vakterminologie werkt als een rood lampje in een kerncentrale: het is een symptoom van een onderliggend, ernstiger probleem. Misschien heeft de student de stof toch niet zo grondig geleerd? Begrijpt hij wel waar hij het over heeft? Als ondervrager heb je dan de reflex om dieper te gaan graven, niet altijd tot tevredenheid van de student in kwestie.
5. Spreek namen correct uit.
   Aansluitend bij bovenstaande, behelst het correct gebruik van namen van personen. Niets zo vervelend als een Franse naam op Engelse wijze uit te spreken, of een Nederlandse naam te verduitsen. Op zich is dit wederom geen ramp, maar het toont twee dingen aan: Dat je waarschijnlijk niet naar de les geweest bent, en dat je het de moeite waard niet vindt om even bij medestudenten na te gaan wat wel een correcte uitspraak is. Dergelijke akkefietjes kosten je misschien niet direct punten, maar ze helpen alleszins niet om de ondervrager wat milder te stemmen bij die delen van het examen die er wel toe doen.
6. Praat jezelf niet de grond in.
   "Sorry professor, maar ik ben halfweg de cursus gestopt met blokken” zei een student me ooit, als verantwoording waarom hij een antwoord op een vraag blanco liet. Eerlijkheid is een deugd, maar wat moet je hier als examinator mee? Misschien dat je als student hoopt dat een eerlijke toegeving enkele goodwill-credits kan opleveren, maar bij mij neemt het alleszins alle schuldgevoel weg om dergelijke student glansrijk te buizen. In dezelfde categorie: “Ik vind uw vak niet zo interessant, daarom heb ik het niet grondig gestudeerd.” Goed, hierover kunnen we een discussietje opstarten, maar het examen is de verkeerde plaats om op dat moment een onderwijshervorming op te starten.
7. Blok niet het boek, maar blok de inhoud!
   In principe peilt een examen naar de kennis van een bepaald vakgebied dat aan bod is gekomen tijdens een vak. In de praktijk wordt er gebruik gemaakt van een bepaald handboek, of een bepaalde manier van aanpak voor bvb. praktische oefeningen. Studenten hebben dan de neiging om teveel die praktische invulling te studeren i.p.v. het vakgebied dat eronder verscholen zit. Daarom is mijn raad aan studenten altijd om even verder te kijken dan het specifieke cursusmateriaal en naar de inhoud te kijken, niet enkel naar hoe de inhoud op een specifieke manier werd aangebracht. Dat is niet altijd evident, en dat kost moeite, maar het laat wel zien dat je de stof beter beheerst.
8. Zeg niet "Ik zou dit kunnen uitrekenen, maar ...", maar zeg wel "Ik heb dit uitgerekend, en ..."
   Bij wat meer oefening-gerichte vragen zit er dikwijls een rekencomponent aan verbonden. Vaak doen studenten niet de moeite het resultaat effectief uit te rekenen. Misschien uit intellectuele luiheid, maar misschien ook omdat ze de stof onvoldoende beheersen om het effectief te doen.  Sommigen voeren aan dat met de hand iets uitrekenen niet meer echt van deze tijd is, en het dikwijls uitdraait op idioot tijdsverlies. Misschien. Maar een resultaat al dan niet kunnen uitrekenen heeft ook weer een signaalfunctie. Er niet toe in staat zijn legt dikwijls een onderliggend probleem bloot. En vaak peilen rekenoefeningen naar een dieper begrijpen van de feitelijke leerstof.
9. De consensus van 100 studenten is geen eigen mening.
   Soms wordt er bij een examen wel eens gepolst naar een eigen mening. Maar een eigen mening moet dan ook een eigen mening zijn, geen consensus die via een aantal studenten is bereikt via een wiki-platform waarop enkele examenvragen van voorgaande jaren bediscussieerd worden. Doe de moeite om zelf een originele gedachtengang te formuleren! Niets zo vervelend voor een examinator om op een halve dag 20 identieke “eigen meningen” te moeten aanhoren.
10.  Triviaal
    Gewoon grondig het vak blokken is proefondervindelijk nog steeds de beste strategie om een goede kwotering te halen.

Lessen voor de XXI eeuw

Een kort blogpostje.

Dit was ik bijna vergeten mee te delen: enkele weken geleden heb ik een les voor de XXI eeuw gegeven over de technologische singulariteit. Slides en handout vind je op deze link: http://hiw.kuleuven.be/ned/lessen/programma/index.html

Het is nu natuurlijk te laat om nog te komen, maar een repeat in de vorm van een forumavond vindt plaats op 18 februari 2014: http://eng.kuleuven.be/AlumniVILv/forumavonden-2013-2014/Forumavond_singulariteit/forumavond-18-februari-2014-technologische-singulariteit

Academische Publicatiedruk

Naar aanleiding van een petitie galanceerd door de Actiegroep Hoger Onderwijs op 20 augustus ll., is er in de media redelijk wat aandacht geweest rond de publicatiedruk die academici ondervinden aan de Vlaamse universiteiten. En redelijk verrassend, is er zelfs een reactie van de Vlaamse rectoren gekomen die één en ander onderschrijven en erkennen dat er een probleem is. De timing zat natuurlijk ook goed: in de grootste Vlaamse universiteiten Leuven en Gent zijn er nieuwe bestuursploegen aangetreden, en er staat een evaluatie van het financieringsmodel van de universiteiten aan te komen.

Ik wil hier niet de verschillende punten aangehaald in allerlei opiniestukken herhalen (overzicht), maar wil in deze post wel even toelichten wat deze publicatiedruk concreet betekent op de academische werkvloer. Vooral bij mensen die niet in het universitaire academische milieu zitten bestaan er wel wat misvattingen over  wat dat publiceren nu precies inhoudt, en waar die druk precies vandaan komt.

Maar eerst even mijn eigen situatie, omdat dit relevant kan zijn om één en ander te kaderen. Er is immers niet zoiets als DE academische wereld: de academische wereld en de universiteiten zijn immers een bonte verzameling van honderden onderzoeksgroepen als KMO'tjes, elk in hun eigen vakgebied, elk met hun eigen geplogendheden en tradities. Mijn ervaringen en praktijken in mijn vakgebied zijn dus niet noodzakelijk te veralgemenen.

Ik ben zelf afgestudeerd als burgerlijk ingenieur in 1989, doctoraat behaald in 1996 (jaartje legerdienst ertussenin), postdoc aan Amerikaanse universiteit tot 2001, dan docent/hoofddocent/hoogleraar aan KU Leuven tot nu in 2013. Mijn onderzoeksgebied zijn de computerwetenschappen, meer specifiek computer graphics. Sinds ik prof ben in 2001 heb ik een tiental doctoraten tot een goed einde begeleid, en het aantal onderzoekers onder mijn hoede waar ik onmiddelijk mee werk heeft gevarieerd tussen 2 en 10 - afhankelijk van het jaar. Voor sommigen zijn deze cijfers peanuts, voor anderen zijn ze een luxe. Dat schetst op zich al de grote variatie die er heerst in de onderzoekswereld.

Publish or Perish

De output van wetenschappelijk onderzoek is in de eerste plaats natuurlijk nieuwe kennis, maar dat heeft weinig zin als je die nieuwe kennis niet bekend maakt aan de rest van de wereld. Dit gebeurt door wetenschappelijke artikels te publiceren in tijdschriften, de zogenaamde journals; of  voor te stellen op wetenschappelijk conferenties. Er zijn overlappingen en mengvormen, afhankelijk van de discipline waarin men werkt

Uiteraard komen niet zomaar alle wetenschappelijke resultaten terecht in die journals! Het totale proces er ongeveer als volgt uit:

1. Je schrijft een wetenschappelijk artikel over je bevindingen, en je stuurt dit naar een tijdschrift ter overweging voor publicatie.
2. Je artikel zal worden gereviewed door mensen die deel uitmaken van de editorial board, of daar door hen voor aangezocht worden. Zij vellen een oordeel over je artikel, en of het al dan niet de moeite waard is om te publiceren.
3. Na enige tijden (weken, maanden) krijg je het resultaat. Heel dikwijls wordt er gevraagd om kleine of grotere wijzigingen aan te brengen, waarvoor je een bepaalde periode krijgt. Afwijzing (reject) behoort eveneens tot de mogelijkheden.
4. Je stuurt je herwerkte manuscript opnieuw in, en het proces begint opnieuw, al dan niet aan versneld tempo, afhankelijk van de gevraagde wijzigingen.
5. Eens het artikel aanvaard wordt, wordt het gepubliceerd in het tijdschrift, en kan de rest van de academische wereld het lezen.

Elk wetenschappelijk artikel bevat verwijzingen naar eerder gepubliceerde artikels - de referenties. Het aantal maal dat een artikel gerefereerd wordt is een graadmeter voor welk belang andere onderzoekers er aan hechten. M.a.w., referenties zijn een (ruwe) maatstaf voor hoe belangwekkend de inhoud van een artikel is.

Op basis van die aantallen referenties worden de impactfactoren van tijdschriften bepaald. Tijdschriften die artikels bevatten  die veel gerefereerd worden, hebben een hogere impactfactor. De impactfactor zegt dus iets over de belangrijkheid van een tijdschrift. Ruwweg kan men ook stellen dat de wetenschappelijke drempel om je artikel gepubliceerd te krijgen in een tijdschrift met hoge impactfactor, hoger ligt.

Nu komt de aap uit de mouw! Alhoewel impactfactoren oorspronkelijk bedoeld waren om een leidraad te zijn voor bibliothecarissen, is men ze gaan gebruiken om de kwaliteit van onderzoek te meten. Als je als universiteit als geheel veel publicaties hebt in tijdschriften met hoge impactfactoren, moet je als universiteit wel goed zijn. En dus krijg je via financieringsmechanismen van de overheid meer geld - als universiteit. Het aantal artikels in tijdschriften met hoge impactfactoren is slechts één parameter in het financieringsmodel, maar een niet onbelangrijke!

Maar nu komt er een tweede aap uit een andere mouw! De universiteiten zijn die criteria meer en meer gaan gebruiken om kleinere eenheden zoals onderzoeksgroepen te gaan beoordelen, tot zelfs individuele academici toe. Aanstellingen, bevorderingen, projectgoedkeuringen, onderzoeksgelden, zijn allemaal gaan afhangen van hoeveel artikels je ooit gepubliceerd  hebt in tijdschriften met hoge impactfactoren. Als je interesse hebt in mijn eigen onderzoeksprofiel: websites zoals Google Scholar helpen om al die data continue te traceren.

Screenshot van Google Scholar profiel

Als je meer publiceert, heb je dus meer kans op elk van die dingen. En, vermits de te verdelen som geld voor onderzoek, aanstellingen, bevorderingen e.d. eindig is en niet meegroeit met de wetenschappelijke productie; is op die manier een systeem gecreëerd waarbij elke individu in directe competitie staat met zijn collega's. Of het nu jonge postdocs zijn die een aanstelling ambiëren als docent; of het nu hoofddocenten zijn die een bevordering willen tot hoogleraar; of het nu onderzoeksgroepen zijn die onderzoeksgelden aanvragen; of het nu faculteiten zijn die intern beleidsruimte moeten verdelen; iedereen staat in permanente competitie met elkaar.

Ergo: een enorme druk om steeds meer en meer te publiceren, die een ongezonde claim legt - niet enkel op de academische werking - maar ook op de persoonlijke levenssfeer. Aan een Amerikaanse universiteit pochtte een decaan ooit hoe goed ze wel waren in onderzoek, afgaande op het aantal echtscheidingen in zijn departement.

Neveneffecten 

So what? zult u zeggen. Competitie, dat is in de economie toch ook zo? Juist, maar de universiteit is geen bedrijf en opereert niet in de economie, of zou dat toch niet moeten doen. Als de opgelegde criteria er voor zorgen dat een aantal kwalijke neveneffecten opduiken die de werking van universiteiten niet ten goede komen en de academici ontevreden maakt, dan is er duidelijk iets mis. Sommige neveneffecten zijn milder van aard, maar daarom niet zomaar weg te moffelen.

Tweede-orde werkdruk
Door het feit dat er steeds meer artikels naar tijdschriften worden opgestuurd, moeten er meer artikels gereviewed worden - zelfs artikels die afgewezen worden en die nooit tot publicatie komen. Maar wie zijn die reviewers? Die komen natuurlijk ook uit de wereldwijde pool van onderzoekers. De laatste jaren stijgt met de publicatiedruk dan ook  de reviewing-druk. Persoonlijk heb ik jaren gehad waarin ik meer dan 50 artikels heb moeten reviewen als lid van diverse editorial board, program committees van conferenties en dies meer. Voor elk artikel moet je een beslissing nemen - wetende dat er carrières van afhangen.

Academisch werk buiten publiceren
Kwalitatief hoger onderwijs, toch de unique selling proposition van de universiteiten, komt steeds meer in de verdrukking. Het loont niet echt als je je als academicus inzet voor goed onderwijs - of het loont alleszins minder dan publiceren. Jongere collega's verbranden zich niet om grote vakken te geven in de bachelorjaren, die gepaard gaan met een grote tijdsbesteding. Maar ook oudere professoren die een bevordering tot gewoon hoogleraar ambiëren, nemen liever niet teveel onderwijshooi op hun vork.

Zelf denk ik dat onderwijs dé kerntaak is van de universiteit. Maar zeker niet iedereen denkt er zo over. Maar voor mezelf moet ik keuzes maken: een boek dat gebruikt wordt als cursus geef ik niet uit bij ACCO (voordelig voor de student), maar bij een Amerikaanse uitgever. Zo komt dat boek in mijn publicatielijst, wordt het gerefereerd, en kan ik het als één van de vele hefboompjes gebruiken om middelen te pakken te krijgen. Als ik een bepaald semester kan kiezen om een vak een grondige update te geven, of werk te maken van een goed artikel, dan is dat een zeer moelijke keuze.

Voor andere taken, zoals het voorzitterschap van raden, commissies die gepaard gaan met veel werk (bvb. permanente onderwijscommissies aan mijn eigen universiteit), wordt het moeilijker om mensen te vinden die dit willen doen. Career-suicide, noemde een collega me dit, toen ik pas aangesteld was tot programmadirecteur van de masteropleiding waarin ik les geef.

Appelen met peren vergelijken
Omdat verschillende disciplines verschillende publicatieculturen en gewoontes hebben, hebben academici voortdurend het gevoel dat er appelen met peren vergeleken worden. Dit schept een omgeving van wantrouwen ten aanzien van bijvoorbeeld benoemingscommissies (waar je eigen collega's in zetelen) die beslissen over aanstellingen en bevorderingen. Wordt er immers wel steeds rekening gehouden met domeinspecifieke parameters?

Enkele voorbeelden: Publiceert je discipline veel of weinig? Vooral in journals of conferenties? Internationaal of nationaal? Is het de gewoonte dat de professor mee als auteur op de publicatie van een doctorandus vermeld wordt of niet? Staan auteurs in alfabetische volgorde, of diegene die het meeste werk gedaan heeft eerst? Wat zijn de gewoontes m.b.t. refereren? Betreft het een wetenschap die toelaat om een publicatie in een week te schrijven, of vereist het ettelijke manjaren werk om tot een goed artikel te komen? Zit je in een domein waar veel aandacht en geld naartoe gaat, of niet? Wat is het gemiddeld aantal doctorandi per professor? Hoe lang gaat een artikel mee in het domein? Komen referenties reeds snel, of duurt dat enkele jaren? Enz. Enz.

Vergelijk het met prestaties tegen elkaar afmeten in de sport: is de Tour de France winnen belangrijker dan triomferen op Wimbledon? Moet je een Europees record hoger inschatten dan een Olympische bronzen medaille? Is wereldkampioen worden in het veldrijden van even hoog belang als een halve finale halen in een teamsport zoals hockey?

Fraude
Bij wetenschappelijke fraude zou ik onderscheid willen maken tussen de harde en zachte fraude. Harde fraude is onderzoeksresultaten vervalsen om op die manier je artikels aanvaard te krijgen. Het zijn dit soort gevallen die de laatste tijd spectaculair de pers halen - met de zaak Stapel als bekendste voorbeeld. Nooit goed te praten, wel te begrijpen waarom.

De zachte fraude liegt niet over de onderzoeksresultaten, maar tracht de cijfers te beïnvloeden die met het meten van wetenschappelijke output gepaard gaan. Ze is moelijker op te sporen en te bewijzen, maar bestaat wel degelijk. Van elk van onderstaande gevallen ben ik zeker (t.t.z. collega's hebben dit vermeld in mondelinge gesprekken) dat ze reeds gebeurd zijn:

• Auteurs toevoegen aan publicaties die met het werk niets te maken hebben. Dit kan gaan van collega's die op die manier hun output een boost geven, tot een lid van een editorial board om het artikel in snelvaart door het reviewing proces te krijgen.
• Elkaars artikels citeren zonder dat het strikt noodzakelijk is.
• Met een groep collega's afspreken om publicaties in een specifiek tijdschrift veelvuldig te citeren om de impactfactor omhoog te drijven.
• In rapporten van onderzoeksprojecten als output artikels oplijsten die niets met het project te maken hebben.
• Bij aanvragen van onderzoeksprojecten claimen dat bepaalde artikels eigen werk zijn, terwijl ze in een ander labo zijn uitgevoerd.
• Dezelfde bevindingen in licht gewijzigde vorm als meerdere artikels publiceren.

Is wetenschappelijke output wel meetbaar?

De vraag bij dit alles is natuurlijk of je academici wel aan evaluaties kan onderwerpen. Natuurlijk wel. Het zou al te gek zijn dat je voor de grote sommen geld die de overheid in wetenschappelijk onderzoek pompt er geen verantwoording hoeft afgelegd te worden.

Het frustrerende aan de huidige meetcultuur is echter dat er slechts één enkel instrument gehanteerd wordt om de waarde van je wetenschappelijk werk te meten, waarbij het instrument op zich al ter discussie staat. De lat mag best hoog liggen, daar twijfelt geen enkele academicus aan, maar er komen best verschillende soorten latten.

Welk soort universiteit willen we?

Fundamenteel raakt deze hele problematiek aan de vraag over welk type universiteit we willen. Om het even welk evaluatiesysteem dat je hanteert om mensen te beoordelen en te belonen, zorgt ervoor dat mensen zich naar dat evaluatiesysteem gaan gedragen. Als dat gedrag het gewenste gedrag is, dan zit je goed. Indien niet, dan heb je een probleem.

Willen we een universiteit waar mensen publicatiemachines worden en onderwijs op de tweede plaats komt? Of willen we een universiteit waar onderwijs - weliswaar gedreven door onderzoek - de voorrang heeft?
Is meer en meer onderzoek een goede zaak, en moet dat zonodig door de uniefs gebeuren, of wordt grootschalig onderzoek beter uitbesteed aan instellingen zoals IMEC of VITO?
Zijn er te weinig plaatsen voor onderzoekers, of net teveel? Moet de personeelsstructuur aan de universiteiten de vorm hebben van een piramide, of een cylinder?
Is de universiteit een instelling die moet renderen net als een bedrijf, of is het een instelling van openbaar nut die moet kunnen dienen als kenniscentrum voor de gehele maatschappij?

Al deze vragen zijn niet nieuw. Ze zullen ook niet opgelost worden de komende jaren door de nieuwe bewindsploegen. Maar ze tonen wel aan dat de rol van de universiteiten niet voor iedereen eenduidig bepaald is.



P.S. Na eerste verschijning heb ik enkele kleine edits - voornamelijk verbeteren van tikfoutjes - doorgevoerd.

To MOOC or not to MOOC?

Sinds enkele maanden zijn MOOCs niet meer weg te denken uit discussies i.v.m. online (hoger) onderwijs. Ik zou verwachten dat iedereen die een aan universiteit verbonden is ondertussen wel weet wat een MOOC is, maar niet zo. Ik loop verbazend nog veel collega's tegen het lijf die het acronym nog nooit gehoord hebben, laat staan wat het betekent. In het geval u een van hen bent: MOOC = Massive Open Online Course.

Kort samengevat komt het hierop neer: een vak wordt online aan het grote publiek aangeboden in de vorm van filmpjes, interactieve demo's, praktische oefeningen e.d.. Studenten kunnen zich massaal inschrijven, en werken zich (al dan niet op eigen tempo) door de aangeboden leermodules. Indien alle opdrachten tot een goed einde worden gebracht, volgt er een certificaat waaruit blijkt dat je de bewuste cursus effectief hebt gevolgd.

Alhoewel het idee van online onderwijs al wel enkele jaren of zelfs meer dan een deccenium meegaat, zijn MOOCs in 2012 plots op de voorgrond komen te staan door initiatieven zoals Udacity, Coursera en edX.

Het zou me te ver leiden hier alle fijnere nuances en varianten van MOOCs uit de doeken te doen, maar Inside Higher Education is een website waar vele goede artikels te vinden zijn over successen, mislukkingen, algemene visies e.d.

Als het in de US regent, druppelt het ook in Vlaanderen, en dus zijn MOOCs ook een recurrent gespreksonderwerp geworden op allerlei onderwijsgerelateerde fora in het Vlaamse onderwijslandschap. Alhoewel men nu ongetwijfeld nog in de hype-fase zit m.b.t. MOOCs, zijn er toch reeds enkele bedenkingen te formuleren - al dan niet relevant voor de Vlaamse context.

Moeten Vlaamse universiteiten meegaan in MOOCs?

Dat hangt ervan af of je het bekijkt vanuit de positie van aanbieder of afnemer. Als (Vlaamse) universiteit die gefinancierd wordt met belastingsgeld, is het zeker een nobele doelstelling om onderwijs aan te bieden aan zoveel mogelijk Vlamingen, ongeacht of die nu ingeschreven zijn als student zijn of niet. In die zin is er dus zeker een potentieel voor een aantrekkelijk aanbod van academische kennis. Wie zou enkele gerenomeerde professoren niet willen horen doceren over hun favoriete vakgebied?

Een ander verhaal wordt het echter als men als universiteit MOOCs zou gaan afnemen, aangeboden door andere universiteiten. Het staat elke reguliere student natuurlijk vrij om MOOCs te volgen in de vrije tijd (net zoals het iedereen vrij staat om om het even welk handboek te lezen), maar om deze op te nemen in een regulier studieprogramma voor een bepaald aantal studiepunten lijkt me een stap te ver. Dit zou immers betekenen dat we een deel van ons onderwijs - wat nog altijd de kernopdracht van een universiteit is - gaan outsourcen aan derden.

"So what?", zult u zeggen, "Doen we dat ook niet reeds met allerhande internationale uitwisselingen genre Erasmus of Athens?" Mja, misschien wel. Maar dergelijke uitwisselingen komen steeds tot stand via nauwgezette onderhandelingen tussen universiteiten, met een zekere kwaliteitsbewaking over het uitwisselingsproces. En, het blijft een uitwisseling.

Bovendien lijkt het me not done om studenten inschrijvingsgeld te vragen (of de belastingsbetaler te laten betalen voor het organiseren van hoger onderwijs), en dan de boel maar af te schuiven op een gratis MOOC die door een buitenlandse universiteit op touw is gezet.

Raakt een MOOC aan de essentie van wat een universiteit is?

Een voordeel van MOOCs dat dikwijls aangehaald wordt is dat studenten min of meer op eigen tempo door de leerinhoud kunnen gaan, dingen kunnen herbekijken en dergelijke meer. Dat is natuurlijk geredeneerd vanuit een puur functioneel leerproces.

Echter, de universiteit is meer dan enkel een leerproces, examens afleggen, en een diploma krijgen. Er zijn uiteraard aspecten zoals het proces van volwassen worden, feestjes bouwen, op eigen benen leren staan e.d. Maar we zullen niet claimen dat dit tot de essentie van de universiteit behoort, het zijn misschien wel aangename neveneffecten.

Wat volgens mij echter wel integraal deel uitmaakt van het leerproces is om te vertoeven in een intellectueel stimulerende omgeving - wat de universiteit zou moeten zijn. Omgaan met professoren, feedback krijgen, converseren met mede-studenten, gestmuleerd worden in de intellectuele ontwikkeling, zijn voor mij even essentiele aspecten van de universiteit dan enkel maar de leerstof op zich doornemen.

Deze aspecten - laten we ze trendy het omgaan met peers noemen - zijn niet zomaar te verwaarlozen. Het is de reden waarom wetenschappers nog steeds graag naar conferenties gaan (wat achteraan de zaal gebeurt is even boeiend als wat vooraan verteld wordt), of waarom netwerkrecepties nog steeds hoog ingeschat worden.

Er kan opgeworpen worden dat in de massa-universiteiten zoals Vlaanderen die vandaag kent dit aspect op de achtergrond verzeild is geraakt. Misschien. Maar we moeten het daarom niet helemaal weggooien, integendeel, opnieuw dit aspect versterken.

Tweesporen-universiteit?

Een gevaar dat er in MOOCs schuilt is dat ze al te makkelijk en verleidelijk kunnen meegenomen worden in een kostenbesparend verhaal. Laten we een goede MOOC maken, die gaat jaren mee, en we kunnen alle klassieke contactmomenten afschaffen! Lekker goedkoop!

Dit houdt echter het gevaar in dat we in universiteiten met twee sporen terecht komen. Enerzijds de grote studentenmassa, die op hun studentenkamertje geisoleerd het studiemateriaal achter de PC doorneemt; anderzijds de premium (en duurdere) opleiding voor de geselecteerde happy few met omkadering op de campus zelf, en met directe toegang tot de professoren.

Dit gevaar is niet denkbeeldig. In het neo-liberale denken dat de universiteiten meer en meer binnensluipt zou dit een perfect te verantwoorden model zijn.

Eenheidsdenken

Een andere gevaar is het eenheidsdenken. Iedereen is in de wolken over het feit dat het nu mogelijk is de wereldbekende autoriteit in het vakgebied een vak te laten geven voor tienduizend, zelf honderdduizend studenten. De beste kwaliteit voor iedereen!

Maar willen we dit ook? Willen we echt naar een model waarbij alle studenten exact dezelfde manier van denken voorgeschoteld krijgen van dezelfde star-professor? Keldert dat na verloop van tijd niet de aanwezigheid van verschillende meningen die nodig zijn om innovatief te kunnen werken in bedrijven en organisaties waar afgestudeerde studenten zullen terechtkomen? Als iedereen hetzelfde leest, hoort en denkt, is onze intellectuele omgeving dan niet eerder armer in plaats van rijker geworden?

"Maar die cursus aan universiteit X, Y of Z is toch zoveel beter dan die aan de eigen instelling!" kan menig student opwerpen. Dat kan zijn, en de kans is groot dat sommige universiteiten een beter aanbod hebben dan anderen. Maar dan moet je als student ook maar naar die andere universiteit gaan en je daar inschrijven. Misschien kan deze evolutie universiteiten ertoe aanzetten zich beter te profileren en de eigen eigenheid beter te beklemtonen. Dat zou alleszins een goede zaak zijn.

Vlaamse context

Ik loop al lang genoeg mee in het Vlaamse onderwijslandschap om te beseffen dat men in Vlaanderen zeer moeilijk tot echte keuzes komt. Het verhaal is altijd EN-EN. We willen een massa-universiteit zijn EN tegelijkertijd excellent onderzoek afleveren. We willen nederlandstalig onderwijs voor de Vlaamse student EN Engelstalig onderwijs voor de internationale student. We willen alle studierichtingen aanbieden EN top zijn in alles.

Ik vrees dat het met de nieuwe evolutie zoals MOOCs dezelfde weg opgaat. We willen MOOCs EN meer traditioneel onderwijs EN het mag ons niets extra kosten.

Een goede vriend van mij biedt op dit ogenblik een MOOC aan bij Udacity. Zijn opsomming van wie er allemaal betrokken is bij het produceren van een MOOC gaat toch iets verder dan de profesoor die wat filmpjes opneemt met zijn webcam. Als het dat laatste wordt, dan kunnen we het beter niet doen.



Ik ben niet fundamenteel tegen MOOCs. Integendeel, het lijkt me zeker een interessante ontwikkeling. Maar de vraag of we als Vlaamse universiteit zomaar blindelings moeten meestappen in dat verhaal is voor mij op dit ogenblik alleszins niet uitgeklaard. Ik hoop dat de discussie dan ook ten gronde gevoerd zal worden ...

Born Again

Tijd om deze blog nieuw leven in te blazen.

De laatste post dateert van midden 2009, 3.5 jaar geleden. Er zijn uiteraard goede redenen waarom ik niet meer toekwam aan bloggen op deze blog, maar het plan is om dit terug op te pikken. Geen tijd meer verknoeien op Facebook (account op non-actief gezet), maar het betere opinie-werk.

We zullen zien ...

Examenstress etc.

Nu langzaam de campus leegloopt, kunnen we het nog eens hebben over één van mijn favoriete onderwerp: studenten en examens.

Ik heb elk jaar het genoegen om een boel studenten mondeling te ondervragen (computer graphics vakken ...), maar ook een aantal schriftelijke examens te verbeteren (1ste bachelor burgerlijk ingenieur, zo'n 500 studenten). Dat levert allerhande staaltjes van leuke anekdotes op, maar is ook een bron van frustratie en ergernis, die huisgenoten, vrijdagavond-buddies en toevallige voorbijgangers moeten aanhoren, soms tot vervelens toe.

Over sommige aspecten van examens heb ik het al eerder op deze blog gehad, maar dit jaar vielen me een aantal dingen toch weer op ...

• "Help, ik heb geen rekenmachine!"
  Studenten mogen geen elektronica gebruiken op het examen (dus geen wikipedia access via de iPhone), en dus kan men de meest eenvoudige rekenkundige bewerkingen niet meer uitvoeren. Mag er nog geweten zijn hoeveel log2(10) is? Of zijn jonge ingenieurs echt zo hulpeloos? Misschien ben ik old-school, maar ik vind dus dat ingenieursstudenten een aantal getallen tot pakweg 4 cijfers na de komma gewoon moeten kennen. Pi en e uiteraard, maar ook de wortel van 2, en jawel, het binaire logaritme van 10. En indien je log2(10) niet kent, hoe moeilijk is het dan om dit even te schatten?
  
  
• "Het is een 4x4 matrix!"
  De intellectuele luiheid der studenten waarmee ik geconfronteerd word is soms hemeltergend. Bij een mondeling examen krijgt men meestal een uur of twee om de vragen voor te bereiden. Ik verwacht dan ook een gedegen, uitgewerkt antwoord, en niet iets van vijf lijntjes. Dit houdt ook in dat wiskundige formules, matrices, vergelijkingen, worden gegeven. Als dan een student zegt dat een perspectieftransformatie met een matrix berekend wordt, dan is dat op zich niet fout, maar ik zou dan toch wel graag horen hoe die matrix eruit ziet. Antwoord van een jongeling: "Het is een 4x4 matrix!" ... Voor de niet-ingewijden: dit is zowat equivalent om op de vraag "Hoeveel is 1+1?" als antwoord te geven "Een cijfer!". Grrr.....
  Toen ik dezelfde vraag stelde in Louvain-la-Neuve, gaf wel iedereen het uitgewerkte antwoord. De Vlaamse studenten zijn vanuit mijn mini-perspectief bekeken toch iets luier dan de Waalse ...
  
  
• "Niet leesbaar, geen stempel!" (*)
  Een gouden tip voor een schriftelijk examen: schrijf een beetje leesbaar. Bij sommige examenkopijen dient het papier nog enkel om de inkt bij elkaar te houden, of zien alle letters er exact hetzelfde uit. Denk alsjeblief ook eens aan de arme verbeteraar, die slechts 5 minuten tijd om je volledige schriftelijke examen te bekijken. Als ik dan niet dadelijk zie waar je antwoord over gaat, zeer jammer, maar dat is dus een nul ...
  In deze categorie hoort ook de voorliefde van studenten voor volzinnen thuis, ondanks smeekbedes om alles in telegramstijl neer te schrijven. Gelukkig heb ik nog geen antwoord gezien dat aanving met "Heden ten dage, zijn computers niet meer weg te denken uit onze samenleving ...".

Versta me niet verkeerd, ik geef graag les, werk graag samen met studenten (toch diegenen die een voldoende halen op mijn vakken), en vind dat kennis overbrengen nog altijd een van de meest nobele bezigheden is. Maar die examens, die zijn er soms toch wel teveel aan ...

(*) "Geen stempel!" is één van mijn stopwoorden geworden door één van mijn neefjes die deze uitdrukking uit de kleuterklas terug in mijn actieve geheugen plaatste. Als je daar niet braaf bent, krijg je blijkbaar geen stempel van één of ander beestje of paddestoel op je hand.

Jackson Pollock

Eind mei/begin juni vertoefde ik in aangenaam gezelschap in New York. In het Museum of Modern Art maakte ik toch wel een leuke ervaring mee, die ik mijn weinige lezers niet wil onthouden.

In de zaal waar een aantal werken van Jackson Pollock te bezichtigen waren, werd ik verschillende malen intens aangestaard door een jonge Japanner. Hij keek vrij vreemd naar mij, ik keek af en toe wel eens terug, en na enkele minuten vroeg hij of ik van de kunst van Jackson Pollock hield. Ik antwoordde dat ik de stijl wel leuk vond, waarop hij vorge of hij wist hoe Jackson Pollock eruit ziet. Zeer vreemde vraag, maar uiteindelijk kwam de aap uit de mouw: Hij vond dat ik als twee druppels water op de kunstenaar leek. Ik was enigszins verrast, maar toen stond hij erop dat ik voor hem poseerde naast een schilderij van Pollock. Toen hij de foto nam, schoten ogenblikkelijk enkele andere Japanners ook in actie om eveneens een foto van mij naast het werk van Pollock te nemen.

Anyway, hij beloofde me de foto op te sturen (zie hierboven). Of ik nu echt op Jackson Pollock lijk, moet iedereen zelf maar beoordelen ...

GP Lego Mindstorms

Nog meer filmpjes van de Lego Mindstorms projecten van afgelopen academiejaar. Cool stuff!

P&O Lego Mindstorms 2009

Some results from the project course I'm running for 3rd bachelor CS students.