donderdag 22 augustus 2013

Academische Publicatiedruk

Naar aanleiding van een petitie galanceerd door de Actiegroep Hoger Onderwijs op 20 augustus ll., is er in de media redelijk wat aandacht geweest rond de publicatiedruk die academici ondervinden aan de Vlaamse universiteiten. En redelijk verrassend, is er zelfs een reactie van de Vlaamse rectoren gekomen die één en ander onderschrijven en erkennen dat er een probleem is. De timing zat natuurlijk ook goed: in de grootste Vlaamse universiteiten Leuven en Gent zijn er nieuwe bestuursploegen aangetreden, en er staat een evaluatie van het financieringsmodel van de universiteiten aan te komen.

Ik wil hier niet de verschillende punten aangehaald in allerlei opiniestukken herhalen (overzicht), maar wil in deze post wel even toelichten wat deze publicatiedruk concreet betekent op de academische werkvloer. Vooral bij mensen die niet in het universitaire academische milieu zitten bestaan er wel wat misvattingen over  wat dat publiceren nu precies inhoudt, en waar die druk precies vandaan komt.

Maar eerst even mijn eigen situatie, omdat dit relevant kan zijn om één en ander te kaderen. Er is immers niet zoiets als DE academische wereld: de academische wereld en de universiteiten zijn immers een bonte verzameling van honderden onderzoeksgroepen als KMO'tjes, elk in hun eigen vakgebied, elk met hun eigen geplogendheden en tradities. Mijn ervaringen en praktijken in mijn vakgebied zijn dus niet noodzakelijk te veralgemenen.

Ik ben zelf afgestudeerd als burgerlijk ingenieur in 1989, doctoraat behaald in 1996 (jaartje legerdienst ertussenin), postdoc aan Amerikaanse universiteit tot 2001, dan docent/hoofddocent/hoogleraar aan KU Leuven tot nu in 2013. Mijn onderzoeksgebied zijn de computerwetenschappen, meer specifiek computer graphics. Sinds ik prof ben in 2001 heb ik een tiental doctoraten tot een goed einde begeleid, en het aantal onderzoekers onder mijn hoede waar ik onmiddelijk mee werk heeft gevarieerd tussen 2 en 10 - afhankelijk van het jaar. Voor sommigen zijn deze cijfers peanuts, voor anderen zijn ze een luxe. Dat schetst op zich al de grote variatie die er heerst in de onderzoekswereld.

Publish or Perish

De output van wetenschappelijk onderzoek is in de eerste plaats natuurlijk nieuwe kennis, maar dat heeft weinig zin als je die nieuwe kennis niet bekend maakt aan de rest van de wereld. Dit gebeurt door wetenschappelijke artikels te publiceren in tijdschriften, de zogenaamde journals; of  voor te stellen op wetenschappelijk conferenties. Er zijn overlappingen en mengvormen, afhankelijk van de discipline waarin men werkt

Uiteraard komen niet zomaar alle wetenschappelijke resultaten terecht in die journals! Het totale proces er ongeveer als volgt uit:
  1. Je schrijft een wetenschappelijk artikel over je bevindingen, en je stuurt dit naar een tijdschrift ter overweging voor publicatie.
  2. Je artikel zal worden gereviewed door mensen die deel uitmaken van de editorial board, of daar door hen voor aangezocht worden. Zij vellen een oordeel over je artikel, en of het al dan niet de moeite waard is om te publiceren.
  3. Na enige tijden (weken, maanden) krijg je het resultaat. Heel dikwijls wordt er gevraagd om kleine of grotere wijzigingen aan te brengen, waarvoor je een bepaalde periode krijgt. Afwijzing (reject) behoort eveneens tot de mogelijkheden.
  4. Je stuurt je herwerkte manuscript opnieuw in, en het proces begint opnieuw, al dan niet aan versneld tempo, afhankelijk van de gevraagde wijzigingen.
  5. Eens het artikel aanvaard wordt, wordt het gepubliceerd in het tijdschrift, en kan de rest van de academische wereld het lezen.
Elk wetenschappelijk artikel bevat verwijzingen naar eerder gepubliceerde artikels - de referenties. Het aantal maal dat een artikel gerefereerd wordt is een graadmeter voor welk belang andere onderzoekers er aan hechten. M.a.w., referenties zijn een (ruwe) maatstaf voor hoe belangwekkend de inhoud van een artikel is.

Op basis van die aantallen referenties worden de impactfactoren van tijdschriften bepaald. Tijdschriften die artikels bevatten  die veel gerefereerd worden, hebben een hogere impactfactor. De impactfactor zegt dus iets over de belangrijkheid van een tijdschrift. Ruwweg kan men ook stellen dat de wetenschappelijke drempel om je artikel gepubliceerd te krijgen in een tijdschrift met hoge impactfactor, hoger ligt.

Nu komt de aap uit de mouw! Alhoewel impactfactoren oorspronkelijk bedoeld waren om een leidraad te zijn voor bibliothecarissen, is men ze gaan gebruiken om de kwaliteit van onderzoek te meten. Als je als universiteit als geheel veel publicaties hebt in tijdschriften met hoge impactfactoren, moet je als universiteit wel goed zijn. En dus krijg je via financieringsmechanismen van de overheid meer geld - als universiteit. Het aantal artikels in tijdschriften met hoge impactfactoren is slechts één parameter in het financieringsmodel, maar een niet onbelangrijke!

Maar nu komt er een tweede aap uit een andere mouw! De universiteiten zijn die criteria meer en meer gaan gebruiken om kleinere eenheden zoals onderzoeksgroepen te gaan beoordelen, tot zelfs individuele academici toe. Aanstellingen, bevorderingen, projectgoedkeuringen, onderzoeksgelden, zijn allemaal gaan afhangen van hoeveel artikels je ooit gepubliceerd  hebt in tijdschriften met hoge impactfactoren. Als je interesse hebt in mijn eigen onderzoeksprofiel: websites zoals Google Scholar helpen om al die data continue te traceren.

Screenshot van Google Scholar profiel
Als je meer publiceert, heb je dus meer kans op elk van die dingen. En, vermits de te verdelen som geld voor onderzoek, aanstellingen, bevorderingen e.d. eindig is en niet meegroeit met de wetenschappelijke productie; is op die manier een systeem gecreëerd waarbij elke individu in directe competitie staat met zijn collega's. Of het nu jonge postdocs zijn die een aanstelling ambiëren als docent; of het nu hoofddocenten zijn die een bevordering willen tot hoogleraar; of het nu onderzoeksgroepen zijn die onderzoeksgelden aanvragen; of het nu faculteiten zijn die intern beleidsruimte moeten verdelen; iedereen staat in permanente competitie met elkaar.

Ergo: een enorme druk om steeds meer en meer te publiceren, die een ongezonde claim legt - niet enkel op de academische werking - maar ook op de persoonlijke levenssfeer. Aan een Amerikaanse universiteit pochtte een decaan ooit hoe goed ze wel waren in onderzoek, afgaande op het aantal echtscheidingen in zijn departement.

Neveneffecten 

So what? zult u zeggen. Competitie, dat is in de economie toch ook zo? Juist, maar de universiteit is geen bedrijf en opereert niet in de economie, of zou dat toch niet moeten doen. Als de opgelegde criteria er voor zorgen dat een aantal kwalijke neveneffecten opduiken die de werking van universiteiten niet ten goede komen en de academici ontevreden maakt, dan is er duidelijk iets mis. Sommige neveneffecten zijn milder van aard, maar daarom niet zomaar weg te moffelen.

Tweede-orde werkdruk
Door het feit dat er steeds meer artikels naar tijdschriften worden opgestuurd, moeten er meer artikels gereviewed worden - zelfs artikels die afgewezen worden en die nooit tot publicatie komen. Maar wie zijn die reviewers? Die komen natuurlijk ook uit de wereldwijde pool van onderzoekers. De laatste jaren stijgt met de publicatiedruk dan ook  de reviewing-druk. Persoonlijk heb ik jaren gehad waarin ik meer dan 50 artikels heb moeten reviewen als lid van diverse editorial board, program committees van conferenties en dies meer. Voor elk artikel moet je een beslissing nemen - wetende dat er carrières van afhangen.

Academisch werk buiten publiceren
Kwalitatief hoger onderwijs, toch de unique selling proposition van de universiteiten, komt steeds meer in de verdrukking. Het loont niet echt als je je als academicus inzet voor goed onderwijs - of het loont alleszins minder dan publiceren. Jongere collega's verbranden zich niet om grote vakken te geven in de bachelorjaren, die gepaard gaan met een grote tijdsbesteding. Maar ook oudere professoren die een bevordering tot gewoon hoogleraar ambiëren, nemen liever niet teveel onderwijshooi op hun vork.

Zelf denk ik dat onderwijs dé kerntaak is van de universiteit. Maar zeker niet iedereen denkt er zo over. Maar voor mezelf moet ik keuzes maken: een boek dat gebruikt wordt als cursus geef ik niet uit bij ACCO (voordelig voor de student), maar bij een Amerikaanse uitgever. Zo komt dat boek in mijn publicatielijst, wordt het gerefereerd, en kan ik het als één van de vele hefboompjes gebruiken om middelen te pakken te krijgen. Als ik een bepaald semester kan kiezen om een vak een grondige update te geven, of werk te maken van een goed artikel, dan is dat een zeer moelijke keuze.

Voor andere taken, zoals het voorzitterschap van raden, commissies die gepaard gaan met veel werk (bvb. permanente onderwijscommissies aan mijn eigen universiteit), wordt het moeilijker om mensen te vinden die dit willen doen. Career-suicide, noemde een collega me dit, toen ik pas aangesteld was tot programmadirecteur van de masteropleiding waarin ik les geef.

Appelen met peren vergelijken
Omdat verschillende disciplines verschillende publicatieculturen en gewoontes hebben, hebben academici voortdurend het gevoel dat er appelen met peren vergeleken worden. Dit schept een omgeving van wantrouwen ten aanzien van bijvoorbeeld benoemingscommissies (waar je eigen collega's in zetelen) die beslissen over aanstellingen en bevorderingen. Wordt er immers wel steeds rekening gehouden met domeinspecifieke parameters?

Enkele voorbeelden: Publiceert je discipline veel of weinig? Vooral in journals of conferenties? Internationaal of nationaal? Is het de gewoonte dat de professor mee als auteur op de publicatie van een doctorandus vermeld wordt of niet? Staan auteurs in alfabetische volgorde, of diegene die het meeste werk gedaan heeft eerst? Wat zijn de gewoontes m.b.t. refereren? Betreft het een wetenschap die toelaat om een publicatie in een week te schrijven, of vereist het ettelijke manjaren werk om tot een goed artikel te komen? Zit je in een domein waar veel aandacht en geld naartoe gaat, of niet? Wat is het gemiddeld aantal doctorandi per professor? Hoe lang gaat een artikel mee in het domein? Komen referenties reeds snel, of duurt dat enkele jaren? Enz. Enz.

Vergelijk het met prestaties tegen elkaar afmeten in de sport: is de Tour de France winnen belangrijker dan triomferen op Wimbledon? Moet je een Europees record hoger inschatten dan een Olympische bronzen medaille? Is wereldkampioen worden in het veldrijden van even hoog belang als een halve finale halen in een teamsport zoals hockey?

Fraude
Bij wetenschappelijke fraude zou ik onderscheid willen maken tussen de harde en zachte fraude. Harde fraude is onderzoeksresultaten vervalsen om op die manier je artikels aanvaard te krijgen. Het zijn dit soort gevallen die de laatste tijd spectaculair de pers halen - met de zaak Stapel als bekendste voorbeeld. Nooit goed te praten, wel te begrijpen waarom.

De zachte fraude liegt niet over de onderzoeksresultaten, maar tracht de cijfers te beïnvloeden die met het meten van wetenschappelijke output gepaard gaan. Ze is moelijker op te sporen en te bewijzen, maar bestaat wel degelijk. Van elk van onderstaande gevallen ben ik zeker (t.t.z. collega's hebben dit vermeld in mondelinge gesprekken) dat ze reeds gebeurd zijn:
  • Auteurs toevoegen aan publicaties die met het werk niets te maken hebben. Dit kan gaan van collega's die op die manier hun output een boost geven, tot een lid van een editorial board om het artikel in snelvaart door het reviewing proces te krijgen.
  • Elkaars artikels citeren zonder dat het strikt noodzakelijk is.
  • Met een groep collega's afspreken om publicaties in een specifiek tijdschrift veelvuldig te citeren om de impactfactor omhoog te drijven.
  • In rapporten van onderzoeksprojecten als output artikels oplijsten die niets met het project te maken hebben.
  • Bij aanvragen van onderzoeksprojecten claimen dat bepaalde artikels eigen werk zijn, terwijl ze in een ander labo zijn uitgevoerd.
  • Dezelfde bevindingen in licht gewijzigde vorm als meerdere artikels publiceren.
Is wetenschappelijke output wel meetbaar?

De vraag bij dit alles is natuurlijk of je academici wel aan evaluaties kan onderwerpen. Natuurlijk wel. Het zou al te gek zijn dat je voor de grote sommen geld die de overheid in wetenschappelijk onderzoek pompt er geen verantwoording hoeft afgelegd te worden.

Het frustrerende aan de huidige meetcultuur is echter dat er slechts één enkel instrument gehanteerd wordt om de waarde van je wetenschappelijk werk te meten, waarbij het instrument op zich al ter discussie staat. De lat mag best hoog liggen, daar twijfelt geen enkele academicus aan, maar er komen best verschillende soorten latten.

Welk soort universiteit willen we?

Fundamenteel raakt deze hele problematiek aan de vraag over welk type universiteit we willen. Om het even welk evaluatiesysteem dat je hanteert om mensen te beoordelen en te belonen, zorgt ervoor dat mensen zich naar dat evaluatiesysteem gaan gedragen. Als dat gedrag het gewenste gedrag is, dan zit je goed. Indien niet, dan heb je een probleem.

Willen we een universiteit waar mensen publicatiemachines worden en onderwijs op de tweede plaats komt? Of willen we een universiteit waar onderwijs - weliswaar gedreven door onderzoek - de voorrang heeft?
Is meer en meer onderzoek een goede zaak, en moet dat zonodig door de uniefs gebeuren, of wordt grootschalig onderzoek beter uitbesteed aan instellingen zoals IMEC of VITO?
Zijn er te weinig plaatsen voor onderzoekers, of net teveel? Moet de personeelsstructuur aan de universiteiten de vorm hebben van een piramide, of een cylinder?
Is de universiteit een instelling die moet renderen net als een bedrijf, of is het een instelling van openbaar nut die moet kunnen dienen als kenniscentrum voor de gehele maatschappij?

Al deze vragen zijn niet nieuw. Ze zullen ook niet opgelost worden de komende jaren door de nieuwe bewindsploegen. Maar ze tonen wel aan dat de rol van de universiteiten niet voor iedereen eenduidig bepaald is.



P.S. Na eerste verschijning heb ik enkele kleine edits - voornamelijk verbeteren van tikfoutjes - doorgevoerd.

woensdag 10 april 2013

To MOOC or not to MOOC?

Sinds enkele maanden zijn MOOCs niet meer weg te denken uit discussies i.v.m. online (hoger) onderwijs. Ik zou verwachten dat iedereen die een aan universiteit verbonden is ondertussen wel weet wat een MOOC is, maar niet zo. Ik loop verbazend nog veel collega's tegen het lijf die het acronym nog nooit gehoord hebben, laat staan wat het betekent. In het geval u een van hen bent: MOOC = Massive Open Online Course.

Kort samengevat komt het hierop neer: een vak wordt online aan het grote publiek aangeboden in de vorm van filmpjes, interactieve demo's, praktische oefeningen e.d.. Studenten kunnen zich massaal inschrijven, en werken zich (al dan niet op eigen tempo) door de aangeboden leermodules. Indien alle opdrachten tot een goed einde worden gebracht, volgt er een certificaat waaruit blijkt dat je de bewuste cursus effectief hebt gevolgd.

Alhoewel het idee van online onderwijs al wel enkele jaren of zelfs meer dan een deccenium meegaat, zijn MOOCs in 2012 plots op de voorgrond komen te staan door initiatieven zoals Udacity, Coursera en edX.

Het zou me te ver leiden hier alle fijnere nuances en varianten van MOOCs uit de doeken te doen, maar Inside Higher Education is een website waar vele goede artikels te vinden zijn over successen, mislukkingen, algemene visies e.d.

Als het in de US regent, druppelt het ook in Vlaanderen, en dus zijn MOOCs ook een recurrent gespreksonderwerp geworden op allerlei onderwijsgerelateerde fora in het Vlaamse onderwijslandschap. Alhoewel men nu ongetwijfeld nog in de hype-fase zit m.b.t. MOOCs, zijn er toch reeds enkele bedenkingen te formuleren - al dan niet relevant voor de Vlaamse context.

Moeten Vlaamse universiteiten meegaan in MOOCs?

Dat hangt ervan af of je het bekijkt vanuit de positie van aanbieder of afnemer. Als (Vlaamse) universiteit die gefinancierd wordt met belastingsgeld, is het zeker een nobele doelstelling om onderwijs aan te bieden aan zoveel mogelijk Vlamingen, ongeacht of die nu ingeschreven zijn als student zijn of niet. In die zin is er dus zeker een potentieel voor een aantrekkelijk aanbod van academische kennis. Wie zou enkele gerenomeerde professoren niet willen horen doceren over hun favoriete vakgebied?

Een ander verhaal wordt het echter als men als universiteit MOOCs zou gaan afnemen, aangeboden door andere universiteiten. Het staat elke reguliere student natuurlijk vrij om MOOCs te volgen in de vrije tijd (net zoals het iedereen vrij staat om om het even welk handboek te lezen), maar om deze op te nemen in een regulier studieprogramma voor een bepaald aantal studiepunten lijkt me een stap te ver. Dit zou immers betekenen dat we een deel van ons onderwijs - wat nog altijd de kernopdracht van een universiteit is - gaan outsourcen aan derden.

"So what?", zult u zeggen, "Doen we dat ook niet reeds met allerhande internationale uitwisselingen genre Erasmus of Athens?" Mja, misschien wel. Maar dergelijke uitwisselingen komen steeds tot stand via nauwgezette onderhandelingen tussen universiteiten, met een zekere kwaliteitsbewaking over het uitwisselingsproces. En, het blijft een uitwisseling.

Bovendien lijkt het me not done om studenten inschrijvingsgeld te vragen (of de belastingsbetaler te laten betalen voor het organiseren van hoger onderwijs), en dan de boel maar af te schuiven op een gratis MOOC die door een buitenlandse universiteit op touw is gezet.

Raakt een MOOC aan de essentie van wat een universiteit is?

Een voordeel van MOOCs dat dikwijls aangehaald wordt is dat studenten min of meer op eigen tempo door de leerinhoud kunnen gaan, dingen kunnen herbekijken en dergelijke meer. Dat is natuurlijk geredeneerd vanuit een puur functioneel leerproces.

Echter, de universiteit is meer dan enkel een leerproces, examens afleggen, en een diploma krijgen. Er zijn uiteraard aspecten zoals het proces van volwassen worden, feestjes bouwen, op eigen benen leren staan e.d. Maar we zullen niet claimen dat dit tot de essentie van de universiteit behoort, het zijn misschien wel aangename neveneffecten.

Wat volgens mij echter wel integraal deel uitmaakt van het leerproces is om te vertoeven in een intellectueel stimulerende omgeving - wat de universiteit zou moeten zijn. Omgaan met professoren, feedback krijgen, converseren met mede-studenten, gestmuleerd worden in de intellectuele ontwikkeling, zijn voor mij even essentiele aspecten van de universiteit dan enkel maar de leerstof op zich doornemen.

Deze aspecten - laten we ze trendy het omgaan met peers noemen - zijn niet zomaar te verwaarlozen. Het is de reden waarom wetenschappers nog steeds graag naar conferenties gaan (wat achteraan de zaal gebeurt is even boeiend als wat vooraan verteld wordt), of waarom netwerkrecepties nog steeds hoog ingeschat worden.

Er kan opgeworpen worden dat in de massa-universiteiten zoals Vlaanderen die vandaag kent dit aspect op de achtergrond verzeild is geraakt. Misschien. Maar we moeten het daarom niet helemaal weggooien, integendeel, opnieuw dit aspect versterken.

Tweesporen-universiteit?

Een gevaar dat er in MOOCs schuilt is dat ze al te makkelijk en verleidelijk kunnen meegenomen worden in een kostenbesparend verhaal. Laten we een goede MOOC maken, die gaat jaren mee, en we kunnen alle klassieke contactmomenten afschaffen! Lekker goedkoop!

Dit houdt echter het gevaar in dat we in universiteiten met twee sporen terecht komen. Enerzijds de grote studentenmassa, die op hun studentenkamertje geisoleerd het studiemateriaal achter de PC doorneemt; anderzijds de premium (en duurdere) opleiding voor de geselecteerde happy few met omkadering op de campus zelf, en met directe toegang tot de professoren.

Dit gevaar is niet denkbeeldig. In het neo-liberale denken dat de universiteiten meer en meer binnensluipt zou dit een perfect te verantwoorden model zijn.

Eenheidsdenken

Een andere gevaar is het eenheidsdenken. Iedereen is in de wolken over het feit dat het nu mogelijk is de wereldbekende autoriteit in het vakgebied een vak te laten geven voor tienduizend, zelf honderdduizend studenten. De beste kwaliteit voor iedereen!

Maar willen we dit ook? Willen we echt naar een model waarbij alle studenten exact dezelfde manier van denken voorgeschoteld krijgen van dezelfde star-professor? Keldert dat na verloop van tijd niet de aanwezigheid van verschillende meningen die nodig zijn om innovatief te kunnen werken in bedrijven en organisaties waar afgestudeerde studenten zullen terechtkomen? Als iedereen hetzelfde leest, hoort en denkt, is onze intellectuele omgeving dan niet eerder armer in plaats van rijker geworden?

"Maar die cursus aan universiteit X, Y of Z is toch zoveel beter dan die aan de eigen instelling!" kan menig student opwerpen. Dat kan zijn, en de kans is groot dat sommige universiteiten een beter aanbod hebben dan anderen. Maar dan moet je als student ook maar naar die andere universiteit gaan en je daar inschrijven. Misschien kan deze evolutie universiteiten ertoe aanzetten zich beter te profileren en de eigen eigenheid beter te beklemtonen. Dat zou alleszins een goede zaak zijn.

Vlaamse context

Ik loop al lang genoeg mee in het Vlaamse onderwijslandschap om te beseffen dat men in Vlaanderen zeer moeilijk tot echte keuzes komt. Het verhaal is altijd EN-EN. We willen een massa-universiteit zijn EN tegelijkertijd excellent onderzoek afleveren. We willen nederlandstalig onderwijs voor de Vlaamse student EN Engelstalig onderwijs voor de internationale student. We willen alle studierichtingen aanbieden EN top zijn in alles.

Ik vrees dat het met de nieuwe evolutie zoals MOOCs dezelfde weg opgaat. We willen MOOCs EN meer traditioneel onderwijs EN het mag ons niets extra kosten.

Een goede vriend van mij biedt op dit ogenblik een MOOC aan bij Udacity. Zijn opsomming van wie er allemaal betrokken is bij het produceren van een MOOC gaat toch iets verder dan de profesoor die wat filmpjes opneemt met zijn webcam. Als het dat laatste wordt, dan kunnen we het beter niet doen.



Ik ben niet fundamenteel tegen MOOCs. Integendeel, het lijkt me zeker een interessante ontwikkeling. Maar de vraag of we als Vlaamse universiteit zomaar blindelings moeten meestappen in dat verhaal is voor mij op dit ogenblik alleszins niet uitgeklaard. Ik hoop dat de discussie dan ook ten gronde gevoerd zal worden ...

dinsdag 15 januari 2013

Born Again

Tijd om deze blog nieuw leven in te blazen.

De laatste post dateert van midden 2009, 3.5 jaar geleden. Er zijn uiteraard goede redenen waarom ik niet meer toekwam aan bloggen op deze blog, maar het plan is om dit terug op te pikken. Geen tijd meer verknoeien op Facebook (account op non-actief gezet), maar het betere opinie-werk.

We zullen zien ...