Posts tonen met het label Ungrading. Alle posts tonen
Posts tonen met het label Ungrading. Alle posts tonen

donderdag 17 augustus 2023

Verder inzetten op "ungrading" ...

De afgelopen 2 jaar heb ik volop de kaart getrokken van "ungrading" voor opdrachten die studenten maken gedurende het semester. Er worden geen quoteringen meer gegeven op ingediend werk, maar wel individuele feedback. Dit leidt tot een sterker leerproces en een duidelijk effect op de eindbeoordeling van het examen, tenminste voor die studenten die de opdrachten ook effectief indienen (zie ook mjn vorige blogposts voor meer gedetailleerde analyses).

Ik zal hier niet opnieuw ingaan op alle beoogde positieve effecten en negatieve neveneffecten (daarvoor moet je mijn vorige blogposts er maar op naslaan), maar wel even toelichten welke lessen ik getrokken heb en hoe ik komend academiejaar één en ander zal aanpakken.

  1. Opdrachten klein en atomair houden.
    Een traditionele opdracht of project (die ook gequoteerd wordt) heeft vaak een grotere omvang. Studenten stellen de hoeveelheid werk (en de zin of onzin van dergelijke opdracht) vaak niet in vraag, want "er zijn punten mee te verdienen!" Als men een ungrading aanpak gebruikt (en de facto het optioneel laat om een opdracht in te dienen), moet je studenten kunnen aanmoedigen, of minstens niet ontmoedigen, om een opdracht aan te vatten. Dat betekent dat kleinere opdrachten, waarbij studenten een duidelijk eindpunt kunnen zien, beter zijn dan grotere projecten. Opdrachten die daarom op een enkele avond of maximaal een uurtje of een paar uurtjes kunnen afgerond worden verdienen de voorkeur.
  2. Opdrachten na elke les beschikbaar maken
    Aanvankelijk maakte ik opdrachten beschikbaar in grote blokken, maar het is beter na elk hoorcollege een opdracht beschikbaar te maken indien die reeds kan gemaakt worden door studenten. Dit geeft uiteraard een betere spreiding in de tijd, en kan studenten meer motiveren om een opdracht aan te vatten.
  3. Aangeven van relevantie
    Als docent moet je duidelijk aangeven wat de relevantie van een opdracht is m.b.t. het finale examen. Welke inzichten kan je verwerven? Welke vaardigheden? Bij welke onderdelen van de theorie sluit de opdracht aan? Wat zijn mogelijke examenvragen die aansluiten bij deze opdracht? Opnieuw heeft dit te maken met de motivatie van studenten om een opdracht aan te vatten.
  4. Complementariteit
    Qua inhoud moeten opdrachten complementair zijn aan de andere leeractiviteiten van een vak. Het heeft weinig zin om studenten iets te laten maken dat sterk overlapt of redundant is met theorie uit het hoorcollege of oefeningen uit oefenzittingen. "More of the same" is geen goede aanpak. Opdrachten moeten bij voorkeur een aha!-moment bevatten, iets wat een student kan opsteken en dat *niet* wordt afgedekt door theorie of andere activiteiten die men reeds uitgevoerd heeft.
  5. Niet wakker liggen van deelnamepercentage
    We moeten er niet flauw over doen: als iets niet gequoteerd wordt, zullen (veel) minder studenten een opdracht ook maken. Echter, ik zie het niet als mijn taak om studenten telkens te motiveren om iets te verrichten. Studenten zijn volwassen mensen en zelf verantwoordelijk voor hun leerproces, en een goed student geeft elk vak de nodige aandacht. Uiteindelijk verplichten we studenten ook niet om naar lessen of oefenzittingen te komen, waarom zou ik hen dan verplichten om opdrachten uit te voeren? Hier is wel een belangrijke randvoorwaarde, namelijk dat de doelstellingen van een vak dan wel volledig kunnen afgedekt worden via een finaal examen.

Feedback ipv Quotering (11)

Het afgelopen semester van academiejaar 2022-2023 was het tweede jaar dat ik voor een vak dat nominaal in 1ste bachelor informatica gegeven wordt ("Gegevensstructuren & Algoritmen") mijn "ungrading" aanpak voor opdrachten (milestones) gedurende het jaar gebruikt heb. Op basis van ervaring opgedaan bij vorige vakken was ik uiteraard benieuwd naar het effect, ook al omdat ik een aantal bijsturingen had doorgevoerd in de praktische aanpak.

Misschien nog even kort de effecten op slaagpercentages bij vorige vakken:

  • Gegevensstructuren en Algoritmen, 2021-2022
    • Studenten die GEEN milestones hebben ingediend: slaagpercentage 60.19%; gemiddelde  10.06/20
    • Studenten die minstens 1 milestone ingediend: slaagpercentage 86.67%; gemiddelde 13.80 / 20
  • Toepassingen van Meetkunde voor de Informatica, 3de bach Informatica 2022-2023
    • Studenten die GEEN milestones hebben ingediend: slaagpercentage 75%; gemiddelde  11.96 / 20
    • Studenten die minstens 1 milestone ingediend: slaagpercentage 100%; gemiddelde 14.60 /20
  • Ontwerp van Algoritmen, 1ste Master Computerwetenschappen 2022-2023
    • Studenten die GEEN milestones hebben ingediend: slaagpercentage 71.43%; gemiddelde  11.66/20
    • Studenten die minstens 1 milestone ingediend: slaagpercentage 88.24%; gemiddelde 12.88 / 20 

Algemeen kon ik stellen dat er significant verschil was in de bachelorvakken tussen studenten die wel de milestones deels hadden ingediend (en daar dus individuele feedback op ontvingen) vs studenten die dat niet gedaan hadden.

Voor het afgelopen semester zijn de cijfers als volgt:

  • Gegevensstructuren en Algoritmen, 2022-2023
    • Studenten die GEEN milestones hebben ingediend: slaagpercentage 33.66%; gemiddelde  7.60 / 20 (opmerking: slaagpercentage zonder telling van blanco ingediende examens 38.6%)
    • Studenten die minstens 1 milestone ingediend: slaagpercentage 64.58%; gemiddelde 11.13 / 20 (opmerking: slaagpercentage zonder telling van blanco ingediende examens 66.0%)

De verschillen tussen beide groepen blijven dus zeker groot, ruweg een verschil van 3.5 punt op 20 en slaagpercentage verschil > 25%, gelijkaardige trend als vorig jaar voor hetzelfde vak.

Wat wel opvalt is het globaal lagere slaagcijfer, en de globaal lagere gemiddelde score. Of dit iets te maken heeft met de ungrading aanpak is een andere discussie, maar ik vermoed het niet. Andere vakken van collega's voor dezelfde studentengroep geven eveneens een lager slaagcijfer in vergelijking met vorig academiejaar.

woensdag 24 mei 2023

Feedback ipv Quotering (10)

Mijn aanpak om gedurende het semester geen quoteringen meer toe te kennen aan opdrachten, maar volledig in te zetten op feedback, lopen verder. Binnenkort geef ik een presentatie op de Onderwijsdag van de Faculteit Wetenschappen, om de laatste ervaringen toe te lichten (intern KU Leuven event).

Afgelopen semester heb ik mijn aanpak toegepast in het vak Gegegevensstructuren en Algoritmen, en dit voor de 2de maal. Een volledige analyse volgt als de examens achter de rug zijn, maar ondertussen enkele cijfers.

Onderstaand overzicht geeft weer hoeveel studenten een specifieke milestone hebben ingediend. Volgens TOLEDO (KU Leuven e-platform) zijn er 209 studenten ingeschreven voor dit vak.

Milestone

Indieningen

Opmerkingen

1.1

53

Basis – opstart

1.2

40

Basis

1.3

29

Basis

1.4

25

Basis

1.5

16

Samenbrengen van 1.1 1.2 1.3 en 1.4

1.6

4

Optioneel

1.7

3

Optioneel

1.8

1

Optioneel

2.1

16

Alternatieven: 2.1A of 2.1B

2.1A

11


2.1B

2


2.2

9


2.3

6

Alternatief: 2.3A

2.3A

5


3.1

5


3.2

8

Alternatieven: 3.3 3.4 3.5 of 3.6

3.3

2


3.4

0


3.5

0


3.6

0


Zoals je kan zien neemt het aantal inzendingen per milestone snel af naarmate het semester vordert. In vergelijking met de vorige iteraties, heb ik nu meer aandacht besteed aan de uitleg per milestone, wat een student kan leren, hoeveel en welke milestones men best maakt, e.d. Maar ik vrees dat de realiteit blijft dat studenten nu éénmaal hun tijd spenderen aan die activiteiten die wél quoteringen opleveren. Ik begrijp dat ook, maar in zekere zin vind ik het niet mijn verantwoordelijkheid om te beslissen hoe een student zijn of haar tijd gebruikt, zolang ik maar duidelijk kader wat ik verwacht dat een student voor mijn vak(ken) doet, en welke keuzes daarin kunnen gemaakt worden.

Ter informatie: elke groep milestones (1.1 t.e.m 1.8 is één groep, 2.1 t.e.m 2.3 is een tweede groep, en 3.1 t.e.m. 3.6 vormt een derde groep) werd begroot op ongeveer 10 uur werk voor de student (exclusief het bekijken van de theorie nodig om de milestone tot een goed einde te brengen).

Een tweede grafiek laat zien hoeveel studenten hoeveel milestones hebben ingediend:

13 studenten hebben dus exact 1 enkele milestone ingediend, 8 studenten hebben exact 2 milestones ingediend, ... en een enkeling heeft 14 (van mogelijk 20) milestones ingediend. 53 studenten (cumulatief aantal) hebben dus minstens 1 milestone ingediend.

Waar ik natuurlijk wel op hoop (en eigenlijk vrij zeker van ben) is dat studenten die milestones hebben ingediend (en dus feedback hebben ontvangen), het beter zullen doen op het examen.

maandag 13 maart 2023

Feedback in plaats van Quotering (9)

In het kader van mijn lopende aanpak, om gequoteerde opdrachten te vervangen door louter feedback-gerichte opdrachten, heb ik op 27 februari 2023 een presentatie gegeven (intern KULeuven).

Wegens technische problemen was er geen opname mogelijk, maar ik heb nadien de presentatie zelf opnieuw ingesproken.