ModEst:Peer review, beoordeling en puntentelling

De ModelleerEstafette is gebaseerd op het idee van peer review. In de academische wereld is dat de gebruikelijke manier om wetenschappelijk onderzoek te beoordelen: onderzoekers die gepromoveerd zijn binnen hetzelfde vakgebied zijn qua kennis en vaardigheden elkaars gelijke (Engels: peer) en daarom het meest deskundig (meer dan onderzoekers die gespecialiseerd zijn op ander vakgebied).

Als eerstejaars Technische Bestuurskunde hebben alle deelnemers aan een estafette ongeveer dezelfde kennis en vaardigheden, en zijn dus wat dat betreft elkaars peers. Als deelnemer moet je daarom niet alleen de kwaliteit van je eigen werk, maar ook de kwaliteit van het werk van andere deelnemers kunnen beoordelen.

Peer review: Beoordeling van/door collega-studenten

In elke estafettestap (behalve de eerste) krijg je het werk te zien van je voorganger. Je weet niet weet wie dat is, dus je kunt het werk onbevangen beoordelen. Je beoordeelt dat werk op een schaal van 1 tot 5 sterren. Met 5 sterren zeg je "Geweldig, ik zou het zelf niet beter hebben kunnen doen!" Het andere uiterste is maar 1 ster; daarmee geef je aan dat verplichte onderdelen ontbreken, of zo summier zijn uitgevoerd dat ze totaal onbruikbaar zijn. Je geeft 3 sterren wanneer het werk aan de minimumeisen voldoet, maar er nog veel aan valt te verbeteren. De richtlijnen voor het beoordelen van stappen in de ModelleerEstafette helpen je om tot het juiste oordeel op de 5-sterrenschaal te komen.

Uiteraard moet je je beoordeling goed onderbouwen. Behalve een sterbeoordeling moet je ook aangeven wat je ziet als verbeterpunten of (in geval van 5 sterren) waarom je het werk zo goed vindt. Je voorganger krijgt je oordeel en feedback te zien, en kan daar van leren. Je voorganger moet jouw oordeel ook weer beoordelen: is hij/zij tevreden met jouw feedback en beoordeling? Als docent zien we deze signalen van "scheve" beoordelingen meteen, zodat we naar bevind van zaken kunnen bijsturen.

Omdat je moet voortbouwen op het werk van je voorganger heb je er alle belang bij om dat werk te verbeteren. Een matig conceptueel model kun je niet goed operationaliseren. Met een niet-werkend computationeel model kun je het systeemgedrag niet verkennen. Als je zelf goed werk wilt leveren ben je dus genoodzaakt het werk van je voorganger te verbeteren.

Jouw cijfer voor het doorlopen van een modelleerestafette wordt zo veel mogelijk gebaseerd op jouw eigen bijdrage, d.w.z. zowel jouw "toegevoegde waarde" aan het werk van je voorganger als jouw uitwerking van je "eigen" stap in het modelleerproces. Daarom moet iedereen vanaf Stap 2 twee beoordelingen geven op de 5-sterrenschaal: één voor het deel dat de voorganger heeft ontvangen en kunnen verbeteren, en één voor het deel dat de voorganger zelf heeft uitgevoerd.

Hoe goed je het werk dat je hebt ontvangen hebt verbeterd meten we dan als het verschil tussen het oordeel dat jij krijgt van je opvolger en het oordeel dat jij hebt gegeven aan je voorganger. Maak je op basis van 3-sterren-werk zelf 4-sterren-werk, dan scoor je 2 ‘estafettepunten’. Maak je van 1-ster-werk 5-sterren-werk dan scoor je zelfs 4 punten. Omgekeerd verlies je punten wanneer je het werk van je voorganger te positief beoordeelt, dus bijvoorbeeld 5 sterren geeft terwijl jouw opvolger goede argumenten heeft om datzelfde werk maar met 3 sterren te beoordelen. Dit systeem geeft je dus een flinke prikkel om serieus en kritisch naar het werk van je voorganger te kijken.

Je uiteindelijke cijfer voor een estafette hangt uiteraard af van het totaal van de door jou gescoorde punten. Dat puntenaantal is niet "absoluut": als docent beoordelen wij uiteindelijk de bijdragen van de deelnemers met de laagste somscore en die met de hoogste somscore op een schaal van 1 tot 10. Als we de geringste bijdrage een 4 waard vinden en de beste een 9, en de laagste somscore is -3 en de hoogste +8, dan berekenen we je cijfers als 4 + 5*(jouw somscore + 3)/11.

Vaak gestelde vragen

Is dit beoordelingssysteem wel rechtvaardig?
Jazeker! Het systeem is zo ingericht dat deelnemers maximaal scoren als ze enerzijds het werk van hun voorganger zo goed mogelijk verbeteren en anderzijds dat werk ook fair beoordelen (dus niet te veel maar ook niet te weinig sterren geven). Dat het niet verstandig is meer sterren te geven dan het werk eigenlijk verdient zal duidelijk zijn: elke ster die je uitdeelt gaat immers ten koste van je eigen score. Maar het systeem beschermt je ook tegen opvolgers die jou te weinig sterren toekennen: als dat volgens jou het geval is, kun je bezwaar aantekenen en kijkt een scheidsrechter (de docent of ouderejaars student-assistent) naar je werk. Een unfair oordeel wordt niet alleen bijgesteld, maar ook bestraft (met strafpunten). Op deze manier wordt iedereen beloond naar prestatie: goed werk inleveren levert punten op; unfair beoordelen kost juist punten.

Ben je niet in het nadeel als je voorgangers slecht werk indienen?
Om met Johan Cruijff te spreken: "Elk nadeel heb z'n voordeel". Je moet bij slecht werk zelf veel meer doen, maar je kunt daarmee ook veel meer punten scoren. Daarbij is de kans dat je elke keer matig of slecht werk van je voorganger krijgt relatief klein (zie de binomiale kansverdeling). Bovendien geeft het systeem je de mogelijkheid om slecht werk te verwerpen.

Tellen de reviews aan het eind ook nog mee?
Ja. Elke eindreview kan je ½ tot 1 punt opleveren als je beoordeling kritisch en toch fair is. Omdat alle deelnemers twee eindreviews moeten doen wordt elk werk door twee deelnemers beoordeeld. Je verdient 1 punt als de review die jij hebt ingediend de meest kritische van die twee is (d.w.z. die met de laagste ster-beoordeling). Geven jij en je mede-reviewer hetzelfde aantal sterren, dan delen jullie het punt. Is een andere reviewer kritischer dan verdien je geen punten. Net als bij eerdere stappen geldt ook voor de laatste stap dat de voorganger bezwaar kan aantekenen tegen een review, waarna een scheidsrechter het werk bekijkt, en de beoordeling aanpast en strafpunten oplegt als de beoordeling niet volgens de regels blijkt.

Hoeveel is een estafettepunt uiteindelijk waard?
Dat is op voorhand niet precies te zeggen omdat wij het schaalbereik pas achteraf vaststellen. Je mag er wel van uitgaan dat een totaal (over 4 stappen) van 14 punten minimaal het cijfer 6 zal opleveren. Immers, als je voor alle stappen 3 sterren ("voldoende") hebt gescoord plus ½ punt voor je review (dus kritisch maar fair) dan kom je uit op 14.

Wat als je de finish (net) niet haalt?
Als je een estafette niet geheel uitloopt, dan wordt een 1 als cijfer geadministreerd. In de 3^e onderwijsperiode wordt slechts één "inhaalestafette" aangeboden. Als je met deze estafette meeloopt, dan vervangt het cijfer voor deze estafette (indien hoger) het laagst behaalde cijfer voor de in de 2^e onderwijsperiode gelopen estafettes. Wie in de 2^e onderwijsperiode niet minstens één estafette met tenminste een 5 heeft afgerond kan dit collegejaar het vak Systeemmodellering 1 dus niet meer halen.

Checks and balances

Zoals je ziet zit dit peer review systeem vol checks and balances: er zijn prikkels om te presteren (punten niet alleen dankzij goed eigen werk, maar ook door het werk van je voorganger verbeteren), en ook prikkels om eerlijk te beoordelen (wie door ons bijgestuurd moet worden verliest punten). Hopelijk zie je ook in dat anonimiteit belangrijk is voor het goed functioneren van dit systeem. Houd je dus aan de spelregels.

Zie ook

• Opzet van een estafette
• Algemene spelregels
• Bezwaar aantekenen tegen een beoordeling
• Het werk van je voorganger verwerpen
• Plagiaat
• Uploaden van je werk
• Antwoorden op vragen over de estafette