ModEst:Peer review, beoordeling en puntentelling

De ModelleerEstafette is gebaseerd op het idee van peer review. In de academische wereld is dat de gebruikelijke manier om wetenschappelijk onderzoek te beoordelen: onderzoekers die gepromoveerd zijn binnen hetzelfde vakgebied zijn qua kennis en vaardigheden elkaars gelijke (Engels: peer) en daarom het meest deskundig (meer dan onderzoekers die gespecialiseerd zijn op ander vakgebied).

Als eerstejaars Technische Bestuurskunde hebben alle deelnemers aan een estafette ongeveer dezelfde kennis en vaardigheden, en zijn dus wat dat betreft elkaars peers. Als deelnemer moet je daarom niet alleen de kwaliteit van je eigen werk, maar ook de kwaliteit van het werk van andere deelnemers kunnen beoordelen.

Peer review: Beoordeling van/door collega-studenten

Net als op veel andere websites vraagt het estafettesysteem je om het werk van je voorganger te beoordelen op een schaal van 5 sterren. Met één ster geef je aan dat essentiële onderdelen (zo goed als) ontbreken, met 3 sterren dat het aan de minimumeisen voldoet maar dat belangrijke onderdelen niet goed zijn uitgevoerd, en met 5 sterren dat je het zelf niet beter had kunnen doen. Dat is dan ook wat we van je verwachten:

• In elke estafettestap krijg je het werk te zien van je voorganger. Je weet niet weet wie dat is, dus je kunt het werk onbevangen beoordelen.
• In elke stap bekijk je het gehele werk dat door je voorganger is ingediend. Hij/zij moet immers het werk van zijn/haar voorganger hebben verbeterd. De richtlijnen voor het beoordelen van stappen in de ModelleerEstafette helpen je om tot het juiste oordeel op de 5-sterrenschaal te komen.
• Behalve een sterbeoordeling moet je ook aangeven wat je ziet als verbeterpunten of (in geval van 5 sterren) waarom je het werk zo goed vindt. Je voorganger krijgt je oordeel en feedback te zien, en kan daar van leren.
• Je voorganger moet jouw oordeel ook weer beoordelen: is hij/zij tevreden met jouw feedback en beoordeling? Als docent zien we deze signalen van "scheve" beoordelingen meteen, zodat we naar bevind van zaken kunnen bijsturen.
• Omdat je moet voortbouwen op het werk van je voorganger heb je er alle belang bij om dat werk te verbeteren. Een matig conceptueel model kun je niet goed operationaliseren. Met een niet-werkend computationeel model kun je het systeemgedrag niet verkennen. Als je zelf goed werk wilt leveren ben je dus genoodzaakt het werk van je voorganger te verbeteren.

Jouw cijfer voor het doorlopen van een modelleerestafette wordt gebaseerd op jouw bijdrage (dus de "toegevoegde waarde" van jouw inspanning aan het verslag). Die bijdrage meten we als het verschil tussen het oordeel dat jij krijgt van je opvolger en het oordeel dat jij geeft aan je voorganger. Maak je op basis van 3-sterren-werk zelf 4-sterren-werk, dan scoor je 2 ‘estafettepunten’. Maak je van 1-ster-werk 5-sterren-werk dan scoor je zelfs 4 punten. Omgekeerd verlies je punten door minder kwaliteit te leveren dan je voorgangers.

Je cijfer voor een estafette hangt uiteraard af van het totaal van de door jou gescoorde punten, maar ook van de kwaliteit van het ingeleverde werk. Als docent beoordelen wij uiteindelijk de bijdragen van de deelnemers met de laagste somscore en die met de hoogste somscore op een schaal van 1 tot 10. Als we de geringste bijdrage een 4 waard vinden en de beste een 9, en de laagste somscore is -3 en de hoogste +8, dan berekenen we je cijfers als 4 + 5*(jouw somscore + 3)/11.

Vaak gestelde vragen

Is dit beoordelingssysteem wel rechtvaardig?
Jazeker! Het systeem is zo ingericht dat deelnemers maximaal scoren als ze enerzijds het werk van hun voorganger zo goed mogelijk verbeteren en anderzijds dat werk ook fair beoordelen (dus niet te veel maar ook niet te weinig sterren geven). Dat het niet verstandig is meer sterren te geven dan het werk eigenlijk verdient zal duidelijk zijn: elke ster die je uitdeelt gaat immers ten koste van je eigen score. Maar het systeem beschermt je ook tegen opvolgers die jou te weinig sterren toekennen: als dat volgens jou het geval is, kun je bezwaar aantekenen en kijkt een scheidsrechter (de docent of ouderejaars student-assistent) naar je werk. Een unfair oordeel wordt niet alleen bijgesteld, maar ook bestraft (met strafpunten). Op deze manier wordt iedereen beloond naar prestatie: goed werk inleveren levert punten op; unfair beoordelen kost juist punten. 'Wat als je steeds op hetzelfde niveau blijft? Scoor je dan nul estafettepunten?
Blijf je op 3-sterrenkwaliteit dan is je relatieve score inderdaad 0. Houd je 4-sterrenniveau vast, dan waarderen we dat met +½ estafettepunt, en slaag je er in om 5-sterrenkwaliteit vast te houden, dan belonen we dat zelfs met +1 punt. Omgekeerd geldt dit ook voor werk waarvan essentiële onderdelen ontbreken: 2-sterrenwerk niet verbeteren tot ten minste 3 sterren kost je ½ punt, en 1-ster-werk niet verbeteren tot ten minste 2 sterren zelfs 1 estafettepunt.

Ben je niet in het nadeel als je voorgangers slecht werk indienen?
Om met Johan Cruijff te spreken: "Elk nadeel heb z'n voordeel". Je moet bij slecht werk zelf veel meer doen, maar je kunt daarmee ook veel meer punten scoren. Daarbij is de kans dat je elke keer matig of slecht werk van je voorganger krijgt relatief klein (zie de binomiale kansverdeling). Bovendien geeft het systeem je de mogelijkheid om slecht werk te verwerpen.

Tellen de reviews aan het eind ook nog mee?
Ja. Elke eindreview levert je ½ tot 1 punt op mits die beoordeling kritisch en toch fair is. Omdat alle deelnemers twee eindreviews moeten doen wordt elk werk door twee deelnemers beoordeeld. Je verdient 1 punt als de review die jij hebt ingediend de meest kritische van die twee is (d.w.z. die met de laagste ster-beoordeling). Geven jij en je mede-reviewer hetzelfde aantal sterren, dan delen jullie het punt. Net als bij stap 1 t/m 3 geldt ook voor stap 4 dat de voorganger bezwaar kan aantekenen tegen een review, waarna een scheidsrechter het werk bekijkt, en de beoordeling aanpast en strafpunten oplegt als de beoordeling niet volgens de regels blijkt.

Hoeveel is een estafettepunt uiteindelijk waard?
Dat is op voorhand niet precies te zeggen omdat wij het schaalbereik pas achteraf vaststellen. Bovendien werken we dit jaar voor het eerst met 4 in plaats van 6 stappen. De totaalscores zullen daardoor lager zijn dan vorig jaar, en daardoor zal de ervaring uit het verleden dat een estafettepunt verschil ongeveer ¹/₃ punt op het cijfer uitmaakt dit jaar niet opgaan.

Wat als je de finish (net) niet haalt?
Als je een estafette niet geheel uitloopt, dan wordt een 1 als cijfer geadministreerd. In de 3^e onderwijsperiode wordt slechts één "inhaalestafette" aangeboden. Als je met deze estafette meeloopt, dan vervangt het cijfer voor deze estafette (indien hoger) het laagst behaalde cijfer voor de in de 2^e onderwijsperiode gelopen estafettes. Wie in de 2^e onderwijsperiode niet minstens één estafette met tenminste een 5 heeft afgerond kan dit collegejaar het vak Systeemmodellering 1 dus niet meer halen.

Checks and balances

Zoals je ziet zit dit peer review systeem vol checks and balances: er zijn prikkels om te presteren (doe het beter dan je voorganger), maar ook om eerlijk te beoordelen (wie door ons bijgestuurd moet worden verliest punten). Hopelijk zie je ook in dat anonimiteit belangrijk is voor het goed functioneren van dit systeem. Houd je dus aan de spelregels.

Zie ook

• Opzet van een estafette
• Algemene spelregels
• Bezwaar aantekenen tegen een beoordeling
• Het werk van je voorganger verwerpen
• Plagiaat
• Uploaden van je werk
• Antwoorden op vragen over de estafette