ModEst:Peer review, beoordeling en puntentelling: verschil tussen versies

Uit Systeemmodellering
Naar navigatie springen Naar zoeken springen
(Nieuwe pagina aangemaakt met 'De ModelleerEstafette is gebaseerd op het idee van ''peer review''. In de academische wereld is dat de gebruikelijke manier om wetensc...')
 
 
(6 tussenliggende versies door dezelfde gebruiker niet weergegeven)
Regel 1: Regel 1:
De [[ModEst:ModelleerEstafette|ModelleerEstafette]] is gebaseerd op het idee van ''peer review''. In de academische wereld is dat de gebruikelijke manier om wetenschappelijk onderzoek te beoordelen: onderzoekers die gepromoveerd zijn binnen hetzelfde vakgebied zijn qua kennis en vaardigheden elkaars gelijke (Engels: ''peer'') en daarom het meest deskundig (meer dan onderzoekers die gespecialiseerd zijn op ander vakgebied).  
+
De [[ModEst:ModelleerEstafette|ModelleerEstafette]] is gebaseerd op het idee van [https://nl.wikipedia.org/wiki/Peerreview ''peer review'']. In de academische wereld is dat de gebruikelijke manier om wetenschappelijk onderzoek te beoordelen: onderzoekers die gepromoveerd zijn binnen hetzelfde vakgebied zijn qua kennis en vaardigheden elkaars gelijke (Engels: ''peer'') en daarom het meest deskundig (meer dan onderzoekers die gespecialiseerd zijn op ander vakgebied).  
  
 
Als eerstejaars Technische Bestuurskunde hebben alle deelnemers aan een estafette ongeveer dezelfde kennis en vaardigheden, en zijn dus wat dat betreft elkaars ''peers''. Als deelnemer moet je daarom niet alleen de kwaliteit van je eigen werk, maar ook de kwaliteit van het werk van andere deelnemers kunnen beoordelen.
 
Als eerstejaars Technische Bestuurskunde hebben alle deelnemers aan een estafette ongeveer dezelfde kennis en vaardigheden, en zijn dus wat dat betreft elkaars ''peers''. Als deelnemer moet je daarom niet alleen de kwaliteit van je eigen werk, maar ook de kwaliteit van het werk van andere deelnemers kunnen beoordelen.
  
 
==''Peer review'': Beoordeling van/door collega-studenten==
 
==''Peer review'': Beoordeling van/door collega-studenten==
Net als op veel andere websites vraagt het estafettesysteem je om het werk van je voorganger te beoordelen op een schaal van 5 sterren. Met één ster geef je aan dat essentiële onderdelen (zo goed als) ontbreken, met 3 sterren dat het aan de minimumeisen voldoet maar dat belangrijke onderdelen niet goed zijn uitgevoerd, en met 5 sterren dat je het zelf niet beter had kunnen doen. Dat is dan ook wat we van je verwachten:
+
In elke estafettestap (behalve de eerste) krijg je het werk te zien van je voorganger. Je weet niet weet wie dat is, dus je kunt het werk onbevangen beoordelen. Je beoordeelt dat werk op een schaal van 1 tot 5 sterren. Met 5 sterren zeg je "Geweldig, ik zou het zelf niet beter hebben kunnen doen!" Het andere uiterste is maar 1 ster; daarmee geef je aan dat verplichte onderdelen ontbreken, of zo summier zijn uitgevoerd dat ze totaal onbruikbaar zijn. Je geeft 3 sterren wanneer het werk aan de minimumeisen voldoet, maar er nog veel aan valt te verbeteren. De '''[[ModEst:beoordelen van stappen in de ModelleerEstafette|richtlijnen voor het beoordelen van stappen in de ModelleerEstafette]]''' helpen je om tot het juiste oordeel op de 5-sterrenschaal te komen.
  
* In elke estafettestap krijg je het werk te zien van je voorganger. Je weet niet weet wie dat is, dus je kunt het werk onbevangen beoordelen.  
+
Uiteraard moet je je beoordeling goed onderbouwen. Behalve een sterbeoordeling moet je ook aangeven wat je ziet als verbeterpunten of (in geval van 5 sterren) waarom je het werk zo goed vindt. Je voorganger krijgt je oordeel en feedback te zien, en kan daar van leren. Je voorganger moet jouw oordeel ook weer beoordelen: is hij/zij tevreden met jouw feedback en beoordeling? Als docent zien we deze signalen van "scheve" beoordelingen meteen, zodat we naar bevind van zaken kunnen bijsturen.
* In elke stap bekijk je '''het gehele werk''' dat door je voorganger is ingediend. Hij/zij moet immers het werk van zijn/haar voorganger hebben verbeterd. De richtlijnen voor het [[ModEst:beoordelen van stappen in de ModelleerEstafette|beoordelen van stappen in de ModelleerEstafette]] helpen je om tot het juiste oordeel op de 5-sterrenschaal te komen.
 
* Behalve een sterbeoordeling moet je ook aangeven wat je ziet als verbeterpunten of (in geval van 5 sterren) waarom je het werk zo goed vindt. Je voorganger krijgt je oordeel en feedback te zien, en kan daar van leren.
 
* Je voorganger moet jouw oordeel ook weer beoordelen: is hij/zij tevreden met jouw feedback en beoordeling? Als docent zien we deze signalen van "scheve" beoordelingen meteen, zodat we naar bevind van zaken kunnen bijsturen.
 
* Omdat je moet voortbouwen op het werk van je voorganger heb je er alle belang bij om dat werk te verbeteren. Een matig [[conceptueel model]] kun je niet goed [[Operationeel model|operationaliseren]]. Met een niet-werkend [[computationeel model]] kun je het [[systeemgedrag]] niet verkennen. Als je zelf goed werk wilt leveren ben je dus genoodzaakt het werk van je voorganger te verbeteren.
 
  
Jouw cijfer voor het doorlopen van een modelleerestafette wordt gebaseerd op jouw bijdrage (dus de "toegevoegde waarde" van jouw inspanning aan het verslag). Die bijdrage meten we als het verschil tussen het oordeel dat jij krijgt van je opvolger en het oordeel dat jij geeft aan je voorganger. Maak je op basis van 3-sterren-werk zelf 4-sterren-werk, dan scoor je 2 ‘estafettepunten’. Maak je van 1-ster-werk 5-sterren-werk dan scoor je zelfs 4 punten. Omgekeerd verlies je punten door minder kwaliteit te leveren dan je voorgangers.
+
Omdat je '''''moet''''' voortbouwen op het werk van je voorganger heb je er alle belang bij om dat werk te verbeteren. Een matig [[conceptueel model]] kun je niet goed [[Operationeel model|operationaliseren]]. Met een niet-werkend [[computationeel model]] kun je het [[systeemgedrag]] niet verkennen. Als je zelf goed werk wilt leveren ben je dus genoodzaakt het werk van je voorganger te verbeteren.
  
Je cijfer voor een estafette hangt uiteraard af van het totaal van de door jou gescoorde punten, maar ook van de kwaliteit van het ingeleverde werk. Als docent beoordelen wij uiteindelijk de bijdragen van de deelnemers met de laagste somscore en die met de hoogste somscore op een schaal van 1 tot 10. Als we de geringste bijdrage een 4 waard vinden en de beste een 9, en de laagste somscore is -3 en de hoogste +8, dan berekenen we je cijfers als 4 + 5*(jouw somscore + 3)/11.
+
Jouw cijfer voor het doorlopen van een modelleerestafette wordt zo veel mogelijk gebaseerd op jouw eigen bijdrage, d.w.z. zowel jouw "toegevoegde waarde" aan het werk van je voorganger als jouw uitwerking van je "eigen" stap in het modelleerproces. Daarom moet iedereen vanaf Stap 2 '''twee''' beoordelingen geven op de 5-sterrenschaal: één voor het deel dat de voorganger heeft ontvangen en kunnen verbeteren, en één voor het deel dat de voorganger zelf heeft uitgevoerd.
 +
 +
Hoe goed je het werk dat je hebt ontvangen hebt verbeterd meten we dan als het verschil tussen het oordeel dat jij krijgt van je opvolger en het oordeel dat jij hebt gegeven aan je voorganger. Maak je op basis van 3-sterren-werk zelf 4-sterren-werk, dan scoor je 2 ‘estafettepunten’. Maak je van 1-ster-werk 5-sterren-werk dan scoor je zelfs 4 punten. Omgekeerd verlies je punten wanneer je het werk van je voorganger te positief beoordeelt, dus bijvoorbeeld 5 sterren geeft terwijl jouw opvolger goede argumenten heeft om datzelfde werk maar met 3 sterren te beoordelen. Dit systeem geeft je dus een flinke prikkel om serieus en kritisch naar het werk van je voorganger te kijken.
 +
 
 +
Je uiteindelijke cijfer voor een estafette hangt uiteraard af van het totaal van de door jou gescoorde punten. Dat puntenaantal is niet "absoluut": als docent beoordelen wij uiteindelijk de bijdragen van de deelnemers met de laagste somscore en die met de hoogste somscore op een schaal van 1 tot 10. Als we de geringste bijdrage een 4 waard vinden en de beste een 9, en de laagste somscore is -3 en de hoogste +8, dan berekenen we je cijfers als 4 + 5*(jouw somscore + 3)/11.
  
 
===Vaak gestelde vragen===
 
===Vaak gestelde vragen===
 
'''Is dit beoordelingssysteem wel rechtvaardig?'''<br>
 
'''Is dit beoordelingssysteem wel rechtvaardig?'''<br>
 
Jazeker! Het systeem is zo ingericht dat deelnemers maximaal scoren als ze enerzijds het werk van hun voorganger zo goed mogelijk verbeteren en anderzijds dat werk ook fair beoordelen (dus niet te veel maar ook niet te weinig sterren geven). Dat het niet verstandig is meer sterren te geven dan het werk eigenlijk verdient zal duidelijk zijn: elke ster die je uitdeelt gaat immers ten koste van je eigen score. Maar het systeem beschermt je ook tegen opvolgers die jou te weinig sterren toekennen: als dat volgens jou het geval is, kun je bezwaar aantekenen en kijkt een scheidsrechter (de docent of ouderejaars student-assistent) naar je werk. Een unfair oordeel wordt niet alleen bijgesteld, maar ook bestraft (met strafpunten). Op deze manier wordt iedereen beloond naar prestatie: goed werk inleveren levert punten op; unfair beoordelen kost juist punten.
 
Jazeker! Het systeem is zo ingericht dat deelnemers maximaal scoren als ze enerzijds het werk van hun voorganger zo goed mogelijk verbeteren en anderzijds dat werk ook fair beoordelen (dus niet te veel maar ook niet te weinig sterren geven). Dat het niet verstandig is meer sterren te geven dan het werk eigenlijk verdient zal duidelijk zijn: elke ster die je uitdeelt gaat immers ten koste van je eigen score. Maar het systeem beschermt je ook tegen opvolgers die jou te weinig sterren toekennen: als dat volgens jou het geval is, kun je bezwaar aantekenen en kijkt een scheidsrechter (de docent of ouderejaars student-assistent) naar je werk. Een unfair oordeel wordt niet alleen bijgesteld, maar ook bestraft (met strafpunten). Op deze manier wordt iedereen beloond naar prestatie: goed werk inleveren levert punten op; unfair beoordelen kost juist punten.
'Wat als je steeds op hetzelfde niveau blijft? Scoor je dan nul estafettepunten?'''<br>
 
Blijf je op 3-sterrenkwaliteit dan is je relatieve score inderdaad 0. Houd je 4-sterrenniveau vast, dan waarderen we dat met +½ estafettepunt, en slaag je er in om 5-sterrenkwaliteit vast te houden, dan belonen we dat zelfs met +1 punt. Omgekeerd geldt dit ook voor werk waarvan essentiële onderdelen ontbreken: 2-sterrenwerk niet verbeteren tot ten minste 3 sterren kost je ½ punt, en 1-ster-werk niet verbeteren tot ten minste 2 sterren zelfs 1 estafettepunt.
 
  
 
'''Ben je niet in het nadeel als je voorgangers slecht werk indienen?'''<br>
 
'''Ben je niet in het nadeel als je voorgangers slecht werk indienen?'''<br>
Regel 26: Regel 24:
  
 
'''Tellen de reviews aan het eind ook nog mee?'''<br>
 
'''Tellen de reviews aan het eind ook nog mee?'''<br>
Ja. Elke eindreview levert je &frac12; tot 1 punt op mits die beoordeling kritisch en toch ''fair'' is. Omdat alle deelnemers twee eindreviews moeten doen wordt elk werk door twee deelnemers beoordeeld. Je verdient 1 punt als de review die jij hebt ingediend de meest kritische van die twee is (d.w.z. die met de laagste ster-beoordeling). Geven jij en je mede-reviewer hetzelfde aantal sterren, dan delen jullie het punt. Net als bij stap 1 t/m 3 geldt ook voor stap 4 dat de voorganger bezwaar kan aantekenen tegen een review, waarna een scheidsrechter het werk bekijkt, en de beoordeling aanpast en strafpunten oplegt als de beoordeling niet volgens de regels blijkt.
+
Ja. Elke eindreview levert je &frac12; tot 1 punt op mits die beoordeling kritisch en toch ''fair'' is. Omdat alle deelnemers twee eindreviews moeten doen wordt elk werk door twee deelnemers beoordeeld. Je verdient 1 punt als de review die jij hebt ingediend de meest kritische van die twee is (d.w.z. die met de laagste ster-beoordeling). Geven jij en je mede-reviewer hetzelfde aantal sterren, dan delen jullie het punt. Net als bij eerdere stappen geldt ook voor de laatste stap dat de voorganger bezwaar kan aantekenen tegen een review, waarna een scheidsrechter het werk bekijkt, en de beoordeling aanpast en strafpunten oplegt als de beoordeling niet volgens de regels blijkt.
  
 
'''Hoeveel is een estafettepunt uiteindelijk waard?'''<br>
 
'''Hoeveel is een estafettepunt uiteindelijk waard?'''<br>
Dat is op voorhand niet precies te zeggen omdat wij het schaalbereik pas achteraf vaststellen. Bovendien werken we dit jaar voor het eerst met 4 in plaats van 6 stappen. De totaalscores zullen daardoor lager zijn dan vorig jaar, en daardoor zal de ervaring uit het verleden dat een estafettepunt verschil ongeveer <sup>1</sup>/<sub>3</sub> punt op het cijfer uitmaakt dit jaar niet opgaan.
+
Dat is op voorhand niet precies te zeggen omdat wij het schaalbereik pas achteraf vaststellen. Bovendien werken we dit jaar voor het eerst met twee beoordelingen per stap. De totaalscores zullen daardoor flink hoger zijn dan vorig jaar, en daardoor zal de ervaring uit het verleden dat een estafettepunt verschil ongeveer <sup>1</sup>/<sub>3</sub> punt op het cijfer uitmaakt dit jaar niet opgaan.
  
 
'''Wat als je de finish (net) niet haalt?'''<br>
 
'''Wat als je de finish (net) niet haalt?'''<br>
Regel 35: Regel 33:
  
 
===''Checks and balances''===
 
===''Checks and balances''===
Zoals je ziet zit dit ''peer review'' systeem vol ''checks and balances'': er zijn prikkels om te presteren (doe het beter dan je voorganger), maar ook om eerlijk te beoordelen (wie door ons bijgestuurd moet worden verliest punten). Hopelijk zie je ook in dat anonimiteit belangrijk is voor het goed functioneren van dit systeem. Houd je dus aan de [[ModEst:Spelregels|spelregels]].
+
Zoals je ziet zit dit ''peer review'' systeem vol ''checks and balances'': er zijn prikkels om te presteren (punten niet alleen dankzij goed eigen werk, maar ook door het werk van je voorganger verbeteren), en ook prikkels om eerlijk te beoordelen (wie door ons bijgestuurd moet worden verliest punten). Hopelijk zie je ook in dat anonimiteit belangrijk is voor het goed functioneren van dit systeem. Houd je dus aan de [[ModEst:Spelregels|spelregels]].
  
 
==Zie ook==
 
==Zie ook==
Regel 44: Regel 42:
 
* [[ModEst:Plagiaat|Plagiaat]]
 
* [[ModEst:Plagiaat|Plagiaat]]
 
* [[ModEst:Uploaden|Uploaden van je werk]]
 
* [[ModEst:Uploaden|Uploaden van je werk]]
* [[ModEst:FAQ|Veelgestelde vragen over de estafette]]  [[Bestand:faq.png|x24px|link=ModEst:FAQ]]
+
* [[ModEst:Q&A|Antwoorden op vragen over de estafette]]  [[Bestand:faq.png|x24px|link=ModEst:Q&A]]

Huidige versie van 1 jan 2021 om 21:23

De ModelleerEstafette is gebaseerd op het idee van peer review. In de academische wereld is dat de gebruikelijke manier om wetenschappelijk onderzoek te beoordelen: onderzoekers die gepromoveerd zijn binnen hetzelfde vakgebied zijn qua kennis en vaardigheden elkaars gelijke (Engels: peer) en daarom het meest deskundig (meer dan onderzoekers die gespecialiseerd zijn op ander vakgebied).

Als eerstejaars Technische Bestuurskunde hebben alle deelnemers aan een estafette ongeveer dezelfde kennis en vaardigheden, en zijn dus wat dat betreft elkaars peers. Als deelnemer moet je daarom niet alleen de kwaliteit van je eigen werk, maar ook de kwaliteit van het werk van andere deelnemers kunnen beoordelen.

Peer review: Beoordeling van/door collega-studenten

In elke estafettestap (behalve de eerste) krijg je het werk te zien van je voorganger. Je weet niet weet wie dat is, dus je kunt het werk onbevangen beoordelen. Je beoordeelt dat werk op een schaal van 1 tot 5 sterren. Met 5 sterren zeg je "Geweldig, ik zou het zelf niet beter hebben kunnen doen!" Het andere uiterste is maar 1 ster; daarmee geef je aan dat verplichte onderdelen ontbreken, of zo summier zijn uitgevoerd dat ze totaal onbruikbaar zijn. Je geeft 3 sterren wanneer het werk aan de minimumeisen voldoet, maar er nog veel aan valt te verbeteren. De richtlijnen voor het beoordelen van stappen in de ModelleerEstafette helpen je om tot het juiste oordeel op de 5-sterrenschaal te komen.

Uiteraard moet je je beoordeling goed onderbouwen. Behalve een sterbeoordeling moet je ook aangeven wat je ziet als verbeterpunten of (in geval van 5 sterren) waarom je het werk zo goed vindt. Je voorganger krijgt je oordeel en feedback te zien, en kan daar van leren. Je voorganger moet jouw oordeel ook weer beoordelen: is hij/zij tevreden met jouw feedback en beoordeling? Als docent zien we deze signalen van "scheve" beoordelingen meteen, zodat we naar bevind van zaken kunnen bijsturen.

Omdat je moet voortbouwen op het werk van je voorganger heb je er alle belang bij om dat werk te verbeteren. Een matig conceptueel model kun je niet goed operationaliseren. Met een niet-werkend computationeel model kun je het systeemgedrag niet verkennen. Als je zelf goed werk wilt leveren ben je dus genoodzaakt het werk van je voorganger te verbeteren.

Jouw cijfer voor het doorlopen van een modelleerestafette wordt zo veel mogelijk gebaseerd op jouw eigen bijdrage, d.w.z. zowel jouw "toegevoegde waarde" aan het werk van je voorganger als jouw uitwerking van je "eigen" stap in het modelleerproces. Daarom moet iedereen vanaf Stap 2 twee beoordelingen geven op de 5-sterrenschaal: één voor het deel dat de voorganger heeft ontvangen en kunnen verbeteren, en één voor het deel dat de voorganger zelf heeft uitgevoerd.

Hoe goed je het werk dat je hebt ontvangen hebt verbeterd meten we dan als het verschil tussen het oordeel dat jij krijgt van je opvolger en het oordeel dat jij hebt gegeven aan je voorganger. Maak je op basis van 3-sterren-werk zelf 4-sterren-werk, dan scoor je 2 ‘estafettepunten’. Maak je van 1-ster-werk 5-sterren-werk dan scoor je zelfs 4 punten. Omgekeerd verlies je punten wanneer je het werk van je voorganger te positief beoordeelt, dus bijvoorbeeld 5 sterren geeft terwijl jouw opvolger goede argumenten heeft om datzelfde werk maar met 3 sterren te beoordelen. Dit systeem geeft je dus een flinke prikkel om serieus en kritisch naar het werk van je voorganger te kijken.

Je uiteindelijke cijfer voor een estafette hangt uiteraard af van het totaal van de door jou gescoorde punten. Dat puntenaantal is niet "absoluut": als docent beoordelen wij uiteindelijk de bijdragen van de deelnemers met de laagste somscore en die met de hoogste somscore op een schaal van 1 tot 10. Als we de geringste bijdrage een 4 waard vinden en de beste een 9, en de laagste somscore is -3 en de hoogste +8, dan berekenen we je cijfers als 4 + 5*(jouw somscore + 3)/11.

Vaak gestelde vragen

Is dit beoordelingssysteem wel rechtvaardig?
Jazeker! Het systeem is zo ingericht dat deelnemers maximaal scoren als ze enerzijds het werk van hun voorganger zo goed mogelijk verbeteren en anderzijds dat werk ook fair beoordelen (dus niet te veel maar ook niet te weinig sterren geven). Dat het niet verstandig is meer sterren te geven dan het werk eigenlijk verdient zal duidelijk zijn: elke ster die je uitdeelt gaat immers ten koste van je eigen score. Maar het systeem beschermt je ook tegen opvolgers die jou te weinig sterren toekennen: als dat volgens jou het geval is, kun je bezwaar aantekenen en kijkt een scheidsrechter (de docent of ouderejaars student-assistent) naar je werk. Een unfair oordeel wordt niet alleen bijgesteld, maar ook bestraft (met strafpunten). Op deze manier wordt iedereen beloond naar prestatie: goed werk inleveren levert punten op; unfair beoordelen kost juist punten.

Ben je niet in het nadeel als je voorgangers slecht werk indienen?
Om met Johan Cruijff te spreken: "Elk nadeel heb z'n voordeel". Je moet bij slecht werk zelf veel meer doen, maar je kunt daarmee ook veel meer punten scoren. Daarbij is de kans dat je elke keer matig of slecht werk van je voorganger krijgt relatief klein (zie de binomiale kansverdeling). Bovendien geeft het systeem je de mogelijkheid om slecht werk te verwerpen.

Tellen de reviews aan het eind ook nog mee?
Ja. Elke eindreview levert je ½ tot 1 punt op mits die beoordeling kritisch en toch fair is. Omdat alle deelnemers twee eindreviews moeten doen wordt elk werk door twee deelnemers beoordeeld. Je verdient 1 punt als de review die jij hebt ingediend de meest kritische van die twee is (d.w.z. die met de laagste ster-beoordeling). Geven jij en je mede-reviewer hetzelfde aantal sterren, dan delen jullie het punt. Net als bij eerdere stappen geldt ook voor de laatste stap dat de voorganger bezwaar kan aantekenen tegen een review, waarna een scheidsrechter het werk bekijkt, en de beoordeling aanpast en strafpunten oplegt als de beoordeling niet volgens de regels blijkt.

Hoeveel is een estafettepunt uiteindelijk waard?
Dat is op voorhand niet precies te zeggen omdat wij het schaalbereik pas achteraf vaststellen. Bovendien werken we dit jaar voor het eerst met twee beoordelingen per stap. De totaalscores zullen daardoor flink hoger zijn dan vorig jaar, en daardoor zal de ervaring uit het verleden dat een estafettepunt verschil ongeveer 1/3 punt op het cijfer uitmaakt dit jaar niet opgaan.

Wat als je de finish (net) niet haalt?
Als je een estafette niet geheel uitloopt, dan wordt een 1 als cijfer geadministreerd. In de 3e onderwijsperiode wordt slechts één "inhaalestafette" aangeboden. Als je met deze estafette meeloopt, dan vervangt het cijfer voor deze estafette (indien hoger) het laagst behaalde cijfer voor de in de 2e onderwijsperiode gelopen estafettes. Wie in de 2e onderwijsperiode niet minstens één estafette met tenminste een 5 heeft afgerond kan dit collegejaar het vak Systeemmodellering 1 dus niet meer halen.

Checks and balances

Zoals je ziet zit dit peer review systeem vol checks and balances: er zijn prikkels om te presteren (punten niet alleen dankzij goed eigen werk, maar ook door het werk van je voorganger verbeteren), en ook prikkels om eerlijk te beoordelen (wie door ons bijgestuurd moet worden verliest punten). Hopelijk zie je ook in dat anonimiteit belangrijk is voor het goed functioneren van dit systeem. Houd je dus aan de spelregels.

Zie ook