ModEst:Beoordelen van stappen in de ModelleerEstafette

Uit Systeemmodellering
Naar navigatie springen Naar zoeken springen

In stap 2 t/m 4 van de ModelleerEstafette moet je voortbouwen op het werk van je voorganger. Je moet zijn/haar werk ook (opbouwend!) bekritiseren en beoordelen op een vijfpuntsschaal (★ t/m ★★★★★). Omdat modelleeropdrachten "open" vraagstukken zijn met veel keuzevrijheid is het onmogelijk om een "standaard-uitwerking" te geven. Vandaar dat we hier de belangrijkste principes geven. We doen dat in de vorm van "spelregels".

Spelregel #1

   Doe je best om het idee van je voorganger(s) te volgen.

Bij modelleren kunnen vele wegen naar Rome leiden. Stel je daarom open voor het werk van je voorganger(s):

  • Hoe interpreteren zij de onderzoeksvraag?
  • Waarom hebben ze, naast de in de opgave reeds gegeven afhankelijke en onafhankelijke grootheden nog andere grootheden benoemd?
  • Waarom vinden ze die relevant, d.w.z. noodzakelijk voor de berekening van de afhankelijke grootheden?
  • Hoe houden de grootheden verband met de andere grootheden? Zijn ze exogeen (en dus parameters in vergelijkingen) of endogeen (en dus afhankelijke variabelen die als tussenresultaat worden berekend)?

Pas als je deze vragen voor jezelf hebt beantwoord, kun je het idee van je voorganger(s) beoordelen. Als je dan vindt dat dat idee niet geschikt is om de onderzoeksvraag te beantwoorden, dan moet je dat in je feedback aan je voorganger goed beargumenteren. Enkel zeggen dat "het niet klopt" en dan je eigen idee uitwerken is dan niet genoeg.

Spelregel #2

   Kijk of het idee goed is.

Per definitie is een model een representatie van een systeem bedoeld om op efficiënte wijze een antwoord te geven op een vraag over dat systeem. Voor elke stap van de modelleercyclus kun je de vraag stellen of het resultaat van die stap (systeemschets, conceptueel model, operationeel model, computationeel model, experimenteel ontwerp en resultaten) bruikbaar is om uiteindelijk tot een goed antwoord op de onderzoeksvraag te komen. De onderzoeksvraag – het startpunt voor een modelleeropdracht – is altijd "hoe gedraagt het systeem zich onder verschillende condities?". Voor de estafetteopdrachten heeft die vraag de vorm "Hoe verandert grootheid Y als de waarde van grootheid X1, X2, ... verandert?" Daarom kun je het idee van het werk van je voorgangers toetsen aan de hand van deze checklist:

  • Stap 1 moet alle relevante grootheden benoemen, het systeem zodanig visualiseren dat de rol van deze grootheden duidelijk is, en de relaties tussen deze grootheden dusdanig precies in een diagram weergeven dat duidelijk is op welke manier Y afhangt van X1, X2, ...
  • Stap 2 moet duidelijk maken hoe de waarde van Y kan worden berekend d.m.v. wiskundige vergelijkingen. Zo moet er voor elke afhankelijke variabele precies één vergelijking zijn.
  • Stap 3 moet de modelvergelijkingen implementeren in Excel zodat ze automatisch berekend kunnen worden.
  • Stap 4 moet d.m.v. een experimenteel ontwerp duidelijk maken welke "verschillende condities" zoals bedoeld in de algemene onderzoeksvraag interessant zijn, en welke resultaten d.m.v. experimenten zijn verkregen. De interpretatie van die resultaten moet antwoord geven op de onderzoeksvraag, en bovendien uitleggen hoe goed dat antwoord is, gegeven alle modelleerkeuzes (selecties, abstracties, idealiseringen) die in de voorgaande stappen zijn gemaakt.

Spelregel #3

   "Less is more" en "Form follows function".

Een grote valkuil in de modelleerestafette is dat je je model te gedetailleerd maakt. Modelleren is bovenal selecteren: wat is écht belangrijk? De onderzoeksvraag zal meestal slechts één afhankelijke grootheid en twee tot vier onafhankelijke grootheden benoemen. Het operationele model zal meestal uit minder dan 10 vergelijkingen bestaan.

Een tweede valkuil is dat je je meer met vorm dan met inhoud bezig houdt. Concentreer je op het maken en beargumenteren van modelleerkeuzes. Houd je uitleg kort maar duidelijk, en houd je figuren en tabellen zo eenvoudig mogelijk. We vragen om benopte verslaglegging, niet om een compleet rapport, dus:

  • geen voorpagina, titelblad of inhoudsopgave
  • schema's eenvoudig in zwart-wit (net als de voorbeelden op de wiki) en overzichtelijk (niet te kleine of onnodig grote letters)
  • figuren, tabellen en vergelijkingen netjes nummeren (anders kun je er in de tekst niet naar verwijzen)

Een derde valkuil is dat je dingen uitlegt die je medestudenten al behoren te weten. Ga dus niet uitleggen wat een pijl van A naar B in een CRD of VSD betekent; geef in plaats daarvan goede redenen waarom grootheden A en B en het verband A → B nodig zijn voor het beantwoorden van de onderzoeksvraag.

Spelregel #4

   Beoordeel het gehele werk van je voorganger.

Hoewel je voorganger vaak zelf weer heeft voortgebouwd op het werk van andere deelnemers, is hij/zij geheel verantwoordelijk voor het werk dat hij/zij indient. Dat geldt dus ook voor jouzelf: het werk dat je uploadt is jouw werk. Zie je belangrijke verbeterpunten voor het werk van je voorganger, dan moet je die verbeteringen ook aanbrengen. De estafette draait namelijk om "leren van fouten". Uit onderzoek blijkt dat mensen gemakkelijker tekortkomingen zien van het werk van anderen dan die van hun eigen werk. Het bijzondere van de estafette is dat deelnemers het werk van hun voorganger(s) niet alleen moeten bekritiseren, maar het vervolgens ook dusdanig moeten verbeteren dat het een goede basis vormt voor de uitvoering van hun "eigen" stap. Op die manier oefent iedereen twee keer met dezelfde modelleertechnieken. En alleen oefening baart kunst.

Spelregel #5

   Ga uit van de leerstof.

Houd steeds in gedachten dat de estafette bedoeld is om de essentie van de modelleercyclus onder de knie te krijgen. De begrippen die we op deze wiki uitleggen helpen daarbij: ze geven je een "taal" waarin je met elkaar over modellen en het modelleerproces kunt communiceren. Probeer je die taal daarom zo snel mogelijk eigen te maken. Dat zal niet alleen je modelleerverslag, maar vooral ook het proces van peer review ten goede komen. Gebruik de begrippen zorgvuldig. Twijfel je over het juiste woord of de juiste notatie van een schema of een vergelijking? Kijk dan eerst nog eens op de wiki. Verwijs waar zinvol zowel in je verslag als in je reviews naar artikelen op de wiki.

Hoe kom je tot een oordeel?

Goede feedback geven op academisch werk is op zich al moeilijk. De kwaliteit van zulk werk uit te drukken op een schaal van 1 tot 5 sterren is nog lastiger. Om je te helpen de juiste afweging te maken, en die afweging ook navolgbaar te maken voor je voorganger, vragen we je om feedback te geven op drie niveaus:

  • essentiële onderdelen
  • primaire kwaliteiten
  • overige kwaliteiten

Voor elke stap in de estafette geven we aan wat die onderdelen en kwaliteiten zijn. Per niveau geef je dan je mening: 🖒 of 🖓, of een vraagteken (?) als je het werk op de gevraagde punten niet zo stellig kunt kwalificeren. Je feedback moet jouw mening per niveau onderbouwen met specifieke inhoudelijke argumenten (dus geen algemene of vage opmerkingen). Je uiteindelijke beoordeling op de 5-sterrenschaal moet kloppen met jouw feedback op de drie niveaus:

  • Je mag alleen een ★-beoordeling geven als essentiële onderdelen voor deze stap ontbreken of geheel onbruikbaar zijn.
  • Je mag een ★★-beoordeling geven als essentiële onderdelen evident onjuist of erg onvolledig zijn.
  • Als de essentiële elementen in alle stappen OK zijn, moet je beoordeling minstens ★★★ zijn. Als het werk ook goede primaire kwaliteiten heeft moet je beoordeling ★★★★ zijn, en zelfs ★★★★★ indien je m.b.t. de kwaliteiten (primaire en/of overige) van het werk geen concrete verbeterpunten benoemt.

Je kunt deze beoordelingsregels zien als een beslisboom zoals hieronder links. De tekst in de beslisknopen (rechthoeken) probeert scherpe criteria te definiëren, de kwalificaties in kleur typeren het werk meer intuïtief (met tussen haakjes mogelijke verklaringen voor de geleverde kwaliteit).

BeslisboomSterrenschaal.png

Algemene aandachtspunten

De specifieke aandachtspunten per modelleerstap geven we in de vorm van review-richtlijnen. Die richtlijnen krijg je via het Presto-systeem te zien. Hieronder noemen we bronvermelding en het gebruik van afbeeldingen als aandachtspunten die bij alle stappen van wezenlijk belang zijn.

Bronvermelding

Als je bronnen gebruikt, bijvoorbeeld voor afbeeldingen of gegevens, dan moet je die bronnen vermelden. Niet aan bronvermelding doen is een academische doodzonde: iedereen moet weten waar je je op baseert. Gebruik je algemeen bekende informatie (de wet van Newton, de dichtheid van water), dan is bronvermelding natuurlijk niet nodig. Maar wel als je specifieke gegevens gebruikt (bijv. de leeftijdsopbouw van de Nederlanders volgens het CBS).

Omdat bronvermelding essentieel is, is het ontbreken van een precieze bronvermelding bij citaten, afbeeldingen en uit bronnen overgenomen gegevens reden voor een beoordeling met ★ (1 ster).

N.B. Als je (delen van) de opdracht en/of de casusbeschrijving citeert hoort daar ook een bronvermelding bij! MAAR: Omdat in de context van de ModelleerEstafette alle deelnemers kunnen weten dat Presto de bron is, is deze specifieke bronvermelding niet essentieel; wel een punt van kritiek onder "Overige kwaliteiten" (zie Q&A).

Bronvermelding moet precies zijn

Dit betekent dat de lezer de gebruikte bron direct moet kunnen terugvinden zonder aanvullende gegevens nodig te hebben.

  • De URL van een algemene website (dus bijv. https://www.archieven.nl) is doorgaans niet precies genoeg. De URL van een bronvermelding moet de specifieke webpagina aangeven waar de geciteerde tekst of figuur te vinden is.
  • Bronvermelding dient bij voorkeur in APA-stijl te gebeuren (zowel in de bronnenlijst als in de lopende tekst). Lees daarom vooral dit document met uitleg en concrete voorbeelden. Je kunt ook op deze webpagina van de TU Delft kijken (Engelstalig).
  • Indien een bron wel precies vermeld wordt, maar niet in APA-stijl, dan is dat een kritiekpunt in de categorie Overige kwaliteiten.
  • Zorg dat het werk dat jij zelf doorgeeft wél alle bronnen goed vermeldt (voor het gehele werk, niet alleen jouw "eigen" stap).

Afbeeldingen

Een reden voor een beoordeling met ★ (1 ster) in alle stappen is het gebruik van materiaal waar niet uitdrukkelijk bijstaat dat het vrijelijk gebruikt mag worden. Illustraties mogen namelijk niet zomaar zonder toestemming "geciteerd" worden.

Om dit werkbaar te houden, zijn in de ModelleerEstafette uitsluitend afbeeldingen toegestaan uit de volgende bronnen:

Kijk uit dat je geen plaatje pakt uit de advertenties! (bijvoorbeeld die van Adobe Stockfoto's, Shutterstock, Stockfresh, etc.)
De URLs die je in je bronvermelding gebruikt moeten dus beginnen met één van de zes bovengenoemde domeinnamen.

Maar ook bij deze sites is precieze bronvermelding in je verslaglegging noodzakelijk, zelfs al staat er ergens op zo'n site dat dit niet hoeft. Geef dus altijd de URL (d.w.z. http://...) die direct naar de door jou gebruikte afbeelding wijst.

Het gebruik van afbeeldingen uit Word en PowerPoint zelf is niet toegestaan, omdat deze in iedere versie anders kunnen zijn, waardoor ze niet controleerbaar zijn.

N.B. Dit geldt ook voor de "Pictogrammen" in recente versies van Word en PowerPoint.
Het is daarom legitiem indien opvolgers het gebruik daarvan zien als inbreuk op de spelregels. Bezwaar aantekenen tegen een 1-ster-beoordeling op deze grond is ongewenst.

N.B. Op geometrische vormen (ovalen, veelhoeken, pijlen) berust geen auteursrecht, dus die kun je zonder meer gebruiken. Dit geldt ook voor het "wolkje" in een voorraad-stroomdiagram. Als een door jouzelf gemaakte afbeelding alleen dit soort elementen bevat (bijv. een causale-relatiediagram, voorraad-stroomdiagram, of modelschema) hoef je daarbij geen bronvermelding te geven.

Heb je zelf een tekening of foto gemaakt, vermeld dan als bronvermelding ‘auteur (jaartal)’ (voor de duidelijkheid: het woord ‘auteur’, niet je eigen naam, want de estafette moet anoniem blijven!).

Afbeeldingen in Word

Houd er rekening mee dat Word slecht is in het positioneren van afbeeldingen. Als je een figuur samenstelt uit verschillende plaatjes, kan het zijn dat het bij je opvolger geheel door elkaar heen staat, wat reden kan zijn voor een lagere beoordeling. Plak dus bij voorkeur een "vaste" versie van de afbeelding in het rapport volgens een van deze manieren:

  1. in PowerPoint Kopiëren → in Word Plakken Speciaal → Afbeelding (Metafile of bitmap)
  2. in PowerPoint een schermafbeelding maken van het stuk scherm dat de afbeelding bevat, en deze in Word plakken

Het PowerPoint-document waarin je de afbeelding hebt gemaakt, voeg je er in beide gevallen bij.

Let op: Afbeeldingen niet in Word "bijsnijden" wanneer het weggesneden deel bijvoorbeeld je naam bevat; je opvolgers kunnen namelijk het bijsnijden ongedaan maken, waardoor de anonimiteit geschonden wordt. Gebruik voor bijsnijden een tekenprogramma, en copy/paste van daaruit alleen het relevante deel van de afbeelding in je verslaglegging.

Overgenomen van "https://sysmod.tbm.tudelft.nl/wiki/index.php?title=ModEst:Beoordelen_van_stappen_in_de_ModelleerEstafette&oldid=1200"