Experimenteel ontwerp - Bewerkingsoverzicht

PieterBots: /* Volledig factorieel experimenteel ontwerp */

2024-12-05T12:27:00Z

Volledig factorieel experimenteel ontwerp

PieterBots: /* Voorbeeld */

2024-12-05T12:26:40Z

Voorbeeld

PieterBots: /* Voorbeeld */

2024-12-05T12:15:14Z

Voorbeeld

PieterBots: /* Voorbeeld */

2024-12-05T12:14:07Z

Voorbeeld

PieterBots: /* Voorbeeld */

2024-12-05T12:05:17Z

Voorbeeld

PieterBots: /* Toepassing */

2024-12-05T11:48:04Z

Toepassing

PieterBots: Nieuwe pagina aangemaakt met 'In het '''experimenteel ontwerp''' leg je vast welke experimenten je gaat doen met het computationele model dat je gemaakt hebt. ==Voorbe...'

2020-11-04T17:14:26Z

Nieuwe pagina aangemaakt met 'In het '''experimenteel ontwerp''' leg je vast welke experimenten je gaat doen met het computationele model dat je gemaakt hebt. ==Voorbe...'

Nieuwe pagina

In het '''experimenteel ontwerp''' leg je vast welke experimenten je gaat doen met het [[computationeel model|computationele model]] dat je gemaakt hebt.

==Voorbeeld==
In principe zou je alle combinaties van uiterste waarden van de [[variabele|invoervariabelen]] kunnen veranderen, zoals in de '''ontwerpmatrix''' hieronder voor de variabelen L, m en T gedaan is.

:{|class="wikitable"
! experiment !! L !! m !! T
|-
| || align=center | m || align=center | kg || align=center | °C
|-
| 1 || 100 || 0,2 || 15
|-
| 2 || '''150''' || 0,2 || 15
|-
| 3 || 100 || '''0,4''' || 15
|-
| 4 || '''150''' || '''0,4''' || 15
|-
| 5 || 100 || 0,2 || '''25'''
|-
| 6 || '''150''' || 0,2 || '''25'''
|-
| 7 || 100 || '''0,4''' || '''25'''
|-
| 8 || '''150''' || '''0,4''' || '''25'''
|}

In de kolommen worden alle combinaties van laagste waarden en hoogste waarden (hier vet weergegeven) systematisch gerangschikt. Vergelijk voor de systematiek deze tabel met die in [[Binaire_getallen#Toepassing|Binaire getallen]].

Dit levert 8 experimenten op, waarmee de uitersten van de variabelenruimte onderzocht worden.

Een ontwerpmatrix wordt al snel een erg grote tabel. Neem je voor elke invoervariabele alleen de laagste en hoogste waarde, dan telt de matrix bij n variabelen n kolommen, en 2n rijen. Zou je voor sommige variabelen het model met méér dan alleen de twee extreme waarden willen doorrekenen, dan groeit de tabel nog sneller.

In de praktijk kunnen vaak verschillende variabelencombinaties uitgesloten worden.

==Toepassing==
Als illustratie gebruiken we hier het [[Multinomiaal logitmodel|MNL-model]] van de keuze van forensen voor een vervoersmodaliteit. Stel dat je als beleidsmaker op zoek bent naar een kostenneutrale manier om het aandeel van de auto terug te dringen ten gunste van de fiets of het openbaar vervoer. Dat houdt dus in dat wanneer je bijvoorbeeld de prijs van een buskaartje verlaagt je de inkomsten die je dan misloopt moet terugverdienen door bijvoorbeeld de accijns op brandstof te verhogen.

Een experimenteel ontwerp dat je helpt bij het vinden van een oplossing voor dit beleidsvraagstuk zou zijn dat je het MNL-model doorrekent voor een groot aantal combinaties van maatregelen. Omdat je goed weet wat je wilt (minder autoverkeer; kostenneutraal) en ook de struktuur van het MNL-model goed kent (je weet dat je de auto minder aantrekkelijk maakt door de kosten of de reistijd ervan te verhogen, en omgekeerd dat andere modaliteiten aantrekkelijker worden als je ze goedkoper, sneller of comfortabeler maakt) kun je op voorhand al een aantal combinaties van invoerwaarden uitsluiten. Zo zul je het model niet met lagere brandstofprijzen doorrekenen. Het onderstaande experimenteel ontwerp zorgt er voor dat we systematisch alle zinvolle combinaties van maatregelen doorrekenen. Om het aantal combinaties beperkt te houden verkennen we de "oplossingsruimte" eerst "met grote stappen", om vervolgens de veelbelovende gebieden nader te verkennen.

==Experimenteel ontwerp voor een probabilistisch model==

Doordat een [[Typologie van modellen#Deterministisch versus probabilistisch|probabilistisch model]] [[Stochast|stochastische variabelen]] bevat zijn de uitvoervariabelen van zo'n model ook stochasten. Dit betekent dat bij elke "run" (d.w.z. telkens wannneer je het model doorrekent) de uitvoervariabelen andere waarden zullen hebben. Om een zinvolle vergelijking te maken tussen verschillende behandelingen moet je per behandeling de [[kansverdeling]] van de uitvoervariabelen bepalen. Dat doe je door een groot aantal runs te doen en de waarden van de uitvoervariabelen in een gegevensverzameling te bewaren. Onderstaande histogrammen laten voor verschillende behandelingen van ons voorbeeldmodel de kansverdeling van de uitvoervariabele zien.

[[Bestand:HistogrammenExperiment.png|500px]]

Hoe je m.b.v. een statistische toets bepaalt of het verschil tussen twee behandelingen significant is leer je in de module ''Statistiek en data-analyse''.

===Opstarttijd===

Een dynamisch probabilistisch model heeft vaak een '''opstarttijd''', d.w.z. dat het model pas na een flink aantal tijdstappen het systeemgedrag goed weergeeft. Bij een [[wachtrijmodel]] komt dat doordat op t=0 alle wachtrijen nog leeg zijn. De benodigde opstarttijd bepaal je door het [[voortschrijdend gemiddelde]] van de belangrijkste [[Modelschema|endogene variabelen]] in een lijndiagram weer te geven:

[[Bestand:LijndiagrammenVoorBepalenOpstarttijd.png|400px]]

Uit deze grafieken kun je opmaken dat de doorlooptijd na een aantal tijdstappen stabiliseert. De lijnen hoeven overigens niet per se vlak te worden; er kan immers sprake zijn van een [[Lijndiagram#Periodiciteit|cyclisch patroon]] (denk aan spitsuren).

===Runlengte===

De '''runlengte''' is de lengte van het tijdsinterval waarover je metingen aan het model doet. De prestatie van een wachtrijssyteem meet je typisch af aan de gemiddelde lengte μL van de wachtrij en de gemiddelde bezettingsgraad μB. Omdat het om gemiddelde waarden gaat (som over alle tijdstippen t van Lt resp. Bt gedeeld door het aantal tijdstippen dat je waarneemt) maakt een korte runlengte je meting onbetrouwbaar. Dat wordt nog erger als het systeem zich cyclisch gedraagt. Als vuistregel geldt daarom dat de runlengte ten minste drie maal de langste cyclustijd moet zijn.

===Aantal replicaties===

Een enkele run met een simulatiemodel wordt een '''replicatie''' genoemd. Eén replicatie levert je voor elke uitvoervariabele één waarde op. Om zicht te krijgen op de [[kansverdeling]] van de [[stochast]]ische uitvoervariabelen moet je tenminste zóveel replicaties uitvoeren dat je een betrouwbare schatting kunt maken van hun gemiddelde en de standaarddeviatie. Dat doe je door voor de belangrijkste uitvoervariabelen grafieken te maken van hun gemiddelde μ en hun standaarddeviatie σ over ''n'' replicaties waarbij je ''n'' laat toenemen, bijvoorbeeld van 1 t/m 300 zoals in onderstaande grafieken. Het aantal replicaties ''n'' van waaraf het gemiddelde van μ niet veel meer van waarde verandert (hieronder bijvoorbeeld ''n'' = 200) is dan een geschikt aantal replicaties. De spreiding σ voor dat aantal ''n'' is dan een maat voor de nauwkeurigheid van de modeluitkomsten.

[[Bestand:stabilizing_mu_and_sigma.png|800px]]

===Replicaties in Excel===

In [[Bestand:TB112-replicaties.pdf]] staat hoe je snel veel replicaties in Excel kunt uitvoeren.

==Zie ook==

* [[Empirische cyclus]]
* [[Gevoeligheidsanalyse]]
* [[Modelleercyclus]]
* [[Oefeningen:Experimenteel ontwerp]]

[[Categorie:Definities]]

@@ Regel 28: / Regel 28: @@
 In de kolommen worden alle combinaties van laagste waarden en hoogste waarden (hier vet weergegeven) systematisch gerangschikt. Dit levert 8 experimenten op, waarmee de uitersten van de variabelenruimte onderzocht worden. Vergelijk voor de systematiek deze tabel met die in [[Binaire_getallen#Toepassing|Binaire getallen]].
-=== Volledig factorieel experimenteel ontwerp ===
+== Volledig factorieel experimenteel ontwerp ==
 Je kunt de ontwerpmatrix ook zien als het [[Verzameling#Cartesisch product|Cartesisch product]] van de verzamelingen W<sub>''x''</sub> met waarden voor de invoervariabelen ''x''. In het voorbeeld hierboven zijn dat dan: W<sub>L</sub> = {100, 150}, W<sub>m</sub> = {0,2, 0,4} en W<sub>T</sub> = {15, 25}. Het Cartesisch product W<sub>L</sub> &times; W<sub>m</sub> &times; W<sub>T</sub> bevat dan dezelfde 8 drietallen als de bovenstaande tabel.

@@ Regel 26: / Regel 26: @@
 |}
-In de kolommen worden alle combinaties van laagste waarden en hoogste waarden (hier vet weergegeven) systematisch gerangschikt. Dit levert 8 experimenten op, waarmee de uitersten van de variabelenruimte onderzocht worden.
+In de kolommen worden alle combinaties van laagste waarden en hoogste waarden (hier vet weergegeven) systematisch gerangschikt. Dit levert 8 experimenten op, waarmee de uitersten van de variabelenruimte onderzocht worden. Vergelijk voor de systematiek deze tabel met die in [[Binaire_getallen#Toepassing|Binaire getallen]].
-Vergelijk voor de systematiek deze tabel met die in [[Binaire_getallen#Toepassing|Binaire getallen]]. Dat helpt om de volgende twee alinea's goed te begrijpen.
+=== Volledig factorieel experimenteel ontwerp ===
-Een ontwerpmatrix wordt al snel een erg grote tabel. Neem je voor elke invoervariabele alleen de laagste en hoogste waarde, dan telt de matrix bij n variabelen n kolommen, en 2<sup>n</sup> rijen. Zou je voor sommige variabelen het model met méér dan alleen de twee extreme waarden willen doorrekenen, dan groeit de tabel nog sneller.
+Je kunt de ontwerpmatrix ook zien als het [[Verzameling#Cartesisch product|Cartesisch product]] van de verzamelingen W<sub>''x''</sub> met waarden voor de invoervariabelen ''x''. In het voorbeeld hierboven zijn dat dan: W<sub>L</sub> = {100, 150}, W<sub>m</sub> = {0,2, 0,4} en W<sub>T</sub> = {15, 25}. Het Cartesisch product W<sub>L</sub> &times; W<sub>m</sub> &times; W<sub>T</sub> bevat dan dezelfde 8 drietallen als de bovenstaande tabel.
-Je kunt de ontwerpmatrix ook zien als het [[Verzameling#Cartesisch product|Cartesisch product]] van de verzamelingen W<sub>''x''</sub> met waarden voor de invoervariabelen ''x''. In het voorbeeld hierboven zijn dat dan: W<sub>L</sub> = {100, 150}, W<sub>m</sub> = {0,2, 0,4} en W<sub>T</sub> = {15, 25}. Het Cartesisch product W<sub>L</sub> &times; W<sub>m</sub> &times; W<sub>T</sub> bevat dan dezelfde 8 drietallen als de bovenstaande tabel.
+Een experimenteel ontwerp volgens deze systematiek wordt een <u>volledig factorieel</u> experimenteel ontwerp (Engels: ''full factorial design'') genoemd.
-Een experimenteel ontwerp volgens deze systematiek wordt een <u>volledig factorieel</u> experimenteel ontwerp (Engels: ''full factorial design'') genoemd. In de praktijk kunnen vaak verschillende variabelencombinaties uitgesloten worden.
+Bij een volledig factorieel ontwerp wordt de ontwerpmatrix al snel een erg grote tabel. Neem je voor elke invoervariabele alleen de laagste en hoogste waarde, dan bestaat de matrix bij ''n'' variabelen uit ''n'' kolommen en 2<sup>''n''</sup> rijen. Zou je voor sommige variabelen het model met méér dan alleen de twee extreme waarden willen doorrekenen, dan groeit de tabel nog sneller. In de praktijk kunnen vaak verschillende variabelencombinaties uitgesloten worden.
 <!--
 ==Toepassing==

@@ Regel 34: / Regel 34: @@
 Je kunt de ontwerpmatrix ook zien als het [[Verzameling#Cartesisch product|Cartesisch product]] van de verzamelingen W<sub>''x''</sub> met waarden voor de invoervariabelen ''x''. In het voorbeeld hierboven zijn dat dan: W<sub>L</sub> = {100, 150}, W<sub>m</sub> = {0,2, 0,4} en W<sub>T</sub> = {15, 25}. Het Cartesisch product W<sub>L</sub> &times; W<sub>m</sub> &times; W<sub>T</sub> bevat dan dezelfde 8 drietallen als de bovenstaande tabel.
-Een experimenteel ontwerp volgens deze systematiek wordt een volledig factorieel experimenteel ontwerp (Engels: ''full factorial design'') genoemd. In de praktijk kunnen vaak verschillende variabelencombinaties uitgesloten worden.
+Een experimenteel ontwerp volgens deze systematiek wordt een <u>volledig factorieel</u> experimenteel ontwerp (Engels: ''full factorial design'') genoemd. In de praktijk kunnen vaak verschillende variabelencombinaties uitgesloten worden.
 <!--
 ==Toepassing==

@@ Regel 34: / Regel 34: @@
 Je kunt de ontwerpmatrix ook zien als het [[Verzameling#Cartesisch product|Cartesisch product]] van de verzamelingen W<sub>''x''</sub> met waarden voor de invoervariabelen ''x''. In het voorbeeld hierboven zijn dat dan: W<sub>L</sub> = {100, 150}, W<sub>m</sub> = {0,2, 0,4} en W<sub>T</sub> = {15, 25}. Het Cartesisch product W<sub>L</sub> &times; W<sub>m</sub> &times; W<sub>T</sub> bevat dan dezelfde 8 drietallen als de bovenstaande tabel.
-Een experimenteel ontwerp volgens deze systematiek wordt een ''full factorial design'' genoemd. In de praktijk kunnen vaak verschillende variabelencombinaties uitgesloten worden.
+Een experimenteel ontwerp volgens deze systematiek wordt een volledig factorieel experimenteel ontwerp (Engels: ''full factorial design'') genoemd. In de praktijk kunnen vaak verschillende variabelencombinaties uitgesloten worden.
 <!--

@@ Regel 26: / Regel 26: @@
 |}
-In de kolommen worden alle combinaties van laagste waarden en hoogste waarden (hier vet weergegeven) systematisch gerangschikt. Vergelijk voor de systematiek deze tabel met die in [[Binaire_getallen#Toepassing|Binaire getallen]].
+In de kolommen worden alle combinaties van laagste waarden en hoogste waarden (hier vet weergegeven) systematisch gerangschikt. Dit levert 8 experimenten op, waarmee de uitersten van de variabelenruimte onderzocht worden.
-Dit levert 8 experimenten op, waarmee de uitersten van de variabelenruimte onderzocht worden.
+Vergelijk voor de systematiek deze tabel met die in [[Binaire_getallen#Toepassing|Binaire getallen]]. Dat helpt om de volgende twee alinea's goed te begrijpen.
 Een ontwerpmatrix wordt al snel een erg grote tabel. Neem je voor elke invoervariabele alleen de laagste en hoogste waarde, dan telt de matrix bij n variabelen n kolommen, en 2<sup>n</sup> rijen. Zou je voor sommige variabelen het model met méér dan alleen de twee extreme waarden willen doorrekenen, dan groeit de tabel nog sneller.
-In de praktijk kunnen vaak verschillende variabelencombinaties uitgesloten worden.
+Je kunt de ontwerpmatrix ook zien als het [[Verzameling#Cartesisch product|Cartesisch product]] van de verzamelingen W<sub>''x''</sub> met waarden voor de invoervariabelen ''x''. In het voorbeeld hierboven zijn dat dan: W<sub>L</sub> = {100, 150}, W<sub>m</sub> = {0,2, 0,4} en W<sub>T</sub> = {15, 25}. Het Cartesisch product W<sub>L</sub> &times; W<sub>m</sub> &times; W<sub>T</sub> bevat dan dezelfde 8 drietallen als de bovenstaande tabel.
 <!--