Experimenteel ontwerp

In het experimenteel ontwerp leg je vast welke experimenten je gaat doen met het computationele model dat je gemaakt hebt.

Voorbeeld

In principe zou je alle combinaties van uiterste waarden van de invoervariabelen kunnen veranderen, zoals in de ontwerpmatrix hieronder voor de variabelen L, m en T gedaan is.

experiment	L	m	T
	m	kg	°C
1	100	0,2	15
2	150	0,2	15
3	100	0,4	15
4	150	0,4	15
5	100	0,2	25
6	150	0,2	25
7	100	0,4	25
8	150	0,4	25

In de kolommen worden alle combinaties van laagste waarden en hoogste waarden (hier vet weergegeven) systematisch gerangschikt. Dit levert 8 experimenten op, waarmee de uitersten van de variabelenruimte onderzocht worden.

Vergelijk voor de systematiek deze tabel met die in Binaire getallen. Dat helpt om de volgende twee alinea's goed te begrijpen.

Een ontwerpmatrix wordt al snel een erg grote tabel. Neem je voor elke invoervariabele alleen de laagste en hoogste waarde, dan telt de matrix bij n variabelen n kolommen, en 2ⁿ rijen. Zou je voor sommige variabelen het model met méér dan alleen de twee extreme waarden willen doorrekenen, dan groeit de tabel nog sneller.

Je kunt de ontwerpmatrix ook zien als het Cartesisch product van de verzamelingen W_x met waarden voor de invoervariabelen x. In het voorbeeld hierboven zijn dat dan: W_L = {100, 150}, W_m = {0,2, 0,4} en W_T = {15, 25}. Het Cartesisch product W_L × W_m × W_T bevat dan dezelfde 8 drietallen als de bovenstaande tabel.

Een experimenteel ontwerp volgens deze systematiek wordt een full factorial design genoemd. In de praktijk kunnen vaak verschillende variabelencombinaties uitgesloten worden.

Experimenteel ontwerp voor een probabilistisch model

Doordat een probabilistisch model stochastische variabelen bevat zijn de uitvoervariabelen van zo'n model ook stochasten. Dit betekent dat bij elke "run" (d.w.z. telkens wannneer je het model doorrekent) de uitvoervariabelen andere waarden zullen hebben. Om een zinvolle vergelijking te maken tussen verschillende behandelingen moet je per behandeling de kansverdeling van de uitvoervariabelen bepalen. Dat doe je door een groot aantal runs te doen en de waarden van de uitvoervariabelen in een gegevensverzameling te bewaren. Onderstaande histogrammen laten voor verschillende behandelingen van ons voorbeeldmodel de kansverdeling van de uitvoervariabele zien.

Hoe je m.b.v. een statistische toets bepaalt of het verschil tussen twee behandelingen significant is leer je in de module Statistiek en data-analyse.

Opstarttijd

Een dynamisch probabilistisch model heeft vaak een opstarttijd, d.w.z. dat het model pas na een flink aantal tijdstappen het systeemgedrag goed weergeeft. Bij een wachtrijmodel komt dat doordat op t=0 alle wachtrijen nog leeg zijn. De benodigde opstarttijd bepaal je door het voortschrijdend gemiddelde van de belangrijkste endogene variabelen in een lijndiagram weer te geven:

Uit deze grafieken kun je opmaken dat de doorlooptijd na een aantal tijdstappen stabiliseert. De lijnen hoeven overigens niet per se vlak te worden; er kan immers sprake zijn van een cyclisch patroon (denk aan spitsuren).

Runlengte

De runlengte is de lengte van het tijdsinterval waarover je metingen aan het model doet. De prestatie van een wachtrijssyteem meet je typisch af aan de gemiddelde lengte μ_L van de wachtrij en de gemiddelde bezettingsgraad μ_B. Omdat het om gemiddelde waarden gaat (som over alle tijdstippen t van L_t resp. B_t gedeeld door het aantal tijdstippen dat je waarneemt) maakt een korte runlengte je meting onbetrouwbaar. Dat wordt nog erger als het systeem zich cyclisch gedraagt. Als vuistregel geldt daarom dat de runlengte ten minste drie maal de langste cyclustijd moet zijn.

Aantal replicaties

Een enkele run met een simulatiemodel wordt een replicatie genoemd. Eén replicatie levert je voor elke uitvoervariabele één waarde op. Om zicht te krijgen op de kansverdeling van de stochastische uitvoervariabelen moet je tenminste zóveel replicaties uitvoeren dat je een betrouwbare schatting kunt maken van hun gemiddelde en de standaarddeviatie. Dat doe je door voor de belangrijkste uitvoervariabelen grafieken te maken van hun gemiddelde μ en hun standaarddeviatie σ over n replicaties waarbij je n laat toenemen, bijvoorbeeld van 1 t/m 300 zoals in onderstaande grafieken. Het aantal replicaties n van waaraf het gemiddelde van μ niet veel meer van waarde verandert (hieronder bijvoorbeeld n = 200) is dan een geschikt aantal replicaties. De spreiding σ voor dat aantal n is dan een maat voor de nauwkeurigheid van de modeluitkomsten.

Replicaties in Excel

In Bestand:TB112-replicaties.pdf staat hoe je snel veel replicaties in Excel kunt uitvoeren.

Zie ook

• Empirische cyclus
• Gevoeligheidsanalyse
• Modelleercyclus
• Oefeningen:Experimenteel ontwerp