Het verschil tussen de meerweg anova en de t-toets is dat tenzij je design volledig orthogonaal is, er verschillende uitkomsten uit kunnen komen. Deels daardoor klopt je aanname: als je een significante crossover-interactie hebt, is je validiteit al aangetast, en hebben t-toetsen geen zin meer.
Als je design orthogonaal is (oftewel, onafhankelijk), dan zitten er in elke cel precies evenveel mensen. Als dat het geval is, hangen je onafhankelijke variabelen dus niet met elkaar samen (als je weet welke 'meetwaarde' iemand voor de ene variabele (manipulatie) heeft, kun je nog niets zeggen over welke 'meetwaarde' diegene voor de andere variabele (manipulatie) heeft). Als je design niet volledig orthogonaal is, is er wel samenhang tussen je onafhankelijke variabelen, en in dat geval kunnen ze elkaar ook overlappen in hun voorspelling van de afhankelijke variabele. Ze delen dan verklaarde variantie in de afhankelijke variabele.
Statistische programma's weten niet waar die overlappende verklaarde variantie dan bij hoort (i.e. bij welke voorspeller), en snijdt die helemaal uit je model. Omdat je dan je onafhankelijke en afhankelijke variabelen hebt aangepast (want voor psychologische variabelen betekent het verwijderen van variantie vaak dat je de variabele wat aanpast; je kunt het zien als een item in een vragenlijst niet mee meetellen), kun je andere uitkomsten krijgen.
Een ander verschil (maar dat bepaal je zelf door er een interactieterm in op te nemen) is dat je in meerweg anova, als je een factorieel design toetst, een interactieterm hebt, die je natuurlijk niet hebt in een t-toets.
Als je een significante interactie hebt, bestaan er geen hoofdeffecten meer. Hoofdeffecten betekenen 'een effect van X op Y'. Interactie betekent 'het effect van X op Y hangt af van het niveau van Z'. Als dat laatste het geval is, is het nonsensical om te spreken van 'een effect van X' - er zijn dan evenveel 'effecten van X' als er waarden van Z zijn. Die kunnen verschillende sterktes hebben, maar het kan ook zo zijn dat het effect er voor sommige waarden van Z wel is en voor anderen niet, of zelfs omgekeerd is. Zelfs als ze niet omgekeerd zijn, en altijd aanwezig, is het niet correct om het hoofdeffect te interpreteren als een soort 'gemiddeld effect' van X; dat 'gemiddelde effect' bestaat immers wellicht voor geen enkel individu. Als er interactie is, bestaan er dus alleen simple effects.
Dus, laten we een voorbeeld nemen; je hebt een 2x2 design waarin je stress en moeheid manipuleert en het effect meet op het maken van een statistiektoets. Om stress te manipuleren speel je terwijl de deelnemers een half uur wachten om te beginnen ofwel Raverbashing van Atari Teenage Riot (ATR), Goodnight van Helen Jane Long (HJL). Om moeheid te manipuleren instrueer je deelnemers ofwel om de nacht voor het experiment niet te slapen, ofwel om juist vroeg naar bed te gaan. Je hebt een vraag om moeheid te meten, eentje om stress te meten, en dan maken deelnemers de statistiektoets.
Als je nu evenveel deelnemers in elke conditie hebt (een orthogonaal design), vindt je op de t-toetsen voor de crossover effecten precies hetzelfde als in een meerweg anova zonder interactieterm. Als we hier geen crossover effecten vinden, lijken de manipulaties dus valide. In dit geval zou dat betekenen dat de deelnemers die niet hebben geslapen zich gemiddeld genomen meer moe voelden, en dat de deelnemers die naar ATR hebben geluisterd zich meer gestresst voelen dan de deelnemers die naar HJL hebben geluisterd. So far so good.
Alleen - stel nu dat als je het factoriele design toetst in de meerweg anova (dus inclusief de interactieterm), dat dan de interactie significant is. De mensen die naar ATR hebben geluisterd zijn niet moe, of ze nu hebben geslapen of niet. Oftewel, het effect van de moeheidsmanipulatie is afhankelijk van de muziekmanipulatie: er is alleen effect als mensen naar JHL hebben geluisterd. In dat geval kun je dus alleen iets zeggen over het effect van moeheid als mensen niet gestressed zijn: alleen in de JHL conditie. Dit betekent;
- Je kunt niets zeggen over moeheid in het algemeen; je weet niet precies wat er verder nog speelt. Je kunt niet uitsluiten dat de moeheidsinterventie een eventueel effect uitsluitend heeft in combinatie met de JHL muziek (je weet immers niet of ATR de verstorende factor is, of de JHL muziek - misschien werden de mensen wel moe van JHL, en niet van hun slaapgebrek).
- Je kunt niets zeggen over een eventuele interactie tussen die twee variabelen, want je weet niet precies wat er gebeurde.
Als je dus crossover-effecten hebt in de interactie heb je ook een probleem (als in, je design is niet valide). Maar - dit hele concept van crossover interacties valt dacht ik buiten deze cursus, omdat het conceptueel een stuk complexer is dan reguliere crossover effecten. Dit even voor andere studenten die dit lezen en niet helemaal kunnen volgen.
PS: de simpelste toets is de t-toets. Die is verreweg het eenvoudigst om goed te begrijpen; meerweg anova is een stuk complexer. Bovendien moet je sowieso 2 toetsen doen, want je moet beide manipulatiechecks als afhankelijke variabelen invoeren, dus je wint niet echt iets met een meerweg anova - tenzij je ook op crossover interacties wil toetsen.
