Normaal run je een full factorial model als je alle interacties, inclusief dus alle hogere orde interacties, wil toetsen. In alle andere gevallen bouw je een custom model, waar je de interactietermen in opneemt die je wil toetsen.
Je draait nooit een model met interactietermen waar je niet in geïnteresseerd bent. Twee redenen waarom dit fout is:
- Je moet onnodig zwaar corrigeren voor multiple testing: voor de 'oninteressante interacties' bereken je immers ook p-waarden, dus de kans op een Type 1-fout wordt onnodig groter; je moet hiervoor dus zwaarder corrigeren dan nodig.
- Je offert vrijheidsgraden voor de 'oninteressante interacties' op die van je errorterm afgaan, die daardoor onnodig groot is. Je hebt dus minder power, en dus meer kans op een Type 2-fout.
Je hebt dus zowel meer kans op een Type 1-fout (vanwege de multiple testing) als op een Type 2-fout (vanwege de opgeofferde vrijheidsgraden).
Bij variantie-analyse is het bovendien vaak zo dat je zwaar underpowered bent voor hogere orde interacties (drieweg, vierweg, vijfweg etc interacties). Bovendien, zelfs als je per cel de honderden deelnemers hebt die je nodig hebt om hoge orde interacties op een zinvolle manier te toetsen, dan zijn deze bijna niet te interpreteren. Tweeweg-interacties vinden veel mensen al lastig; drieweg-interacties zijn voor experts nog wel te interpreteren, maar vierweginteracties zijn al lastig - en worden bijna nooit voorspeld door de theorie waar je mee werkt.
Dus, als je een factorieel design hebt met bijvoorbeeld vier factoren, en variantieanalyse gebruikt, dan bouw je normaal een custom model waarin je alleen de hoofdeffecten opneemt, en de interacties waar je expliciet hypothesen over hebt geformuleerd. Voor de vierweg interactie die je zou kunnen toetsen ben je waarschijnlijk zo zwaar underpowered dat die toets geen zin heeft: de kans op statistische artefacten is veel te groot.
Het zijn trouwens 'main effects'. Main affects zijn hele belangrijke emoties :-)
Dus: bij anova bestel je alleen een full factorial model als je ook echt geïnteresseerd bent in de interactietermen. Zonee, dan mag je niet een full factorial model bestellen en gewoon niet naar de interacties kijken: dan moet je een custom model bouwen.