De vraag is mij niet helemaal helder, omdat het antwoord al in de vraag staat; de ANOVA werkt onder een aantal assumpties, en zolang aan die assumpties over de data voldaan is, dan is de ANOVA een robuuste methode.
Alle lineare modellen (waaronder de t-test, anova en regressie vallen) delen eigenlijk dezelfde assumpties die de Gauss-Markov assumpties genoemd worden:
- de errors hebben een gemiddelde van nul (hoeven niet exact normaal verdeeld te zijn, maar mogen in ieder geval niet scheef verdeeld zijn)
- zijn homoscedastisch (variantie blijft nagenoeg gelijk over alle waarden van x)
- zijn ongecorreleerd (dus geen herhaalde metingen, of clusters van waarnemingen die eigenschappen met elkaar delen, zoals leerlingen in klassen in scholen)
Dan zijn er verder nog alleen problemen die kunnen voortkomen uit een lage N (steekproefgrootte) voor de te schatten populatieparameter. Als het te verwachten effect in de populatie klein is, is een grote N nodig om deze met voldoende zekerheid te kunnen vinden in een steekproef. Hier is geen harde reeks van vastregels voor; de noodzakelijke N per groep is afhankelijk van de gewenste power en de populatie-effectgrootte.
Een ANOVA in het bijzonder gaat dan ook nog uit van gelijke N per groep; en wordt niet-robuust bij ongelijke N (unbalanced designs).
Zodra een of meerdere assumpties geschonden worden kun je het beste Field raadplegen. Het hangt af van de specifieke schending wat de optimale oplossing is. Gecorreleerde errors kunnen bijvoorbeeld ondervangen worden in een techniek die met 'nesting' van waarnemingen rekening houd, of door de data niet meer op het niveau van het individu, maar op groepsniveau te analyseren. Heteroscedastisiteit heeft een ernst die afhangt van in welke groep de grootste variantie zit, en kan (zie Field) leiden tot de keuze voor een Brown-Forsythe, of Welch correctie op de vrijheidsgraden.
