Hypothese ANOVA en post-hoc toets

Question

Graag zou ik wat uitleg willen over thema 3 opdracht 3.3.3 in het digitale werkboek. Het gaat mij om hoe het zit met H0 en H1. In de terugkoppeling staat: 'Met Levene's toets is aangetoond dat de varianties van de verschillende inkomenscategorieën aan elkaar gelijk zijn, want de nulhypothese dat de varianties aan elkaar gelijk zijn, wordt niet verworpen, immers p = .41.' Dat snap ik, maar daarna staat: 'Daarom kunnen zowel de Tukey als de Bonferroni posthoc-toets gebruikt worden om na te gaan welke gemiddelden nu precies verschillend zijn. Uit beide toetsen blijkt dat geen enkel paar van gemiddelden significant verschillend is.' De testen geven geen p-waardes aan van < .05 dus is er geen sprake van een significant verschil. In het eerste stuk stond dat H0 niet werd verworpen en in het tweede stuk zijn er geen p-waardes lager dan .05, dus zou ik verwachten dat H0 dan geaccepteerd zou moeten worden. Kunt u me helpen?

Answer 1

De fout zit hem in je stelling "De testen geven geen p-waardes aan van < .05 dus is er geen sprake van een significant verschil."

Die klopt niet. Binnen het kader van de Nul Hypothese Significantie Toetsing (NHST) wordt meestal een 'kritieke p-waarde' of alpha gehanteerd van .05. Dat betekent dat als de kans op de verkregen uitkomsten, er vanuit gaande dat de nulhypothese klopt, lager is dan 5%, dit wordt opgevat als evidentie dat die nulhypothese dus waarschijnlijk niet klopt. Die wordt dan verworpen.

Bij Levene's test is de nulhypothese "alle varianties zijn gelijk". Als die nulhypothese waar is, oftewel, als de varianties in alle groepen inderdaad gelijk zijn, dan is de kans om afwijkingen tussen die varianties te vinden die zo extreem of extremer zijn als de afwijkingen in de steekproef, gelijk aan 41%. Dit komt dus in bijna de helft van de steekproeven voor: geen reden om aan te nemen dat het model, op basis waarvan die kans is uitgerekend, niet klopt; en dat model is gebaseerd op de aanname dat de nulhypothese waar is. Die nulhypothese is dus niet onwaarschijnlijk te noemen op basis van deze steekproef.

Precies ditzelfde gebeurt bij de post-hoc toetsen. De p-waardes zijn groter dan .05, dus de aanname op basis waarvan die p-waardes zijn berekend (oftewel, de gemiddelden zijn aan elkaar gelijk, oftewel de nulhypothese) is plausibel. Die aanname, de nulhypothese, blijft dus staan, en wordt niet verworpen.