PB0202192022 Onderzoekspracticum Inleiding data-analyse - tentamencasus vraag 7

Question

Bij vraag 7 van de tentamencasus (“Heeft de manipulatie van de injectie een effect op een of meer van de zes afhankelijke variabelen?”) heb ik bij de variabele ‘numbness’ een significantie van .038 in het ANOVA model. In de post-hoc test (Bonferroni) bij de variabele ‘numbness’ zie ik echter dat geen van de groepen significant verschilt met elkaar. 

Ik vermoed dat dit komt omdat de varianties van deze variabele ongelijk zijn (p-waarde Levene’s test = .000). In het boek staat dat wanneer de varianties ongelijk zijn, je vooral moet kijken naar Welch of Brown-Forsythe. Er is echter niks gezegd (in het boek of in de cursus) over het gebruik van een andere post-hoc toets. Dat roept de volgende vragen op:

1. Moet je in geval van ongelijke varianties gebruik maken van een post-hoc toets onder de noemer “Equal Variances Not Assumed”? (bijv. Tamhane T2)
2. Is er een andere verklaring waarom er in het ANOVA model wel een significantie zichtbaar is, maar in de post-hoc test niet? 
3. Doe ik iets fout?

Answer 1

Wanneer de Levene test significant is en dus niet aan de aanname van gelijke variantie wordt voldaan, is het beter om een aangepaste variantie-analyse te doen zoals de Welch test. Ook moet je bij de posthoc toetsen inderdaad een post hoc toets gebruiken die hiervoor corrigeert. Echter, ook als je de juiste toets gebruikt kan het voorkomen dat je wel een hoofdeffect vindt van je onafhankelijke variabele, maar toch geen significante verschillen in je posthoc toets (of andersom). Dit is vooral het geval bij kleine effecten, als het net wel of net niet significant is.