Verwerp je een hypothese als de F waarde significant is, maar de effectgrootte klein?

Question

Als de bij een hypothese behorende F-waarde significant is, maar de effectgrootte is klein, verwerp je die hypothese dan alsnog? Welke conclusie kun je trekken over een causaal verband als de effectgrootte klein is? Hoe groot moeten de η²-waarde, de ω²-waarde en/of de R² waarde zijn om te spreken van een een voldoende effectgrootte?

Answer 1

Volgens mij loont het steeds de moeite om significante effecten te vermelden, zelfs al is de 'effectgrootte' klein. Sommige effecten zijn immers cumulatief en leiden op termijn tot zeer relevante verschillen. Als jij een 'piepklein' effectje vermeldt, dan zou dit een signaal kunnen zijn voor anderen om na te gaan of het in een longitudinaal onderzoek een grote verschil oplevert.

Abelson (1985) beschreef dit mooi. Fletcher en Wagner (2014) pasten dit toe in een pleidooi voor interventies op het vlak van lezen.

Abelson, R. P. (1985). A variance explanation paradox: When a little is a lot. Psychological Bulletin, 97(1), 129. http://www.unt.edu/rss/class/mike/5030/articles/Abelson1985.pdf

Fletcher, J. M. & Wagner, R. K. (2014). Accumulating knowledge: When are reading intervention results meaningful? Journal of Research on Educational Effectiveness, 7(3), 294-299. 

Comments

Een goed antwoord. Ik heb een vergelijkbaar antwoord gegeven zie ik, maar ik denk voldoende in een net iets andere invalshoek om toe te voegen aan het antwoord van jou

---

(mijmering: dit doet ook twijfels rijzen over de onderlinge vergelijkbaarheid van effectgroottes zoals Hattie dat doet in o.a. Visible Learning - sommige van die effecten zullen immers veel meer 'cumuleren' dan andere, waardoor het resultaat over een langere periode wel eens precies het omgekeerde kan zijn dan wat de effectgroottes suggereerden)

Answer 2

Strikte genomen wordt de nulhypothese verworpen. De p-waarde is kleiner dan een gesteld criterium en dan wordt de hypothese verworpen waartegen is getoetst, in dit geval de nulhypothese. Dit zegt echter niets over de waarschijnlijkheid van de alternatieve hypothese, en de informatie over de waarschijnlijkheid van de nulhypothese is zelf ook nog heel gering.

De effectgrootten dienen dan ter duiding. Significantie is een ja/nee spelletje, de kracht van het effect zal met name in de discussie moeten worden geevalueerd. Het is niet automatisch zo dat kleine effecten er niet toe doen. Ook een miniscuul effect kan in een bepaalde context van belang zijn. Een miniscuul effect kan er toe leiden dat een satelliet niet in een baan om Jupiter komt, maar op de planeet neerstort. Zo'n miniscuul effect zal echter weinig invloed hebben op het slagen of zakken van een leerling. Context is van wezenlijk belang in het evalueren van effectgrootten, maar heeft geen invloed op het ja/nee spelletje van nulhypothesetoetsings.