Waarom stop je met verder analyseren als je geen interactie-effect hebt gevonden?

Question

Bij de sportscore*voorlichting wordt geen significant effect gevonden (.137) en er wordt in de bijeenkomst verteld dat je dan moet stoppen met verder analyseren. Als je toch verder kijkt, zie je een significant verschil bij sportscore*voorlichting level 1 vs. level 2 (.05). Is het niet mogelijk dat er dan toch een interactie-effect is tussen level 1 vs. level 2, maar niet tussen level 2 vs. level 3 en daardoor op de sportscore*conditie geen significant effect vindt? Dus dat je wel wat kunt zeggen over level 1 vs. level 2. 

Answer 1

Wat er in de bijeenkomst verteld is kun je het beste navragen bij de desbetreffende docent.

Over het algemeen is het tricky om naar specifieke verschillen te zoeken als je eerst in de omnibustoets vaststelt dat deze er niet zijn. Met het oog op type 1 fout proberen we zo min mogelijk toetsen te doen om false positives te voorkomen.

Het kan dus zijn dat er hier en daar een verschil insluipt, maar blijkbaar is dit niet voldoende sterk om over het geheel als een interactie te spreken. Ik zou niet zo scherp als de docent zijn: je benadering om je niet blind te staren op p-waarden is uitermate zinvol. Ik zou naast de p-waarde van de interactie ook vooral kijken naar de effectgrootte ervan. Als deze toch alleraardigst is, dan kan het op zich geen kwaad om met enige voorzichtigheid toch naar de diepere effecten te kijken. Het patroon wat je dan in de contrasten ziet kan wellicht verklaren waarom de omnibustoets voor de interactie niet significant is, ondanks indicaties dat er wel een interactie is.

In kort bestek: kijken kan nooit kwaad, zodra p-waarden niet significant uitslaan is het extra van belang om de effectrgrootten in de discussie mee te nemen. Niet-significantie maakt het lastiger om een ondubbelzinnig helder verhaal te schrijven, maar met wat extra tekst en uitleg kan heel goed een verhaal van de data verteld worden, zonder harde 'stop'-regels te hanteren