Moderatie: als je interactie-effect niet significant is, hoef je dan geen visualisatie te maken in Excel?

Question

Als een interactie-effect niet significant is, is dit een aanwijzing dat er geen sprake is van moderatie. Hoef je dit dan niet te visualiseren in Excel?

En stel je doet dit wel en de lijnen kruisen toch, wat een aanwijzing is dat er wel sprake is van moderatie. Wat gaat er dan fout? Is er dan bijvoorbeeld toch sprake van een interactie-effect of mag je gewoon geen visualisatie maken als het interactie-effect niet significant is?

Answer 1

Kruisende lijnen zijn geen indicatie dat er sprake is van interactie.

Dat komt omdat tenzij je de individuele datapunten plot (wat eigenlijk sowieso een goede gewoonte is, maar met SPSS en Excel niet eenvoudig; in R kan dit wel met de dlvPlot functie of met de fanova functie), er zo ver wordt ingezoomed op de Y-as totdat de lijnen ongeveer een vierkant patroon laten zien.

Oftewel, twee lijnen die praktisch parallel lopen, lijken eigenlijk te kruisen, omdat de plot op de Y-as alleen een fractie van de schaal van de afhankelijke variabele laat zien.

Dit kun je aanpassen door handmatig in Excel (of SPSS) de maximum en minimum waarden van de Y-as in te stellen, zodat die overeenkomen met het maximum en minimum van de schaal van de afhankelijke variabele.

Maar zelfs als je dat doet, kun je geen conclusies trekken op basis van de visualisatie van de gemiddelden.

Die tweede reden waarom je nooit conclusies kunt trekken over of er interactie is op basis van een visualisatie, is dat als je alleen de gemiddelden plot, je geen idee hebt hoeveel error er is, oftewel, wat de standaardfouten rondom die gemiddelden zijn. Zelfs als de lijnen wel duidelijk kruisen als je de Y-as hebt aangepast, kan het zijn dat de individuele datapunten zo ver van de gemiddelden af liggen, dat dit patroon waarschijnlijk gewoon toevallig is, en dus niet indicatief voor de populatie.

Immers: patronen in je steekproef zijn nooit interessant. Bij wetenschappelijk onderzoek ben je geinteresseerd in de populatie: in patronen die 'in het echt' of 'in het algemeen' bestaan. Patronen in je steekproef kunnen uitsluitend door toeval tot stand zijn gekomen, en die zeggen dan niets over de populatie. Daarom zijn patronen in je steekproef alleen interessant in zover ze iets over de populatie zeggen, en dat kun je nooit inschatten als je die patronen niet vergelijkt met de 'ruis' of 'error'. Dit is wat de toets op de interactie doet.

Als je interactie dus niet significant is, dan doe je twee dingen:

1. Je concludeert dat er geen interactie is (en beredeneert wat de gevolgen zijn voor de theorie die je toetste die die voorspelling deed)
2. Je kun dan je hoofdeffecten interpreteren, als die er zijn (dit zou immers niet kunnen als er wel interactie was geweest).

"In het echt" maak je geen visualisatie als er geen interactie is (en maak je sowieso liever geen visualisatie waarin je de losse datapunten niet plot, omdat die, zoals hierboven uitgelegd, misleidend zijn).

Maar in het kader van het onderwijs moet je de competentie zo'n visualisatie te maken oefenen, en moet beoordeeld worden of je die competentie bezit. Dus in een verslag zou ik wel altijd de visualisatie maken.