Neem ik een niet-significante covariaat mee in de analyse als blijkt dat het interactie-effect plots niet meer significant is?

Question

De covariaat die ik toegevoegd heb aan een Repeated Measures Analyse is niet significant. Toch is het interactie-effect met covariaat verschillend (niet meer significant) in vergelijking met de analyse zonder covariaat. Moet ik deze covariaat dan verder in de analyse meenemen of laat ik hem er het best uit? Welke waardes rapporteer ik?

Answer 1

Hier kun je een hoop discussies over voeren. Er is geen juist of onjuist antwoord. Daarom zou ik beiden rapporteren in je verslag.

Deze uitkomsten laten namelijk zien dat het interactieffect niet robuust is; ofwel je maakt een Type-1 fout met de covariaat, ofwel een Type-2 fout zonder de covariaat. Het verschil dat je waarneemt kan een statistisch artefact zijn; bij relatief kleine steekproeven (e.g. < 100, soms < 200, < 300, of zelfs < 500) kun je dergelijke veranderingen krijgen, simpelweg omdat je te weinig power hebt om stabiele schattingen van al de effecten in je model te verkrijgen (power voor interactie-termen is vaak relatief laag).

Op basis van je analyses kun je dus niet echt een conclusie trekken over de interactie-term. Het is daarom het meest integer om dit ook als zodanig te rapporteren.