Kan ik een interactiehypothese toetsen met een variantieanalyse, waarna ik enkelvoudige hoofdeffecten toets met split file?

Question

Als de volgende interactiehypothese luidt: "In de conditie met de meisjes is de taalvaardigheid groter dan in de conditie met de jongens, met name in de experimentele groep waarin het verschil groter zal zijn dan in de controlegroep." (Op basis van de Hitler hypothese op pag. 124). Is dit dan te toetsen met een variantieanalyse, waarna enkelvoudige hoofdeffecten getoetst worden met split file, afh. variabele =taalvaardigheid en onafh. variabele is sekse?

Answer 1

Ja, spot on, heel goed!

Dat wil zeggen, dat is de algemene werkwijze. Meestal doe je alleen geen split file op conditie, maar op geslacht, want waarschijnlijk wil je het effect van conditie weten per geslacht; dus dan kun je beter split file doen op geslacht, en het effect van conditie per geslacht bekijken met een t-toets.

En, klein detail: "enkelvoudige hoofdeffecten" heten "simple effects". Tenzij iemand dat ergens naar het Nederlands vertaald met "enkelvoudige hoofdeffecten", maar een "hoofdeffect" is in principe juist als er geen interactie is, dus da's een verwarrend term.

Een hoofdeffect is als je zegt "A heeft een effect op B", wat, als je een experimenteel design hebt waarin A is gemanipuleerd, betekent, "A beinvloedt B" (en als er geen zuiver experimentele opzet is gebruikt, betekent "A hangt samen met B", oftewel "B heeft een effect op A", oftwel "Een onbekende variabele beinvloedt zowel A als B", want die drie scenario's zijn zonder zuiver experiment niet te ondersscheiden).

Maar, als er interactie is, is er geen effect van A op B, en met een experimenteel design kan A ook geen invloed hebben op B. De definitie van interactie is immers dat het effect van A (de invloed van A) afhankelijke is van het niveau van C. Het concept "het effect" of "de invloed" van A slaat dan nergens op; dat wil zeggen, er is geen "effect van A" te onderscheiden. Er zijn alleen "effecten van A" per niveau van C.

Comments

Ik raak wat in de war door je laatste alinea, met name door [Er zijn alleen "effecten van A" per niveau van C.]. Kan A echt geen 'overkoepelend' effect hebben, ongeacht het niveau van C, naast een interactie-effect?

Ik dacht dat in de regressievergelijking B = b0 + b1*A + b2*A*C de coefficient b1 het "hoofdeffect" van A weergaf?

---

Goede vraag. En nee, A heeft geen 'overkoepelend effect' als er interactie is.

Laten we eerst de regressievergelijking corrigeren. Je kunt nooit een interctie-effect in je model hebben zonder de bijbehorende hoofdeffecten; het interactie-effect is immers (namelijk :-)) een 'kwalificatie' (nadere specificatie) van die hoofdeffecten. De regressie-vergelijking wordt dus:

$$\hat{y} = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \beta_3 x_1 x_2 $$

Laten we nu in deze uitleg even aannemen dat $x_2$ onze theoretische moderator is, en dat die dichotoom is, en 0/1 gecodeerd in ons dataframe.

Als $x_2$ 0 is, versimpelt de regressie-vergelijking naar:

$$\hat{y} = \beta_0 + \beta_1 x_1 $$

En als $x_2$ 1 is, naar:

$$\hat{y} = \beta_0 + \beta_1 x_1 + \beta_2 + \beta_3 x_1 $$

Wat weer te versimpelen is naar:

$$\hat{y} = \beta_0 + \beta_2 + (\beta_1 + \beta_3) x_1 $$

Oftewel, als $x_2$ = 0, is de 'totale regressie-coefficient' van $x_1$ anders dan wanneer $x_2$ 1 is. $\beta_1$ is alleen maar het effect van $x_1$ als $x_2$ = 0.

En er bestaat geen effect dat onafhankelijk is van de waarde van $x_2$, oftwel, dat geldt ongeacht wat $x_2$ is. Het effect van $x_1$ is altijd afhankelijk van de waarde van $x_2$ - dat is de definitie van interactie.

Er bestaat dus geen hoofdeffect van $x_1$. Of van $x_2$.

Natuurlijk kun je een anova of regressie-model draaien zonder interactietermen, en dan komen daar gewoon hoofdeffecten uit, net als dat je p-waarden krijgt voor de 'hoofdeffecten' in een anova, ook als er een interactie-term in je model zit.

Dit 'hoofdeffecten' drukken alleen een verband uit dat niet bestaat in de realiteit. Er is immers niemand die op $x_2$ niet 0, en ook niet 1 scoort.

(Hier is nog van alles over te zeggen, maar dit is de kern zo'n beetje.)

---

Dat begrijp ik, maar dat lijkt me eerder een gevolg van de vergissing om niet te centreren? Je uitleg klopt wanneer je 0 en 1 gebruikt. Precies om die reden werd toch aangeraden om -1/2 en +1/2 te gebruiken (Kraemer & Blasey, 2004). Als men dat doet, dan heeft men toch wel degelijk een “overkoepelend” effect dat men simpelweg kan aflezen in de coëfficiënt? Het “overkoepelend” (“simple”) effect is dan doodgewoon het gemiddelde van de effecten in de twee condities van de moderator. Ook de moderator zelf heeft dan een "simple" effect.

Of verwar ik nu nog meer dingen met elkaar?

(zie http://eduratio.be/TMP/kraemer.pdf voor het artikel in kwestie)

Kraemer, H. C., & Blasey, C. M. (2004). Centring in regression analyses: a strategy to prevent errors in statistical inference. International Journal of Methods in Psychiatric Research, 13(3), 141-151. doi:10.1002/mpr.170

---

Nee, er ontstaat geen overkoepelend effect als je anders codeert. Stel dan $X_2$ geslacht betreft. Er bestaat geen categorie halverwege. Dat 'hoofdeffect' komt dus nergens 'in de realiteit' voor: er is niemand voor wie dat 'hoofdeffect' geldt.

Overigens is het overkoepelende effect het Main Effect - SImple Effects zijn juist na uitsplitsing; dus in een subgroep; dus die bereken je alleen als er interactie is (omdat er dus geen sprake is van main effects als er interactie is).

Dat 'gemiddelde effect' (het gemiddelde van het effect voor mannen en het effect voor vrouwen) kun je dus berekenen, en er komt gewoon een getal uit; maar dat getal heeft geen relatie meer met de realiteit. Het bestaat uitsluitend in je statistisch model; net als dat de standaardfout, die betrekking heeft op de (ook niet 'in de realiteit' bestaande) steekproevenverdeling, te berekenenen is, maar niet op een zinvolle manier terugvertaald kan worden naar de realiteit.

Dit is een voobeeld waar statistiek, als instrument, een aantal producten voortbrengt met bestaansrecht binnen de werkwijze van dat instrument, maar geen bestaansrecht heeft als je de vertaling van de 'interne wereld' van dat instrument naar de 'echte wereld' maakt.

Statistiek betreft modellen. Dit zijn weergaven van de realiteit. In onderzoek, als je doel is om uitspraken te doen over de realiteit, ontlenen die modellen hun waarde aan de verklaring die ze kunnen bieden van de realiteit.

In een model waar interactie is, kunnen de hoofdeffecten niet worden vertaald naar de realiteit. De uitspraak dat er 'een algemeen geldend effect is van $x_1$' is onzinning als er interactie is: dan is er geen algemeen geldend effect van $x_1$. Het effect van $x_1$ is dan ALTIJD conditioneel op de waarde van $x_2$. Net doen alsof het effect van $x_1$ voor een gegeven waarde van $x_2$ op de een of andere manier 'belangrijker' is dan het effect van $x_1$ voor andere waarden van $x_2$, of dat het effect van $x_1$ voor een gegeven waarde van $x_2$ een accurate representatie is van "het effect van $x_1$" is misleidend.

Bij interactie bestaat er alleen een effect van $x_1$ voor een gegeven waarde van $x_2$. Zonder waarde van $x_2$ is er niet op een zinvolle manier te praten over een effect van $x_1$.

Natuurlijk zou je wel kunnen zeggen "dat deel van de doelgroep waarin ik ben geinteresseerd scoort ... op $x_2$, en voor hen is het effect van $x_1$ gelijk aan ...". Of je kun een andere reden bedenken om een gegeven waarde van $x_2$ aan te voeren als 'belangrijkst' ofzo. Als je dat dan netjes uitlegt is het prima. Dat is echter geen hoofdeffect. Het is een simpel effect, dat uitsluitend geldt voor dat deel van de populatie dat die gegeven score heeft op $x_2$. Het effect is niet representatief voor de populatie, of voor de realiteit: het is niet het effect van $x_1$.

Is dat zo een beetje te volgen?

---

Ja het is perfect te volgen en het lijkt logisch. Ik ben erg dankbaar voor je geduld met mij! Maar ik slaag er niet in om dit te laten overeenstemmen met wat Kraemer en Blasey schreven (bv. over -0.5 en _0.5 te gebruiken i.p.v. 0 en 1), o.a. "main effects are uninterpretable only because appropriate centring was not done".

Stel bijvoorbeeld dat je als onafhankelijke variabele de lengte van de middelvinger (MV=x₁) hebt, en als afhankelijke variabele de lichaamslengte (LL=y). Als moderator neem je geslacht (G=x₂). Stel dat bij beide geslachten MV en LL positief samenhangen, maar dat het effect bij mannen sterker is dan bij vrouwen (bv. dat bij mannen 1mm extra bij de middelvinger 2.1cm extra lichaamslengte ‘voorspelt’ en bij vrouwen 1.9cm).

Jij zegt “In een model waar interactie is, kunnen de hoofdeffecten niet worden vertaald naar de realiteit. “ Maar – op voorwaarde dat men G te codeert als +0.5 en -0.5 – kan het hoofdeffect van MV volgens mij zeer goed vertaald worden: dat is doodgewoon het effect van MV op LL voor mannen en vrouwen samen, voor ‘de mens’ dus. Het hoofdeffect van G is dan weer het verschil tussen de gemiddelde LL van mannen en die van vrouwen. En het interactie-effect van MV*G is de afwijking die de interactie “op zich” veroorzaakt. Die drie effecten lijken me perfect te vertalen naar de realiteit?

Ik heb het gevoel dat ik ergens iets belangrijks mis, en misschien is de eenvoudgste manier om mij het Licht te laten zien om te antwoorden op de vraag “Wat voor zin heeft dat gedoe met +0.5 en -0.5 en centreren nog als het klopt wat je zegt?” Was het doel van dat gedoe dan niet precies om hoofd- en interactie-effecten die uit de analyse komen te KUNNEN vertalen naar de realiteit?

---

Kijk als voorbeeld eens naar dit plaatje:

R:

  ggplot(data.frame(x=factor(c(1,1,2,2),
                             labels=c('controle', 'experimenteel')),
                    y=c(3, 3, 1, 5), gender=factor(c(1,2,1,2),
                                                labels=c('male', 'female'))),
         aes(x=x, y=y, group=gender, color=gender)) +
    geom_point(size=2) + geom_line(size=1) + theme_bw(base_size=16);

Zou je hier kunnen zeggen dat 'het effect in de algemene populatie gelijk is aan 0', terwijl er op elk individu in de populatie een effect is dat ongelijk is aan 0?

Of, bij een additieve interactie:

R:

    ggplot(data.frame(x=factor(c(1,1,2,2),
                             labels=c('controle', 'experimenteel')),
                    y=c(1, 1, 3, 5), gender=factor(c(1,2,1,2),
                                                labels=c('male', 'female'))),
         aes(x=x, y=y, group=gender, color=gender)) +
    geom_point(size=2) + geom_line(size=1) + theme_bw(base_size=16);

Zou je hier kunnen zeggen dat het effect in de algemene populatie gelijk is aan +3, terwijl je weet dat het effect ofwel gelijk is aan +2, ofwel aan +4, maar nooit aan +3?

Dit klopt statistisch en wiskundig wel, maar het effect van 0 en +3 bestaat voor niemand in de populatie.

Als je niet had geweten dat er interactie is, had je in dit laatste geval geconcludeerd dat het effect van de manipulatie +3 was. En dat was dan even fout geweest als dat je in het eerste geval had geconcludeerd dat het effect van de manipulatie 0 was.

Denk er aan: het resultaat van onderzoek is de schatting van een effectsize, of beter nog, een betrouwbaarheidsinterval om een effectsize schatting. Het is belangrijk dat die accuraat is.

Het is dus intuitief om te denken dat een hoofdeffect, is een situatie waar er interactie is, een soort 'uitgemiddelde representatie is van de simple effects', en statistisch/wiskundig is dat waar; maar die uitgemiddelde representatie 'mapt' niet meer terug naar de realiteit zeg maar. Hij gaat niet langer over 'de echte wereld': er is niemand voor wie dat effect bestaat. Het bijbehorende betrouwbaarheidsinterval is voor geen enkele doelgroep een accurate schatting - omdat je dus weet dat het effect conditioneel is op een andere variabele.

Desalniettemin is het handig om te weten dat, bijvoorbeeld, in het eerste geval, een effect afwezig lijkt als de betreffende moderator buiten beschouwing wordt gelaten. Maar om te stellen dat dat hoofdeffect 'het effect in de populatie' representeert, is niet accuraat. Dat effect is conditioneel op de moderator, en je weet dus niet wat dat effect is als je de moderator niet kent. Het klopt wel weer dat je meest accurate schatting, als je de moderator niet kent, dat hoofdeffect zou zijn. Maar je zou dan ook weten dat je er sowieso naast zit (i.e. je vermindert je risico door in het midden te gaan zitten zeg maar :-)).

Wat Kraemer en Blasey bedoelen weet ik niet; msch dat het de beste schatting voor de algemene populatie is (maar dan zou ik nog zeggen: het is niet netjes die te geven/rapporteren als je weet dat het effect conditioneel is op een derde variabele), maar kan ook zijn dat ze iets anders bedoelen; nu alleen geen tijd om dat artikel weer te lezen, sorry :-)