Klopt het dat bij een ICC hoger dan .10 een mla kan worden uitgevoerd?

Question

Klopt het dat bij een ICC >.10 een mla zinvol is en dat anders kan worden volstaan met een gewone regressieanalyse? M.a.w. bij een ICC van .06 is een gewone regressieanalyse afdoende?

"Een vaak berekende maat bij het uitvoeren van multilevelanalyses is de intraclasscorrelatie (ICC). Met deze maat berekenen we hoe groot de bijdrage van de groepen (variantie van het tweede niveau, uitgedrukt in G) is aan de totale variantie binnen het volledige model (oftewel, de e die we zagen in het basis model, plus de G afkomstig van het tweede niveau). Uitgedrukt in een formule:

=  . (3) +

Een hoge ICC betekent dat een groot deel van de variantie toe te schrijven is aan de groepsindeling. Bij een heel lage ICC (bijvoorbeeld 2%) is maar een klein deel van de variantie toe te schrijven aan de groepsindeling, en zijn de gegevens blijkbaar toch onafhankelijk van elkaar. In dat geval kan zonder probleem gewone regressieanalyse worden toegepast." (Verboon & Peels, 2014)

Answer 1

Een gewone regressie analyse kan in dit geval ook.

Answer 2

Lastig te zeggen; ik zou nooit van harde regels uitgaan. Over het algemeen wordt een conservatieve schatting gezet op .10 ICC om multilevel als noodzakelijk te beschouwen. Zie bijvoorbeeld:

Irimata, K. M., & Wilson, J. R. (2018). Identifying intraclass correlations necessitating hierarchical modeling. Journal of Applied Statistics, 45(4), 626-641.

Echter, er zijn ook studies die aannemelijk maken dat een ICC van .05 al een type-1 fout kan opleveren. Mijn advies is om een sensitiviteitsanalyse te doen; run bij een ICC kleiner dan .10 de analyse met en zonder multilevel-component. Als de resultaten niet wezenlijk veranderen kies dan voor het zuinigere model (zonder multilevel). Als resultaten wel wezenlijk verschillen dan is het zinvol om breed te kijken naar de oorzaak hiervan: misschien een outlier in een een groep, of overfitting (te weinig N voor het aantal geschatte parameters), etc.

Bottom-line: gebruik cutoffs, e.d. als een hulpmiddel, en niet als een automatisch besluitvormingssysteem