Welke non-parametrische toets is geschikt om kwantitatieve data van kleine groepen te vergelijken, met meerdere metingen per variabele per respondent?

Question

In mijn exploratieve onderzoek ga ik 6-9 leraren verdeeld over 3 verschillende interventies gedurende 4 maanden volgen. Elke leraar wordt voorafgaand, tijdens en na de interventie bevraagd en geobserveerd en gecoacht.
Om mijn hypothesen te testen wil ik de respondenten, behorende bij drie kleine groepen (n=2-3 per groep) ranken met non-parametrische tests. Hypothesen betreffen 'Welke groep heeft meeste groei/ontwikkeling doorgemaakt op 2 afhankelijke variabelen: self-efficacy en klassenmanagement-vaardigheden.'

Ik kom er op basis van wat ik online vind en in Field lees niet uit of ik een Friedman's ANOVA moet gebruiken of een Kruskal-Wallis test?

Mijn gedachten zijn nu:
- Kruskal Wallis voor H1: twee-meetmomenten, pre en post (self-efficacy) en (de verschilscores) ranken.

- Friedman's ANOVA voor H2: 8-meetmomenten (RM), 2 voor, 4 tijdens en 2 na de interventie.
Deze kan ik mooi grafisch weergeven, maar ik ben ook benieuwd welke leraar behorende tot welke groep de meeste ontwikkeling heeft doorgemaakt en of daar voorzichtige conclusies uit te trekken zijn.

Ik ben benieuwd of dit klopt. Hartelijk dank voor het meedenken :-)

Answer 1

De keuze voor een nonparametrische toets is niet een rechtoe-rechtaan keuze helaas. Op zich ook niet voor parametrische toetsen, maar daar is nog een voordeel van de assumpties van een toets kennen. Belangrijk bij het kiezen voor een nonparametrische toets is te weten hoeveel N je hebt (de ene toets kan beter power houden bij kleinere n dan andere), 

Belangrijker is dat je wel een uitzonderlijk kleine N per groep hebt, zo'n beetje letterlijk het absolute minimum om variantie te verkrijgen. 

Is het niet zinvoller om te kijken naar de methodologie die past bij wat men globaal 'N=1 experimenten' noemt? Zij bijvoorbeeld:

https://www.sciencedirect.com/science/article/pii/0022440577900061

Kratochwill, T. R. (1977). N= 1: An alternative research strategy for school psychologists. Journal of School Psychology, 15(3), 239-249.

Edgington, E. S. (1967). Statistical inference from N= 1 experiments. The journal of psychology, 65(2), 195-199.

Hoewel de meeste experimenten in dit paradigma letterlijk uitgaan van N=1 worden over het algemeen onder de N=1 allerlei onderzoeken geschaard waar de N nagenoeg 1 is en daarmee buiten het zinvolle van een reguliere kwantitatieve benadering vallen

Comments

Addendum: de vroege behavioristen maakten veelvuldig gebruik van deze methodologie en dit is een van de weinige domeinen van psychologie die zo'n beetje onbetwistbaar robuust repliceert, dus zie deze benadering zeker niet als een troostprijsbenadering ;)

---

Bedankt, ik ga me verdiepen in de aangedragen literatuur.

Fijn om te weten dat het geen 'troostprijs' benadering is en dat het passend is bij behaviorisme, want het observatie instrument dat ik wil gebruiken is daar ook op gestoeld.