Dit is een site voor studenten van de Open Universiteit. Voordat je een vraag kunt stellen moet je even een account aanmaken (dit systeem is niet gekoppeld aan je OU studentnummer en wachtwoord).

Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.

Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!

Manipulatiecheck uitvoeren als niet is voldaan aan de voorwaarden?

0 leuk 0 niet-leuks
Je moet dus alsnog een manipulatiecheck uitvoeren om te kijken of de manipulatie geslaagd is. Ik heb er voor gekozen dat met een onafhankelijke t-toets te doen. Nou voldoe ik niet aan een aantal voorwaarden voor de t-toets. Mijn afh. variabele is namelijk niet normaal verdeeld en er zit een groot verschil in N. Betekent dit dat ik de t-toets niet mag uit voeren? Zo ja, wat moet ik dan doen?
gerelateerd aan een antwoord op: Cross over effect kleding in tentamencasus
gevraagd 5 april 2017 in Experimenteel Onderzoek (PB0402 en S05281) door Marill (460 punten)

1 Antwoord

0 leuk 0 niet-leuks
Of een t-toets 'mag' is misschien wat grof beschreven. Er is geen statistiekpolitie die invallen doet bij schendingen van toetsassumpties (al zou die er soms wel moeten zijn). De kunst is om een afweging te maken op basis van de ernst van de assumptieschending.

Normaliteit kan geschonden zijn, maar hoe problematisch dit is hangt van enkele factoren af. Hoe is het geevalueerd, en met welk criterium? Is dit op het oog gedaan in een P-P Q-Q plot, of is dit getoetst met een zeer strenge toets, zoals de Kolmogorov-Smirnov. Wellicht valt de schending van normaliteit mee.

Is al op outliers gecontroleerd? MIsschien komt de schending van normaliteit door een of meerdere extreme cases, of invoerfouten.

Een verschil in N laat zich niet met een andere toets oplossen. Als er meer dan driemaal N in groep A dan in groep B zit, dan zijn er geen toetsen die hier een oplossing voor bieden. Eventueel kan er nog besloten worden om de kleinste groep zwaarder mee te doen tellen (bijvoorbeeld via weight cases), maar ongeljike N zal altijd een probleem blijven.

Als de normaliteit geschonden is dan kan er eventueel voor een nonparametrische variant gekozen worden (zoals Mann-Whitney), maar een ongelijke N wordt er niet door opgelost. Een parametrische toets, zoals de t-toets heeft meer power dan een nonparametrische toets, dus als de normaliteitsschending niet heel groot is, dan kan het middel erger dan de kwaal zijn.
beantwoord 5 april 2017 door Ron Pat-El (40,810 punten)
Bedankt voor uw antwoord. Nu heb ik m.b.v. Kolmogorov-Smirnov vastgesteld dat de variabele niet normaal verdeeld is. Moet je dit rapporteren onder het kopje 'Resultaten'? En het verschil in N, mag ik dit ook rapporteren onder 'Resultaten'? Uiteindelijk wil ik er dan in de discussieparagraaf op terugkomen.
KS is extreem streng, en eigenlijk zegt een significante KS weinig (maar een niet-significante KS des te meer). De uitkomsten van de KS kan in de eerste alinea van een resultatensectie beschreven worden samen met de overige resultaten van de datascreening
Ik begrijp niet waarom een significante KS weinig zegt, kunt u mij dat uitleggen?

Ik had het als volgt geïnterpreteerd:
H0 = de variabele is normaal verdeeld
Alternatieve hypothese = variabele wijkt af van normaliteit

p <.05 dus significant, dus H0 verwerpen, wat betekent dat de variabele afwijkt van normaliteit.
KS tekent een nette normaalverdeling op basis van een wiskundige formule, en kijkt vervolgens naar de data om data en tekening te vergelijken. KS is handig wanneer men met werkelijk continue data te maken heeft. Echter, onze data is meestal discreet; we hebben geen vlakke lijnen, maar balken met schoorstenen. Een KS is zo streng, dat iedere 'schoorsteen', iedere balkje in een barplot dat niet netjes de tekening van een klokvorm volgt, als een afwijking van normaliteit wordt gezien. Derhalve slaat KS redelijk vaak een vals alarm.
Bedankt dan begrijp ik het al beter. Echter, ik vraag me nu wel af of ik voor deze (discrete) nominale variabele de KS mag gebruiken en of het waardevol is om deze te rapporteren als deze vaak vals alarm slaat.
Wat er vaak gedaan wordt is, eerst de KS runnen; als deze niet-significant is wordt er een klein dansje gedaan, en in het verslag opgenomen. Als deze wel significant is haalt men licht de schouders op en evalueert men iets minder strenge maten (zoals skewness/kurtosis) of maakt een visuele inspectie. Vooral dat laatste kan helpen om een idee te krijgen van waarom de KS uitslaat. Als er echt iets mis is, dan zullen P-P Q-Q plots daar een doorslag in geven, en helpen een significant K-S te doen begrijpen
Waarom is het erg als de groepen niet even groot zijn? Volgens mij hoeft dit niet voor de t-toets.

Alleen als de varianties ongelijk zijn.

En aangezien je toch altijd de t-toets voor ongelijke varianties moet gebruiken (zie PB0202, Inleiding Data-analyse, en deze blog post van Daniel Lakens: http://daniellakens.blogspot.nl/2015/01/always-use-welchs-t-test-instead-of.html), is het zelfs geen probleem als de varianties ongelijk zijn.

En normaliteit is geen aanname van de t-toets.

Alleen de steekproevenverdeling moet normaal zijn. Of accurater: voglens t verdeeld. En je populatieverdeling moet al extreem scheef zijn, of je steekproef ontzettend klein (e.g. 20 mensen ofzo) wil de steekproevenverdeling niet normaal zijn (zie ook http://sciencer.eu/2017/02/on-the-obsession-with-being-normal/).

Kortom: als je genoeg deelnemers hebt dat je onderzoek uberhaupt zin heeft (om 80% power te hebben om een d=0.5 te vinden heb je 128 deelnemers nodig, dus 64 per conditie), en je gebruikt Welch's t-toets, zijn er geen aannames. Ok, eentje: de afhankelijke variabele moet voldoende 'continu' zijn dat de steekproevenverdeling normaal is. Als je afhankelijke variabele bijvoorbeeld dichotoom is, of als je geen gemiddelden kunt berekenen, moet je geen t-toets gebruiken. En met te weinig (e.g. 20 deelnemers) is je power zo laag, dat je ook geen t-toets moet gebruiken (en geen andere toets: dan moet je geen inferentiele statistiek toepassen).

Maar in alle andere situaties zijn er dus geen aannamen.
...