Dit is een site voor studenten van de Open Universiteit. Voordat je een vraag kunt stellen moet je even een account aanmaken (dit systeem is niet gekoppeld aan je OU studentnummer en wachtwoord).

Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.

Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!

Wilt u mij uitleggen wanneer er sprake is van significantie en er wel of niet aan de nulhypothese is voldaan?

0 leuk 0 niet-leuks
Hoe interpreteer ik significantie dat er wel of niet aan de nulhypothese is voldaan? Ik haal het steeds door de war. Klopt het dat 0, wel een significant verschil aangeeft en dan de nulhypothese verworpen kan worden? Is alles significant tussen o en .005 ?

Ik ben bezig met hoofdstuk 2.4 factoriële Anova en bij vraag 2.4.13 en 2.4.14 loop ik vast wanneer er nu wel of niet voldaan is aan het hoofdeffect. Ik lees de uitleg, maar mis de tabellen waar ik deze conclusie uit kan halen. Of begrijp ik het niet goed?
gevraagd 23 september in Experimenteel Onderzoek (PB0402 en S05281) door Esmee (260 punten)

2 Antwoorden

1 leuk 0 niet-leuks

Met "significantie" wordt meestal de p-waarde bedoeld. De p-waarde is een kans die wordt berekend onder aanname dat de nulhypothese waar is. De p-waarde is de kans op de gevonden effect size (als de nulhypothese waar zou zijn, dus).

Als je nulhypothese significantie toetsing toepast (en dat is niet altijd wat je wil - maar soms wel), stel je van te voren vast welke alpha je hanteert: welke p-waarde je zo laag vindt, dat je veronderstelt dat er iets fout moet zijn gegaan ergens.

Als je in de praktijk dan een p-waarde vindt die lager is dan alpha (vaak 0.05 of 0.005), dan concludeer je dus dat er iets fout is gegaan met de berekening van die p-waarde, want zo'n lage kans (e.g. p < .05) is zo superzeldzaam dat het wel heel toevallig zou zijn als jij die net tegenkomt. De aanname op basis waarvan je die p-waarde hebt berekend, is de nulhypothese. Je concludeert daarom dat die nulhypothese wel niet zal kloppen; waarschijnlijk is er in de populatie we een verschil tussen de gemiddelden; en heb je de p-waarde dus berekend op basis van de verkeerde aanname (geen verschil tussen de gemiddelden; de nulhypothese), wat verklaart dat hij zo superklein is geworden.

Zoals je zult begrijpen kan de p-waarde nooit 0 zijn. Het is immers de kans op datgene dat je hebt gevonden onder aanname dat de nulhypothese klopt. Die kans moet altijd tussen 0 en 1 in zitten.

Helpt dit?

beantwoord 24 september door gjp (64,700 punten)
Bedankt voor de opheldering!
0 leuk 0 niet-leuks
Ik voeg graag toe aan het uitstekende antwoord van gjp; eigenlijk zegt een p-waarde niets anders dan hoe ‘zeldzaam’ een gegeven observatie (of extremer) is als de nulhypothese klopt. Om dit idee van nulhypothese meer ‘aards’ te maken geef ik vaak het volgende voorbeeld naar aanleiding van een documentaire die ik lang geleden op de Nederlandse televisie zag.

In deze documentaire werden kleine experimentjes getoond van wetenschappers waarin de intelligentie van dieren ‘bewezen’ werd. In een van de afleveringen werd de kijker geïntroduceerd aan de springspin. De theorie was dat webloze spinnen, zoals de springspinnen intelligente jagers zijn. Om deze theorie te toetsen ontwierpen de experts in de documentaire een experiment. Een springspin werd op een plateau gezet, en in de verte legden ze een vlieg op een ander plateau. De spin kon daar alleen komen via een van twee buizen die onder de plateaus lagen. Zodra de spin een buis kiest kan die niet meer zien of die buis tot de vlieg leidt. Als de spin gericht bij de vlieg wilt komen moet hij bij start, op het plateau, besluiten welke buis hem bij de spin brengt.

Het experiment werd tien keer uitgevoerd. Tien springspinnen mochten ieder eenmaal een poging wagen om bij de vlieg te komen. Wat bleek? Zeven van de tien keer kwam een spin bij de vlieg! De spin bleek zeer intelligent zijn weg naar de vlieg te plannen was de claim! Maar, is deze observatie (70% succesrate) bewijs voor intelligente planning?

Deze vraag, in hoeverre een serie gebeurtenissen onwaarschijnlijk toevallig is, is wat in de statistiek significantie wordt genoemd. Significantie is het punt waarop men afspreekt dat een kans op een willekeurig veronderstelde gebeurtenis ‘klein’ is.

Om te bepalen of zeven van de tien keer een vlieg bereiken een kleine kans is moet eerst bepaald worden hoe vaak de spin bij de vlieg zou zijn gekomen zonder enige planning, dus puur op toeval. Dit wordt de nulhypothese genoemd (de tegentheorie). De onderzoekers hadden dus eerst moeten afvragen: als spinnen niet intelligent hun pad plannen, hoevaak zouden we dan puur op toeval verwachten dat de spinnen bij de vlieg komen? Als het volkomen willekeurig is, dan is dit een kop-munt situatie, dus verwacht je dat de helft van de tijd een spin toevallig tegen de vlieg aanwandelt. In dit experiment zou onder de nulhypothese dus 5 van de 10 keer een vlieg gevangen moeten worden.

Is 7 van de 10 keer een zeldzame gebeurtenis, wanneer pure kans al 5 van de 10 keer oplevert? Hiertoe hebben we eerst een kansberekening nodig. Wat is de kans op 7 keer of meer een vlieg pakken, als het pure kans is en we 5 van de 10 keer hadden kunnen verwachten? 70% klinkt in ieder geval niet-willekeurig…

We hebben een afspraak nodig: als we een experiment gaan doen, hoe klein moet de kans op die gebeurtenis gegeven de nulhypothese zijn, om het ‘klein’ te mogen noemen? De algemene regel is dat een gebeurtenis die random verondersteld wordt slechts een kans van 5% heeft (dus enkel in 1 op de 20 gevallen zich zou moeten voordoen) dan mogen we van een ‘bijzondere’ (significante) gebeurtenis spreken, die het idee van ‘random’ ondermijnt. Dus dat we voorzichtig mogen verwerpen dat iets zich compleet willekeurig heeft voorgedaan.

Dus terug naar de spinnen: wat is de kans op 7/10 keer spinnen een vlieg te zien vangen als op basis van kans dit makkelijk in 5/10 gevallen zou kunnen gebeuren?

De kansrekening zal nu niet in detail besproken worden, en we zullen gelijk tot het antwoord komen; de kans dat 10 spinnen 7 keer hun goede weg vinden, gewoon puur op geluk (dus onder de nulhypothese) is 0.3438 (34,38%). Dus als we dit experiment eindeloos zouden herhalen, dan zouden we in meer dan een derde van alle experimenten deze uitkomst of extremer krijgen. Nu klinkt 7/10 ineens niet zo zeldzaam en bijzonder meer. Doordat 35% (p = .35) groter is dan 5% (p = .05) is dit een niet-significant verschil; de serie gebeurtenissen is niet voldoende zeldzaam om door ons als bijzonder gezien te worden.

Hoe vaak moeten 10 spinnen de vlieg pakken voordat de kans daarop zo klein is dat het de nulhypothese ondermijnt? Pas bij 9 van de 10 keer de vlieg vangen. De kans op 9/10 keer een vlieg vangen puur op geluk is .02148 (2,15%). De kans om puur op geluk 9 van de 10 keer een vlieg te vangen is kleiner dan wat we als een ‘kleine kans’ hadden afgesproken: kleiner dan 5%. Dus volgens deze afspraak mogen we stellen dat zo vaak een vlieg vangen de indruk wekt van intelligentie en niet van mazzel. Omdat p = .02 kleiner is dan p = .05 zou men hier dan spreken van een significant effect.
beantwoord 24 september door Ron Pat-El (41,340 punten)
Bedankt voor de extra opheldering, dit helpt ook!
Nog als laatste vraag: resumerend: begrijp ik het dan goed, uitgaande van een p.02 dat er een significant effect is en dat een significant effect betekend: de nulhypothese (tegentheorie)  is zodanig klein dat de gebeurtenis wel waar moet zijn. ?
alleen deel 1 klopt: bij een alfa van .05 is een p-waarde van .02 < .05, dus significant.

Dit zegt echter niets over de waarschijnlijkheid van de nulhypothese. Enkel dat deze observatie, of extremer in minder dan 5% van de gevallen voorkomt onder de nulhypothese. Ter illustratie: 2 keer een zes gooien met een eerlijke zeszijdige dobbelsteen heeft als kan 1/36 (1/6 * 1/6) = 0.027. Dit is kleiner dan 5% dus significant. Maar weinig mensen zullen claimen dat twee keer 6 gooien met een dobbelsteen zo absurd onwaarschijnlijk is dat de dobbelstenen wel gemanipuleerd moeten zijn
Bedankt voor het extra voorbeeld!

Dus de P-waarde zegt hoe zeldzaam een observatie is als de nulhypothese klopt. En significantie dat dan het effect van de hypothese klopt. Klopt dat laatste?

Nee. Significantie zegt niets. Klinkt heel raar, en roept de vraag op waarom we dan uberhaubt significantie gebruiken, maar die vraag leeft ook sterk onder wetenschappers. Significantie is niets anders dan een keuze om van de nulhypothese af te wijken. Niet alleen zegt significantie dus weinig tot niets over de waarschijnlijkheid van de nulhypothese: dat we de nulhypothese verwerpen betekent absoluut niets voor de waarschijnlijkheid van de gestelde alternatieve hypothese. Dat iets misschien geen hond is betekent dan niet dat het wel een kat móet zijn.

De kans om de Nederlandse lottohoofdprijs te winnen is 1 op 8145060. Dus, p = 0.0000012. Als de nulhypothese is dat de lotto een eerlijk spel is, dan is de lottohoofdprijs winnen een significante observatie, want p < .05, maar dat betekent niet dat de alternatieve hypothese dan gelijk klopt dat die persoon vals gespeeld moet hebben. Hoe onwaarschijnlijk de lottohoofdprijs winnen ook is: het is onder de nulhypothese (de lotto is eerlijk) nog steeds mogelijk.

Het is nu helder. Heel erg bedankt!!
...