Dit is een site voor studenten van de Open Universiteit. Voordat je een vraag kunt stellen moet je even een account aanmaken (dit systeem is niet gekoppeld aan je OU studentnummer en wachtwoord).

Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.

Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!

Wat gebeurt er met de sterkte van de significantie als de alpha stijgt?

0 leuk 0 niet-leuks
In hoofstuk 4.6 staat dat hoe hoger de alpha is, hoe eerder een verband van een gegeven sterkte significante is en dat leidt tot verwerping van de nulhypothese. Deze uitspraak snap ik niet, want ik dacht dat er sprake was van toenemende significantie als de alpha <.05.
gevraagd 27 november 2016 in (Digitale) werkboeken door Eveline de Beer (650 punten)

1 Antwoord

0 leuk 0 niet-leuks

Je verwart alpha en de p-waarde. Alpha is het significantieniveau waarvan je van te voren bepaalt dat je de nulhypothese verwerpt als je een p-waarde vindt die lager is. Dit kan .05 zijn (en is dat vaak), maar het kan ook .01 of .10 zijn (of .23 of .008, etc: je bepaalt het immers zelf).

Als je een alpha van .20 kiest, dan verwerp je de nulhypothese bij alle p-waarden onder de .20. Als de nulhypothese waar is, komt je effectgrootte uit een steekproevenverdeling die is gebaseerd op volledige onafhankelijkheid van de betreffende variabelen (oftewel, helemaal geen samenhang). Binnen die nulhypothese-steekproevenverdeling is de kans op een p-waarde die lager is dan .20 gelijk aan 20%.

Als er in werkelijkheid wel een verband tussen de twee variabelen is, dan komt je effectgrootte uit een andere steekproevenverdeling. De kans dat je een p-waarde vindt die lager is dan .20 is dan groter dan 20%, want een groter deel van je steekproevenverdeling ligt buiten de 'kritieke effectgroottes': de effectgroottes waar maar 20% kans op is of minder binnen de nulhypothese-steekproevenverdeling.

Een voorbeeld. Stel je voor dat je de nulhypothese dat twee variabelen niet samenhangen onderzoekt. In het echt (dat weet je niet) is de correlatie tussen de twee variabelen $r=.2$. Je hebt 100 deelnemers in je steekproef. Deze rode verdeling is dan je nulhypothese-steekproevenverdeling, oftewel, de steekproevenverdeling waarvan je (onterecht) aanneemt dat je correlatie (je effectgrootte) er uitkomt:

Binnen die verdeling is hier aangegeven welke waarden van Pearson's r corresponderen met een alpha van .05 (oftewel, welke waarden zo extreem zijn dat die waarden of extremere waarden onder de nulhypothese maar in 5% van de steekproeven voorkomen):

In groen is nu de steekproevenverdeling toegevoegd voor Pearson's r van .2. In werkelijkheid komt je steekproefcorrelatie dus uit die verdeling (want in dit geval weten we dus even dat in de populatie de correlatie gelijk is aan .2):

Zoals je ziet zijn correlaties sterker dan ongeveer .2 significant (en de kans daarop is bijna 50%; toevallig ligt de kritieke r ongeveer op de helft van de groene populatie-steekproevenverdeling.

Stel nu dat we alpha verhogen tot 20%. De blauwe lijnen geven die waarde voor alpha aan:

Zoals je hier ziet hoeft de correlatie nu minder extreem te zijn om significant te zijn. Correlaties van .16 vallen bijvoorbeeld tussen de blauwe en de zwarte lijn in: oftewel als alpha hoger is (.20) zijn deze significant, maar met een lagere alpha (.05) niet.

Overigens, wellicht ten overvloedde: deze plaatjes maken tegelijk duidelijk dat de interessante uitkomst van je analyse de waarde van de effectgrootte is, niet de significantie. De significantie (de p-waarde) zegt niets over hoe sterk twee variabelen samenhangen; deze hangt immers ook af van je steekproefgrootte. Als je significante uitkomsten hebt moet je daarna altijd nog de effectgrootte en het bijbehorende betrouwbaarheidsinterval berekenen.

Voor geinteresseerde studenten: deze grafiek kan met deze R code worden getekend:

require('userfriendlyscience');
safeRequire('SuppDists');
ggplot(dat, aes(x=r)) + theme_bw() + ylab('density') +
  geom_line(aes(y=densityNull), color='darkred', size=1) +
  geom_ribbon(aes(ymin=0, ymax=densityNull), fill='red', alpha=.25) +
  geom_line(aes(y=densityAlt), color='darkgreen', size=1) +
  geom_ribbon(aes(ymin=0, ymax=densityAlt), fill='green', alpha=.25) +
  geom_vline(xintercept=qPearson(.025, N=100, rho=0), color='black', size=1) +
  geom_vline(xintercept=qPearson(.975, N=100, rho=0), color='black', size=1) +
  geom_vline(xintercept=qPearson(.1, N=100, rho=0), color='blue', size=1) +
  geom_vline(xintercept=qPearson(.9, N=100, rho=0), color='blue', size=1);

beantwoord 28 november 2016 door gjp (69,380 punten)
...