Dit is een site voor studenten van de Open Universiteit. Voordat je een vraag kunt stellen moet je even een account aanmaken (dit systeem is niet gekoppeld aan je OU studentnummer en wachtwoord).

Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.

Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!

Hoe bereken ik een effectsize bij een regressieanalyse?

0 leuk 0 niet-leuks

Ik heb helaas voor mijn masterthesis maar de beschikking over data van een hele kleine doelgroep (N=7). Mijn begeleidster geeft aan dat, doordat er geen significante samenhang blijkt, ik mijn analyse en discussie meer moet gaan schrijven vanuit het interpreteren van de sterkte van de samenhang bij de correlaties en bij de regressie meer door de effectsize te interpreteren. SPSS heeft daar geen aparte functie voor en als ik Google etc. kom ik uit op dat ik het moet/kan uitrekenen maar hoe? Of is het wel te zien in de SPSS uitdraai van de regressieanalyse en kijk ik er enorm overheen?

Hieronder staat mijn tekst + de feedback van de begeleidster:

De regressieanalyse liet zien dat negatieve gedachten 11,8 % van de variantie in vermijdend gedrag verklaarde, wat een zwak en niet significant effect was, R2 = .118; F (1,5) = .672, p = .450[SE1] .


 [SE1]Hier kun je een effectsize bij berekenen. Dat is minder gevoelig voor groepsgrootte.

gevraagd 3 oktober in Methodologie door Roos (120 punten)

Hangt van de effectgrootte af. Heb je deze vraag al aan de begeleidster gesteld?

NB: bij een n=7 zou ik ook niet zo snel op een effectgrootte vertrouwen; het risico van een kleine n is dat effectgrootten onwaarschijnlijk groot zijn door overfitting

Ja, ik heb dit al aan de begeleidster gesteld en zij gaf aan dat ik de vraag hier moest stellen of verder moest Googlen voor antwoord hierop. Zij geeft juist aan dat het berekenen van de effectsize juist minder gevoelig is voor groepsgrootte.

Wat ik heb geschreven (zie hierboven) vindt ze niet voldoende ik moet ook iets over de effectsize zeggen ??? maar hoe en wat??

2 Antwoorden

0 leuk 0 niet-leuks

Er zijn vele effectgrootten beschikbaar voor een multipele regressieanalyse. De partiele correlatie kan gebruikt worden om de individuele predictoren te evalueren. Hiertoe kan ook de Beta zelf gebruikt worden.

Een effectgrootte die gebruikt kan worden zodra R2 bekend is is de Cohen's f2 

$$ Cohen's f^{2} = \frac{r^{2}}{(1 - r^{2} )} $$

Dus, in je voorbeeld geef je aan R2 = .118, dus:

$$ Cohen's f^{2} = \frac{.118}{(1 - .118)} = \frac{0.118}{0.882} = 0.13  $$

Algemeen worden dan de volgende vuistregels gehanteer: small = .02, medium = .15, large = .35.

Dus, .13 kun je met een goed geweten medium noemen. Ik weet niet in hoeverre ik het ermee eens ben dat een effectgrootte (maakt niet uit welke) onafhankelijk is van de steekproefgrootte, of in ieder geval minder dan R2. Dit klinkt mij tamelijk controversieel, zeker gezien de effectgrootte direct gebruik maakt van de R2.

beantwoord 3 oktober door Ron Pat-El (41,340 punten)
R^2 is ook onafhankelijk van steekproefgrootte? R^2 is bij een enkelvoudige regressie tenslotte gewoon r^2, en r^2 is onafhankelijk van steekproefgrootte.

Het probleem is eerder dat je simpelweg niet moet rekenen met zo weinig datapunten - whatever de uitkomst is, hij is random, als in, noise. En zo gauw er iets uit een berekening komt hebben mensen de neiging de getallen te interpreteren alsof ze iets zeggen over de populatie, wat niet waar is bij zo'n kleine steekproef.
Precies; Cohen's f is R^2 in een ander jasje, dus alles wat voor R^2 geldt geldt dan ook voor Cohen's f. Ook is (zoals je netjes in jouw antwoord aangeeft) het zo dat R^2 wellicht niet steekproefgrootte afhankelijk is, maar dat heeft grenzen; R^2 is bij zeer lage N zeer vatbaar voor zowel over- als underfitting.
Ander cool weetje - de verwachtingswaarde van R^2 is niet nul. Tenminste, niet bij multipele regressie :-)

Als je meerdere voorspellers hebt, verwacht je puur op basis van kans een R^2 te vinden van >0 :-)

Ik vind dat supercool toen ik er achter kwam :-) Dus, de verwachte R^2 van pure noise is > 0 :-)

(zie https://stats.stackexchange.com/questions/130069/what-is-the-distribution-of-r2-in-linear-regression-under-the-null-hypothesis)
Okay, dat is inderdaad een heel cool weetje. Zo had ik nog niet eerder over R^2 nagedacht, maar dit ziet er erg overtuigend uit!
0 leuk 0 niet-leuks

Ik zou niets berekenen. Met zeven datapunten kijk je naar ruis. Als je dingen gaat berekenen, hebben mensen de neiging die te interpreteren op dezelfde manier als je 'statistics' uit grotere steekproeven interpreteert, en dat kan niet.

Met zeven datapunten kun je veel beter de data plotten, en die plotjes interpreteren. Dan heb je de gepaste onzekerheid, terwijl getallen die verbergen.

Bijvoorbeeld: je mag nooit effectgroottes interpreteren zonder een omliggende indicatie van de onzekerheid (i.e. gebrek aan accuraatheid in de schatting), zoals bijvoorbeeld het betrouwbaarheidsinterval. Met 7 datapunten is dat betrouwbaarheidsinterval superbreed, want de schatting kan de volgende keer helemaal anders zijn.

Blijf daarom weg van kwantitatieve statistiek, en beperk je tot visualisaties. En, belangrijk - trek geen conclusies. Met heel weinig datapunten is dat niet integer.

Zie ook deze toevallig onlangs geplaatste tweet:

https://twitter.com/lakens/status/1177914826816937984

beantwoord 4 oktober door gjp (64,700 punten)
Dank voor jullie reacties,ik snap de bezwaren en ben het er mee eens maar ik ga het wel gebruiken.

Het streven was  119 respondenten (volgens G*Power) maar omdat het onderzoek, waar ik dus een deelonderzoek van doe, al ruim een jaar vertraging had is de werving ook laat begonnen en loopt niet heel vlot. Echter de module van OU loopt wel vlot af, deze houdt er geen rekening mee dat in "de echte wereld" onderzoeken minimaal 3 jaar duren blijkbaar.

Omdat ik heel graag wil afstuderen binnen 3 weken en omdat ik geen zin heb om nog een keer 900 euro te betalen doe ik gewoon wat me gevraagd wordt en dat is dat mijn begeleidster wil dat ik de effectsize bereken en het daar in de discussie dan vooral over heb aangezien niets significant is. Ik heb nu echt geen tijd voor een hele andere aanpak.

Onder de noemer van pilot onderzoek mag ik dan afstuderen op zo'n kleine doelgroep, het verdient geen schoonheidsprijs. Hoop wel tenminste dat het gaat lukken zo langzamerhand.
...