Moet je bij regressie (gerichte hypothese) de p-waarde van de R-square door 2 delen of niet?

Question

Aangezien je de significantie van deze R-square met ANOVA toetst, lijkt het mij dat je deze p-waarde niet door 2 deelt. Dus als deze 0.051 is, is de R-square niet significant (en verwerp je de hypothese). Als je wel door 2 zou moeten delen, zou je de hypothese wel accepteren.

Answer 1

In de praktijk worden p-waarden bijna nooit door 2 gedeeld; het is in de psychologie bijna nooit mogelijk om uit te sluiten dat een verband de kant opgaat die je niet verwacht. Daarom behelst eenzijdige toetsing in de meeste situaties eigenlijk een problematische toename van de kans op een Type 1 fout (de kans dat, terwijl de nulhypothese waar is, je die door toeval toch verwerpt).

Desalniettemin, omdat eenzijdige toetsing in onderwijs-situaties wel vaak voorkomt (zo ook bij de Open Universiteit) omdat het een handig instrument is om te leren redeneren met (normaal-) verdelingen, is het wel handig om te begrijpen bij welke toetsen je eenzijdig kunt toetsen.

Eenzijdige toetsing vereist sterke (zeer sterke) verwachtingen over de richting van een effect. Hier volgt al gelijk de eerste beperking uit: de betreffende toets moet een richting hebben. Bij een t-toets en een correlatie (Pearson's r) kan van een richting worden gesproken (de t-waarde en Pearson's r kunnen positief of negatief zijn). Bij een eenweg anova of een $\chi^2$ niet; in beide toetsen kan immers naar een nominale variabele worden gekeken (bij oneway anova als factor, en bij $\chi^2$ kunnen zelfs beide variabelen nominaal zijn). Nominale variabelen worden gekenmerkt door niet onderling te ordenen meetwaarden: voorbeelden zijn geslacht, lievelingskleur, en geboorteplaats. Dan kun je dus nooit een richting specificeren, want dat vereist dat beiden variabelen te ordenen zijn.

In het geval van regressie-analyse kan een hypothese over $R^2$ nooit eenzijdig worden getoetst - $R^2$ zal immers sowieso toenemen als er voorspellers worden toegevoegd. Echter; hypothesen over regressie-coefficienten ($\beta$'s) wel. Een $\beta$ kan immers, net als een correlatie coefficient, zowel negatief als positief zijn. En in regressie-analyse hebben hypothesen bijna altijd betrekking op de regressie-coefficienten van een (of meer) voorspellers, en niet op de algemene proportie verklaarde variatie ($R^2$).

Als de betreffende hypothese in de regressie-analyse dus betrekking heeft op een regressie-coefficient, is het in theorie mogelijk om een eenzijdige hypothese te formuleren. Echter: nogmaals, in de psychologie is het bijna nooit mogelijk om één van de mogelijke richtingen die de regressie-coefficient kan krijgen, helemaal uit te sluiten. Eenzijdige toetsing is dus niet vaak te verdedigen.

Comments

Snel en duidelijk antwoord. Bedankt! Vooral ook voor de opmerkingen over eenzijdig toetsen in de psychologie, omdat ik daar bij het voorbereiden en maken van de tentamenopdracht OKD ook al tegenaan liep: Als je "linksaf redeneert", krijg je een tegengestelde hypothese t.o.v. "rechtsaf redeneren" (zeker als je nog geen theorie hebt of eerdere onderzoeksresultaten).

Vr.gr.

Willem van Dam

---

Let wel dat een theorie over de mogelijke richting van een effect nooit een reden is om eenzijdig te toetsen! Die theorie is immers precies wat je toetst; je kunt je toetsingsprocedure dus niet aanpassen op basis van gevolgtrekkingen 'uit' die theorie. Bij 'nulhypothesetoetsing', het mechanisme waarmee je p-waarden berekent, kun je slechts toetsen onder aanname dat de nulhypothese klopt. Een theorie die stelt dat een verschil positief (of juist negatief) gaat zijn, betreft een alternatieve hypothese. Binnen je toetsingsprocedure neem je dus aan dat die theorie fout is. Daarom kun je op basis van je verwachtingen op grond van die theorie nooit eenzijdig toetsen - dan klopt je toetsingsmechanisme niet langer, en klopt je p-waarde niet. Eenzijdige toetsing kan dus uitsluitend als een effect echt maar een kant op kan gaan.

---

Ik merk dat ik voortdurend in "mijn hoofd" h1 zit te toetsen, omdat h1 te maken heeft met een theorie en je die theorie toetst. Die "logica" blijkt minder logisch te zijn en ik snap nu wel dat ik niet h1 maar h0 toets.

Toch worstel ik dan met de bronnen van OKD en ook met de tentamenopdracht, waarbij ik bijna voortdurend gerichte hypothesen moet opstellen, ik soms geen idee heb of ik daarbij linksaf of rechtsaf moet (of vrouwelijke huisartsen in kleine praktijken meer of minder stress hebben dan mannelijke huisartsen bijv. Geen idee! Ik kan zowel voo rhet een als het ander een redenering opzetten). Omdat ik toch iets moet, ga ik op google theorieën en eerdere onderzoeksresultaten zoeken om een richting te vinden.

Nu begrijp ik eigenlijk dat zowel de opdracht (gerichte hypothese opstellen) als mijn aanpak (materiaal voor een bepaalde richting vinden) niet of nauwelijks verantwoord zijn. Als dit zo is (hopelijk snap ik het nu), dan vind ik eerlijk gezegd dat de bronnen hierover niet erg duidelijk zijn.

---

Wel, je methode (evidentie vinden die aangeeft dat een verband een bepaalde richting op gaat) is eigenlijk juist wel goed. Je hebt gelijk dat eenzijdige toetsing in zichzelf verwarrend kan zijn. Voor het onderwijs is het goed om te onthouden dat specifieke verwachtingen vaak impliceren dat de examinator eenzijdige toetsing voor ogen heeft; voor 'het echte leven' daarna toets je simpelweg altijd tweezijdig, dus dat wordt een stuk eenvoudiger :-)

---

Ik sta nog aan het begin van de studie en had de illusie dat onderwijs een voorbereiding was op het echte leven erna......... Maar ik begrijp wat je bedoelt en bovendien is het een prachtig vooruitzicht dat het echte in dit geval eenvoudiger is dan de voorbereiding erop :)

Nogmaals erg bedankt voor de snelle en uitgebreide reacties! Op 31 oktober a.s.(tentamen) zal blijken of ik er mijn voordeel mee doe...:)

---

Graag gedaan, en succes alvast!