Dit is goed mogelijk. Dit is een van de fundamentele problemen van nulhypothese significantie toetsing.
Significantie zegt alleen of de $p$-waarde lager is dan de vooraf bepaalde alpha, meestal .05. De $p$-waarde is de kans om een verband te vinden dat minstens zo sterk is als het gevonden verband, onder aanname dat de nulhypothese waar is. De nulhypothese is meestal "het verband is in de populatie afwezig", oftewel, "omega kwadraat is in de populatie nul".
Als je een steekproef neemt en een omega kwadraat berekent, dan komt die uit de steekproevenverdeling voor omega kwadraat (zie de Woordenlijst in Onderzoekspracticum inleiding data-analyse; deze zelfde woordenlijst staat overigens in de Methoden en Statistiek pagina in Youlearn):
Met kleine steekproeven (zeg, 100 deelnemers of minder) is die nog heel breed (sterker nog, je moet duizenden deelnemers hebben om een smalle verdeling te krijgen).
De steekproevenverdeling is de verdeling waar je omegakwadraat, als je een steekproef neemt, random uit wordt getrokken. Een brede steekproevenverdeling betekent dus dat de kans groot is dat je in een steekproef een omegakwadraat vindt die fors afwijkt van de waarde van omegakwadraat in de populatie.
Oftewel: als je een kleine steekproef hebt, is de kans groot dat je, als er in de populatie geen verband is (de grijze lijn, een omegakwadraat van 0 in de populatie), een relatief hoge waarde van omegakwadraat vindt in je steekproef.
En andersom: als er in de populatie wel een verband is (bijvoorbeeld een sterk verband, de groene lijn), dan is de kans dat je een kleine omegakwadraat, of een van 0 vindt, ook aanzienlijk.
Met andere woorden: met relatief kleine steekproeven zijn zowel de $p$-waarde als de omegakwadraat die je vindt een soort loterij. Zelfs als je in de steekproef een sterk verband vindt (een omegakwadraat van .24) kun je een hoge $p$-waarde vinden, omdat het, onder aanname van de nulhypothese (in de populatie is omegakwadraat 0, oftewel, je steekproef-omegakwadraat komt uit de steekproevenverdeling die geldt als omegakwadraat nul is, de grijze lijn in het voorbeeld hierboven), waarschijnlijk is dat je een sterk verband vindt.
In het voorbeeld van Field hier is zijn steekproef nog veel, veel kleiner. Oftewel, je kunt eigenlijk geen conclusies trekken. Niet omdat je uitkomsten niet eenduidig zijn, maar omdat je steekproef zo klein is dat de waarden die je in je steekproef vindt bijna uitsluitend tot stand komen door toeval, en dus niet informatief zijn over de situatie in de populatie.
Dit geldt altijd voor kleine steekproeven: er komen altijd getallen uit je analyses, maar die kunnen bij replicatie volslagen anders zijn. Het is dus onverstandig om conclusies te trekken, en omdat je geen conclusies kunt trekken, is het uberhaupt niet ethisch om data te verzamelen.
"In het echt" kom je dit soort situaties daarom als het goed is (als je onderzoek ethisch is getoetst en goedgekeurd) niet tegen. Maar in dit soort voorbeelden, in het onderwijs, soms nog wel.
(zie trwns ook Jane Superbrain 14.4) (soms merk je dat Andy dit boek heeft geschreven voor relatief jonge studenten :-))
