Kun je wel een conclusie trekken over een verschil tussen gemiddelden als de gevonden t-waarde niet significant is?

Question

vraag 37 van het oefententamen van OKD is als volgt.

Wat is het verschil tussen het klimaatoordeel van mannen en vrouwen?

De mogelijke antwoorden zijn:

a. Er is geen verschil, want de gemiddelden zijn identiek.   
b. Mannen hebben een gunstiger oordeel over het werkklimaat dan vrouwen.   
c. Er is een minimaal verschil dat niet significant is.   
d. Vrouwen hebben een gunstiger oordeel over het werkklimaat dan mannen.

Het juiste antwoord hier zou c moeten zijn: "Er is een minimaal verschil dat niet significant is".
Mijn vraag is of je hier eigenlijk wel een conclusie mag trekken over het verschil in gemiddelden, juist omdat het niet significant is.
Volgens mij kun je ook niet zeggen dat er een 'minimaal verschil' is omdat het gevonden 'minimale verschil' volledig op toeval kan berusten.
De nulhypothese wordt niet verworpen, dus antwoord a : "Er is geen verschil, want de gemiddelden zijn identiek", komt feitelijk nog dichter in de buurt. Klopt dat?

Answer 1

Kleine nuancering in Ron's antwoord; grote verschillen die niet significant zijn, zeggen juist niets, toch?

Grote niet-significante verschillen kunnen alleen maar als de power erg laag is.

En bij lage power is de kans op grote verschillen (door toeval) juist relatief groot. Bij kleine power is wat je in je steekproef ziet nooit informatief; tenminste, zo informatief als uit je betrouwbaarheids- of voorspellingsinterval blijkt.

In principe is dit inderdaad geen goede toetsvraag; je mag eigenlijk niet van een verschil spreken als het niet significant is, tenminste, niet als je binnen een nulhypothese-toetsings kader werkt. Je steekproef is immers nooit van belang; dat is slechts een instrument om tot uitspraken over de populatie te komen. De antwoordoptie was correct geweest als er had gestaan "Er is een klein verschil in de steekproef, dat niet significant is."

In de revisie wordt deze fout verbeterd! Hoewel deze discussie natuurlijk ook erg waardevol en leerzaam is.

(terzijde: het gebruik van het woord 'minimaal' is ook wat discutabel denk ik - dat betekent dat het niet kleiner kan zijn, maar het verschil had ook 0 kunnen zijn . . .)

Answer 2

Op zich is het inzicht dat de verschillen niet als zodanig geinterpreteerd mogen worden geen slecht inzicht. Echter; om 'geen statistisch verschil'  gelijk te stellen aan 'geen enkel verschil' overschiet het doel. Alle uitspraken zijn uiteindelijk inductie; dus het verwerpen van de alternatieve hypothese betekent niet dat de nulhypothese waar is, enkel dat deze het meest waarschijnlijk is. Feitelijk is er nog steeds een verschil; dit verschil is echter niet meetfoutoverstijgend. Dus je hebt gelijk in het stellen dat bij verwerpen van de alternatieve hypothese het not done is om toch te spreken over verschillen: ze zijn statistisch niet van elkaar te onderscheiden; maar zonder de True Score te weten gaat het ook te ver om feitelijke verschillen totaal te negeren: de scores zijn niet feitelijk identiek.

Het balanceren van deze twee inzichten is van redelijk groot belang, omdat signiificantie uiteindelijk nooit iets mag zijn waar we blind op varen; het blijft een kansmodel. Minimale verschillen kunnen ook significant zijn, maar zeggen in de praktijk weinig. Net zoals grote verschillen niet siginficant kunnen zijn, en stiekem wel veel zeggen.