Waarom wordt .075 als marginaal significant vermeld?

Question

Op p. 6 van 14 van de bron over mediatie analyse (p. 58 in het document, zie fragment hieronder) wordt gesproken over: ".. p = 0.075, een waarde die marginaal significant is." 

Waarom wordt hier gesproken over een waarde van 0.075 als (marginaal) significant?

Answer 1

Ik vermoed dat dit kleine foutjes in het document zijn. Ten eerste bestaat 'marginaal significant' niet. Als je besluit om nulhypothese toetsing toe te passen dan moet je je alpha hanteren. Je powert je studie dan immers altijd zodanig dat je relevante effecten kunt detecteren. Als je alpha van te voren vaststelt op 0.05 (wat nogal liberaal is als je meerdere p-waarden gaat uitrekenen, maar dat is een ander verhaal), dan moet je je ook aan die 0.05 houden. Je concludeert dan als je een p-waarde vindt die hoger is dan 0.05 dat je data geen reden geven om aan te nemen dat je gehypothetiseerde verband in de populatie bestaat.

Een p-waarde als 'marginaal significant' benoemen creëert de indruk/norm dat significantie iets wenselijks is.

En significante uitkomsten zijn niet wenselijk: of een uitkomst significant is hangt er vanaf hoe de realiteit in elkaar steekt. En hoe die realiteit in elkaar steekt is wat we willen ontdekken met wetenschappelijk onderzoek. Als significantie wenselijk zou zijn, zou wetenschappelijk onderzoek daarmee een methode worden om een misleidende indruk te krijgen van hoe de realiteit in elkaar steekt. En dat is natuurlijk niet de bedoeling.

Er staat ook een ander foutje in: een p-waarde van .000. Een p-waarde is de kans op de gevonden effect size aangenomen dat die uit een steekproevenverdeling komt die is opgesteld op basis van de nulhypothese. Die kans is per definitie groter dan nul, voor elke mogelijke effect size.