Hoe interpreteer je een contrast zodra het betrouwbaarheidsinterval wel de 0 bevat?

Question

Ik ben aan het puzzelen hoe een contrast geïnterpreteerd kan worden aan de hand van Field. In dit voorbeeld wordt het Simple contrast gebruikt waarbij level 1 (patat) met level 3 (pannenkoek) vergeleken wordt en level 2 (pizza) met level 3 (pannenkoek).

Patat verschilt met -.245 van pannenkoek (contrast estimate). Pannenkoek verhoogt het effect van afh. variabele (gewichtsafname) vergeleken met level patat. Dit is een significant effect (.010). Het betrouwbaarheidsinterval bevat geen 0 (lower - .465 en upper -.013), dus is het echte verschil minder dan 0. Dus level 3: een pannenkoek verhoogt het effect van gewichtsverlies significant vergeleken met patat .

In Field wordt alleen het voorbeeld genoemd dat een betrouwbaarheidsinterval geen 0 bevat. Stel het betrouwbaarheidsinterval bevat wel 0 (lower - .465 en upper .02). Wat kun je dan concluderen?

Answer 1

Een eerste belangrijke voetnoot bij de vraag zelf: Dat een parameterschatting een 95% niet de nul bevat, betekent niet dat het 'echte' verschil kleiner is dan nul. Wat iets 'echt ' is kan niet gesteld worden, omdat bij het berekenen van het CI ervanuitgegaan wordt dat de parameterschatting zelf de 'ware' score is, althans voor de berekening van het CI. Het is dus niet mogeljik om zulke harde stellingen te doen. Wat wel gedaan kan worden is een voorspelling; de kans om de ware score buiten dit CI te vinden in een eerstvolgende nieuw onderzoek is 5%. (even kort door de bocht een samenvatting wat een betrouwbaarheidsinterval voor informatie geeft).

Een betrouwbaarheidsinterval dat de nul bevat heeft een p-waarde met zich geassocieerd groter dan alfa (dus bij een 95%CI p > .05 [of eigenlijk tweemaal > .025, maar laat ik het niet onnodig complex maken], en daarmee niet significant )

Dus dan zou de conclusie zijn dat er geen significant verschil waargenomen is in het contrast.

Comments

Dank. In Field stond: "assuming this sample is one of the 95 out of 100 that produces a confidence interval containing the true value of the difference, the real difference is more than zero''. Vandaar dat ik real heb vertaald naar echt, maar hier staat ook in dat het gebaseerd is op die 95% CI dus in 5% van de gevallen kan er een score waarin 0 voorkomt buiten het CI gevonden worden in een eerstvolgend onderzoek. 

Bedankt voor de uitleg, een betrouwbaarheidsinterval met 0 is dan geen significant verschil en dit is te zien aan de p-waarde natuurlijk.