Waarom is het juiste antwoord bij vraag 16 van oefententamen 1 dat geen van de medicijnen depressie vermindert in vergelijking tot de placebo?

Question

De vraag die is gesteld: welke van de twee stellingen is juist? Waarbij het juiste antwoord is dat geen van de twee medicijnen depressie vermindert in vergelijking met de placebo. Met als uitleg daarbij wordt er verwezen naar de kanskapitalisatie.

Echter, als ik het goed begrijp uit de tekst is er al gecorrigeerd met Bonferonni en is 'placebo' met 'hoge dosis' significant. Ik begrijp dus niet waarom het juiste antwoord is dat geen van de twee medicijnen depressie vermindert?

Answer 1

Even simpel uitgelegd:

Op basis van de waardes van die oefenvraag kun je ook het gemiddelde van alle groepen berekenen (Want de vergelijking is het gemiddelde van (I) groep minus het gemiddelde van (j) groep). Op basis van deze gegevens kom je op een mean van:
Placebo 8000
Hoge dosis 10800
Lage Dosis 9000
( hier zie je dus al dat de gemiddelde BDI score in de Placebo groep lager is dan het gemiddelde BDI in hoge en lage dosis EN hoe hoger de bdi score hoe meer depressieklachten).

Placebo gemiddelde 8000 minus hoge dosis gemiddelde 10800 = -2800, placebo minus lage = -1000 etc etc etc etc.
Residuen is hoge dosis minus placebo en lage dosis minus hoge dosis.
Dan is het alleen nog kijken of dit verschil dan ook daadwerkelijk significant is.
De Placebo groep heeft dus MINDER depressieklachten dan de lage / hoge dosis groep en de lage heeft minder klachten dan de hoge dosis groep. Oftewel: geen effect.

Comments

Ik begrijp dit antwoord nog steeds niet, want het verschil tussen placebo en lage dosis is niet significant en het verschil tussen hoge dosis en placebo is wel significant. Dan kun je toch niet met zekerheid zeggen dat medicatie in de lage dosering niet werkt, omdat het gezien de p-waarde kan berusten op toeval?

---

Even afgezien van de p-waarde & significantie, moet je al beginnen met het goed begrijpen van de vraag, de stellingen en de getoonde data. Even ervan uitgaande dat er niets veranderd is aan deze vraag in de afgelopen 3 jaar. De bonferonni-correctie is toegepast, dus die stelling is sowieso niet juist. Ook dat een hoge dosis tot minder depressieve klachten tov placebo leidt is niet juist (want de placebogroep heeft de minder depri klachten tov hoge dosis, en dat verschil is ook nog eens significant). Het juiste antwoord is dus dat geen van de twee medicijnen depressie vermindert in vergelijking met de placebo. Afgezien van de significantie (want daar wordt ook niet over gerept in de stelling) klopt dit in de basis. Want hoe HOGER de BDI score, hoe MEER depressieklachten iemand ervaart. De placebo groep heeft de LAAGSTE bdi score (gemiddeld, dus de mean), namelijk 8000 (ik weet niet meer of 8000 de daadwerkelijk uitgerekende mean is of dat ik deze fictief heb gebruikt ter voorbeeld & om mee te rekenen). De Lage dosis groep heeft een bdi score van 9000 en de Hoge dosis een bdi score van 10800. (is dus tov de placebo groep 1000 minder, dus -1000 dan lage dosis en 2800 minder, dus -2800 dan hoge dosis). Dus zowel de lage én de hoge dosis groepen ervaren MEER depressieve klachten t.o.v de placebo groep. Hoewel de p-waarde inderdaad berust op toevalskans, geld, hoe kleiner de p-waarde (hoe kleiner de  toevalskans), hoe meer we er op (kunnen) vertrouwen dat het effect zich daadwerkelijk voordoet. We kunnen dus zeggen dat het aannemelijk is. Dus hoewel je inderdaad niet (of eigenlijk vrijwel nooit) iets met zekerheid kan zeggen, vergroten een aantal zaken de zekerheid wel (bv o.a. ook replicatie). En in dit geval, of het verschil wel of niet significant is, kun je in deze casus dus wel zeggen: de lage dosis groep ervaart niet minder (maar juist meer) depri klachten tov de placebo groep, hoewel dit verschil niet significant is. De hoge dosis ervaart ook meer depri klachten tov de placebo groep en dit verschil is wél significant. Op basis van deze gegevens kun  je dus wel stellen dat het medicijn de depressie inderdaad niet vermindert in vergelijking met placebo, dus ook niet in de lage dosis groep, immers zou hier dan minstens in het tabel een plus getal moeten staan (dus dat er in de lage groep MINDER depri klachten zijn tov de placebo groep) en in dat geval het liefst ook nog met een kleine p-waarde (dus dat het verschil dan ook significant is). En daarbij natuurlijk ook nooit het betrouwbaarheidsinterval vergeten. Echter is het niet de strekking van deze tentamenvraag om zover door te beredeneren, maar om te toetsen of je resultaten van analyse begrijpt en kan interpreteren. Hopelijk is het zo duidelijker en voor docenten, corrigeer me als ik het mis heb :-). 

---

Dank voor je uitgebreide reactie. Ik snap wel dat de andere antwoordoptie het niet is (want er is immers al gecorrigeerd met bonferroni), maar als ik me niet vergis staat er bij de andere mogelijkheid dat de medicijnen niet werken. Omdat een van de waarden niet significant is (laag vs placebo) is toch niet te zeggen dat het medicijn niet werkt, je zou dan hooguit kunnen zeggen dat er geen effect is gevonden?

---

Niet werken of geen effect lijkt mij synoniem van elkaar? Dus ik weet niet of ik je vraag dan wel goed begrijp. Toch maar voor de zekerheid, eventueel ook voor andere lezers:

De juiste stelling was: Geen van de twee medicijnen vermindert depressie in vergelijking tot de placebo. Het gaat hier om een ANOVA analyse: Het vergelijken van gemiddelden tussen meer dan 2 groepen.

De getoonde output is die van een paarsgewijze vergelijking (post hoc Bonferroni). Dan weet je inmiddels dus ook dat je uit je ANOVA analyse een significant resultaat (ofwel effect) hebt gevonden, waardoor je deze significantie op kunt (of mag/moet) opvolgen. Deze significantie (uit de ANOVA) zegt namelijk alleen maar dat groepsgemiddelden van elkaar verschillen, maar vertelt je niet wáár dan die verschillen in zitten. Om vervolgens dus te kunnen weten welke groepen dan precies significant van elkaar verschillen, voer je (b.v.) de post hoc test uit, zoals in deze vraag. Hierbij is de verwachting dat de Hoge dosis groep minder depressieve klachten heeft dan de placebo groep (oftewel je controle groep). De gemiddelden (van alle groepen) zijn uitgedrukt in de BDI score, waarbij geld: hoe hoger de BDI score, hoe MEER depressieve klachten er zijn. Hier komt vervolgens uit:

Placebo vs Hoge dosis -> is significant, de (BDI) gemiddelden van Placebo versus de Hoge dosis verschillen dus significant van elkaar, echter staat er een MIN teken voor, wat betekent dat in de Placebo groep minder depressieve klachten worden ervaren dan hoge dosis groep en dit verschil tussen deze 2 groepen is significant. Oftewel: In de placebogroep ervaren ze (gemiddeld) minder depressieve klachten dan in de hoge dosis groep, en dit verschil tussen deze 2 groepen is significant: Hoge dosis vermindert dus niet de depressieve klachten t.o.v. de placebo (maar verergert ze juist). Het hoge dosis medicijn werkt niet (in ieder geval niet t.o.v. de placebo, in dit onderzoek, en ervan uitgaande dat type I & II fout onder controle is).

Placebo vs Lage dosis - is niet significant, dus de gemiddelden van de placebo en de lage dosis verschillen niet significant van elkaar, (is wederom een MIN teken). In de placebogroep ervaren ze dus wel minder depressieve klachten dan degenen in de lage dosis groep, echter is dit verschil niet significant. Oftewel: de gemiddelde depressieve klachten in de placebo groep en die in de lage groep verschillen niet significant met elkaar = Een lage dosis vermindert dus niet de depressieve klachten tov de placebo = het medicijn werkt dus niet (of het medicijn heeft geen effect, het verschilt niet significant tov de placebo, en al zou dit wel significant zijn, dan heeft het dus ook niet het gewenste effect, namelijk de klachten verminderen, want het verergert juist de klachten.

Extra: Het gevonden significante effect in de ANOVA heeft in dit geval dus vooral betrekking op het verschil tussen de placebo en de hoge dosis groep, echter is dat effect dus dat het niet minder depressieve klachten geeft, maar meer. Het medicijn werkt dus niet / het heeft geen of iig niet het gewenst effect (in vergelijking met de placebo groep).