Dit is een site voor studenten van de Open Universiteit. Voordat je een vraag kunt stellen moet je even een account aanmaken (dit systeem is niet gekoppeld aan je OU studentnummer en wachtwoord).

Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.

Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!

Verwerkingsopdracht 6.3.8: goede interpretatie van de gegevens en gebruik van de juiste commando's

0 leuk 0 niet-leuks

Beste Gjalt-Jorn,

Ik heb gewerkt aan opdracht 6.3.8 en de volgende vragen komen bij mij op. 

Ik heb twee verschillende commando's gebruikt. Er komen verschillende gegevens uit. Wat is het verschil tussen deze gegevens en is dit een belangrijk of te verwerpen verschil waarna de vraag rijst, wat is dat het beste te gebruiken?

Het tweede punt is dat ik voor een deel vastloop dit vind ik nog heel last in het interpreteren van de gegevens in relatie tot de gestelde hypothese. Dus de gegevens die kan ik wel produceren maar wat zeg je er dan over?

Ik stuur mee de documenten waarin ik een poging heb gewaagd. Wat vind je van mijn interpretatie?

Met vriendelijke groet,

Tiffany Kip

> examineBy(dat\$dif_Angst, by = dat\$Cursus);

############################################################
Traditioneel
############################################################

###### Descriptives for dif_Angst

Describing the central tendency:
   mean median mode      95% CI mean
 -15.19    -15  -20 [-17.08; -13.31]

Describing the spread:
   var    sd iqr     se
 75.43 8.685  12 0.9476

Describing the range:
 min  q1 q3 max
 -36 -20 -8   0

Describing the distribution shape:
 skewness kurtosis     dip
   -0.291  -0.1074 0.06349

Describing the sample size:
 total NA. valid
    84   0    84

###### Rows with lowest values:
   value
12   -36
33   -36
54   -36
75   -36
8    -28

###### Rows with highest values:
   value
74    -3
17     0
38     0
59     0
80     0

###### Stem and leaf plot:

  The decimal point is 1 digit(s) to the right of the |

  -3 | 6666
  -3 |
  -2 | 8888
  -2 | 3333222200000000000000000000
  -1 | 666655555555
  -1 | 444411110000
  -0 | 999988885555
  -0 | 44443333
   0 | 0000

############################################################
Toegepast
############################################################

###### Descriptives for dif_Angst

Describing the central tendency:
   mean median mode      95% CI mean
 -11.86    -10  -12 [-13.45; -10.26]

Describing the spread:
 var    sd iqr     se
  54 7.349 5.5 0.8018

Describing the range:
 min  q1   q3 max
 -30 -13 -7.5   2

Describing the distribution shape:
 skewness kurtosis     dip
  -0.9759    1.272 0.09524

Describing the sample size:
 total NA. valid
    84   0    84

###### Rows with lowest values:
   value
17   -30
38   -30
59   -30
80   -30
8    -29

###### Rows with highest values:
   value
75    -3
4      2
25     2
46     2
67     2

###### Stem and leaf plot:

  The decimal point is 1 digit(s) to the right of the |

  -3 | 0000
  -2 | 9999
  -2 | 0000
  -1 | 8888
  -1 | 333333332222222222222222000000000000
  -0 | 999999999999888877775555
  -0 | 3333
   0 | 2222

> meanDiff(datTraditioneel\$dif_Angst, datToegepast\$dif_Angst, paired = TRUE);

Input variables:

  dif_Angst (mean = -15.19, sd = 8.69, n = 84)
  dif_Angst (mean = -11.86, sd = 7.35, n = 84)

Matched pairs t-test
  (standard deviation of the difference: 12.25)

95% confidence intervals:
  Absolute mean difference: [-5.99, -0.67] (Absolute mean difference: -3.33)
  Cohen's d for difference: [-0.6, 0.06] (Cohen's d point estimate: -0.27)
  Hedges g for difference:  [-0.6, 0.06] (Hedges g point estimate:  -0.27)

Achieved power for d=-0.27: 0.6931 (for small: 0.4412; medium: 0.9949; large: 1)

(secondary information (NHST): t[83] = -2.49, p = .015)

> meanDiff(dat\$dif_Angst, dat\$Cursus, var.equal='no');

Input variables:

  Cursus (grouping variable)
  dif_Angst (dependent variable)
  Mean 1 (Traditioneel) = -15.19, sd = 8.69, n = 84
  Mean 2 (Toegepast)= -11.86, sd = 7.35, n = 84

Independent samples t-test (unequal variances)
  (standard deviation used of largest sample, 7.35)

95% confidence intervals:
  Absolute mean difference: [-5.78, -0.88] (Absolute mean difference: -3.33)
  Cohen's d for difference: [-0.76, -0.15] (Cohen's d point estimate: -0.45)
  Hedges g for difference:  [-0.76, -0.15] (Hedges g point estimate:  -0.45)

Achieved power for d=-0.45: 0.8321 (for small: 0.2516; medium: 0.8965; large: 0.9993)

(secondary information (NHST): t[161.57] = -2.69, p = .008)
NOTE: because the t-test is based on unequal variances, the NHST p-value may be inconsistent with the confidence interval! Use parameter 'var.equal = TRUE' to force equal variances.

Antwoord:

In deze steekproef is de afname in statistiekangst 3.33 groter bij deelnemers die de traditionele cursus kregen dan bij deelnemers die de toegepaste cursus kregen. Het 95% betrouwbaarheidsinterval suggereert dat plausibele populatiewaarden voor die verschil in afname tussen de 0.88 en de 5.78 ligt. Deze afname correspondeert met een Cohen’s d waarde waarvan het aannemelijk is dat die in de populatie tussen de 0.11 en de 0.72 ligt. Het verschil in afname kan dus in de populatie corresponderen met een triviaal, klein, middelsterk, of zelfs sterk verschil.

De p-waarde die uitdrukt hoe groot de kans is om dit verschil afname te vinden (of een extremer verschil), aangenomen dat de afname in beide groepen gelijk is, is p = .008. Van elke 1000 steekproef komt een verschil van deze grootte dus in 8 steekproeven voor. Onder de nulhypothese is deze kans van 0.8% kleiner dan 5%, dus die nulhypothese wordt verworpen, oftewel, we hebben een signficant effect.

Echter, dit verband is omgekeerd van wat we verwachten volgens onze hypothese. We gingen er immers vanuit dat de toegepaste cursus tot een grotere afname in statistiekangst zou leiden. Deze dataset geeft geen steun voor die hypothese. Sterker nog, op basis van deze dataset is die hypothese minder plausibel dan het omgekeerde scenario: dat de toegepaste cursus de statistiekangst minder doet toenemen dan de traditionele cursus.

Extra aanwijzingen

De onafhankelijke t-toets wordt hetzelfde uitgevoerd als in de vorige verwerkingsopdracht waar de onafhankelijke t-toets werd uitgevoerd: alleen de variabelenaam is anders.

Mijn antwoord

De traditionele cursus lijkt meer angst te genereren dan de toegepaste cursus. Dit is af te leiden uit de gemiddelden. Waar de traditionele cursus 15.19 en de toegepaste cursus 11.86 gemiddeld heeft waarbij er een verschil is van 3.33.

De cohen’s d is met -0.45 zwak negatief

En de p waarde is .008 wat maakt dat met 0.8 procent de p waarde significant is en de meting verworpen zal worden.

De afname is hierdoor te weinig in vergelijking met de verwachting.  

gevraagd 17 januari 2017 in Inleiding Data Analyse (IDA) door TiffanyOW (470 punten)
bewerkt 17 januari 2017 door gjp
Hartelijk Bedankt Gjalt-Jorn voor de grondige uitleg!

Dat had ik nou net nodig om te weten waar ik een denkfout/ denkfouten  maakt :-)

Groeten Tiffany

1 Antwoord

0 leuk 0 niet-leuks

Van die twee $t$-toetsen is de eerste fout. Je doet daar een gepaarde $t$-toets, maar de twee groepen (toegepast vs traditioneel) zijn niet gepaard. Dit zijn geen herhaalde metingen, en datapunten in de ene datareeks (toegepast) zijn ook niet te koppelen aan datapunten in de andere datareeks (traditioneel). Dit is dus simpelweg de verkeerde toets.

Maar die tweede klopt dus wel, heel goed!

Je interpretatie klopt niet helemaal. Je maakt denk ik twee fouten.

De eerste is dat je je onvoldoende accuraat uitdrukt. Dit gaat vaak fout: de meeste mensen hebben in het algemeen nooit geleerd zich voldoende accuraat uit te drukken. In de wetenschap is dat echter erg belangrijk. Je uitspraak "De afname is hierdoor te weinig in vergelijking met de verwachting" is te vaag en te ambigu. Het is belangrijk de moeite te investeren om zo accuraat mogelijke zinnen op te stellen, hoe moeilijk dit in het begin ook is (maar je geen zorgen, het wordt snel makkelijker als je voldoende oefent).

De tweede is dat je veronderstelt dat de hypothese iets zei over hoeveel afname er zou zijn. Dat is niet wat de hypothese zei ("We gingen er immers vanuit dat de toegepaste cursus tot een grotere afname in statistiekangst zou leiden."). We zien het omgekeerde van wat we hadden verwacht. De toegepaste cursus had een verbetering moeten zijn, maar deze dataset suggereert eerder dat het een verslechtering is! Het is dus geen kwestie van onvoldoende afname - de afname is nog lager dan in de controlegroep. Zoals je je conclusie nu verwoord, lijkt het net alsof we wel vonden wat we verwachten, maar dat we wat teleurgesteld zijn over hoe sterk het effect was.

Een andere inaccuraatheid is trouwens je melding dat "de meting verworpen zal worden". Het enige dat je, als je nulhypothese significantie toetsing toepast, kunt verwerpen, is de nulhypothese - niets anders. Dus dat is het enige dat je dan kunt zeggen.

En, nu ik toch bezig ben ;-) (ik bespreek normaal dit soort dingen niet in detail, dus laat ik het nu maar gelijk grondig doen :-)): je eerste alinea beschrijft je steekproef, maar je spreekt er over alsof je de realiteit (de populatie) bespreekt.

Je bespreekt uitkomsten normaal in volgorde van belangrijkheid. Altijd dus eerst het betrouwbaarheidsinterval rondom de effectgrootte; dan de puntschatting van de effectgrootte; dan naar keuze of eerste de ruwe uitkomsten, of eerst de NHST informatie, als je die hebt berekend. Ik zou zelf bijvoorbeeld hebben gezegd:

Op basis van deze steekproef lijkt het effect van de toegepaste cursus op statistiekangst kleiner te zijn dan het effect van de traditionele cursus op statistiekangst, met een 95% betrouwbaarheidsinterval voor Cohen's $d$ van $[-0.76, -0.15]$ ($d = -0.45$, $M_\text{verschil, toegepast} = -11.86$, $M_\text{verschil, traditioneel} = -15.19$, $p = .008$, $t_{161.57} = -2.69$). Dit verband is omgekeerd aan de verwachting: het lijkt erop dat de toegepaste cursus tot minder afname in statistiekangst leidt dan de traditionele cursus.

Er zijn natuurlijk allerlei variaties op mogelijk.

Overigens: ik heb niet zoveel feedback omdat jouw antwoord uitzonderlijk slecht was in vergelijking van dat van andere studenten; je doet het juist wel goed. Maar zoals ik zei, nu ik toch uitgebreid antwoord, kan ik net zo goed de puntjes op de i zetten :-)

beantwoord 17 januari 2017 door gjp (69,380 punten)
...