Dit is een site voor studenten van de Open Universiteit. Voordat je een vraag kunt stellen moet je even een account aanmaken (dit systeem is niet gekoppeld aan je OU studentnummer en wachtwoord).

Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.

Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!

Kunnen we een independent t-test gebruiken om te toetsen of er een significant verschil is tussen twee gemiddelde veranderingen?

0 leuk 0 niet-leuks

Info:

Het design van de studie is een quasi-experiment tussen twee groepen (between subjects design) met pretest-posttest control (de tijd tussen voor- en nameting is 12 weken). De onafhankelijke variabele ‘conditie’ bestaat uit twee nominale niveaus (experimentele conditie en controle conditie). De afhankelijke variabele is ‘intrinsieke motivatie’ en deze is gemeten op intervalniveau met behulp van een vragenlijst (IMI-score).

In de experimentele groep vindt de manipulatie plaatst. Participanten in deze groep gaan gedurende 12 weken tijdens rekenlessen werken met een serious game. De participanten in de controle groep werken met de leermiddelen die ze altijd al hebben gebruikt. Hier verandert er dus niets,

De onderzoeksvraag is: Wat is het effect van Startrekenen 3D op de intrinsieke motivatie van leerlingen bij het vak rekenen in de tweede klas van het VMBO basis/kader? Hieruit volgt de hypothese: Het spelen van de serious game Startrekenen 3D, leidt tot een significante toename van intrinsieke motivatie voor het vak rekenen.

De vraag:

(optie 1) Kunnen we onze hypothese toetsten met behulp van een independent t-test? Er wordt getoetst of er een significante toename is tussen de gemiddelde verandering bij de experimentele conditie en de gemiddelde verandering bij de controle conditie. Door te kijken naar de gemiddelde waarden kan de richting worden aangegeven.

(optie 2) Een andere mogelijkheid die we besproken hebben is het uitvoeren van twee paired-samples t-tests. Is er een significant verschil tussen voor- en nameting bij de experimentele conditie en is er een significant verschil tussen voor- en nameting bij de controle conditie. Vervolgens kunnen we dan nog een independent t-test uitvoeren om te toetsen of er een significant verschil is tussen de gemiddelde waarden van beide groepen op de nameting.

Wij zouden kiezen voor de enkele independent t-test (optie 1) i.v.m. kanskapitalisatie. Maar klopt onze gedachtegang?

gevraagd 26 januari in Methodologie door Sp (120 punten)
bewerkt 26 januari door Sp

1 Antwoord

0 leuk 0 niet-leuks
Ik begrijp uit je beschrijving niet helemaal hoe het een quasi-experimenteel design is? Er wordt misschien niet op het niveau van de onderzoekseenheden gerandomiseerd, maar er lijkt wel sprake te zijn van randomisering?

Verder klinkt het alsof je iets hebt gedaan met kinderen, klopt dat?

Zoja, waren het 2 klassen, of 1 klas, of meer?

Als het 2 klassen waren, snap ik wel waarom je het een quasi-experiment noemt. Als het 1 klas was, kun je in principe de onafhankelijke t-toets gebruiken; je toetst dan alleen of het verschil hetzelfde is (je doet in wezen hetzelfde als met een repeated measures anova, waarbij je naar de interactie tussen tijd en conditie kijkt). Als de kinderen in 3 of meer klassen zaten, kun je geen t-toets gebruiken. Je moet dan een multilevel regressie gebruiken.

(Als het 1 of 2 klassen zijn ben je trouwens waarschijnlijk underpowered; je hebt dan te weinig datapunten om een accurate schatting van een eventueel effect te genereren. Ik hoop dat jullie meer klassen hebben - maar dan is je vraag dus ook gelijk 'moot', omdat je sowieso een multilevel analyse nodig hebt.)
beantwoord 27 januari door gjp (63,260 punten)

Bedankt voor je reactie. Hierbij de aanvullende informatie.

Het gaat om een quasi-experiment, omdat we op 14 verschillende scholen een klas selecteren die deelneemt aan het onderzoek. De klassen worden wel random aan de groepen toegewezen, maar de individuele participanten dus niet. 7 klassen worden toegewezen aan de experimentele conditie en 7 klassen aan de controle conditie. In totaal hebben we dan 175 participanten per conditie. Om een medium effect (d = 0.5) aan te tonen heeft deze steekproefgrootte een power van 96%.

7 klassen gaan gedurende 12 weken tijdens de zelfstudieuren rekenen aan de slag met de serious game Startrekenen 3D en 7 klassen blijven gedurende 12 weken op dezelfde manier werken als voorheen vanuit een werkboek rekenenen. De meetmomenten vinden op dezelfde tijdstippen plaats in beide condities. Om het effect van Startrekenen 3D te meten zal bij beide condities de afhankelijke variabele, intrinsieke motivatie, voor en na de treatment gemeten worden.

Hierbij een schematische weergave van het ontwerp van het experiment:

t1 t2
NR Experimentele conditie O1 X O2
NR Controle conditie O3 O4

De vraag blijft dus eigenlijk bestaan of optie 1 of optie 2 de betere is. Van een ANOVA is bij ons in ieder geval geen sprake, omdat onze onafhankelijke variabele maar twee groepen kent.

In dat geval kun je geen t-toets gebruiken; de scholieren in dezelfde klas, en een niveau hoger, op dezelfde school, lijken meer op elkaar dan op willekeurige andere scholieren. Je hebt dus een zgn multilevel structuur: afhankelijkheid tussen metingen in dezelfde deelnemer; afhankelijkheid tussen deelnemers in dezelfde klas; afhankelijkheid tussen klassen in dezelfde school. Een t-toets kan je effect dus niet goed schatten; je moet multilevel regressie gebruiken.

Anova kan overigens prima met twee groepen; en een repeated measures anova zou een gepaste analyse zijn met een zogenaamde split-plot design, wat jullie hadden gehad als je niet binnen klassen en scholen zou werken.
Bedankt voor je antwoord. We zijn nog niet eerder gedoken in een multilevel regressie.

Check of ik het goed begrijp: klopt het dat we een multilevel regressie moeten gebruiken, omdat de uitkomstmaat van de data (in ons geval de IMI-score) niet alleen afhankelijk zijn van leerlingeigenschappen, maar ook van schooleigenschappen. Er zijn dus eigenlijk twee levels. Namelijk 'leerlingen' en 'scholen'.

Wij hebben in eerste instantie geen rekening gehouden met het feit dat schooleigenschappen effect zouden kunnen hebben op de uitkomstmaat van de data. Het gaat op alle 14 scholen om één 2e klas vmbo basis/kader en gezien de grootte van de steekproefgrootte gaan we ervan uit dat de experimentele groep en de controlegroep homogeen zijn (op variabelen zoals intrinsieke motivatie, geslacht, leeftijd, niveau, tijdsbesteding aan gamen en prestatie op rekenen). Uiteraard wordt de homogeniteit gecheckt.
Vier levels; metingen binnen leerlingen binnen klassen binnen scholen. En datapunten op hetzelfde level binnen dezelfde eenheid (metingen binnen leerlingen; leerlingen binnen klassen; klassen binnen scholen) zijn niet onafhankelijk.

Maar ik ga hier nu veel te diep op in voor dit medium. Jullie moeten dit met je begeleider bespreken, die kan je verder begeleiden! Daar is die voor tenslotten :-)
Ik ga H20 van Field (2013) lezen en dit bespreken met onze begeleider. Bedankt voor het op weg helpen !
...