Wow. Goede, uitgebreide vraag. Heel netjes!
Jammer genoeg heb ik op basis hiervan slecht nieuws.
Dus hou je vast.
Je bent zwaar, zwaar underpowered.
Als je uitgaat van een populatiecorrelatie van .3, en die wil je detecteren met een alpha van 5% en met 80% power, dan heb je 85 mensen nodig.
Stel dat je naar 20 correlaties wil kijken. Als je de alpha op 5% wil houden, moet je voor elke losse correlatie (elke p-waarde) een lagere alpha gebruiken, om de kans op een Type-1 fout in je onderzoek op die 5% te houden. De simpelste correctie is een alpha gebruiken van .05/20 (want 20 correlaties) dus dan kom je op een alpha van .0025 per correlatie; om dan 80% power te bereiken heb je 159 mensen nodig.
Het klinkt alsof jij in totaal minstens 20 p-waarden uitrekent. Puur op basis van kans weet je dat er van elke 20 p-waarden, er eentje significant gaat zijn, aangenomen dat er geen verbanden bestaan in de populatie. Als je 30 p-waarden uitrekent, en er zijn er 2 significant, dan weet je dus eigenlijk niets. Het is heel plausibel dat die twee p-waarden significant zijn door toeval.
Als je interacties wil toetsen, is je power een stuk lager dan voor correlaties. En in regressie-analyses wordt je power ook lager naarmate je meer voorspellers hebben, en naarmate die voorspellers meer samenhangen (zie
http://oupsy.nl/help/258/correlaties-tussen-tussen-predictoren-regressieanalyses voor uitleg met plaatjes).
En dan is er nog iets, alsof dit al niet deprimerend genoeg was: je kunt moderatie uitsluitend onderzoeken als je zowel de voorspeller (de gemodereerde variabele) als de moderator manipuleert (zie
http://oupsy.nl/help/2461/interactie-hypothesis-onafhankelijke-variabelen-correleren voor de uitleg).
Dit is heel jammer, want op basis van je uitleg (als in, je vraag) lijk je goed te weten wat je doet. Je lijkt de analyses, en het conceptuele denken hierover, goed in de vingers te hebben.
Nu concreet, wat je moet doen.
Ten eerste: je moet altijd alles rapporteren. Of iets significant is of niet, is irrelevant. Je leert evenveel van niet significante analyses dan van wel significante analyses. Tenminste, als je voldoende power hebt. Als je onvoldoende power hebt, moet je dat van te voren bedenken; maar als je eenmaal een studie hebt ontworpen, en je analyses hebt gedaan, moet je ook alles rapporteren.
Ten tweede: bespreek in je discussie ook deze puntjes (multiple testing; power voor interactie-termen; power-verlies door collineariteit; en eventueel de design puntjes, e.g. dat je eigenlijk sowieso een longitudinaal experimenteel design nodig hebt). Ik denk dat het waardevol kan zijn als je duidelijk uitlegt hoe vervolgonderzoek er uit zou moeten zien: dit kan voor je begeleider, en toekomstige studenten bij die begeleider, erg bruikbaar zijn.
Met betrekking tot conclusies over je hypothesen zou ik zeer, zeer terughoudend zijn. 131 deelnemers zijn heel weinig mensen om zoveel hypothesen meer te onderzoeken, dus je maakt sowieso een aantal type-1 fouten en een aantal type-2 fouten. En er is geen manier om te weten welke van de significante p-waarden type-1 fouten zijn, en welke van de niet significante p-waarden type-2 fouten zijn . . .
Sorry voor het slechte nieuws. Ik hoop dat de uitgebreide uitlegen het inzicht dat je daar hopelijk door verwerft ietwat als pleister op de wonde kan functioneren . . . Uiteindelijk, moet je maar denken, leren we sowieso niet van 1 enkele studie. We leren alleen door middel van meta-analyses van tientallen studies; en in die meta-analyses wordt de power vanzelf meer. Dus je onderzoek kna nog steeds bijdragen aan de kennis over de menselijke psychologie. Alleen wat meer lange-termijn :-)