Dit is een site voor studenten van de Open Universiteit. Voordat je een vraag kunt stellen moet je even een account aanmaken (dit systeem is niet gekoppeld aan je OU studentnummer en wachtwoord).

Welkom bij het vraag- en antwoord systeem van de onderzoeks-practica van de studie psychologie bij de Open Universiteit.

Houd er, als je een vraag stelt, rekening mee dat je de richtlijnen volgt!

De simpelste toets voor een manipulatiecheck wanneer je ook op crossover moet onderzoeken?

0 leuk 0 niet-leuks

Ik heb meerdere topics gelezen over de manipulatie- en crossoverchecks bij het onderzoekspracticum. Toch is mij een ding nog niet helemaal duidelijk.

Ik heb twee condities met twee niveaus. (cond_sc, cond_rv). Tevens heb ik twee controlevragen na de manipulatie om te kijken of de manipulatie heeft gewerkt én of er crossover effecten zijn. 

Nu kan ik een onafhankelijke t-toets doen op de controlevraag die gaat over cond_sc, om te zien of er een significant verschil is tussen de twee niveaus binnen deze conditie en hetzelfde kan ik doen voor de controlevraag die over cond_sv gaat.

Daarna kan ik middels een UNIVARATE-analyse beide condities als factor nemen en één van de controle vragen als onafhankelijke variabele invoeren. Zo kan ik zien of er al dan niet sprake is van een crossover effect. Maar ik kan natuurlijk ook zien of er een hoofdeffect is op de desbetreffende condities (cond_sv en cond_sc). 

voorbeeld univarate:

Controlevraag op cond_sv + beide condities als factor.

  • Wel een significant hoofdeffect op cond_sv ( manipulatie heeft gewerkt)
  • Geen significant hoofdeffect op cond_sc     ( gelukkig geen invloed op deze conditie)
  • Wel een interactieffect tussen cond_sc en cond_sv ( wel een interactieffect (& cohens d = .73 .. heeft dus gevolgen voor de interne validiteit) 

Dan is het doen van een onafhankelijke t-toets toch eigenlijk overbodig? (want het feit dat het hoofdeffect significant is zegt toch al dat de gemiddelden van de 2 niveaus die hierbinnen liggen behoren aan twee verschillende populaties?)

gevraagd 20 november 2016 in Psychologisch Experiment (PE) door Jordi de Geus (120 punten)
gehercategoriseerd 21 november 2016 door Jordi de Geus

1 Antwoord

1 leuk 0 niet-leuks

Het verschil tussen de meerweg anova en de t-toets is dat tenzij je design volledig orthogonaal is, er verschillende uitkomsten uit kunnen komen. Deels daardoor klopt je aanname: als je een significante crossover-interactie hebt, is je validiteit al aangetast, en hebben t-toetsen geen zin meer.

Als je design orthogonaal is (oftewel, onafhankelijk), dan zitten er in elke cel precies evenveel mensen.  Als dat het geval is, hangen je onafhankelijke variabelen dus niet met elkaar samen (als je weet welke 'meetwaarde' iemand voor de ene variabele (manipulatie) heeft, kun je nog niets zeggen over welke 'meetwaarde' diegene voor de andere variabele (manipulatie) heeft). Als je design niet volledig orthogonaal is, is er wel samenhang tussen je onafhankelijke variabelen, en in dat geval kunnen ze elkaar ook overlappen in hun voorspelling van de afhankelijke variabele. Ze delen dan verklaarde variantie in de afhankelijke variabele.

Statistische programma's weten niet waar die overlappende verklaarde variantie dan bij hoort (i.e. bij welke voorspeller), en snijdt die helemaal uit je model. Omdat je dan je onafhankelijke en afhankelijke variabelen hebt aangepast (want voor psychologische variabelen betekent het verwijderen van variantie vaak dat je de variabele wat aanpast; je kunt het zien als een item in een vragenlijst niet mee meetellen), kun je andere uitkomsten krijgen.

Een ander verschil (maar dat bepaal je zelf door er een interactieterm in op te nemen) is dat je in meerweg anova, als je een factorieel design toetst, een interactieterm hebt, die je natuurlijk niet hebt in een t-toets.

Als je een significante interactie hebt, bestaan er geen hoofdeffecten meer. Hoofdeffecten betekenen 'een effect van X op Y'. Interactie betekent 'het effect van X op Y hangt af van het niveau van Z'. Als dat laatste het geval is, is het nonsensical om te spreken van 'een effect van X' - er zijn dan evenveel 'effecten van X' als er waarden van Z zijn. Die kunnen verschillende sterktes hebben, maar het kan ook zo zijn dat het effect er voor sommige waarden van Z wel is en voor anderen niet, of zelfs omgekeerd is. Zelfs als ze niet omgekeerd zijn, en altijd aanwezig, is het niet correct om het hoofdeffect te interpreteren als een soort 'gemiddeld effect' van X; dat 'gemiddelde effect' bestaat immers wellicht voor geen enkel individu. Als er interactie is, bestaan er dus alleen simple effects.

Dus, laten we een voorbeeld nemen; je hebt een 2x2 design waarin je stress en moeheid manipuleert en het effect meet op het maken van een statistiektoets. Om stress te manipuleren speel je terwijl de deelnemers een half uur wachten om te beginnen ofwel Raverbashing van Atari Teenage Riot (ATR), Goodnight van Helen Jane Long (HJL). Om moeheid te manipuleren instrueer je deelnemers ofwel om de nacht voor het experiment niet te slapen, ofwel om juist vroeg naar bed te gaan. Je hebt een vraag om moeheid te meten, eentje om stress te meten, en dan maken deelnemers de statistiektoets.

Als je nu evenveel deelnemers in elke conditie hebt (een orthogonaal design), vindt je op de t-toetsen voor de crossover effecten precies hetzelfde als in een meerweg anova zonder interactieterm. Als we hier geen crossover effecten vinden, lijken de manipulaties dus valide. In dit geval zou dat betekenen dat de deelnemers die niet hebben geslapen zich gemiddeld genomen meer moe voelden, en dat de deelnemers die naar ATR hebben geluisterd zich meer gestresst voelen dan de deelnemers die naar HJL hebben geluisterd. So far so good.

Alleen - stel nu dat als je het factoriele design toetst in de meerweg anova (dus inclusief de interactieterm), dat dan de interactie significant is. De mensen die naar ATR hebben geluisterd zijn niet moe, of ze nu hebben geslapen of niet. Oftewel, het effect van de moeheidsmanipulatie is afhankelijk van de muziekmanipulatie: er is alleen effect als mensen naar JHL hebben geluisterd. In dat geval kun je dus alleen iets zeggen over het effect van moeheid als mensen niet gestressed zijn: alleen in de JHL conditie. Dit betekent;

  1. Je kunt niets zeggen over moeheid in het algemeen; je weet niet precies wat er verder nog speelt. Je kunt niet uitsluiten dat de moeheidsinterventie een eventueel effect uitsluitend heeft in combinatie met de JHL muziek (je weet immers niet of ATR de verstorende factor is, of de JHL muziek - misschien werden de mensen wel moe van JHL, en niet van hun slaapgebrek).
  2. Je kunt niets zeggen over een eventuele interactie tussen die twee variabelen, want je weet niet precies wat er gebeurde.

Als je dus crossover-effecten hebt in de interactie heb je ook een probleem (als in, je design is niet valide). Maar - dit hele concept van crossover interacties valt dacht ik buiten deze cursus, omdat het conceptueel een stuk complexer is dan reguliere crossover effecten. Dit even voor andere studenten die dit lezen en niet helemaal kunnen volgen.

PS: de simpelste toets is de t-toets. Die is verreweg het eenvoudigst om goed te begrijpen; meerweg anova is een stuk complexer. Bovendien moet je sowieso 2 toetsen doen, want je moet beide manipulatiechecks als afhankelijke variabelen invoeren, dus je wint niet echt iets met een meerweg anova - tenzij je ook op crossover interacties wil toetsen.

beantwoord 23 november 2016 door Gjalt-Jorn Peters (36,260 punten)
...