Ginette Lafit, postdoctoraal onderzoeker, werkt als statisticus, specifiek toegepast op psychologisch onderzoek. Ze focust vooral op het aanpakken van methodologische moeilijkheden en het ontwikkelen van statistische methodes voor het analyseren van grote hoeveelheden data die over langere tijd verzameld zijn.
Om deze statistische methodes vlot beschikbaar te maken, ontwikkelt Ginette ook open-source software.
Een voorbeeld: kan breien stress verlagen?
Wat bedoelen onderzoekers wanneer ze zeggen dat een bepaalde wetenschappelijke ontdekking niet gerepliceerd kan worden? Om deze vraag te beantwoorden, nemen we het voorbeeld van Richie. Richie onderzoekt of breien een manier kan zijn om stress te verlagen. Om dit te onderzoeken, bedenkt hij een experiment waarbij de deelnemers verdeeld worden in twee groepen. Deelnemers in de eerste groep (de “experimentele groep”) kijken naar een horrorfilm terwijl ze een sjaal breien. Deelnemers in de tweede groep (de “controlegroep”) kijken naar dezelfde horrorfilm, maar doen helemaal niets ondertussen. In elke groep zitten 20 deelnemers, dus in totaal zijn er 40 deelnemers in de studie van Richie.
Zowel voor als na het kijken naar de film geven alle deelnemers aan hoe gestresseerd ze zich voelen door punten te geven op een schaal van 0 (helemaal niet gestresseerd) tot 100 (extreem gestresseerd). Richie vindt dat het stressniveau in de controlegroep toegenomen is met 40 punten na het bekijken van de film, terwijl het stressniveau van de experimentele groep slechts met 5 punten is toegenomen na het bekijken van de film. Richie besluit daaruit dat breien tijdens een stresserende situatie het stressniveau van de deelnemers met 25 tot 45 punten verlaagt.
De resultaten van Richie worden gepubliceerd in een belangrijk wetenschappelijk tijdschrift en zorgen voor een revolutie in het behandelen van angst en stress. Enkele jaren later besluiten verschillende andere onderzoekers om de studie van Richie te herhalen. Hoewel ze het onderzoek allemaal op exact dezelfde manier uitvoeren als Richie, zijn hun resultaten veel minder opwindend. In sommige onderzoeken is het verschil in het stressniveau tussen de experimentele groep en de controlegroep veel kleiner. Sommige onderzoekers vinden zelfs helemaal geen verschil tussen de twee groepen! (zie figuur). Om te begrijpen hoe het kan dat er zoveel verschil is tussen de resultaten van alle herhaalde onderzoeken, trekt Richie naar statisticus Dr. Lafit. Dr. Lafit stelt vast dat Richie de afname in stress door het breien heel erg overschat heeft in zijn studie en legt uit dat dit kan gebeuren in onderzoeken met een klein aantal deelnemers.
Waarom is het aantal deelnemers belangrijk in wetenschappelijk onderzoek?
Het strikt bepalen van de grootte van de steekproef (d.w.z. het vooropgestelde aantal deelnemers aan een onderzoek) is cruciaal wanneer een onderzoek opgestart wordt. De hoeveelheid data die verzameld wordt tijdens het onderzoek bepaalt hoeveel informatie beschikbaar is om onderzoeksvragen op een betrouwbare manier te beantwoorden. In het voorbeeld van Richie zien we een veel voorkomend gevolg van kleinschalige onderzoeken. De resultaten van het originele (kleinschalige) onderzoek kunnen hard afwijken van de resultaten van latere onderzoeken. In andere woorden: de resultaten van het originele onderzoek kunnen niet gereproduceerd worden. Dat Richie’s resultaten niet gereproduceerd konden worden door andere onderzoekers, toont aan dat de grote invloed van breien op het stressniveau van de deelnemers in Richie’s onderzoek waarschijnlijk een overschatting was van de werkelijke invloed van breien op stress.
Gepaste steekproefgroottes als deel van de oplossing
Dit werpt ook een licht op de ethische dimensie die samenhangt met het baseren van behandelingen en therapieën op onderzoek dat slechts uitgevoerd is met een klein aantal deelnemers. Hoewel het voorbeeld van Richie verzonnen is, zijn er in de psychologie veel kleinschalige onderzoeken die een grote impact hebben gehad op theorieën en behandelingen. Door onderzoek te doen met voldoende grote steekproeven, zorgen we er mee voor dat reproduceerbare resultaten de norm worden.
Ervoor zorgen dat steekproeven voldoende groot zijn om de onderzoeksvragen te kunnen beantwoorden, is een antwoord op de vraag hoe we foute onderzoeksresultaten kunnen vermijden. Dit is echter slechts één deel van een groter verhaal. Een andere oplossing is het toepassen van betere onderzoekspraktijken, zoals registered reports waarbij onderzoeken opgesteld en beoordeeld worden voordat de dataverzameling en/of data-analyse plaatsvindt. Op die manier zijn ze niet onderhevig aan publicatiebias, en zoals grootschalige herhalingen van onderzoeken in meerdere onderzoeksgroepen, waarbij onderzoekers van verschillende instellingen samenwerken om hetzelfde onderzoek gelijktijdig en op dezelfde manier uit te voeren. Dit zijn allemaal stappen in de goede richting om robuuste en geloofwaardige wetenschappelijke resultaten te bekomen, wat de (klinische) praktijk uiteindelijk ook kan verbeteren.
Bijschrift figuur
Op de eerste rij staat Richie’s onderzoek en op de rijen daaronder staan de herhalingen die andere onderzoekers gedaan hebben. De gekleurde lijntjes stellen het 95% betrouwbaarheidsinterval voor van de invloed van breien op het stressniveau van de deelnemers. Het bolletje in het midden van elk interval geeft de geschatte invloed weer. De rode intervallen bevatten de waarde nul (d.w.z. dat er geen invloed gevonden is), de groene intervallen bevatten de waarde nul niet (d.w.z. dat er wel invloed gevonden is).
Ginette Lafit is een postdoctoraal onderzoeker bij de Onderzoeksgroep Kwantitatieve Psychologie en Individuele Verschillen en het Centrum voor Contextuele Psychiatrie aan de KU Leuven.
Deze blog werd vertaald door Eva Bamps.
Meer lezen over psychologisch onderzoek Wat bij onderzoek met suïcidale deelnemers?
Reacties: