Dit schrijven kwam tot stand in samenwerking met gezinstherapeut Julie Janssen die tevens onderzoeker is in het Centrum voor Contextuele Psychiatrie aan de KU Leuven.

Wat is repliceren van onderzoek en waarom is het zo belangrijk?

Open Science is een verzamelnaam voor praktijken die trachten onderzoek zo transparant mogelijk te maken. Op die manier probeert men tegemoet te komen aan de gevolgen van de replicatiecrisis die een tiental jaar geleden blootlegde hoe onderzoek vaak niet gerepliceerd kon worden. Dit wil zeggen dat men hetzelfde onderzoek niet opnieuw kon uitvoeren en daarom ook niet zeker kon zijn van de resultaten die uit dat onderzoek voortkwamen. Bovendien is repliceren van onderzoek belangrijk zodanig dat we zekerder kunnen worden van onderzoeksresultaten aangezien resultaten uit verschillende onderzoeken soms tegenstrijdig kunnen zijn of minder betrouwbaar omdat ze slechts in een hele kleine groep van mensen zijn gevonden. Door onderzoek te repliceren kunnen we tegenstrijdigheid in onderzoeksresultaten oplossen en resultaten betrouwbaarder maken door hetzelfde onderzoek in andere of grotere groepen van mensen uit te voeren. Dit is nodig om ‘evidence-based’ preventie en behandelmogelijkheden te ontwikkelen en verbeteren.

Wat betekent Open Science?

Daarom proberen heel wat huidige onderzoekers hun eigen onderzoek transparanter, repliceerbaarder en reproduceerbaarder te maken aan de hand van Open Science praktijken. Een ander voorbeeld van een Open Science praktijk is het registreren van je voorspellingen en analyseplan vóór je de data gaat verzamelen of analyseren. Dit heet ‘pre-registratie’ en voorkomt dat beslissingen/voorspellingen gemaakt worden op basis van kennis die je hebt over de data. Door deze voorspellingen en analyses op voorhand vast te leggen worden resultaten betrouwbaarder en wordt het bovendien gemakkelijker voor andere onderzoekers om het onderzoek te repliceren (opnieuw te doen).

Belang van data voor onderzoekers

Eén van de belangrijkste taken van onderzoek in de psychiatrie is het verklaren en voorspellen van psychologische fenomenen. Om te testen of hun verklaringen en voorspellingen juist zijn, moeten onderzoekers deze nagaan bij mensen in de echte wereld.
Als een onderzoeker bijvoorbeeld beweert dat meditatie kan worden gebruikt om de symptomen van depressie te verminderen, moet hij deze voorspelling gaan testen en dit kan hij doen op verschillende manieren. Hij zou een experiment kunnen uitvoeren waarbij hij willekeurig mensen opdraagt om te mediteren (of niet te mediteren) om dan te kijken hoe beide groepen verschillen in de mate van depressiesymptomen. Of, een andere manier is om aan mensen te vragen hoe vaak ze mediteren en hoe depressief ze zich voelen, en dan te onderzoeken of mensen die meer mediteren zich minder depressief voelen.
In beide voorbeelden verzamelt de onderzoeker informatie over de deelnemers, die vervolgens wordt omgezet in getallen – ‘data’. Dit wordt nadien geanalyseerd en de resultaten worden openbaar gemaakt in de vorm van een wetenschappelijk artikel. Echter, de resultaten worden zo beschikbaar gemaakt voor het publiek, de data erachter vaak niet. Waarom zou het openbaar maken van data goed zijn voor de wetenschap? Kan het delen van data ook problemen opleveren? En hoe zouden we die problemen dan kunnen oplossen?

Voordelen van data delen

Wanneer onderzoekers hun data delen, worden hun resultaten betrouwbaarder en helpen ze de wetenschap efficiënter werken. Hoe zit dat nu juist? Wel, ondanks dat onderzoekers vaak zeer bekwame mensen zijn die hun best doen om de resultaten zo betrouwbaar mogelijk te maken, is het niet onwaarschijnlijk dat er al eens fouten worden gemaakt. Wanneer de data die zijn gebruikt om tot de resultaten te komen óók openlijk beschikbaar gemaakt worden, kunnen andere onderzoekers de analyses gemakkelijk controleren en wijzen op mogelijke problemen. Bovendien is het verzamelen van menselijke data duur en brengt het veel werk met zich mee. Als onderzoekers de data kunnen gebruiken die anderen hebben verzameld om hun eigen vragen te onderzoeken, wordt het hele proces efficiënter en kan de wetenschap sneller vooruitgang boeken.

Mogelijke nadelen van data delen

Natuurlijk zijn de dingen niet altijd zo eenvoudig. Wanneer onderzoekers hun gegevens niet publiekelijk delen, hebben ze daar vaak goede redenen voor. Ten eerste zijn de gegevens die in psychiatrisch onderzoek worden gebruikt vaak zeer gevoelig. Hoewel ze meestal geanonimiseerd zijn (dat wil zeggen dat niemand direct kan zien welke observaties bij welke personen horen), kunnen ze nog steeds informatie bevatten die misbruikt zou kunnen worden als iemand zomaar alle onderzoeksdata van het internet zou kunnen downloaden.
Bovendien kan het openbaar delen van data de betrouwbaarheid niet alleen vergroten, maar ook net verkleinen. Weet je nog dat we zeiden dat data moeten worden gebruikt om de voorspellingen of verklaringen van de onderzoekers te testen? Het probleem met het openbaar maken van alle gegevens is dat het vaak de grens kan doen vervagen tussen het gebruik van gegevens om voorspellingen te testen en het gebruik ervan om voorspellingen te maken. Hoewel dit misschien een onbelangrijk detail lijkt, kan het een groot verschil maken. Stel dat uw vriend beweert dat hij een uitstekende kennis heeft van de voetbalwereld. Zou je hem meer vertrouwen als hij erin slaagt de uitslag van vijf wedstrijden correct te voorspellen vóórdat ze plaatsvinden, of zou je nog steeds zeggen dat hij een voetbalexpert is als hij je vertelt dat hij de scores van wedstrijden die al hebben plaatsgevonden correct heeft voorspeld? Bij wetenschappelijk onderzoek werkt het net zo – in de meeste gevallen is het beter als onderzoekers de gegevens pas zien nadat ze hun voorspellingen hebben vastgesteld, zodat de data ze ook kunnen weerleggen.

Data check-out systeem

Het delen van data is goed voor de wetenschap. Het kan echter ook veel problemen opleveren. Moeten we dan onze data veilig opgesloten houden in onze kantoren en de voordelen ervan opgeven? Dat hoeft niet. Er zijn oplossingen waarmee wetenschappers de goede kanten van het openbaar delen van data kunnen behouden en tegelijkertijd de privacy van de deelnemers maximaal kunnen beschermen. Eén daarvan is het gebruik van een ‘data check-out systeem’ – zoals DROPS, een oplossing die gebruikt wordt bij het Centrum voor Contextuele Psychiatrie. Hoewel de gegevens in DROPS niet rechtstreeks openbaar zijn, garandeert het systeem dat data gedeeld wordt met iedereen die deze aanvraagt met een goed plan voor analyse (inclusief hun voorspellingen). Zo kan er gedetailleerd bijgehouden worden wie de data heeft opgevraagd en wanneer. Dit helpt om de data van de deelnemers veilig te stellen en ervoor te zorgen dat de onderzoekers de data alleen te zien krijgen nadat ze hun voorspellingen duidelijk hebben vastgelegd.

Meer lezen over onderzoek uitgevoerd door het Centrum voor Contextuele Psychiatrie kan via deze link.