Experience Sampling Method is een methode die revolutionair is in de manier waarop er gegevens worden verzameld. Milla wijst ons in deze blog op een aantal uitdagingen die gepaard gaan bij het gebruik van ESM-methode. 

Betere data, betere antwoorden

Stel je voor dat je in staat bent om de ups en downs van je stemming gedurende een dag bij te houden, of te begrijpen hoe bepaalde omgevingen je stressniveaus beïnvloeden. In ons lab hebben we zo’n methode, die heet de Experience Sampling Method (ESM). ESM is revolutionair in de manier waarop we gegevens verzamelen. Dit doen we door middel van systematische zelfrapportages van gedrag, emoties of ervaringen te verzamelen terwijl ze plaatsvinden in dagelijkse van het individu. Maar nu ESM aan populariteit wint, is het cruciaal om te overwegen hoeveel we daadwerkelijk kunnen vertrouwen op de gegevens die het oplevert.

Data hoeveelheid en kwaliteit, de ruggengraat van ESM-onderzoek

Wat bedoelen we met datahoeveelheid en -kwaliteit? Stel je voor dat je een fitness-tracker hebt die elke dag je stappen telt. Datahoeveelheid gaat over of je stappen effectief allemaal geregistreerd worden die dag (soms kan er een technisch probleem zijn en verlies je de gegevens), terwijl datakwaliteit gaat over hoe nauwkeurig en betrouwbaar die informatie is (telde de fitness-tracker alleen stappen of ook plotselinge bewegingen in de auto?).
Omdat ESM van deelnemers vereist om meerdere keren per dag zeer korte vragenlijsten in te vullen, krijgen we een realtime inkijk in hun ervaringen. Echter hangt de effectiviteit van ESM af van – je raadt het al – datahoeveelheid en -kwaliteit.

Uitdagingen

Datahoeveelheid in ESM gaat over hoe consistent deelnemers de vragenlijsten invullen. Stel je voor dat je een onderzoek uitvoert met behulp van ESM om de dagelijkse stemming van mensen bij te houden. Als een deelnemer vergeet of ervoor kiest om de enquêtes een dag of twee niet in te vullen, kunnen er gaten in onze gegevens ontstaan. Dit lijkt dan op een puzzel in elkaar zetten met ontbrekende stukjes – het is moeilijker om het volledige plaatje te zien.

Datakwaliteit daarentegen hangt af van verschillende belangrijke factoren. Een voorbeeld hiervan is ‘op automatische piloot’ antwoorden, wat gebeurt wanneer deelnemers snel antwoorden zonder er veel over na te denken. Dit kan zijn zoals snel door een meerkeuzetoets bladeren zonder echt elk optie te overwegen. In ESM is het belangrijk dat deelnemers de tijd nemen en doordachte antwoorden geven, zodat we kunnen vertrouwen op de nauwkeurigheid van de gegevens die hun ervaringen weergeven.

Reactiviteit is een andere factor die van invloed is op de kwaliteit van de gegevens. Dit gebeurt wanneer deelnemers hun gedrag of gevoelens veranderen omdat ze weten dat ze worden geobserveerd. Als iemand bijvoorbeeld weet dat hen wordt gevraagd naar hun stemming gedurende de dag, besteden ze misschien meer aandacht aan hun emoties dan ze normaal zouden doen. Dit verhoogde bewustzijn kan van invloed zijn op de gegevens die we verzamelen, dus het is iets waar we rekening mee houden bij het ontwerpen van ESM-studies.

Ten slotte is er de last die iemand ervaart bij het gebruik van ESM. Hoeveel voelt de deelnemer zich gestoord of gehinderd door de vragen. Als het te belastend is, is een deelnemer misschien minder geneigd om consequent de enquêtes in te vullen. Dus, we streven ernaar ESM-studies zo te ontwerpen die deze de last minimaliseert, zodat deelnemers zich op hun gemak voelen en gemotiveerd zijn om deel te nemen.

Boeiende inzichten in menselijk gedrag ontdekken

In mijn promotieonderzoek onderzoek ik nu net wat de informatie die we verzamelen in ESM-studies betrouwbaar maakt. Door deze cruciale elementen te begrijpen, wil ik andere onderzoekers helpen om nog betere studies met behulp van ESM uit te voeren. Beschouw de richtlijnen die ik geef als een handige gereedschapskist voor ESM-onderzoekers, gevuld met strategieën om de beste gegevens te verzamelen. Met deze tools kunnen onderzoekers hun studies met vertrouwen en precisie uitvoeren, boeiende inzichten in menselijk gedrag ontdekken. Hieronder geef ik twee voorbeelden van de vragen die ik stel in mijn onderzoek.

Hoe kunnen we deelnemers het beste belonen?

Heb je je ooit afgevraagd wat mensen meer geneigd maakt om deel te nemen aan een onderzoek? In ESM-onderzoek blijken beloningen, of ‘incentives’, een grote rol te spelen. Deze prikkels kunnen verschillende vormen aannemen – zoals geld, gepersonaliseerde feedback aanbieden, of het onderzoek zelfs omvormen tot een leuk spel. Als je weet dat er iets in zit voor jou, zoals een kleine bonus of nuttige feedback, ben je misschien meer gemotiveerd om mee te doen. Recente studies hebben gevonden dat wanneer deelnemers visuele en gepersonaliseerde feedback ontvangen, ze meestal meer betrokken zijn en de vragenlijsten vaker invullen. Maar eigenlijk weten we nog niet welke soorten beloningen het beste werken en hoe ze de kwaliteit van de informatie die we verzamelen beïnvloeden.

Stellen we de juiste vragen?

Heb je je ooit afgevraagd hoe onderzoekers weten of de vragen die ze stellen in een onderzoek goede vragen zijn? ESM is relatief nieuw, en de vragen, of items, die onderzoekers gebruiken zijn nog niet altijd door dezelfde testfases gegaan als in andere soorten studies. Een van de belangrijkste dingen waar ik naar kijk, is hoe goed de vragen onze emoties vastleggen. In ESM praten we vaak over negatieve en positieve gevoelens, en ik wil erachter komen welke vragen het beste werk doen om deze te meten. Dit is ontzettend belangrijk voor het bestuderen van hoe onze emoties in de loop van de tijd veranderen en hoe ze verbonden zijn met ons mentale welzijn.
Door dieper in te gaan op de kwaliteit van deze vragen, kunnen we ervoor zorgen dat de informatie die we verzamelen in ESM-studies betrouwbaar en nuttig is, ongeacht wie we bestuderen. We werken ook aan een speciale tool om onderzoekers te helpen gemakkelijk de beste vragen voor hun studies te vinden, waardoor het hele onderzoeksproces nog soepeler verloopt!

Het team van het Centrum voor Contextuele Psychiatrie (CCP) onder leiding van Professor Inez Germeys verzorgt regelmatig een blog over nieuwe ontwikkelingen in de wetenschap op het gebied van psychiatrie in het algemeen en psychose in het bijzonder. (twitter: @ccp-leuven; @inezgermeys)

Meer lezen over onderzoek uitgevoerd door het Centrum voor Contextuele Psychiatrie kan via deze link.