Gastblog door Carolyn E. Wilshire, ME Association, 9 mei 2019
Carolyn E. Wilshire
Er zijn maar weinig mensen in de ME/cvs-gemeenschap die nog nooit over de PACE-trial gehoord hebben. Deze klinische studie die 5 miljoen Britse pond kostte, was ontworpen om de doeltreffendheid van cognitieve gedragstherapie (CGT) en graduele oefentherapie (GET) te testen als behandelingen voor mensen met “chronisch vermoeidheidssyndroom” (CVS).
Publicaties van de studie beweerden dat CGT en GET niet alleen de symptomen van CVS konden verlichten, maar voldoende waren om meer dan een vijfde van de patiënten weer gezond te maken. Hier vertellen we het verhaal van hoe een groep patiënten samenwerkte met onderzoekers en statistici om deze stoutmoedige beweringen grondig te onderzoeken.
Hoe het verhaal zich ontvouwde
Ons verhaal begint in 2007, toen het plan voor de PACE-studie voor het eerst werd gepubliceerd. De studie zou de doeltreffendheid van CGT en GET bepalen aan de hand van vragenlijsten.
Verschillende leden van de ME/cvs-gemeenschap waren bezorgd. Als het doel van de behandeling is om patiënten enige functie te laten herwinnen, dan moeten we toch zeker meten of behandeling hun eigenlijke activiteitenniveaus verhoogt?
Sommigen schreven brieven, en wezen erop hoe gemakkelijk het zou zijn om de activiteitenniveaus te meten, aangezien de studiedeelnemers sowieso toch een activiteitenmeter zouden krijgen. Deze zorgen werden niet gehoord. De studie ging verder zoals gepland.
En inderdaad, enkele jaren later, toen de resultaten van de vragenlijsten eindelijk gepubliceerd werden, waren de resultaten bijna te mooi om waar te zijn. CGT en GET werden voorgesteld als “uiterst doeltreffende” behandelingen voor CVS, die tot herstel leiden bij meer dan een vijfde van de studiedeelnemers.
Een groep van wetenschappelijk ingestelde patiënten – waaronder Tom Kindlon, Robert Courtney en Alem Matthees – onderzochten zorgvuldig de publicaties van de studie, en kwamen enkele opvallende eigenaardigheden tegen. De onderzoekers hadden bijvoorbeeld halfweg de studie hun definities van verbetering en herstel gewijzigd.
Zouden deze veranderingen in het voordeel gewerkt kunnen hebben van de hypotheses van de studie? De enige manier om dat zeker te weten, was om de data te onderzoeken. Dus deze onverschrokken patiënten schreven verzoeken om data, eerst aan de onderzoekers zelf, daarna aan hun instellingen, en tot slot verzoeken onder de Wet op de Vrijheid van Informatie (FOI).
Bij elke stap werden ze geconfronteerd met weigeringen – en erger. Ze werden beschuldigd van pesterijen, van ergerlijk gedrag. Ze werden door de studieonderzoekers beschreven als leden van een “uiterst georganiseerde, zeer luide en zeer schadelijke groep van personen,” die de patiënten die deelgenomen hadden aan de studie, wilden ontmaskeren en in diskrediet brengen.
“Uiteindelijk werd in oktober 2015, na een langdurige rechtszaak, Alem Matthees’ verzoek ingewilligd. Een deel van de data van de PACE-studie zouden onder de FOI-wetgeving vrijgegeven worden voor het publiek.”
Wat onze heranalyse ontdekte
Rethinking the treatment of chronic fatigue syndrome-a reanalysis and evaluation of findings from a recent major trial of graded exercise and CBT
The PACE trial was a well-powered randomised trial designed to examine the efficacy of graded exercise therapy (GET) and cognitive behavioural therapy (CBT) for chronic fatigue syndrome. Reports concluded that both treatments were moderately effective, each leading to recovery in over a fifth of patients.
De groep werkte samen met twee senior statistici en begon de gegevens te analyseren. Ik bood mijn hulp aan als onderzoeker in de psychologie. Mijn deel was eenvoudig. Ik werd lid van een groep die reeds een goed begrip had van de studie en haar problemen, en die reeds met de data gewerkt hadden.
“Het team had bijvoorbeeld ontdekt dat, als de studiedefinitie van herstel niet gewijzigd was, er slechts 3-7% van de patiënten als hersteld gerekend zou worden, en dat CGT en GET de kansen op herstel niet significant verbeterde in vergelijking met standaard medische zorg alleen.”
Nu was het alleen nog een kwestie van het onderzoeken van de andere studiemetingen, het nauwkeurig onderzoeken van de verschillende problemen en argumenten, en alles samen te voegen voor publicatie.
- Je kan onze volledige paper van de heranalyse gratis lezen in het wetenschappelijk tijdschrift BMC Psychology.
Tom Kindlon
Elke hoogkwalitatieve klinische studie begint met een geschreven plan (of protocol) dat uiteenzet wat gemeten zal worden en hoe de resultaten geanalyseerd zullen worden. Zo’n plan hebben – en zich eraan vasthouden – voorkomt dat onderzoekers de beste resultaten uit de studie gaan pikken (“cherry picking”) en de zwakkere weglaten. Het helpt iedereen om het eerlijk te houden.
Het protocol voor de PACE-trial zette uiteen hoe succes gemeten zou worden: door te tellen hoeveel deelnemers aan het einde voldeden aan de studiedefinitie van “verbetering”. Om als algemeen verbeterd mee te tellen, moesten patiënten verminderde niveaus van vermoeidheid rapporteren en een toename in fysieke capaciteiten.
De onderzoekers hielden zich echter niet aan dit plan. Ze veranderden de primaire uitkomstmaten halfweg de studie.
In onze heranalyse gingen we kijken hoe de resultaten eruit zouden zien als het protocol was gevolgd. We hebben gevonden dat, hoewel sommige patiënten die CGT en GET kregen, licht verminderde vermoeidheid of toegenomen activiteit na behandeling rapporteerden, deze kleine voordelen vaak niet voldeden aan de studiedefinitie van “algehele verbetering”.
“Over het algemeen hadden patiënten die CGT en GET kregen, niet meer kans om te verbeteren dan degenen die alleen standaard medische zorg kregen. En bij opvolging op lange termijn (ongeveer een jaar na het einde van de studie) waren zelfs de kleine voordelen die patiënten gemeld hadden, verdwenen.”
Met andere woorden, op lange termijn verging het patiënten die CGT of GET kregen, niet beter dan degenen die alleen standaard medische zorg kregen.
Je zou kunnen zeggen, “wel, patiënten die CGT en GET kregen, zeiden dat ze zich iets beter voelden na de behandelingen. Is dat dan niets waard?” Het probleem hier is dat werkboeken over CGT en GET actief deze behandelingen ondersteunden en bij navolging grote verbeteringen beloofden.
CGT was “een krachtige en veilige behandeling waarvan is aangetoond dat ze doeltreffend is bij … CVS/ME”. GET was “een van de meest doeltreffende behandelstrategieën die momenteel bekend zijn.” Als ze de behandeling trouw volgden, zouden ze verbetering zien.
Robert Courtney, rust in vrede.
We weten al decennia lang dat als een persoon verteld wordt dat een behandeling echt werkt, ze de neiging zullen hebben zich te concentreren op ervaringen (en deze te onthouden) die dit lijken te bevestigen. Dus zelfs als de behandeling geen echt verschil maakte, zijn ze geneigd te zeggen, “ik denk dat ik een beetje beter ben”.
Geneesmiddelenstudies controleren op dit effect door te verzekeren dat deelnemers niet weten of ze het actieve geneesmiddel krijgen of een neppil. In een therapiestudie kunnen we dit natuurlijk niet doen. Maar we mogen zeker de behandeling niet gaan aanprijzen.
En zoals patiënten al aan het begin van de studie hadden aangegeven, zouden we altijd moeten controleren of de ervaring van een persoon wordt ondersteund in objectievere metingen.
Hebben de patiënten bijvoorbeeld hun activiteitenniveau verhoogd, of is hun algehele conditie verbeterd, hadden ze geen uitkering meer nodig of konden ze meer uren werken?
Op de meeste van de objectieve metingen die opgenomen werden in de studie, verging het de patiënten die CGT en GET kregen, niet beter dan degenen in de groep die geen therapie kregen.
“De conclusie was simpel. De bescheiden, kortdurende veranderingen op zelfgerapporteerde metingen waren exact wat je zou verwachten van therapieën die geen echte verandering voortbrengen. Er was weinig bewijs dat CGT en GET echte gezondheidsvoordelen opleverden.”
Het antwoord van de PACE-onderzoekers op onze heranalyse
Een team van de originele PACE-onderzoekers, onder leiding van professor Michael Sharpe, schreef een reactie op onze heranalyse, en we kregen de kans om hierop te antwoorden.
- Je kan de reactie van de PACE-auteurs en ook onze volledige reactie lezen in het wetenschappelijk tijdschrift BMC Psychology
Ik zal slechts een paar fragmenten uit deze correspondentie delen:
Sharpes team argumenteerde dat het oké was om de maatstaven in de studie te wijzigen, omdat de originele “moeilijk te interpreteren” waren, en dat de gewijzigde naar hun mening, “accurater en gevoeliger voor verandering” waren.
Dit was een verbluffende bekentenis. PACE was een grote, volledig gefinancierde klinische studie, en in het onderzoeksteam zaten verschillende ervaren biostatistici. Was het echt mogelijk dat niemand eraan gedacht had om deze kwesties te overwegen vooraleer ze de studie planden?
Een andere, nog meer verbijsterende bewering was dat de gewijzigde maatstaven beter waren, omdat ze resultaten produceerden die dichter lagen bij wat de onderzoekers verwacht hadden. Herstelratio’s waren bijvoorbeeld volgens de originele studie onverwacht laag (7% of minder), maar door die definitie te versoepelen, bereikten ze percentages die dichter aansloten bij hun eigen “klinische verwachtingen”.
Met andere woorden, Sharpe en zijn team leken toe te geven dat ze de metingen eruit pikten die hen het beste resultaat gaf.
Ons antwoord: “Het is duidelijk niet gepast om de definitie van herstel te versoepelen simpelweg omdat de dingen niet verliepen zoals verwacht op basis van eerdere studies. Onderzoekers moeten de mogelijkheid open houden dat hun resultaten mogelijk niet aansluiten bij eerdere bevindingen, noch bij hun eigen vooronderstellingen. Dat is nu net de bedoeling van een studie. Anders is de hele onderneming niet langer echt informatief en wordt een het een oefening in bevestiging van een overtuiging.”
Sharpe en collega’s zagen ook geen probleem in het actief promoten van CGT en GET tijdens de therapie. Dit zou geen effect kunnen hebben op de uitkomst, zo redeneerden ze, omdat patiënten geen algemene vragen kregen over hun gezondheid, maar eerder specifieke vragen over hun vermoeidheid en fysieke functie. Het team leek zich niet te realiseren dat de verwachtingsbias invloed heeft op alle soorten zelfgerapporteerde metingen, waaronder symptoomspecifieke metingen.
Ons antwoord: “(Sharpe et al.) lijken zich er niet van bewust te zijn dat vooringenomenheid voorkomt bij een breed scala aan zelfgerapporteerde metingen, waaronder symptoomspecifieke metingen, en dat ze over het algemeen in dezelfde richting werken doorheen alle soorten zelfgerapporteerde metingen… Bij het beoordelen of zelfgerapporteerde metingen beïnvloed worden door vooringenomenheid, moeten we onderzoeken of ze hetzelfde patroon vertonen als het patroon dat waargenomen wordt bij meer objectieve metingen (vb. schattingen van fysieke fitheid, activiteitsniveaus). Bij de meerderheid van de objectieve metingen die onderzocht zijn in de PACE-studie, verging het CGT en GET echter niet beter dan de andere behandelingsarmen…”
Aan het einde van hun brief gingen Sharpe en collega’s een stap verder. Ze suggereerden dat ons team “weigerachtig” stond tegenover hun bevindingen omdat we niet houden van de implicatie dat CVS een “psychische” aandoening is.
Dit was een gedurfde suggestie om te maken, aangezien ik al zo’n 20 jaar een academicus in de psychologie ben! In onze reactie besloten we echter om ons te concentreren op de vooroordelen van de studieonderzoekers.
Ons antwoord: “Het probleem van ideologische vooringenomenheid is belangrijk… de onderzoekers van de PACE-trial begonnen te werken aan de studie met de stellige overtuiging dat gedachten, gevoelens en gedragingen de centrale bestendigers van CVS waren, en dat psychologische interventies de ziekte zouden kunnen omkeren… We benaderden onze analyse daarentegen vanuit een meer conservatief, sceptisch perspectief: we overwogen dat een vals positieve conclusie betreffende de voordelen van CGT en GET mogelijk schadelijk zou kunnen zijn voor patiënten. Het kon bijvoorbeeld de patiënten hun behandelopties beperken en de kansen verminderen op toekomstig onderzoek naar nieuwe behandelingen. Lezers kunnen de originele bevindingen en de heranalyse bekijken in de context van deze twee heel verschillende perspectieven en hun eigen conclusies trekken.”
Wat hebben we met dit debat bereikt?
Dit debat brengt ons niet dichter bij het oplossen van de puzzel van ME/CVS, noch suggereert het nieuwe manieren om patiënten hun lijden te verlichten. Maar het helpt om te benadrukken hoe bestaande gedragsmatige benaderingen en behandelingen patiënten tekortdoen. Dit is een kleine maar belangrijke stap op de weg naar beter begrip en behandeling van deze wrede, slopende ziekte.
Met dank aan de ME Association voor hun bijdrage in de verwerkingskosten van het artikel dat mogelijk maakte dat onze heranalyse gratis beschikbaar is.
© Carolyn Wilshire voor ME Association. Vertaling Zuiderzon, redactie Abby, ME-gids.
Opnieuw gepubliceerd met vriendelijke toestemming van de Britse ME Association.
Engelse versie beschikbaar op hun website: www.measociation.org.uk
