Julie Rehmeyer, STAT, 21 september 2016
Als uw arts u de diagnose chronisch vermoeidheidssyndroom geeft, zal u waarschijnlijk twee adviezen krijgen: ga naar een psychotherapeut en ga wat bewegen. Uw arts kan u vertellen dat een van deze behandelingen u 60% kans zal geven op beter worden en 20% kans op volledig herstel. Want dit is wat onderzoekers geconcludeerd hebben in een studie in 2011 die gepubliceerd werd in het medische tijdschrift The Lancet, samen met latere analyses.
Probleem is dat de studie slechte wetenschap was.
En we zijn nu aan het uitzoeken hoe slecht precies.
Onder gerechtelijk bevel hebben eerder deze maand de auteurs van de studie voor het eerst hun ruwe data vrijgegeven. Patiënten en onafhankelijke wetenschappers hebben samengewerkt om ze te analyseren en hebben hun bevindingen op woensdag 21 september op Virology Blog gepost, een website gehost door professor microbiologie aan Columbia, Vincent Racaniello.
Uit de analyse blijkt dat als u reeds standaard medische zorg krijgt, uw kansen op geholpen te worden door de behandelingen, in het beste geval 10 procent zijn. En uw kansen op herstel? Nagenoeg nihil.
De nieuwe bevindingen zijn het resultaat van een vijf jaar durende strijd die ME/CVS-patiënten – waaronder ik – gevoerd hebben om de feitelijke data te evalueren die ten grondslag liggen aan de studie van 8 miljoen dollar. Het was een strijd die, tot een jaar geleden, bijna hopeloos leek.
Toen de Lancet-studie, bijgenaamd de PACE-trial, voor het eerst uitkwam, haalden zijn opgeblazen claims de krantenkoppen over de hele wereld. “Hebt u ME? Ga gewoon bewegen, zeggen wetenschappers,” schreef de Independent, die het acroniem gebruikte voor de internationale naam van de ziekte, myalgische encefalomyelitis. (Federale instanties noemen het nu ME/CVS). De bevindingen hadden verder ook invloed op de behandelingsaanbevelingen van de CDC, de Mayo Clinic, Kaiser, het Britse National Institute for Health and Care Excellence (NICE), en nog veel meer (waaronder ook het Belgische RIZIV en de Nederlandse CBO-richtlijn n.v.d.r.).
Maar patiënten zoals ik waren onmiddellijk sceptisch, omdat de resultaten haaks stonden op de essentiële ervaring van onze ziekte: het kenmerk van ME/CVS is dat zelfs een lichte inspanning alle andere symptomen van de ziekte kan doen toenemen, waaronder niet alleen diepgaande vermoeidheid maar onder andere ook cognitieve stoornissen, moeilijkheden met de regulering van de bloeddruk, niet-herstellende slaap, en neurologische en immuundisfunctie.
Kort nadat ik de diagnose kreeg in 2006, kwam ik erachter dat ik moest rusten op het moment dat ik dacht, “Ik ben een beetje moe.” Anders zou ik de volgende dag waarschijnlijk half verlamd zijn en nauwelijks in staat zijn om te stappen.
De onderzoekers voerden aan dat patiënten zoals ik, die zich zieker voelden na inspanning, gewoon niet goed genoeg hun activiteit opgebouwd hadden. Start laag, bouw langzaam maar zeker op, en krijg professionele begeleiding, adviseerden ze. Maar ik had gezien hoe vijf minuten zwemmen mij soms bedlegerig maakte, zelfs als ik de dag ervoor zonder probleem 10 minuten had gezwommen. In plaats van te proberen om continu mijn inspanning te verhogen, heb ik geleerd mij te concentreren op het binnen mijn steeds veranderende grenzen blijven – een aanpak waarvan de onderzoekers zeiden dat die helemaal verkeerd was.
Een ziekte ‘tussen mijn oren’?
De claim over psychotherapie maakte mij ook sceptisch. Praten met een therapeut had mij geholpen om mijn verstand niet te verliezen, maar het weerhield mij niet van het verliezen van mijn gezondheid. Verder bevalen de onderzoekers niet gewone psychotherapie aan – ze bevalen een vorm van cognitieve gedragstherapie aan dat de overtuigingen van de patiënt bestreed dat ze een fysiologische ziekte hadden die hun vermogen om te bewegen beperkte. In plaats daarvan adviseren de therapeuten dat patiënten alleen maar actiever moeten worden en hun symptomen moeten negeren om volledig te herstellen.
Met andere woorden, terwijl de ziekte getriggerd zou kunnen zijn door een virus of andere fysiologische stressor, zat het probleem vrijwel helemaal tussen onze oren.
Dit in tegenstelling tot de Amerikaanse onderzoeksgemeenschap, waar geen ernstige onderzoekers twijfels uitten over de biologische basis voor de ziekte. Immunologen vonden duidelijke patronen in het immuunsysteem, en inspanningsfysiologen zagen hoogst ongewone fysiologische veranderingen in ME/CVS-patiënten na inspanning.
Ik wist dat de juiste vormen van psychotherapie en zorgvuldig bewegen deze patiënten zou kunnen helpen ermee om te gaan, en ik zou erg blij zijn als ze mij hadden kunnen genezen. Het probleem was dat, voor zover ik kon zien, het gewoon niet waar was.
Een zeer gebrekkige studie
Toch ben ik nog steeds een wetenschappelijk schrijfster. Ik respecteer en waardeer wetenschap. Dus de PACE-studie liet me verbijsterd achter: het leek een geweldige studie – groot, gecontroleerd, peerreviewed – maar ik kon de resultaten niet verzoenen met mijn eigen ervaring.
Dus ik en veel andere patiënten zijn de wetenschap in gedoken. En bijna onmiddellijk zagen we enorme problemen.
Voordat de studie met 641 patiënten begon, hadden de onderzoekers hun normen voor succes aangekondigd – dat is, wat “verbetering” en “herstel” betekende in statistisch meetbare termen. Om als hersteld beschouwd te worden, moesten de deelnemers voldoen aan vastgestelde drempelwaardes via zelfbeoordelingen van vermoeidheid en fysiek functioneren, en ze moesten zeggen dat ze zich algeheel veel beter voelden.
Maar nadat de niet-geblindeerde studie gestart was, verzwakten de onderzoekers al deze normen heel wat. Hun herziene definitie van “herstel” was zo zwak dat patiënten in de loop van de studie slechter kon worden wat betreft zowel vermoeidheid als fysiek functioneren en nog steeds als “hersteld” konden worden beschouwd. De drempelwaarde voor fysiek functioneren was zo laag dat een gemiddelde tachtigjarige deze zou overschrijden.
Bovendien was het enige bewijs dat de onderzoekers hadden dat de patiënten zich beter voelden, dat patiënten zeiden dat dit zo was. Ze vonden geen significante verbetering op geen enkele van hun objectieve metingen, zoals hoeveel patiënten weer in staat waren om te gaan werken, hoeveel patiënten geen beroep meer moesten doen op een invaliditeitsuitkering, of hun niveau van fitheid.
Maar de subjectieve rapporteringen van patiënten leken mij verdacht. Ik stelde mezelf voor als een deelnemer: ik kom binnen en wordt gevraagd om mijn symptomen te quoteren. Dan krijg ik gedurende meer dan een jaar durende behandeling te horen dat ik minder aandacht moet geven aan mijn symptomen. Dan word ik gevraagd om opnieuw mijn symptomen te quoteren. Zou het dan niet kunnen dat ik zeg dat ze een beetje beter zijn – zelfs als ik me nog steeds vreselijk voel – om te doen wat van me verwacht wordt, mijn therapeut plezier te doen, en mezelf te overtuigen dat ik niet een jaar moeite verspild heb?
Veel patiënten hebben gewerkt om deze gebreken aan het licht te brengen: ze schreven blogs; ze contacteerden de pers; ze dienden met succes zorgvuldig onderbouwde brieven en commentaren in bij toonaangevende medische tijdschriften. Ze hebben zelfs papers gepubliceerd in peerreviewed wetenschappelijke tijdschriften.
Ze hebben ook verzoeken via de Wet op de Vrijheid van Informatie ingediend om toegang te krijgen tot de studiedata van Queen Mary University of London, de universiteit waar de hoofdonderzoeker werkte. De universiteit weigerde de meeste hiervan, sommige op grond van het feit dat ze “ergerlijk” (n.v.d.r. zie ook Nederlandstalig artikel) waren.
Critici afgeschilderd als losgeslagen
De verdedigers van de studie schilderden critici af als losgeslagen kruisvaarders die vooruitgang belemmerden voor de naar schatting 30 miljoen ME/CVS-patiënten wereldwijd. Bijvoorbeeld Richard Horton, hoofdredacteur van The Lancet, beschreef de critici van de studie als “een vrij kleine, maar goed georganiseerde, erg luidruchtige en erg veel schade aanrichtende groep van personen die, ik zou zeggen, eigenlijk deze agenda gekaapt hebben en het debat verstoord hebben zodat het in werkelijkheid schadelijk is voor de overweldigende meerderheid van patiënten.”
Persberichten beweerden ook dat ME/CVS-onderzoekers doodsbedreigingen gekregen hadden, en ze scheerden de PACE-critici over één kam met de vermeende gestoorden.
Terwijl ik treurde voor mijn medepatiënten, kookte ik van woede over zowel de wetenschappers als de journalisten die weigerden om de studie nauwgezet te onderzoeken. Ik kon alleen maar hopen dat PACE uiteindelijk ten onder zou gaan aan een langzaam groeiende golf van goede wetenschap, zelfs als de wetenschappelijke gemeenschap nooit zijn enorme problemen erkend heeft.
Maar met de National Institutes of Health die slechts 5 miljoen dollar per jaar besteedt aan onderzoek naar ME/CVS, leek het erop dat het heel lang zou kunnen duren.
Dan schreef David Tuller, een docent volksgezondheid en journalistiek aan de Universiteit van Californië, Berkely, vorig jaar op Virology Blog een verwoestende belichting van de wetenschappelijke gebreken van de studie. Tuller beschreef alle problemen die ik gezien had, samen met verschillende anderen. Het project was een opmerkelijke daad van openbare dienstverlening: hij is geen patiënt, en toch heeft hij een jaar gespendeerd aan het onderzoeken van de studie zonder institutionele ondersteuning, juridische steun of vergoeding.
En eindelijk kreeg de kritiek aandacht.
Racaniello en 41 andere wetenschappers en artsen publiceerden een open brief aan The Lancet waarin opgeroepen werd tot onafhankelijk onderzoek naar de studie en gezegd werd dat “zulke gebreken geen plaats hebben in gepubliceerd onderzoek.” Rebecca Goldin, de directeur van Stats.org, een organisatie die zich inzet om het gebruik van statistiek in journalistiek te verbeteren, vilde het studieontwerp in een kritiek van 7000 woorden.
In de tussentijd baande een verzoek middels de Wet op de Vrijheid van Informatie van de Australische patiënt Alem Matthees zich een weg door het juridische systeem.
Matthees had om de geanonimiseerde data verzocht die noodzakelijk waren om de studie te analyseren met behulp van zijn originele normen voor succes, maar Queen Mary University had het verzoek geweigerd, met het argument dat kwaadwillende patiënten de anonimisering zouden breken en de namen van de deelnemers zouden publiceren om de studie in diskrediet te brengen. Het citeerde opnieuw de doodsbedreigingen.
Een maand geleden verwierp de rechtbank deze claims, en noemde deze “wilde speculaties” en wees erop dat de onderzoekers zelf toegegeven hebben in de rechtbank dat noch zij noch de PACE-deelnemers doodsbedreigingen ontvangen hadden.
Verrassende resultaten van een heranalyse
Net voordat de data vrijgegeven werden, deed Queen Mary University of London haar eigen heranalyse van hoe patiënten beter werden, op zijn minst een beetje. Hun data toonden aan dat met behulp van de originele normen, slechts 20 procent van de patiënten beter werd met cognitieve gedragstherapie of oefentherapie in aanvulling op medische zorg, niet 60 procent zoals in The Lancet geclaimd.
En zelfs het cijfer van 20% kan misleidend zijn, omdat uit de heranalyse ook bleek dat 10% van de deelnemers verbeterde na alleen standaard medische zorg te krijgen. Dat suggereert dat 10 procent in elk van de behandelingsgroepen waarschijnlijk zou verbeteren zelfs zonder de oefentherapie of gedragstherapie, waardoor er slechts 10 procent overblijft dat significant geholpen werd door deze interventies (wat minder is dan het placebo-effect van “gedragsmatige interventies”, nl. 14%, n.v.d.r.)
En voor wat betreft de claim dat 22 procent van de patiënten die een van de behandelingen kregen, daadwerkelijk herstelden? Dat ging in rook op toen Matthees de ruwe data analyseerde met de hulp van zijn collega’s en statistici Philip Stark van de Universiteit van Californië, Berkeley, en Bruce Levin van Columbia-universiteit.
Hun analyse toonde aan dat als de onderzoekers vasthielden aan hun originele normen, slechts 4.4% van de patiënten die oefentherapie kregen, en 6.8% van de patiënten die cognitieve gedragstherapie kregen, gekwalificeerd zouden worden als zijnde hersteld, samen met 3.1% van patiënten in een studiegroep die geen van de therapieën kreeg.
Belangrijk is dat er geen statistisch significant verschil was tussen deze herstelpercentages.
De PACE-onderzoekers, de hoofdredacteur van The Lancet, en de redactie van Pyschological Medicine (die de follow-upstudie over herstel gepubliceerd heeft), weigerden allemaal commentaar te geven op dit artikel.
Simon Wessely, voorzitter van de Britse Royal College of Psychiatrists, verdedigde de studie in een e-mailconversatie met mij. Hij beargumenteerde dat sommige patiënten enigszins verbeterden met de hulp van cognitieve gedragstherapie of oefentherapie, en merkte op dat de data van verbetering, in tegenstelling tot de hersteldata, statistisch significant waren. “De boodschap blijft onveranderd,” schreef hij, en noemde beide behandelingen “matig effectief”.
Wessely weigerde commentaar te geven op het gebrek aan herstel. Hij vatte zijn algemene reactie op de nieuwe analyse op deze manier samen: “Oké mensen, niets te zien hier, laat ons alstublieft verder gaan.”
‘Een klassiek voorbeeld van een slechte studie’
Maar het lijkt er niet op dat externe onderzoekers klaar zijn om “verder te gaan”.
Na de nieuwe analyse te reviewen, zei Jonathan Edwards, professor emeritus geneeskunde aan de University College London dat hij niet overtuigd was dat deze kleine, subjectieve verbeteringen erop wezen dat de patiënten zich echt beter voelden. “Ze hebben deze trial opgezet om de sterkst mogelijke kans op een placebo-effect te hebben die je je maar kunt voorstellen”, zei hij.
“Dit is een klassiek voorbeeld van een slechte studie,” zei Ron Davis, directeur van het Stanford Genome Technology Center en directeur van de Wetenschappelijke Adviesraad van het End ME/CFS Project. Hij benadrukte dat er een bijkomend probleem was: de studie gebruikte zo’n brede definitie van de ziekte (Oxford-criteria die chronisch vermoeiden selecteert (6 maand), n.v.d.r.) dat het waarschijnlijk veel patiënten toeliet die eigenlijk helemaal niet echt ME/CVS hadden.
“De studie moet teruggetrokken worden,” zei Davis. “Ik zou het willen gebruiken als een didactisch hulpmiddel, om aan medische studenten te laten lezen en hen dan te vragen, ‘Hoeveel dingen kan u vinden die verkeerd waren met deze studie?”
Terugtrekkingen zijn echter zeldzaam, en de impact van dit gebrekkig onderzoek uitwissen zal nog veel werk vergen de komende jaren.
Na een volgehouden inspanning door belangenbehartigers voor ME/CVS, heeft het federaal Agentschap voor Gezondheidsonderzoek en –Kwaliteit zopas zijn aanbeveling gewijzigd zodat nu te lezen staat dat er onvoldoende bewijs is om cognitieve gedragstherapie of graduele oefentherapie te rechtvaardigen. Maar veel openbare gezondheidsinstanties blijven patiënten in de richting van deze behandelingen wijzen.
En inspanningen om deze aanpak te propageren, blijven voortduren: een trial van graduele oefentherapie in kinderen met ME/CVS is onlangs begonnen, en patiënten protesteren hiertegen.
Door naar de saga van de PACE-trial te kijken, ben ik tegelijkertijd meer op mijn hoede voor wetenschap en hou ik er meer van. Misbruik ervan heeft schade toegebracht aan miljoenen ME/CVS-patiënten over de hele wereld, door ongeschikte en mogelijk schadelijke behandelingen te promoten en door het idee te voeden dat de ziekte grotendeel psychologisch is. Tegelijkertijd is wetenschap een essentiële tool om het probleem te repareren.
Maar we moeten geen genoegen nemen met de troostende gedachte dat wetenschap zelfcorrigerend is. Veel mensen, inclusief veel erg zieke mensen, moesten immense inspanning investeren en venijn bestrijden om met behulp van wetenschap deze fouten te corrigeren. En zelfs dat is misschien niet genoeg geweest zonder Tullers nogal heroïsch onderzoek. We hebben momenteel geen duurzame, betrouwbare methode om gebrekkig onderzoek omver te werpen.
En het rectificeren van PACE zal meer vergen dan het blootleggen van zijn gebreken. De aanhoudende twijfel die het over de ziekte heeft geworpen, zal slechts ten volle verdreven worden wanneer we eindelijk uitgezocht hebben wat er werkelijk gaande is in de ziekte.
Daarom moeten we blijven investeren in serieuze, goede wetenschap. De soort waar ik van blijf houden.
Julie Rehmeyer is wiskunde- en wetenschapsjournalist. Haar memoire “Through the Shadowlands,” die de wetenschap en politiek van ME/CVS en andere slecht begrepen ziektes beschrijft, zal in mei 2017 gepubliceerd worden door Rodale.
Volg Julie op Twitter @julierehmeyer
© Julie Rehmeyer voor STAT. Vertaling Zuiderzon, redactie Abby, eindredactie Zuiderzon, ME-gids.
Lees ook
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (1)
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (2)
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (3)
- Onderzoekers van de PACE-studie antwoorden David Tuller
- David Tuller reageert op de PACE-onderzoekers
- Petitie : Misleidende claims van PACE-studie moeten teruggetrokken worden
- Trial by error, vervolgd: heeft de PACE-studie echt een “strikt criterium” voor herstel toegepast?
- Trial by error, vervolg: Waarom is het “zusteronderzoek” van de PACE-studie “verdwenen” en vergeten?
- Overheid beveelt vrijgave van de gegevens van de PACE-studie
- Proffen schrijven open brief aan The Lancet en vragen herevaluatie van PACE-resultaten
- Open brief van Invest in ME over de PACE-studie aan de redacteur van The Lancet
- Trial by error, vervolgd: Het werk van het PACE-team voor verzekeringsmaatschappijen “houdt geen verband” met PACE. Echt waar?
- In het kielzog van het onderzoek van David Tuller, publiceren de PACE-onderzoekers een follow-upstudie
- ME Association: We betwisten het follow-uprapport van de PACE-studie
- Professor Jonathan Edwards: PACE-studie is “waardeloos”
- Oninterpreteerbaar: Fatale fouten in het PACE follow-uponderzoek van het chronisch vermoeidheidssyndroom
- Waarom de wetenschappelijke wereld het nodig heeft dat de PACE-gegevens worden vrijgegeven
- Reporter hekelt studie naar chronisch vermoeidheidssyndroom: ik stopte bij 14.000 woorden – genoeg was genoeg
- Een “moreel equivalent van oorlog” en de PACE-studie over chronisch vermoeidheidssyndroom
- Waarom ME-patiënten kritisch zijn over de PACE-studie
- Was onafhankelijke peerreview van de papers over de PACE-studie mogelijk?
- James Coyne over de “objectiviteit” van NHS Choices en het belachelijk maken van ME/CVS-patiënten
- Wat er voor nodig is voor Queen Mary om een verzoek om wetenschappelijke gegevens als “ergerlijk” te verklaren
- Update van mijn formeel verzoek voor het vrijgeven van de gegevens van de PACE-studie
- Formeel verzoek aan PLOS One om een Uitdrukking van Bezorgdheid uit te vaardigen voor de PACE-studie
- Waarom ik niet weet hoe PLOS zal reageren op de weigering van de auteurs om de data vrij te geven
- Antwoord van PLOS One op de bezorgdheid over de weigering van King’s College om de PACE-data te delen
- Proffen verzoeken om de gegevens van de PACE-studie
- King’s College London rekt tijd nog wat meer door weigering te herhalen om PACE-onderzoeksdata vrij te geven
- Herkennen wanneer het “beschermen van de privacy van patiënten” louter een excuus is voor het niet delen van de data
- Herzien van de economische analyse van de PACE-studie in PLoS One
- Een inkijk in de aanval op het delen van data
- Trial By Error, vervolgd: vragen voor Dr. White en zijn collega’s van de PACE-studie
- Niet-bekendgemaakte belangenconflicten in reviewprotocol van interventies voor medisch onverklaarde symptomen
- Trial by error, vervolgd: heeft de PACE-studie werkelijk bewezen dat graduele oefentherapie veilig is?
- Trial by error, vervolgd: meer nonsens van The Lancet Psychiatry
- We zijn tenminste niet ergerlijk
- Verdere inzichten in de oorlog tegen het delen van data
- Trial by error, vervolgd: een paar woorden over pesterijen
- Het heroverwegen van het beleid rond het onderzoek naar en de behandeling van ME/CVS
- Opnieuw een open brief aan de Lancet
- What About ME? Deel 1: ME-patiënten vragen patiëntenorganisaties kleur te bekennen t.a.v. PACE
- Ook België steunt in open brief de globale oproep om de PACE-data vrij te geven
- Lezing Dr. David Tuller en Prof. Frans Visser tijdens Nederlandse première Forgotten Plague
- Petitie met 12.000 handtekeningen aan The Lancet bezorgd om de PACE-studiedata vrij te geven
- Open brief Prof. Malcolm Hooper aan The Lancet
- Een half jaar gaat voorbij zonder de vrijgave van PACE-studiedata uit PLOS One
- PACE-Gate: de controverse over de grootste studie naar CGT en GET bij ME/cvs
- Proffen schrijven open brief aan PLoS One i.v.m. PACE-studie naar CGT/GET
- Correctie van PLoS verwijdert geanonimiseerde patiëntengegevens in studie naar CVS (& zet ze daarna terug)
- “Hun mond viel open van verbazing over de PACE-trial naar CGT en GET.”
- Rechtbank eist vrijgave van de gegevens van de PACE-studie naar CGT en GET voor ME/CVS
- Queen Mary University of London “bestudeert” de regelgeving om de PACE-data vrij te geven
- The Lancet struikelt opnieuw over de PACE-studie
- Trial by error, vervolgd: mijn vragen voor de hoofdredacteur van The Lancet, Richard Horton
- Vrijgave data PACE-team volgens originele protocol
- Verklaring QMUL: bekendmaking van de data van de PACE-studie onder de Wet op de Vrijheid van Informatie
- Persbericht. De vrijgave van de PACE-data is een fundamentele overwinning voor mensen met ME/cvs
- Stop studies naar graduele oefentherapie voor ME/CVS
- Prof. Van der Meer waarschuwt voor delen van data met “je vijanden”
- Geen “herstel” in de PACE-studie, blijkt uit nieuwe analyse
