De PACE-studie: waar “herstel” niet betekent dat je terug gezond bent

Simon McGrath, #MEAction, 14 december 2016

Herstellen mensen werkelijk na CGT en graduele oefening? Volgens een nieuwe analyse van PACE helaas niet

Mensen met ME/cvs dromen van herstel – hun gezondheid en leven terugkrijgen. De resultaten die de PACE-studie publiceerde, die laten zien dat 22% van de deelnemers herstelde na slechts 12 maanden van CGT of graduele oefentherapie, leken goed nieuws voor patiënten. Van de controlegroep zonder therapie herstelde slechts 7%.

Maar helaas, “herstel”, zoals gedefinieerd door PACE, is niet wat het lijkt. Het is zelfs niet wat de auteurs aanvankelijk zeiden dat het zou zijn in het studieprotocol. Een nieuwe paper (waarvan ik coauteur ben) concludeert dat de veranderingen, die werden gemaakt in de definitie van herstel, niet gerechtvaardigd waren en leidden tot de publicatie van herstelpercentages die overdreven en misleidend waren, zowel voor patiënten als voor artsen.

In feite toont een nieuwe analyse volgens de originele, in het protocol gespecificeerde definitie van herstel, aan dat de herstelpercentages voor CGT en graduele oefentherapie niet significant beter waren dan helemaal geen therapie krijgen.

Kunnen patiënten met ME/cvs echt herstellen na graduele oefentherapie of cognitieve gedragstherapie? Een kritisch commentaar en preliminaire heranalyse van de PACE-studie.

Can patients with chronic fatigue syndrome really recover after graded exercise or cognitive behavioural therapy? A critical commentary and preliminary re-analysis of the PACE trial

De nieuwe paper is geschreven door psychologieonderzoeker Dr Carolyn Wilshire, patiënten-onderzoekers Tom Kindlon en Alem Matthees, en mezelf. Het legt de manier bloot waarop de PACE-auteurs de herstelcriteria, die ze hadden gespecificeerd voordat de studie begon, verzwakten; en, gebruikmakend van de data die onlangs werden vrijgegeven na een strijd via de Vrijheid van Informatie (FOI) door Alem Matthees, presenteert de paper analyses om te onthullen hoe die veranderingen de herstelpercentages kunstmatig opstuwden.

Het definiëren van herstel

Om als “hersteld” gerekend te kunnen worden in de PACE-studie, moesten patiënten voldoen aan criteria op vier gebieden. Twee daarvan waren voor zelf ingeschat fysiek functioneren en vermoeidheid – de primaire uitkomsten van de studie. Patiënten moesten hun gezondheid ook inschatten als in totaliteit substantieel verbeterd. Ten slotte moesten ze worden beoordeeld als niet langer voldoend aan een casusdefinitie voor CVS. De PACE-auteurs versoepelden de drempels echter voor elk van de vier criteria zodat men in de gepubliceerde paper veel makkelijker patiënten kon meetellen als “hersteld” dan na gebruik van de in het protocol gespecificeerde criteria.

De grafiek hieronder laat zien hoeveel verschil deze wijzigingen maakten:

Hieronder staat hoe dit gebeurde, en hoe de door PACE gereviseerde versie iets minder beschrijft dan herstel:

1. Herstel van zelf gerapporteerd fysiek functioneren

Om herstel van fysiek functioneren te bepalen, gebruikte PACE de SF-37 subschaal fysiek functioneren (zie items 3-12), die de deelnemers vraagt om activiteiten van het dagelijks leven in te schatten, van zelfzorg tot hardlopen, en geeft een algehele score, die varieert van 0 (sterk beperkt) tot 100 (goed functionerend). 90% van de gezonde volwassenen van werkende leeftijd scoren 90 of meer, en het PACE-protocol definieert herstel van fysiek functioneren als een score van 85 of hoger.

Toen de auteurs eenmaal hun herstel paper publiceerden, hadden ze echter die drempel verlaagd naar slechts 60. Dit is bizar, aangezien PACE een hogere score gebruikte (65) om patiënten te accepteren als voldoende beperkt om in de eerste plaats mee te doen aan de studie! Ongelooflijk, 13% van de patiënten had reeds een “hersteld” fysiek functioneren voordat zij zelfs maar enige therapie hadden gekregen. De nieuwe “herstel”drempel van 60 is dicht bij de gemiddelde SF-36 scores voor patiënten met reumatoïde artritis en congestief hartfalen.

Analyse van de FOI-data toonde aan dat het verlagen van de SF-36 drempel ervoor zorgde dat het percentage van dat “herstellende” fysiek functioneren drie maal zo hoog was, van 14% naar 45%.

Hoe konden de PACE-auteurs in godsnaam een dergelijke verandering rechtvaardigen? In hun herstelpaper schreven ze dat de originele drempel van 85 zo hoog was dat “ongeveer de helft van de gehele bevolking in de werkende leeftijd er niet aan zou voldoen”. De nieuwe paper maakt duidelijk dat dit niet correct is. De bevolkingsdata waar ze naar verwezen waren voor alle volwassenen, van wie bijna een derde ouder was dan 60 en een op vijf een chronische ziekte of beperking had. PACE-deelnemers waren bijna allemaal jonger dan 60 en iedereen met een vermoeidheidsziekte naast ME/cvs werd uitgesloten van de studie, dus de vergelijkingsgroep, die PACE gebruikte, was misplaatst. Zelfs wanneer men gebruik maakte van een niet-passende, bejaarde en zieke populatie, is de rekensom nog steeds fout: slechts 28% scoorde onder 85, niet “ongeveer de helft”.

2. Herstel van vermoeidheid

Vermoeidheid werd gemeten door middel van de Chalder Fatigue Questionnaire [de Chalder vermoeidheidsvragenlijst] met elf verschillende vragen die verband houden met vermoeidheid, zoals “moet je meer rusten?” De vragenlijst kan worden gescoord als een 11-puntenschaal (zoals in het PACE-protocol gespecificeerd) of als een 33-puntenschaal met een ingewikkeld verband tussen beide. Herstel was in aanvang gedefinieerd als een score van 3/11 of minder, maar veranderde later naar 18/33 of minder. Dit verhoogde het herstel van vermoeidheid van 15% volgens het protocol, naar 29% in de gepubliceerde resultaten.

Net als bij het criterium fysiek functioneren werd ook hier de drempel voor vermoeidheid zodanig versoepeld dat sommige patiënten (zeven) al ‘hersteld’ waren bij het begin van de studie, hoewel zij op dat moment verondersteld werden om “invaliderende” vermoeidheid te hebben.

De PACE-auteurs rechtvaardigden het versoepelen van deze drempel met data uit een paper die ook misplaatst een derde zieken insloot, waarvan sommigen met vermoeidheidsziekten – waaronder CVS zelf.

3. Algehele verandering in gezondheid

Aan het eind van de studie schatten patiënten in hoe hun gezondheid veranderd was sinds de start, met opties die varieerden van “erg veel slechter” tot “erg veel beter”. Het protocol classificeerde “veel beter” als herstel. Deze maximumscore lijkt passend voor patiënten die van start gingen van een niveau van ernstige, invaliderende vermoeidheid naar hersteld. De PACE-herstelpaper versoepelde echter de definitie van herstel tot het eveneens insluiten van patiënten die slechts “veel beter” waren. Dit verhoogde het aandeel “herstelden” op deze meting van 12% naar 34%.

De studieauteurs stelden dat “deelnemers die hun algehele gezondheid als ‘veel beter’ inschatten, het proces van herstel vertegenwoordigden”. Verbetering is echter geen herstel.

4. Het niet langer voldoen aan de CVS-casusdefinitie

Aan het einde van de studie besliste de medische staf of elke deelnemer nog steeds voldeed aan de Oxford-casusdefinitie voor CVS, die werd gebruikt om patiënten te werven voor de studie. 24% voldeed er niet langer aan en dus, volgens het protocol, voldeden deze patiënten aan de vierde en laatste vereiste voor herstel.

Opnieuw versoepelden de PACE-auteurs dus de drempel, door het toevoegen van voorwaarden aan de casusdefinitie. Nu kon een patiënt als “hersteld” beschouwd worden zelfs als hij nog steeds voldeed aan de Oxford-criteria zoals die werden toegepast in de kliniek, zolang hij zelfs maar iets betere niveaus van vermoeidheid of fysiek functioneren had dan de invaliderende niveaus die vereist waren voor patiënten, om geschikt te zijn om mee te doen aan de studie. Dit betekende dat erg zieke patiënten, die normaal gesproken in behandeling waren voor CVS, geclassificeerd zouden kunnen worden als “hersteld”. Deze verandering verdubbelde het percentage dat niet voldeed aan de Oxford-criteria – dat wil zeggen, “hersteld” – tot 48%.

Het nieuwe “herstel”: je gezondheid niet terug krijgen

Samenvattend versoepelde PACE de hersteldrempels voor vermoeidheid en fysiek functioneren zo ver, dat sommige patiënten als hersteld gerekend konden worden (en sommigen werden dat), terwijl ze tegelijkertijd vermoeid en geïnvalideerd genoeg waren om deel te kunnen nemen aan de studie. Ze rekenden patiënten, die zeiden dat ze niet “erg veel beter” waren, maar slechts “veel beter”, en zelfs als de klinische staf hen had beoordeeld als nog steeds voldoend aan de Oxford-criteria voor CVS, als hersteld. Dat is geen herstel.

Algehele herstelpercentages

Het is niet verrassend dat de in het protocol gespecificeerde criteria veel lagere herstelpercentages geven dan deze die PACE publiceerden. Herstelpercentages gaan omlaag van 22% naar 7% voor CGT, van 22% naar 4% voor graduele oefentherapie, en van 7% naar 3% voor geen therapie.

Dat niet alleen, maar de herstelpercentages voor CGT en graduele oefentherapie zijn niet langer statistisch significant hoger dan degene voor helemaal geen therapie: dat wil zeggen dat de studie geen bewijs verschaft dat patiënten kunnen herstellen als gevolg van CGT en graduele oefentherapie.

De veranderingen aan de herstelmetingen van PACE resulteerden in overdreven en misleidende “herstel”percentages die niets van doen hebben met de dromen van patiënten om hun gezondheid terug te krijgen. Patiënten en artsen moeten accurate informatie krijgen over de veranderingen van herstel zoals dit in realiteit wordt begrepen. Onze paper onthult dat de eigen data van PACE aantonen dat CGT en GET geen effect hebben op de kans op herstel.

Volg Simon McGrath (@sjmnotes) op twitter

© Simon McGrath voor #MEAction. Vertaling Meintje, redactie NAHdine en Zuiderzon, ME-gids.

Lees ook

• Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (1)
• Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (2)
• Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (3)
• Onderzoekers van de PACE-studie antwoorden David Tuller
• David Tuller reageert op de PACE-onderzoekers
• Petitie : Misleidende claims van PACE-studie moeten teruggetrokken worden
• Trial by error, vervolgd: heeft de PACE-studie echt een “strikt criterium” voor herstel toegepast?
• Trial by error, vervolg: Waarom is het “zusteronderzoek” van de PACE-studie “verdwenen” en vergeten?
• Overheid beveelt vrijgave van de gegevens van de PACE-studie
• Proffen schrijven open brief aan The Lancet en vragen herevaluatie van PACE-resultaten
• Open brief van Invest in ME over de PACE-studie aan de redacteur van The Lancet
• Trial by error, vervolgd: Het werk van het PACE-team voor verzekeringsmaatschappijen “houdt geen verband” met PACE. Echt waar?
• In het kielzog van het onderzoek van David Tuller, publiceren de PACE-onderzoekers een follow-upstudie
• ME Association: We betwisten het follow-uprapport van de PACE-studie
• Professor Jonathan Edwards: PACE-studie is “waardeloos”
• Oninterpreteerbaar: Fatale fouten in het PACE follow-uponderzoek van het chronisch vermoeidheidssyndroom
• Waarom de wetenschappelijke wereld het nodig heeft dat de PACE-gegevens worden vrijgegeven
• Reporter hekelt studie naar chronisch vermoeidheidssyndroom: ik stopte bij 14.000 woorden – genoeg was genoeg
• Een “moreel equivalent van oorlog” en de PACE-studie over chronisch vermoeidheidssyndroom
• Waarom ME-patiënten kritisch zijn over de PACE-studie
• Was onafhankelijke peerreview van de papers over de PACE-studie mogelijk?
• James Coyne over de “objectiviteit” van NHS Choices en het belachelijk maken van ME/CVS-patiënten
• Wat er voor nodig is voor Queen Mary om een verzoek om wetenschappelijke gegevens als “ergerlijk” te verklaren
• Update van mijn formeel verzoek voor het vrijgeven van de gegevens van de PACE-studie
• Formeel verzoek aan PLOS One om een Uitdrukking van Bezorgdheid uit te vaardigen voor de PACE-studie
• Waarom ik niet weet hoe PLOS zal reageren op de weigering van de auteurs om de data vrij te geven
• Antwoord van PLOS One op de bezorgdheid over de weigering van King’s College om de PACE-data te delen
• Proffen verzoeken om de gegevens van de PACE-studie
• King’s College London rekt tijd nog wat meer door weigering te herhalen om PACE-onderzoeksdata vrij te geven
• Herkennen wanneer het “beschermen van de privacy van patiënten” louter een excuus is voor het niet delen van de data
• Herzien van de economische analyse van de PACE-studie in PLoS One
• Een inkijk in de aanval op het delen van data
• Trial By Error, vervolgd: vragen voor Dr. White en zijn collega’s van de PACE-studie
• Niet-bekendgemaakte belangenconflicten in reviewprotocol van interventies voor medisch onverklaarde symptomen
• Trial by error, vervolgd: heeft de PACE-studie werkelijk bewezen dat graduele oefentherapie veilig is?
• Trial by error, vervolgd: meer nonsens van The Lancet Psychiatry
• We zijn tenminste niet ergerlijk
• Verdere inzichten in de oorlog tegen het delen van data
• Trial by error, vervolgd: een paar woorden over pesterijen
• Het heroverwegen van het beleid rond het onderzoek naar en de behandeling van ME/CVS
• Opnieuw een open brief aan de Lancet
• What About ME? Deel 1: ME-patiënten vragen patiëntenorganisaties kleur te bekennen t.a.v. PACE
• Ook België steunt in open brief de globale oproep om de PACE-data vrij te geven
• Lezing Dr. David Tuller en Prof. Frans Visser tijdens Nederlandse première Forgotten Plague
• Petitie met 12.000 handtekeningen aan The Lancet bezorgd om de PACE-studiedata vrij te geven
• Open brief Prof. Malcolm Hooper aan The Lancet
• Een half jaar gaat voorbij zonder de vrijgave van PACE-studiedata uit PLOS One
• PACE-Gate: de controverse over de grootste studie naar CGT en GET bij ME/cvs
• Proffen schrijven open brief aan PLoS One i.v.m. PACE-studie naar CGT/GET
• Correctie van PLoS verwijdert geanonimiseerde patiëntengegevens in studie naar CVS (& zet ze daarna terug)
• “Hun mond viel open van verbazing over de PACE-trial naar CGT en GET.”
• Rechtbank eist vrijgave van de gegevens van de PACE-studie naar CGT en GET voor ME/CVS
• Queen Mary University of London “bestudeert” de regelgeving om de PACE-data vrij te geven
• The Lancet struikelt opnieuw over de PACE-studie
• Trial by error, vervolgd: mijn vragen voor de hoofdredacteur van The Lancet, Richard Horton
• Vrijgave data PACE-team volgens originele protocol
• Verklaring QMUL: bekendmaking van de data van de PACE-studie onder de Wet op de Vrijheid van Informatie
• Persbericht. De vrijgave van de PACE-data is een fundamentele overwinning voor mensen met ME/cvs
• Stop studies naar graduele oefentherapie voor ME/CVS
• Prof. Van der Meer waarschuwt voor delen van data met “je vijanden”
• Geen “herstel” in de PACE-studie, blijkt uit nieuwe analyse
• Slechte wetenschap heeft miljoenen ME/cvs-patiënten misleid. Hier leest u hoe we terugvochten.
• Belangrijkste punten uit de analyse van de ruwe data voor “herstel” van de PACE-studie
• Bewijs voor aanbevolen behandelingen voor ME en CVS houdt geen stand
• Trial by error, vervolgd: de echte data van de PACE-studie
• Erger dan de ziekte