Home » Nieuwsartikels » David Tuller » Trial By Error: PACE-heranalyse uit 2018 en expertbeoordeling van Science Media Centre

Trial By Error: PACE-heranalyse uit 2018 en expertbeoordeling van Science Media Centre

Geplaatst door ME-Gids
op 18/05/2020

Laatste bijwerking op 18/05/2020

Bron:

David Tuller, Virology Blog

| 9043 x gelezen

David Tuller, DrPH, Virology blog, 13 januari 2020

Het is bijna twee jaar geleden sinds BMC Psychology een belangrijke heranalyse van de ruwe data van de PACE-studie publiceerde. Gezien het belang van deze paper (ik was de minst belangrijke van de zeven coauteurs), vond ik het een goed idee om hem nog eens aan te halen.

Alem Matthees, een heldhaftige patiënt uit het Australische Perth, slaagde erin om de relevante data vrij te krijgen via een aanvraag in het kader van Vrijheid van Informatie, hoewel dit pas gebeurde nadat Queen Mary University of London £250.000 had gespendeerd aan advocaten, in een poging om de data geheim te houden. Toen de data geëvalueerd werden via de methodes die gestipuleerd stonden in het gepubliceerde protocol van de studie, toonde de heranalyse aan dat de voordelen van CGT en GET, zoals gerapporteerd in meerdere PACE-papers, overdreven dan wel misleidend waren.

De paper, die in maart 2018 verscheen, had als titel: “De behandeling van chronisch vermoeidheidssyndroom opnieuw bekeken – een heranalyse van bevindingen uit een recente grote studie”. Deze kritiek op PACE had de erkende wetenschappelijke procedures doorlopen; dat was natuurlijk niet het geval bij mijn 15.000 woorden tellende onderzoeksjournalistieke artikelenreeks, die in oktober 2015 werd gepubliceerd op Virology Blog. Iedereen die nu de PACE-studie citeert als bewijs voor de doeltreffendheid van het CGT/GET-paradigma, moet ook de gepeerreviewde heranalyse citeren die de belangrijkste bevindingen weerlegt.

Toen de heranalyse werd gepubliceerd, vroeg het Science Media Centre twee experts om commentaar: Christ Ponting, een professor medische bio-informatica aan University of Edinburgh en Jon Stone, een neuroloog en senior erelector aan dezelfde universiteit. (Hij is intussen eredocent aan University of Edinburgh.) Het SMC postte ook een verklaring van het PACE-team die bestond uit een paar korte paragrafen vol van hun typische uitvluchten. Zo haalden ze o.a. het argument aan dat het gepubliceerde protocol waarin ze hun uitkomstmaten gespecificeerd hadden, slechts een “preliminair” analyseplan was. Ze deden alsof het niemand iets zou mogen schelen dat ze de belangrijkste uitkomstmaten afzwakten nadat ze hun data verzameld hadden en vervolgens weigerden om de minder aantrekkelijke resultaten bij te voegen die ze zonder deze wijzigingen hadden gehad.

De heranalyse werd gepubliceerd op ongeveer het moment toen Professor Ponting de functie opnam van vicevoorzitter van het CFS/ME Research Collaborative. Gezien de verantwoordelijkheden die bij die rol horen en het dubieuze gedrag van zijn voorganger die methodologisch en ethisch de weg kwijt was, vond ik het fijn om te zien dat hij positieve commentaar gaf. Ik veronderstel dat het SMC, als grote fan van de ideologische CGT/GET-brigade, niet verwacht had dat hij de heranalyse zou ophemelen en dat hij expliciet naar PACE zou verwijzen als “onzin”.

Dit is wat Professor Ponting schreef:

In 2011 interpreteerde de PACE-groep zijn gerandomiseerde studiedata alsof cognitieve gedragstherapie (CGT) en graduele oefentherapie (GET) “op een veilige manier toegevoegd kunnen worden aan [specialistische medische zorg] om te komen tot matige verbetering van chronisch vermoeidheidssyndroom [CVS of ME/cvs]”. Nu komen Wilshire en coauteurs met een nieuwe analyse van de data uit de PACE-studie. Deze heranalyse was o.a. nodig omdat de studiegroep niet de analyse had uitgevoerd die gepland stond in hun protocol. Deze revisie zorgde er in theorie voor dat sommige studiedeelnemers, absurd genoeg, aanvaard konden worden voor deelname als patiënt, en tegen het einde van de studie beschouwd konden worden als hersteld, ook al waren hun symptomen niet verbeterd, of zelfs verslechterd. Wilshire et al. bewijzen dat “het effect van CGT en GET erg klein was – en statistisch onbetrouwbaar, als we de procedures toepassen precies zoals vooropgesteld in het originele gepubliceerde protocol.” Hun analyse onthulde ook dat herstelcijfers volgens de protocoldefinitie veel lager lagen dan de eerder gepubliceerde cijfers en dat CGT en GET niet leidden tot herstel.

Een belangrijk punt in Wilshire et al. is dat ze een plausibele verklaring geven van dit middelmatige effect. Ze stellen dat het effect simpelweg te verklaren is doordat deelnemers aan CGT en/of GET de verwachting hebben dat de behandeling doeltreffend zal zijn. De verwachtingen liggen nog hoger, zo stellen ze, als deelnemers weten welke behandeling ze krijgen en te horen krijgen dat hun behandeling écht werkt, zoals gebeurde in de PACE-studie. Het feit dat er geen zinvolle verbetering te zien was in objectieve uitkomstmaten zoals fysieke conditie, toont aan dat het positieve resultaat op zelfgerapporteerde maatstaven waarschijnlijk onbetrouwbaar is. Dit kan een verklaring zijn voor zowel het middelmatige effect na één jaar, als het feit dat dit effect vervolgens verdwijnt. De auteurs stellen ook dat het gebrek aan substantiële en blijvende effecten van CGT en/of GET, zoals gezien in een studie zo groot als PACE, doet vermoeden dat deze therapieën wellicht over het algemeen niet doeltreffend zijn.

Kort nadat ik Professor Pontings evaluatie van de heranalyse had gelezen, stuurde ik hem een e-mail om hem te bedanken voor zijn eerlijkheid en integriteit.

**********

Professor Stone nam in zijn verklaring voor SMC een scherper standpunt in over de heranalyse en leek PACE te willen beschermen. Zoals hij vermeldde in een bijgevoegde verklaring, was hij vroeger student bij en nu collega van Professor Michael Sharpe, één van de hoofdauteurs van PACE. Bovendien werkt hij samen met Professor Trudie Chalder, ook een hoofdauteur van PACE. (Tijdens de persconferentie over PACE in 2011 deed Professor Chalder haar fameuze (foute) uitspraak over dat tweemaal zo veel mensen in de CGT- en GET-groepen dan in de andere groepen zich “terug normaal” zouden voelen. Voor zo ver ik weet, heeft ze nooit een publiekelijke verklaring gegeven of zich verontschuldigd voor die foute voorstelling de feiten.)

Als je Professor Stones commentaar leest, vraag je je wel af of zijn loyaliteitsgevoel hier niet in de weg staat van zijn wetenschappelijke oordeel. Het zou zowel voor SMC als voor Professor Stone beter geweest zijn als ze input hadden gevraagd bij iemand met een objectiever standpunt. Hieronder post ik Professor Stones opmerkingen over de heranalysein schuingedrukt, met na elke paragraaf mijn reactie erop in vetgedrukt.

Deze heranalyse van de data uit de PACE-studie toont aan dat bij gebruik van strengere uitkomstmaten de patiënten met CVS/ME betere resultaten vertoonden na één jaar met Cognitieve Gedragstherapie (CGT) en Graduele Oefentherapie (GET) dan de controlegroep, maar het aantal personen dat verbeterde, was niet zo groot als in het originele rapport (20%/21% vs. 10% in deze heranalyse). Dit is geen verrassing. Het valt te verwachten bij gebruik van striktere criteria in dit soort studies. Het zichtbare voordeel zal dan lager liggen voor diegenen die de behandeling kregen, maar ook voor de controles.

Deze interpretatie houdt geen rekening met een saillant detail: deze “striktere criteria” hadden de onderzoekers van de studie zelf vooropgesteld in hun protocol, maar ze kozen uiteindelijk voor zwakkere criteria, toen alle data verzameld waren. Zoals Professor Stone opmerkte, is het geen verrassing dat het zichtbare effect van CGT/GET daalt, als je de data analyseert via strengere criteria. Dus kan het voor de onderzoekers zelf ook geen verrassing zijn geweest dat ze aantrekkelijkere resultaten kregen als ze zwakkere uitkomstcriteria zouden gebruiken. Wat voortvloeit uit Professor Stones standpunt, is dat de PACE-onderzoekers hadden kunnen of hadden moeten weten dat de uitkomstwijzigingen onvermijdelijk zouden leiden tot mooiere resultaten.

Zijn CGT en GET overdreven aangeprezen voor CVS/ME? Er is zeker nood aan betere behandelingen. Er is slechts een middelmatig algemeen behandelingseffect en de behandelingen kunnen zeker niet voor alle patiënten met die aandoening gebruikt worden. Er is ook geen bewijs dat deze behandelingen leiden tot een betere uitkomst dan controles op 2,5 jaar, en dat wordt duidelijk in zowel de studie van de oorspronkelijke auteurs als in deze analyse. Maar dat komt omdat de studie slechts een jaar duurde. Cohortdata en de post-hoc-analyse van de subgroepen in deze heranalyse lossen dat probleem niet op, maar het bewijst tenminste wel dat het voordeel in de CGT/GET-groepen blijvend was, ook al haalden de andere groepen hen uiteindelijk in.

Het zijn de PACE-onderzoekers en hun collega’s zelf die CGT/GET overdreven hebben aangeprezen. Leden van het PACE-team hebben jarenlang ziekteverzekeraars het advies gegeven dat patiënten die geen CGT/GET hebben gevolgd, geen toegang mochten krijgen tot ziekte-uitkering of andere sociale uitkeringen. Dergelijke categorieke adviezen zijn echt niet gerechtvaardigd voor behandelingen die, zoals Professor Stone zegt, “slechts een middelmatig algemeen behandelingseffect hebben en zeker niet geschikt zijn voor alle patiënten met de aandoening”, en die ook geen langdurig voordeel lijken te hebben.

Wat betreft de bevindingen bij opvolging: het belangrijkste resultaat in een klinische studie, zelfs in het geval van opvolging na de studie, is een vergelijking tussen de groepen, en niet de vergelijking “binnenin de groep” die Professor Stone aanhaalt. Het was wetenschappelijk ongepast dat de PACE-onderzoekers hun bevindingen opschroefden door deze data van “binnenin de groep” te presenteren, en het was op redactioneel vlak ook ongepast dat het vakblad de studie onder die vorm goedkeurde voor publicatie. Het belangrijkste resultaat bij opvolging was dat er geen langetermijnverschillen waren tussen de groepen, met welke kanttekeningen en inperkingen dan ook. Dit resultaat komt in feite overeen met andere opvolgingsdata op lange termijn in aanverwant onderzoek.

Eén van de beweringen in deze heranalyse, nl. dat de behandeleffecten mogelijk simpelweg het resultaat zijn van ongeblindeerde zelfgerapporteerde metingen, verklaart niet waarom patiënten die adaptieve pacingtherapie (APT) volgden, het slechter deden dan diegenen die in de originele studie CGT en GET kregen en ook geblindeerd waren. Het is jammer dat de data over pacingtherapie niet geheranalyseerd werden als onderdeel van deze studie.

De PACE-onderzoekers zelf gebruikten een gelijkaardige redenering, nl. dat de gerapporteerde resultaten de verwachtingen tegenspraken, aangezien de deelnemers, voordat de studie begon, een voorkeur uitten tegenover de zogenaamde pacingbehandeling. (Ik zeg “zogenaamde” omdat APT geen pacing is; het is de versie die de PACE-studie gebruikte.) Maar bij hun argumentering negeren de PACE-onderzoekers en Professor Stone een punt dat in de heranalyse specifiek wordt besproken en dat Professor Ponting wél aanhaalde: deelnemers in de CGT/GET-armen kregen stelselmatig informatie over de voordelen van hun behandeling, terwijl de APT-groep dit niet kreeg. Dat verschil in communicatie geeft veel kans op bias in de subjectieve antwoorden van de deelnemers.

De heranalyse merkte verder nog op dat, in de PACE-studie, APT het ongeveer even goed deed als zogenaamde “standaard medische zorg”. Men hoefde deze APT-data niet apart te analyseren om de validiteit te checken van de beweringen over de voordelen van CGT/GET.

Er is nood aan betere behandelingen voor CVS/ME, of het nu gaat om biologische behandelingen gericht op de aanverwante pathofysiologie van de aandoening, of om doeltreffendere revalidatiestrategieën. Zo lang die er niet zijn, kan men zich afvragen of het beter is om een middelmatig effectieve behandeling aan te bieden die ondersteund wordt door data uit vele andere studies, en waarbij op een realistische manier de voor- en nadelen besproken worden, dan helemaal geen behandeling.

Volgens de beschrijving in de PACE-studie over CGT en GET en vroegere schrijfsels van de hoofdonderzoekers, gaan deze behandelingen ervan uit dat er geen “aanverwante pathofysiologie” is die de symptomen veroorzaakt – er zou enkel sprake zijn van contraproductieve gedachten en de gevolgen van deconditionering. Uit dat standpunt vloeit voort dat het geen nut heeft om onderzoek te doen naar de “aanverwante pathofysiologie”. Erkennen dat er (mogelijk) sprake is van een “aanverwante pathofysiologie” ondermijnt het theoretisch kader voor het CGT/GET-paradigma, is in strijd met het belangrijkste materiaal in de behandelingshandboeken van PACE voor zowel therapeuten als deelnemers, en vereist significante wijzigingen in het ontwerp en de implementatie van de behandelingen.

Wat betreft de “vele andere studies” die het gebruik van CGT/GET ondersteunen: zij bevatten allemaal dezelfde fundamentele ontwerpfout als PACE, want het zijn studies met open onderzoeksopzet die voortgaan op subjectieve uitkomsten. Deze combinatie van kenmerken veroorzaakt om verschillende redenen een groot risico op bias. Bovendien is het zo dat bij PACE en aanverwante studies de subjectieve rapportage van voordelen steeds haaks stond op objectieve uitkomsten – maar die laatsten werden stelselmatig afgewezen of gebagatelliseerd door de onderzoekers zelf. Kort gezegd: dit wetenschappelijke veld levert weinig of geen geldig bewijs dat CGT en GET doeltreffende behandelingen zijn.

De PACE-studie is buitengewoon vijandig onthaald. Als je er deze heranalyse op naslaat, was daar geen enkele reden voor – het fundamentele verschil in uitkomsten blijft. Bovendien mag opgemerkt worden dat positieve studies van CGT voor vermoeidheid bij aandoeningen zoals multiple sclerose met gelijkaardige behandelingseffecten niet betekent dat MS een psychologische aandoening is. Hetzelfde geldt voor CGT/GET en CVS/ME.”

Er waren wél goeie reden tot scherpe kritiek op de methodologische en ethische fouten in de PACE-studie. Belangrijke spelers op het internationale wetenschappelijke veld, waaronder de Amerikaanse Centers for Disease Control and Prevention, hebben de PACE-bevindingen en het CGT/GET-behandelingsparadigma verworpen. In PACE zwakten de onderzoekers belangrijke uitkomstmaten af nadat de data verzameld waren, en ze weigerden de analyses te geven die ze beloofd hadden in het gepubliceerde protocol. Ze betichtten de patiënten van “ergerlijk gedrag” omdat ze toegang wilden tot publiek gefinancierde studiedata, iets waar ze wettelijk recht op hebben.

Toen een rechtbank de argumenten van de PACE-onderzoekers in niet mis te verstane bewoordingen van tafel veegde en hen beval om de data vrij te geven, bleek dat de patiënten gelijk hadden: de uitkomstwijzigingen hadden ervoor gezorgd dat de resultaten er veel beter uitzagen dan ze waren. In de heranalyse verdween het bewijs dat de behandelingen zouden leiden tot “herstel”. De extreem middelmatige gerapporteerde voordelen bleken niet veel meer te zijn dan een gevolg van bias of een verwachtingseffect, vooral door de positieve berichten die doorgespeeld werden aan de mensen in de CGT/GET-armen.

Het is dwaas om die barslechte resultaten te interpreteren als bevestiging van “het fundamentele verschil in uitkomsten”, maar het staat Professor Stone vrij om het zo te bekijken.

Eén rariteit in PACE was dat 13% van de deelnemers al “binnen het normale bereik” of “hersteld” waren op de belangrijkste variabele van zelfgerapporteerd fysiek functioneren bij aanvang van de studie. Deze verbluffende paradox werd in de paper niet aangehaald. Voor zover ik weet, hebben de PACE-onderzoekers nooit toegegeven dat er een probleem is met deze overlap of dat dit hun interpretatie twijfelachtig maakt. Terwijl Professor Ponting dit unieke en “onzinnige” kenmerk van de PACE-studie aanhaalde in zijn commentaar, deed Professor Stone dit niet. Misschien denkt hij dat het normaal is dat een groot aantal studiedeelnemers de belangrijkste uitkomstdrempel bij aanvang al gehaald heeft en dat mensen die een afdoende verklaring eisen voor dat soort statistische eigenaardigheden zich “buitengewoon vijandelijk” opstellen.

Wat betreft vermoeidheid gerelateerd aan andere ziektes is er (voor zover ik weet) geen enkele geloofwaardige deskundige die beweert dat CGT voor MS-gerelateerde vermoeidheid MS “terugdraait” en daardoor leidt tot “herstel”. Maar dat is wél wat stelselmatig beweerd wordt over deze therapie, zoals o.a. in de PACE-studie. De vergelijking met MS-gerelateerde vermoeidheid is niet van toepassing op dit debat.