Home » Nieuwsartikels » David Tuller » Trial by error: De Cochranecontroverse

Trial by error: De Cochranecontroverse

Geplaatst door ME-Gids
op 16/09/2018

Laatste bijwerking op 16/09/2018

Bron:

| 9759 x gelezen

David Tuller, DrPH, Virology Blog, 3 september 2018

Cochrane – vroeger gekend als de Cochrane Collaboration – geniet wereldwijd aanzien omwille van zijn systematische reviews van medische behandelingen. Deze reviews worden vaak geciteerd als de doorslaggevende bron van informatie over doeltreffendheid en veiligheid van behandelingen. Het evalueren van gegevens over vaak gebruikte behandelingen is een ondankbare taak, waarmee Cochrane een waardevolle dienst bewijst aan de volksgezondheid en veel heeft bijgedragen aan de op bewijs gebaseerde besluitvorming in de geneeskunde.

Maar net als eender welke andere organisatie maakt Cochrane ook wel eens een fout – zoals bijvoorbeeld gebeurde in het geval van het chronisch vermoeidheidssyndroom. (Cochrane gebruikt over het algemeen de term CVS, dus ik zal dat ook doen als ik verwijs naar deze systematische reviews.) De Cochranereview over cognitieve gedragstherapie voor CVS werd gepubliceerd in 2008, voordat PACE bestond. De meest recente review over bewegingstherapieën voor CVS, die vooral studies over graduele oefeningen betrof, werd gepubliceerd in 2014. Deze systematische reviews en vorige versies, die allemaal voordelen rapporteerden van de behandelingen, werden uitgevoerd door de groep Veelvoorkomende Psychische Aandoeningen van Cochrane.

Vorige maand schreven The Times en The BMJ over de groeiende internationale bezorgdheid over de PACE-studie. Beide bladen publiceerden artikels over Virology Blogs meest recente open brief aan The Lancet, die “onaanvaardbare” fouten van PACE citeerde en opriep tot een volledig onafhankelijke heranalyse van de studiegegevens. De brief werd ondertekend door 114 experts, tien parlementsleden en 70 patiënten- en belangenbehartigingsorganisaties. Om dit soort van publieke kritiek te weerleggen en hun ongefundeerde beweringen te ondersteunen, citeren de ideologische CGT/GET-brigade en hun fanclub regelmatig de systematische reviews van Cochrane.

Pasgeleden bracht Professor Fiona Watt, uitvoerend voorzitter van de Britse Medical Research Council [Brits coördinerend overheidsorgaan voor financiering van medisch wetenschappelijk onderzoek, n.v.d.r.], een statement uit in reactie op het artikel in The Times over de open brief aan The Lancet. Het MRC, de belangrijkste financierder van PACE, heeft vroeger de uitvoering van de studie verdedigd. In haar brief herbevestigde Professor Watt deze steun zonder enige reactie te geven op de specifieke bedenkingen die geuit werden over PACE – zoals o.a. de paradox dat 13% van de deelnemers al “hersteld” was op de belangrijkste uitkomstmaat van fysiek functioneren bij aanvang, voordat eender welke behandeling had plaatsgevonden.

Professor Watts verdediging van PACE was vooral gestoeld op het feit dat andere onderzoekers gelijkaardige voordelen van CGT en GET hebben gerapporteerd. Ze merkte nadrukkelijk op: “Dit bewijs is samengevat in drie Cochranereviews. Cochranereviews zijn systematische reviews van primair onderzoek in menselijke gezondheidszorg en volksgezondheidsbeleid en zijn internationaal erkend als de gouden standaard in op bewijs gebaseerde gezondheidszorg.” [Het is onduidelijk welke de derde Cochranereview is waarnaar wordt verwezen.]

Het neemt niets weg van Cochranes reputatie als we opmerken dat systematische reviews enkel nuttig zijn als de studies die ze opnemen geldige en betrouwbare gegevens verschaffen. Als de studies zelf fundamenteel onjuist zijn, en als de zogenaamde experts die de reviews uitvoeren en schrijven, deze tekortkomingen weigeren te erkennen of niet kunnen begrijpen, dan zal eender welke synthese of gevolgtrekking even problematische conclusies opleveren. Dat is wellicht wat er gebeurd is bij de systematische reviews voor CVS-behandelingen uitgevoerd door de groep Veelvoorkomende Psychische Aandoeningen.

**********

Laat ons allereerst komaf maken met één punt: deze ziekte zit niet op haar plaats in de groep Veelvoorkomende Psychische Aandoeningen. Wat de historische redenen voor deze regeling ook zijn geweest, het zorgt er zonder twijfel voor dat toeschouwers gaan veronderstellen dat Cochrane als organisatie de kadering van CVS als psychiatrische ziekte onderschrijft. Patiënten maken bezwaar tegen deze situatie niet omdat ze vooroordelen hebben over de psychiatrie en mensen met geestelijke gezondheidsproblemen, zoals de PACE-auteurs en andere beweren, maar omdat hun ziekte geen geestelijk gezondheidsprobleem is en omdat de groep Veelvoorkomende Psychische Aandoeningen al heeft aangetoond dat ze niet in staat is om onderzoek nauwkeurig te evalueren.

(David Tovey, hoofdredacteur van Cochrane, en psycholoog James Coyne hebben eerder al het publieke debat geopend over problemen met belangenconflicten van Cochranereviewers in dit veld. Ik ga deze kwesties niet aankaarten in deze post.)

De meest recente versie van de systematische review over lichaamsbeweging van de groep Veelvoorkomende Psychische Aandoeningen werd vlak na de publicatie in 2014 op scherp scepticisme onthaald door pientere belangenbehartigers. Patiëntonderzoekers Tom Kindlon en wijlen Robert Courtney in het bijzonder, dienden overtuigende en uitvoerige commentaren in die de ernstige fouten in de systematische review aan het licht brachten en de ongegronde beweringen weerlegden. Toen Cochrane de review vorig jaar herpubliceerde, voegde het de woordenwisselingen toe tussen de correspondenten en hoofdauteur Lillebeth Larun.

Larun, een onderzoeker en hoofddocent aan het departement beoordelingsinterventies van het Noorse Instituut voor Volksgezondheid, verdedigde zich ontoereikend tegen de bedenkingen die opgeworpen werden door Kindlon en Courtney. Ik ga de argumentatie hier niet ontleden. Maar Laruns reactie op één probleem is het vermelden waard omdat het op zo’n drieste manier goochelt met taal om ondermaatse methodologie goedgepraat te krijgen.

In PACE gebruikten de onderzoekers andere methodes om de primaire uitkomstmaten te evalueren dan diegenen die ze specificeerden in hun protocol. Deze uitkomstverandering, waaruit cijfers voortkwamen die een positievere interpretatie van de resultaten mogelijk maakten, vond plaats nadat de gegevens verzameld waren. Toch verwezen de PACE-onderzoekers naar deze gereviseerde evaluatiemaatstaven als “vooraf gespecificeerd” omdat, zoals ze hebben uitgelegd, de veranderingen doorgevoerd werden voordat ze de gegevens onderzocht hadden.

De kwestie is van belang omdat het beïnvloedt hoe Cochranereviewers het risico op vooringenomenheid van PACE moeten inschatten. In Cochranes eigen richtlijnen over evaluatie van het risico van een studie op vooringenomenheid overheen meerdere domeinen, wordt o.a. het volgende gezegd over de vereisten om op vlak van resultatenrapportage in aanmerking te komen als “laag risico” op vooringenomenheid: “Het studieprotocol is beschikbaar en alle op voorhand gespecificeerde (primaire en secundaire) uitkomstmaten van de studie die van belang zijn in de review, werden gerapporteerd op de vooraf gespecificeerde manier.”

Die zin lijkt duidelijk. “Vooraf gespecificeerd” betekent in dit geval “gespecificeerd voordat de studie begonnen is”. Niemand kan ontkennen dat bij PACE niet gerapporteerd werd op deze “op voorhand gespecificeerde” manier. En toch besloot Larun, die hiermee de PACE-auteurs nazegt, om het woord een nieuwe betekenis te geven zodat het kan omvatten wat er in feite gebeurd is in de studie. Dit is wat ze schreef over de verandering in uitkomstmaten: “Deze veranderingen werden opgesteld voordat de analyse begon en voordat uitkomstgegevens werden onderzocht. Ze waren met andere woorden vooraf gespecificeerd, dus ik zie niet in hoe de veranderingen bijgedragen zouden hebben tot enige vooringenomenheid.” Ze schatte PACE in als “laag risico” op vooringenomenheid.

Laruns standpunt is onhoudbaar. Onderzoekers van klinische studies schrijven protocols zodat iedereen begrijpt wat de spelregels zijn. Wat Larun en de PACE-auteurs ook beweren, “vooraf gespecificeerd” betekent niet “gespecificeerd na gegevensverzameling maar vóór gegevensinzage” – en dat stemt overeen met Cochranes eigen richtlijnen over risico op vooringenomenheid, die Larun blijkbaar besloot te negeren. Meer nog, PACE was een studie met open onderzoeksopzet die voortbouwt op subjectieve uitkomsten. In dat soort studies kennen onderzoekers meestal de uitkomsttrend lang voordat ze de eigenlijke gegevens inkijken. In deze omstandigheden is het absurd om de gerapporteerde uitkomstmaten van PACE te definiëren als “vooraf gespecificeerd”.

**********

Met haar meer dan 600 deelnemers, was PACE de grootste behandelingsstudie voor de ziekte. De studie verwijderen uit de systematische review over lichaamsbeweging zou de algemene conclusies evenwel niet veranderen. Maar zowel de systematische review over lichaamsbeweging als die over CGT lijden aan andere gebreken die hun bevindingen verdacht en in wezen betekenisloos maken. De uitkomstverandering en andere unieke fouten van PACE terzijde, is de studie op vlak van twee belangrijke problemen in hetzelfde bedje ziek als vele of de meeste van de studies over CGT/GET voor deze ziekte. Het eerste probleem is dat vele studies overmatig brede gevalsdefinities gebruiken. Het tweede is dat het studies zijn met open onderzoeksopzet die voortbouwen op subjectieve uitkomsten.

Het eerste probleem zorgt ervoor dat steekproeven voor de studie waarschijnlijk een heterogene verzameling aan mensen betrekken die lijden aan chronische vermoeidheid omwille van verschillende redenen, waaronder depressie of angststoornissen, maar niet noodzakelijk de ziekte hebben die zogenaamd onderzocht wordt. Het is mogelijk dat sommige van deze andere deelnemers baat zouden kunnen hebben bij CGT en GET, wat alle inspanningen om de bevindingen te interpreteren, bemoeilijkt.

Het tweede probleem, nl. een open onderzoeksopzet combineren met subjectieve uitkomsten, betekent dat positieve zelfrapportage van deelnemers in behandelingsarmen eenvoudigweg verklaard kan worden door vooringenomenheid. Aangezien deelnemers weten aan welke behandeling ze zijn toegewezen, en ook of van de behandeling verwacht wordt dat ze zal helpen, zullen hun antwoorden waarschijnlijk beïnvloed worden door hoop en verwachtingen. Het is onduidelijk waarom systematische reviews dit soort studies überhaupt zouden meerekenen, en het is al even onduidelijk waarom iemand überhaupt zo veel geld zou uitgeven aan het uitvoeren van zo’n studies.

Rekenen systematische reviews van farmaceutica dat soort studies meestal mee en evalueren ze ze als robuust bewijs met laag risico op vooringenomenheid? Zo nee, waarom zou dit dan wel gepast zijn in het geval van deze ziekte en deze studies? Hoe het ook zij, als Cochrane vindt dat het deze inherent onbetrouwbare studies moet meerekenen in systematische reviews, dan zouden ze via hun richtlijnen automatisch gelabeld moeten worden als hoog algemeen risico op vooringenomenheid, zelfs als ze ook positieve eigenschappen hebben.

Systematische reviews die studies meerekenen met dit soort netelige problemen, zullen zelf gelijkaardige tekortkomingen tentoonspreiden. Spijtig genoeg zullen dat soort reviews weinig of geen informatie verschaffen over mensen die lijden aan de ziekte in kwestie als ze gedefinieerd wordt via nauwkeurigere definities. In dit geval betekent dat niet enkel de Fukudadefinitie (voor CVS) van CDC uit 1994, maar ook twee betere, die opgesteld werden door internationale expertencomités: de Canadese Consensuscriteria uit 2003 (voor ME/CVS) en de Internationale Consensuscriteria uit 2011 (voor ME). (Er is ook nog de klinische gevalsdefinitie van het Amerikaanse Institute of Medicine uit 2015, voor systemische inspanningsintolerantieziekte of SEID, maar dat is een andere kwestie.)

Ook zullen dit soort systematische reviews geen antwoord geven op de vraag of objectieve maatstaven al dan niet de positieve subjectieve rapporteringen ondersteunen. Larun heeft erkend dat het zinvol zou zijn om objectieve uitkomsten mee te rekenen in de systematische review over lichaamsbeweging. Maar om goed te praten dat die uitgesloten werden van de huidige review over lichaamsbeweging, merkte ze op dat ze uitgesloten werden uit het protocol van de systematische review. Natuurlijk zet die redenering enkel meer vraagtekens bij de vraag waarom objectieve bevindingen uitgesloten werden uit het protocol.

Als het om deze ziekte gaat, komen de gepubliceerde subjectieve resultaten in het algemeen niet overeen met objectieve bevindingen. Om objectieve gegevens in de systematische review mee te rekenen, zou men dus de gerapporteerde voordelen van de behandelingen een nieuwe, lagere score moeten geven. Misschien is dat een reden waarom beslist werd om deze gegevens weg te laten uit zowel het protocol als de review.

**********

De groep Veelvoorkomende Psychologische Aandoeningen heeft een tweede systematische review geschreven over lichaamsbeweging, met gebruik van individuele gegevens van deelnemers uit de verschillende studies, in plaats van enkel de gepubliceerde resultaten. Deze IPD-review [Individual Patient Data, n.v.d.r.] had naar verluidt vorig jaar gepubliceerd moeten worden, maar is nog steeds niet gepubliceerd. Het is geweten dat Cochrane – en dat spreekt voor hen – het voor peerreview verstuurde naar mensen buiten de gewoonlijke kringen. Deze verdere peerreviews waren naar het schijnt vernietigend. Dat zal niemand van buiten de biopsychosociale bubbel verbazen.

Cochrane is zich ervan bewust dat de bedenkingen over PACE en dit hele onderzoeksveld verder reiken dan enkel de gemeenschap van patiënten en belangenbehartigers. Het beseft dat de Amerikaanse National Institutes of Health en het Institute of Medicine (nu de Nationale Academy of Medicine) drie jaar geleden belangrijke rapporten publiceerden die de ziekte als lichamelijk bestempelde en niet psychologisch van aard. Het weet dat de Amerikaanse Centers for Disease Control CGT en GET hebben verworpen als behandeling voor wat ze nu ME/CVS noemen; dat het Amerikaanse Agency for Healthcare Research and Quality zijn aanbevelingen voor CGT en GET gedegradeerd heeft na stratificatie van de analyse volgens gevalsdefinitie; en dat het Britse National Institute for Health and Care Excellence bezig is met een “volledige update” van zijn richtlijn.

Met andere woorden: de internationale steun voor het CGT/GET-paradigma brokkelt af. En toch blijven leden van de groep Veelvoorkomende Psychologische Aandoeningen deze behandelingen verdedigen, en baseren ze hun argumenten op gebrekkig onderzoek. Dit is een uitdaging voor Cochrane. De uitdaging gaat niet enkel over wat ze moeten doen met de ongepubliceerde IPD-review, maar ook over hoe ze moeten omgaan met de gepubliceerde reviews. Deze reviews, en dan voornamelijk de review over lichaamsbeweging, blijven een negatieve invloed uitoefenen op behandelingsopties voor patiënten, zoals ik opmerkte in een recente post over de Mayo Clinic. Dat zal zo blijven zo lang de voorstanders van CGT/GET zich achter Cochrane kunnen blijven verschuilen.

Cochrane moet zo snel mogelijk een paar moeilijke beslissingen nemen, zijn plannen bekendmaken en dan de puinhoop opruimen die veroorzaakt is door de groep Veelvoorkomende Psychologische Aandoeningen. Moeten de huidige systematische reviews ingetrokken worden? (Ik vind absoluut van wel, om duidelijk uiteengezette redenen.) Of moeten ze een waarschuwingslabel opgeplakt krijgen terwijl deskundigen die niet betrokken zijn bij de groep Veelvoorkomende Psychologische Aandoeningen de hele zaak opnieuw bekijken en een nieuwe strategie ontwikkelen voor het evalueren van studies en het analyseren van gegevens?

Moet van elke volgende systematische review vereist worden dat resultaten gedifferentieerd worden op basis van gevalsdefinitie? Zouden deze reviews objectieve uitkomsten uitlichten? Als studies met open onderzoeksopzet die voortbouwen op subjectieve uitkomsten, worden meegerekend, moeten ze dan gepast beoordeeld worden als hoog algemeen risico op vooringenomenheid?

Professor Watts recente verdediging van PACE doet vermoeden dat eerbied aan autoriteit nog steeds zwaarder doorweegt dan wetenschappelijke redenering in machtige sectoren van het Britse medisch-industriële apparaat. Cochrane zal waarschijnlijk tegenkanting krijgen als ze de fouten in deze systematische reviews willen aanpakken, dus corrigerende maatregelen treffen zal niet eenvoudig zijn. Maar om de gezondheid van patiënten te beschermen, kunnen ze daar niet omheen.