Home » Nieuwsartikels » David Tuller » Trial By Error: hoe zit het met de Cochranereview over bewegingstherapie?

Trial By Error: hoe zit het met de Cochranereview over bewegingstherapie?

Geplaatst door ME-Gids
op 14/11/2019

Laatste bijwerking op 14/11/2019

Bron:

| 7628 x gelezen

David Tuller, DrPH, Virology Blog, 24 september 2019

Op 17 juni kondigde Cochrane aan dat het een revisie had ontvangen van een erg omstreden review over bewegingstherapie als behandeling voor chronisch vermoeidheidssyndroom (de naam die de organisatie al lange tijd geeft aan de ziekte of cluster aan ziektes die ook bekend staat als myalgische encefalomyelitis, cvs/ME en ME/cvs). Cochrane postte een verklaring, waarin het zei dat “het proces langer heeft geduurd dan voorzien; de geamendeerde review is bijna afgewerkt en zal in de komende twee maanden gepubliceerd worden”.

Intussen ziet het ernaar uit dat het proces nog steeds “langer duurt dan voorzien”, aangezien er al meer dan drie maanden gepasseerd zijn sinds het bericht werd gepost. De publicatie van de revisie is al een maand te laat. Misschien is Cochrane van plan om het heel binnenkort te publiceren. Of misschien is het proces om de geamendeerde review “af te werken” ingewikkelder dan gedacht, en zou Cochrane zich de vraag moeten stellen of het zin heeft nog maar eens een herhaling te onderschrijven en te publiceren van wat vanaf dag één een belabberde puinhoop was.

We weten niet welke wijzigingen werden aangebracht aan de versie die vermeld wordt in het bericht van 17 juni. Wat we wél weten, is dat Dr. David Tovey, Cochranes intussen gepensioneerde hoofdredacteur, een revisie afwees die midden mei ingediend werd, omdat die het beschikbare bewijs te hoog inschatte.

Critici, en dan vooral erg pientere patiënten, brengen al lang ditzelfde argument naar voren over de review uit 2014, die een update was van een review die tien jaar eerder werd gepubliceerd. De meeste van de acht inbegrepen studies onderzochten graduele oefentherapie. De review, die uitgevoerd werd door de Groep Veelvoorkomende Psychische Aandoeningen van Cochrane, staat vol methodologische fouten, dus de beste zet voor Cochrane zou zijn om de review helemaal te schrappen, ME/cvs over te dragen op een gepastere afdeling van de organisatie, en weer met een schone lei te beginnen.

In elk geval maakte Dr. Tovey zijn standpunten duidelijk in een reeks e-mails die vrijgegeven werden via de Noorse wetten omtrent vrijheid van informatie. (De hoofdauteur van de review, Lillebeth Larun, is een onderzoeker aan het Noorse Volksgezondheidsinstituut.) Op 13 mei stuurde Atle Fretheim, een directeur onderzoek en innovatie aan Laruns instituut, de langverwachte revisie van de review over bewegingstherapie naar Dr. Tovey. Dr. Tovey stelde Dr. Fretheim op 24 mei op de hoogte van het feit dat Cochrane niet van plan was om de review te publiceren.

“Tot mijn grote spijt en teleurstelling vrees ik dat ik deze versie niet zal kunnen publiceren”, schreef Dr. Tovey. “Zoals eerder besproken, zullen deze review en deze beslissing grondig onder de loep worden genomen, wat betekent dat we geen nieuwe versie kunnen publiceren, tenzij we er zeker van zijn dat de review zo waterdicht is als mogelijk… In het bijzonder blijf ik bedenkingen hebben bij de voorstelling in het algemeen, maar in het bijzonder bij de kortetermijnresultaten op vermoeidheid, nl. dat die nog steeds te optimistisch zijn.”

Op andere plaatsen in het e-mailgesprek waar bewegingstherapie werd besproken, noemde Dr. Tovey dit “een interventie die hoogstwaarschijnlijk erg weinig bij te dragen heeft” – een standpunt dat haaks staat op hoe de review ze aanprijst. (Dr. Tovey is intussen gepensioneerd, en Dr. Karla Soares-Weiser betrekt nu de functie van hoofdredacteur van Cochrane.)

Door het gehakketak over de review is de top van Cochrane verwikkeld geraakt in het aanslepende meningsverschil tussen voorvechters van wetenschappelijke integriteit en de ideologische GET/CGT-brigade, die nog steeds veel steun krijgen van heel wat hoge piefen uit het Britse academische en medische establishment. Experts in studieontwerp – d.w.z. experts van buiten het grondgebied van de psychiatrische afdelingen van Oxford, Kings College Londen en enkele andere exclusieve Britse instituten – erkennen dat ongeblindeerde studies die voortgaan op zelfgerapporteerde uitkomsten, zoals de studies in de Cochranereview, niet in te schatten niveaus aan vooringenomenheid bevatten en geen betrouwbaar bewijs kunnen leveren.

Ik moet hierbij vermelden dat ik via-via uit goede bron vernomen heb dat Larun vindt dat mijn werk over de Cochranereview neerkomt op “pesterijen”. Als zij dit effectief gelooft, dan zou dat aantonen dat ze niet in staat is om het verschil te zien tussen “pesterijen”, en scherpe maar terechte kritiek. Ik heb nooit contact opgenomen met Larun. Toen ik vorig jaar in november in Noorwegen was, ontmoette ik Dr. Fretheim en een andere afgevaardigde van Laruns agentschap, het Noorse Instituut voor Volksgezondheid. Ik legde in niet mis te verstane woorden aan hen uit waarom ik vond dat de Cochranereview over lichaamsbeweging tekortschoot. Over een invloedrijke paper mijn professionele mening uiten tegenover volksgezondheidsbeambten kan op geen enkele redelijke manier gedefinieerd worden als “pesterijen”, hoezeer de hoofdauteur het ook oneens is met mijn standpunt.

*****

Ik vat even samen wat er tot hier toe in deze saga allemaal gebeurd is… Nadat Cochrane de bewegingsreview van Larun en drie coauteurs publiceerde, schreven twee patiënten, Tom Kindlon en wijlen Robert Courtney, uitgebreide kritieken in de correspondentie. Larun gaf ontoereikende antwoorden die intellectueel gezien geen cent waard waren. Courtney stuurde vervolgens een formele klacht naar Cochrane. Vorig jaar, na onderzoek van Courtneys bedenkingen, erkende Cochrane dat ze gegrond waren en vroeg Larun en haar coauteurs om ze aan te pakken. Spijtig genoeg was Courtney al overleden. Ik heb hier uitgebreid over de Cochranesituatie geschreven. (In juli vorig jaar ontmoette ik Dr. Tovey om door te drukken dat de review om meerdere redenen gebrekkig was.)

Eén van meerdere belangrijke problemen was het feit dat de review beweerde dat PACE een laag risico in zich hield op vooringenomenheid omtrent selectieve uitkomstrapportering – ook al veranderden de onderzoekers de primaire uitkomsten toen de studie al een heel eind op weg was. In de correspondentie die volgde op de publicatie van de review, drukte Larun erop dat de primaire uitkomsten in PACE “vooraf vastgesteld” waren omdat ze “opgesteld werden voordat de analyse begon en voordat men de uitkomstdata had bekeken”. Met deze bewering bauwde Larun het valse argument na dat vaak gepromoot wordt door de PACE-auteurs zelf, om hun drastische uitkomstwissel goed te praten. Blijkbaar heeft nog niet iedereen gesnapt dat onderzoekers meestal al duidelijke trends in de resultaten zien, lang voordat ze de eigenlijke data onder ogen krijgen.

Ergens in de loop van vorig jaar heeft Dr. Tovey blijkbaar beslist dat de review ingetrokken moet worden, in afwachting van de herzieningen. Vorig jaar in oktober kwam Reuters Britse wetenschappelijke “journaliste” Kate Kelland, boezemvriendin van het zogenaamde Science Media Centre, met het nieuws over de poging tot intrekking, in een enorm eenzijdig artikel dat Cochrane en Dr. Tovey persoonlijk afschilderde alsof ze door de knieën gingen voor schuimbekkende patiënt-activisten. Het Reutersartikel citeerde uit een e-mailgesprek tussen Cochraneredacteurs en het reviewteam over de voorgestelde intrekking. Alhoewel Reuters de bron van de e-mails niet vermeldde, werden ze wellicht met Kelland gedeeld door diegenen die er belang bij hadden om in te gaan tegen Cochranes beslissing om de review in te trekken.

Zoals te verwachten viel, gezien Kellands banden met het SMC en haar schijnbare sympathie voor de situatie van de ongelukkige onderzoekers, repte het artikel met geen woord over de methodologische problemen in kwestie of de wetenschappelijke redenen achter de intrekking van de review. In reactie schreef en postte Virology Blog een verklaring als steunbetuiging voor Cochranes beslissing; de verklaring somde de ernstige fouten van de review op, en werd ondertekend door meer dan 40 wetenschappers, artsen en academici van Harvard, Columbia, London School of Hygiene and Tropical Medicine, Berkeley en vele andere toonaangevende instellingen.

Spijtig genoeg zorgde het kromme artikel van Reuters voor stigmatisering van patiënten en verleende het geloofwaardigheid aan het gekunstelde argument dat Cochrane op de knieën ging voor onredelijk en onwetenschappelijk gespuis. Na die publiekelijke slag in het gezicht, schakelde Cochrane een versnelling lager. Een week na het verschijnen van het Reutersartikel postte de organisatie een bericht dat ze bezig waren met een revisie – maar de huidige review werd niet ingetrokken. Eind november kondigde Cochrane aan dat het deze revisie had verworpen, waardoor de situatie in het ongewisse bleef.

De volgende stap kwam in maart, met de aankondiging van verdere wijzigingen aan de review die “gericht waren op het verbeteren van de rapportagekwaliteit… en ervoor te zorgen dat de conclusies volledig verdedigbaar en gegrond zijn zodat de gezondheidszorg er zijn beslissingen op kan bouwen.” Het was een versie van die revisie die in mei door Dr. Tovey werd verworpen. Waar men wellicht naar verwees in de verklaring van 17 juni was een opnieuw herziene versie.

De aankondiging van maart werd overigens zo verwoord dat men zou vermoeden dat de conclusies van de huidige versie niet “volledig verdedigbaar en gegrond zijn om zodat de gezondheidszorg er zijn beslissingen op kan bouwen”. Het is daarom niet onredelijk dat we aan Cochrane vragen om te verantwoorden waarom de organisatie terugkwam op haar eerdere beslissing om de review in te trekken, in afwachting van aanvaardbare revisies.

*****

Nadat Dr. Tovey op 24 mei de revisie afkeurde, reageerde Dr. Fretheim met een voorstel tot verdere mogelijke kleine wijzigingen, om hun meningsverschil te overbruggen. De daaropvolgende woordenwisseling was een levendig en ietwat geïrriteerd heen-en-weer over de struikelblokken voor publicatie – ze raakten het in het bijzonder niet eens over de kwaliteit en/of zekerheid van het bewijs voor de voordelen van lichaamsbeweging als behandeling voor vermoeidheid.

Volgens de review uit 2014 was het bewijs dat bewegingstherapie vermoeidheid zou verminderen van “gemiddelde kwaliteit” – ook al waren alle studies in de review studies met open onderzoeksopzet en zelfgerapporteerde uitkomsten. Aangezien zelfgerapporteerde uitkomsten in studies met open onderzoeksopzet per definitie onderhevig zijn aan een onbekende mate aan vooringenomenheid, kan het “bewijs” op geen enkele redelijke manier beschreven worden als van “gemiddelde” kwaliteit.

Dr. Toveys e-mails laten duidelijk zien dat hij de kwaliteit van het bewijs achter de beweringen over bewegingstherapie en vermoeidheidsreductie “laag” vindt, en niet “gemiddeld”. Zoals hij schreef, “is de conclusie, dat dit bewijs is van gemiddelde zekerheid, volgens mij onverdedigbaar, en zoals we weten, ben ik niet de enige die het zo ziet… Het lijkt mij absoluut duidelijk dat dit bewijs is van lage zekerheid.” In reactie daarop suggereerde Dr. Fretheim een compromis, waarbij het bewijs zou worden omschreven als “laag tot gemiddeld”. Het is niet duidelijk hoe en of dit probleem werd opgelost in de revisie die nu voorbereid wordt voor publicatie.

Buiten dat dispuut zijn er enkele andere wijzigingen verschenen waarover men het wel eens was. Volgens een bijlage die door Dr. Fretheim naar Dr. Tovey werd verstuurd, zou de revisie een verklaring bevatten die zegt dat “patiënten gediagnosticeerd via andere criteria een ander effect kunnen ervaren”.

Als de revisie ook echt wordt gepubliceerd, dan zal het van cruciaal belang zijn dat dit punt duidelijk belicht wordt. Bij de studies die werden meegenomen in de review, werden patiënten gerekruteerd op basis van ofwel de Oxfordcriteria, ofwel de Fukudacriteria. Deze gevalsdefinities baseren zich allebei op vermoeidheid. In tegenstelling tot de recentste gevalsdefinities, zoals de Internationale Consensuscriteria voor ME uit 2011, is de aanwezigheid van postexertionele malaise niet vereist en leiden ze vaker tot heterogene testgroepen. Zoals al vaker is opgemerkt, zou bewegingstherapie nuttig kunnen zijn voor vele mensen bij wie vermoeidheid voortkomt uit ongediagnosticeerde depressie of angststoornissen, of andere aandoeningen.

Hoewel dit niet besproken werd in de vrijgegeven e-mails, had Cochrane er ook op moeten drukken dat een herziene review de verschillende objectieve uitkomsten uit de studies zou moeten toevoegen. Objectieve uitkomsten in ME/cvs-studies komen telkens opnieuw niet overeen met de voordelen die men ziet in zelfgerapporteerde resultaten. Dus als objectieve uitkomsten zouden worden meegeteld, dan zou men de score voor bewegingstherapie moeten verlagen. De review uit 2014 was gebaseerd op een eerder protocol dat deze objectieve metingen niet meenam. Maar het was fout van Cochrane om de update goed te keuren zonder ervoor te zorgen dat objectieve metingen werden toegevoegd aan de analyse. Elke herziening zonder die objectieve metingen zullen leiden tot overdreven positieve resultaten. Cochrane zou toch moeten weten dat het onaanvaardbaar is om een review te publiceren – of te herpubliceren – zonder notie te nemen van cruciale bevindingen die zouden leiden tot een andere interpretatie van de gerapporteerde resultaten.

Op 29 mei stelde Dr. Fretheim voor om de zaak in te dienen bij een onderling overeengekomen “bemiddelaar”. Misschien is dat gebeurd, misschien ook niet. Er zijn nog geen e-mails van later dan mei vrijgegeven. Cochrane bevindt zich intussen wel in een benarde situatie. De redacteurs zullen toch zeker wel weten, of op zijn minst vermoeden, dat deze nieuwe versie publiceren een enorme misstap zou kunnen zijn. Als Cochrane een herziening goedkeurt die nog maar eens propaganda blijkt te zijn voor de vermeende voordelen van bewegingstherapie, dan zal hun reputatie wellicht meer schade oplopen dan als ze de stekker zouden trekken uit deze puinhoop en het hele proces van nul zouden beginnen.