Home » Nieuwsartikels » David Tuller » Het Cochraneverhaal gaat verder…

Het Cochraneverhaal gaat verder…

Geplaatst door ME-Gids
op 13/04/2019

Laatste bijwerking op 13/04/2019

Bron:

| 8521 x gelezen

We meldden eerder al dat Cochrane zijn review over oefentherapie voor “CVS” wou intrekken, dan de intrekking weer uitstelde, en vervolgens opnieuw uitstelde.

Tuller vestigt onze aandacht op een blog van Caroline Struthers, pleitbezorger voor verbeterde kwaliteit en transparantie van wetenschappelijk gezondheidsonderzoek. Zij diende een tijdje geleden bij Cochrane een klacht in over de review over oefentherapie voor “CVS”, en deelt Cochranes (slappe) reactie op die klacht.

Verder meldt Tuller dat Noorse ME-patiënten een Cochranerapport konden inkijken over de behandeling van Robert Courtneys klacht over dezelfde review (details over die klacht kan je herlezen in een eerder geposte blog van James Coyne). Uit het Cochranerapport blijkt duidelijk dat Cochrane de klacht van Courtney wetenschappelijk gegrond vindt, en dat de plannen om de review in te trekken dus niets te maken hebben met druk vanwege een hysterische antiwetenschappelijke patiëntenmeute (zoals de PACE-auteurs het in de pers voorstelden, wat leidde tot uitstel van de intrekking van de review).

Trial by error: update van Cochrane en laatste brief van Caroline Struthers

David Tuller, DrPH, Virology Blog, 20 februari 2019

De toestand bij Cochrane lijkt nog steeds in beweging. Vorige week postte de organisatie de mededeling dat ze op zoek zijn naar een nieuwe hoofdredacteur. De huidige bekleder van die functie, Dr. David Tovey, gaat in mei weg. Dr. Tovey zit al tien jaar bij Cochrane, dus het zou best kunnen dat zijn vertrek al langer gepland stond.

Sinds vorig jaar worstelt Dr. Tovey met de vraag wat er moet gebeuren met de omstreden review over lichaamsbeweging voor chronisch vermoeidheidssyndroom, zoals Cochrane de ziekte noemt. Deze aankondiging komt er te midden van de onduidelijkheid over de toestand van de review over lichaamsbeweging. Ook is er onduidelijkheid over welke classificatie Cochrane zal geven aan de ziekte, die ze tot hier toe onderbracht in de afdeling Veelvoorkomende Psychische Aandoeningen. Misschien zal Dr. Tovey in staat zijn om de zaken in de goede richting te sturen voordat hij vertrekt.

Even samenvatten: de Cochranereview over lichaamsbeweging werd voor het laatst geüpdatet in 2014. Vorig jaar verklaarde Cochrane de bedenkingen die geuit waren over de review als gegrond, en besliste Dr. Tovey dat de review tijdelijk ingetrokken moest worden terwijl de auteurs de review reviseerden. Die actie werd in oktober gedwarsboomd door nieuwsberichten die geen oog hadden voor de vele wetenschappelijke en methodologische tekortkomingen van de review over lichaamsbeweging; in plaats daarvan werd in het bericht zo gedaan alsof Cochrane bezweek onder druk van onredelijke, antiwetenschappelijke patiënten.

Dat was een oneerlijke beschuldiging. In reactie postte Virology Blog een open brief met een steunbetuiging aan Cochrane, die ondertekend werd door meer dan 40 wetenschappers, academici en andere experts. Te midden van het tumult trok Cochrane de review over lichaamsbeweging niet in, maar vroeg wel om revisies van de auteurs. In november verwierp Cochrane die gereviseerde versie als ontoereikend, maar liet het de huidige versie op zijn website staan.

In december nam Cochrane een stap in diezelfde richting. Het trok het gepubliceerde protocol in voor een tweede review over lichaamsbeweging voor CVS – een uitgebreide versie die een review op basis van “individuele patiëntendata” wordt genoemd. De IPD-review was al geschreven, op basis van dat protocol. Maar het was bekend dat die nogal vernietigende commentaar had gekregen van peerreviewers en niet gepubliceerd was. Het intrekken van het protocol voor die IPD-review was een stilzwijgende bevestiging dat Cochrane niet van plan was om de review zelf te publiceren.

Terwijl dit allemaal aan de gang was, gaf Cochrane ook nog het signaal dat de ziekte misschien verplaatst zou worden van de afdeling Veelvoorkomende Psychische Aandoeningen naar een ander domein, en dat men voor het einde van het jaar een aankondiging zou doen. Er is geen aankondiging gedaan. Dus op dit moment zit het lot van de review over lichaamsbeweging ergens tussen wal en schip, net als de toekomstige thuishaven voor de ziekte binnen Cochrane.

Ik denk dat we ervan uit kunnen gaan dat Dr. Tovey, achter de schermen, enorm onder druk is gezet door de ideologische GET/CGT-brigade en hun fans binnen de Britse academische en medische gevestigde orde. Deze hoge piefen breken steeds weer een lans voor dit “op eminentie gebaseerde” behandelingsparadigma, zoals professor Brian Hughes van National University of Ireland Galway de tendens noemt om onderzoek te evalueren op basis van prestige, eerder dan op basis van kwaliteit. Ze weigeren te erkennen wat voor de hand ligt: dat de bewijsbasis afbrokkelt als ze onder de loep wordt genomen door experts van buiten hun invloedssfeer. En dat PACE echt een stuk rotzooi is.

Voor verdedigers van de status quo fungeert Cochrane als bolwerk tegen de instorting van de GET/CGT-benadering, nu internationale experts erkennen dat PACE niet voldoet aan minimale wetenschappelijke normen. Nadat Virology Blog vorige zomer zijn meest recente open brief aan The Lancet postte over de “onaanvaardbare methodologische fouten” van de studie, citeerde de Medical Research Council de Cochranereview als ondersteunend bewijs voor PACE. Eerder deze maand citeerde de Health Research Authority de positieve score die PACE kreeg in de Cochranereview over lichaamsbeweging – zonder te vermelden dat deze beoordeling betwist wordt.

Deze onopgeloste stand van zaken is onhoudbaar. Misschien zal Dr. Tovey in staat zijn om de nodige stappen te ondernemen om dit op te lossen voordat hij binnenkort vertrekt, of misschien betekent zijn vertrek dat verdere beslissingen over deze kwestie op de lange baan geschoven zullen worden. Hoewel ik hoop op het eerste, vrees ik dat het laatste tot de mogelijkheden behoort.

In de tussentijd gaat het debat verder. Een paar dagen geleden stuurde Caroline Struthers een lange reactie in op de brief die ze vorige maand ontving van Dr. Tovey, in verband met een klacht die ze had ingediend over de review over lichaamsbeweging.

Struthers was van 2015 tot 2016 lid van de Cochrane Consumer Executive [groep van patiëntafgevaardigden binnen Cochrane, n.v.d.r.]. Ik herpost haar volledige reactie hier, met haar toestemming.

**********

18 februari 2019

Geachte Raad van Bestuur en Voorzitter van de Toezichtscommissie van de Cochranebibliotheek

CC David Tovey, hoofdredacteur; Mark Wilson, CEO van Cochrane; Vice-Voorzitters van de Cochraneraad

Onderwerp: Klacht over de Cochranereview over Lichaamsbeweging voor Chronisch Vermoeidheidssyndroom

Bij gebrek aan een klachtenprocedure of een procedure voor de onafhankelijke evaluatie van mijn klacht, ga ik ervan uit dat u weet dat ik de klacht ook heb ingediend bij de Charity Commission [Britse toezichthouder over liefdadigheidsorganisaties, n.v.d.r.].

Gelieve in de tussentijd de klacht en de reactie van David [Tovey] te bekijken in de context van onderstaande commentaren die hetzelfde nummeringssysteem volgen als het origineel.

Ik was blij om de nota’s te zien op de agenda stonden van de vergadering van de Raad van Bestuur die plaatsvond op 19 en 20 januari in Londen, waarin omschreven werd wat de taak is van de Cochrane Library Oversight Committee (CLOC) [toezichtscomité van de Cochranebibliotheek, n.v.d.r.]. Zoals in deze nota’s wordt gezegd, is het de taak van het Comité om:

Spanningen tussen de Raad van Bestuur en de Hoofdredacteur in acht nemen en te bemiddelen indien dit gepast is, op vraag van een of beide partijen, in verband met het redactionele proces of gepubliceerde commentaar van of in de Cochranebibliotheek.

De nota’s zeggen ook dat onder de leden van de CLOC minstens één patiënt of belangenbehartiger moet zitten. Kan u mij a.u.b. laten weten wie van de huidige leden voldoet aan deze beschrijving en in welke hoedanigheid?

Ik ben teleurgesteld over het gebrek aan interesse die de vicevoorzitters van de Raad tonen in deze kwestie en over het feit dat ze de bal terugspelen naar David [Tovey] om te antwoorden, hoewel ze specifiek gericht was naar hen, en ik hierover al meer dan een jaar correspondeer met David en leden van het Centraal Uitvoerend Comité. Er lijkt ook weinig besef van hoogdringendheid of bekommernis te bestaan voor mensen met ME bij de Chief Executive Officer, de Cochrane Council (waaronder twee patiëntafgevaardigden) of de Raad van Bestuur.

Het feit dat de HRA onlangs besliste om de review over lichaamsbeweging te citeren als bewijs dat PACE werd beschouwd als een goed uitgevoerde studie, toont aan dat dit een dringende kwestie is. In de brief aan Parlementslid Rt. Hon Norman Lamb van het Comité voor Wetenschap en Technologie stelde de HRA dat “de soliditeit van de PACE-studie in beschouwing werd genomen in een Cochranereview die het classificeerde als hoogkwalitatief”. Dus de review blijft nog steeds invloed uitoefenen op volksgezondheidsbeleid, en ook op de standpunten van politici en gezondheidsbeambten, doordat de auteurs niet geschikt reageren op bedenkingen over hun werk, en doordat Cochrane niet de nodige actie onderneemt. Een noot van de redactie over de review, die men pas te zien krijgt als men doorklikt op de link “nieuws”, legt uit dat een herindiening van de auteurs, met de bedoeling om de aangehaalde bedenkingen over hun werk te behandelen, nog steeds niet voldoet aan de normen die men verwacht van Cochranereviews, en dat de publicatie ervan dus niet werd aanvaard. En toch wordt deze oude, niet-gecorrigeerde versie van de review nog steeds geciteerd als “bewijs” dat PACE een hoogkwalitatieve studie was.

Vele van de problemen die ik hier naar voren breng werden geuit in Virology Blogs open brief van 23 oktober 2018 die steun betuigde aan Cochrane, en gepost werd na de aankondiging dat Cochrane beslist had om de review tijdelijk in te trekken. Die brief werd ondertekend door meer dan 40 wetenschappers, academici en andere experts van Harvard, Stanford, Cornell, Johns Hopkins, Uppsala, University College Dublin en vele andere toonaangevende instituten.

Ik verwacht niet dat de reactie van David [Tovey], of mijn commentaren erop hieronder, een zodanige “spanning” zullen veroorzaken tussen de Raad en de Hoofdredacteur dat één van beide partijen een onpartijdig onderzoek van het Toezichtscomité van de Cochranebibliotheek zou aanvragen. Ik hoop enkel dat u, als leden van de Raad van Bestuurders, de belangen van patiënten en het publiek – de begunstigden van de liefdadigheidsinstelling – op de eerste plaats zetten, en David het advies geven om de review over Lichaamsbeweging voor CVS in te trekken, zoals hij verklaarde te zullen doen in oktober. Ik vraag ook, opnieuw, aan Cochrane om een verontschuldiging uit te spreken tegenover mensen met ME, voor het leed en de schade die veroorzaakt is doordat Cochrane geen actie onderneemt.

Voordat ik op mijn beurt hieronder reageer op Davids antwoorden op mijn klacht, wil ik de vele mensen bedanken waarvan ik het werk in deze reactie heb mogen gebruiken, en dan vooral wijlen Robert Courtney.

1. Ik gaf kritiek op het feit dat de conclusie van de review over Lichaamsbeweging voor CVS was dat Graduele Oefentherapie (GET) nuttig is, terwijl het ondersteunende bewijs (d.w.z. de methodologische kwaliteit van de betrokken studies) extreem zwak is.

David sprak over de review die gepubliceerd werd “in 2004 na het gewoonlijke strenge redactionele proces en in lijn met de verwachte normen van die tijd, waaronder peerreview”, maar het is duidelijk dat er ernstige problemen waren met dit proces en de rol die de patiënt erin speelde. Volgens wiens normen van die tijd was dit proces strikt? Niet volgens de normen van de patiënten die sinds de jaren ’90 pogingen doen om hun bedenkingen ter sprake te brengen over de onderzoekskwaliteit op dit domein.

In plaats van te beweren dat Cochrane de procedures op een redelijke manier gevolgd had, had Cochrane moeten erkennen dat de problemen rond deze review een indicatie waren van het feit dat er dringend veranderingen doorgevoerd moesten worden in hun procedures om niet nog meer problemen te veroorzaken voor patiënten.

In zijn antwoord koos David fragmenten uit de review (niet de samenvatting zonder technische taal), wellicht om aan te tonen hoe weloverwogen de conclusies van de review waren geweest. [Cochrane publiceert officiële samenvattingen van hun reviews in eenvoudigere taal, n.v.d.r.]

“[De review] concludeert dat er voor één uitkomst, vermoeidheid, voordeel is (lage tot middelmatige bewijskwaliteit) en dat meldingen van ernstige schade tijdens de studie zeldzaam waren. Voor andere uitkomsten was de zekerheid van het bewijs laag of zeer laag. Het Abstract van de review stelt expliciet dat de data over schade ‘schaars’ zijn.”

Davids fragmentkeuze vestigde mijn aandacht op de samenvatting zonder technische taal, die gepubliceerd werd in tien talen. Ze verhoogt de bewijskwaliteit voor het voordeel van lichaamsbeweging van “laag tot middelmatig” naar “middelmatig” voor het verminderen van vermoeidheid. Ze stelt ook dat lichaamsbeweging een “positief effect” heeft op fysiek functioneren, slaap en algemene gezondheid. Dus de samenvatting in gewone taal geeft aan dat lichaamsbeweging voordelig is voor vier uitkomsten in plaats van één.

Zoals Robert Courtney in één van zijn commentaren op de review benadrukte, worden lezers niet geïnformeerd over het feit dat bewegingstherapie bij opvolging niet geassocieerd was met significante verbetering voor geen enkele van de vooraf gespecificeerde uitkomstmaten, behalve voor zelfgerapporteerde slaap. De samenvatting van de belangrijkste resultaten stelt dat:

Een positief effect van bewegingstherapie werd geobserveerd, zowel op het einde van de behandeling als bij opvolging, met betrekking tot slaap (Analyse 1.12; Analyse 1.13), fysiek functioneren (Analyse 1.5; Analyse 1.6) en veranderingen in algemene gezondheid volgens eigen beleving (Analyse 1.14; Analyse 1.15).

In feite tonen analyses 1.6 en 1.5 geen significant effect, ook al baseerden deze uitkomsten zich op data van subjectieve zelfgerapporteerde uitkomsten uit ongeblindeerde studies. Verder gaf de review ook een nulresultaat bij follow-up voor de vooraf gespecificeerde primaire uitkomst van gestandaardiseerde gemiddelde verschillen in scores uit vermoeidheidsvragenlijsten, alhoewel dit niet duidelijk werd gemaakt aan de lezers.

De samenvatting stelt ook dat lichaamsbeweging “de symptomen niet erger maakte” en dat “ernstige nevenwerkingen zeldzaam waren”. Dit creëert een andere indruk van wat David citeerde uit het abstract, nl. dat “data over schade ‘schaars’ waren”.

Gelet op de problemen die intussen erkend zijn met betrekking tot een groot deel van het onderzoek naar bewegingstherapie voor CVS, maakt de Cochranereview niet meteen een goede indruk door in de samenvatting zonder technische taal de voordelen te overdrijven en zich te geruststellend uit te laten over mogelijke nevenwerkingen.

2. Ik stelde vragen bij het feit dat de auteurs van de review bijna uitsluitend voortgingen op data uit subjectieve uitkomsten, terwijl de betrokken studies niet-geblindeerd waren.

David reageerde daarop door erop te wijzen dat de review de beperkingen erkent van het voortgaan op subjectieve uitkomsten in studies met een open onderzoeksopzet, en dat ze gepast weerspiegeld werden in de GRADE-tabellen “Samenvatting van Bevindingen”.

Dus de auteurs erkenden en documenteerden de beperkingen die veroorzaakt werden door voort te gaan op subjectieve uitkomsten in studies met open onderzoeksopzet, maar toch beslisten ze om in hun review te focussen op subjectieve uitkomsten, ondanks het feit dat er in diezelfde studies objectieve uitkomsten aanwezig waren? Voor zover ik weet, had een patiënt, voordat de Larunreview gepubliceerd werd, bedenkingen geuit over de discrepantie tussen de positievere resultaten voor subjectieve zelfgerapporteerde uitkomsten die onderhevig zijn aan problemen met vooringenomenheid, en de objectieve uitkomsten die bijna over de hele lijn nulresultaten gaven en die minder onderhevig zijn aan vooringenomenheid. En toch werden deze bedenkingen in de review niet behandeld.

In hetzelfde punt behandelde ik de twijfelachtige beslissing van de auteurs om advies te vragen en te aanvaarden van een hoofdonderzoeker van de PACE-studie, die een overduidelijk belang heeft bij een gunstige evaluatie van de studie. Davids antwoord was dat studieuitvoerders vaak geconsulteerd worden tijdens het reviewproces en dat de richtlijnen van Cochrane dit niet verbieden.

Het feit dat Cochranerichtlijnen iets op dit moment niet verbieden, betekent niet dat het oké is. In dit geval lijkt het deel uit te maken van ongepast nauwe banden tussen diegenen die een voorgestelde behandeling hebben ontwikkeld en uitgetest, en diegenen die verondersteld worden een onafhankelijk onderzoek te leveren van hun werk.

3. Ik stelde dat voortgaan op subjectieve uitkomsten in studies met open onderzoeksopzet “vreselijk slechte methodologie” is, en dat dit onbegrijpelijk is in een review van studies met een open onderzoeksopzet.

Davids antwoord was dat dit “slechts een mening” was die niet gedeeld werd door zijn methodologische adviseurs.

In zijn antwoord op punt 2 hierboven legde hij uit dat de auteurs deze beperkingen erkenden en dat ze ze gerapporteerd hadden in de gepaste punten in de review. Daarbij dringt zich opnieuw dezelfde vraag op: waarom kozen de auteurs van de review ervoor om de reviewuitkomsten te beperken tot subjectieve uitkomsten (met uitzondering van gebruik van gezondheidszorg, waarvoor er een nulresultaat was)?

De PACE-studie mat drie uitkomsten die de studieonderzoekers geklasseerd hadden als ‘objectiever’. PACE rapporteerde dat de toevoeging van bewegingstherapie niet tot verbetering leidde in hun objectieve metingen van fitheid, of in de tewerkstellingsuitkomsten. Voor de wandeltest van zes minuten was er een statistisch significante verbetering met GET, maar die voldeed niet aan de criteria voor een klinisch significante verbetering die ze gebruikten voor hun primaire uitkomsten (0.5 standaardafwijking bij aanvang).

Het is niet omdat de reviewauteurs beslisten om geen objectieve metingen toe te voegen aan het protocol dat ze overgeërfd hadden van vroegere versies van de review, dat dat de juiste beslissing was. Men zou toch kunnen voorspellen dat het weglaten van nulresultaten uit objectieve uitkomsten de gerapporteerde bevindingen van de review positief zou beïnvloeden. Nogmaals: wie waren de onafhankelijke peerreviewers en methodologen die hun goedkeuring gaven voor de beslissing van de reviewauteurs om geen analyse te maken van de objectieve uitkomsten uit studies die ze meerekenden?

Enkele aspecten in de uitvoering van de PACE-studie doen specifieke bedenkingen rijzen over het beïnvloeden van data voor subjectieve zelfgerapporteerde uitkomsten. Een recente paper van Carolyn Wilshire vat deze problemen samen, en trekt de aandacht naar het feit dat, middenin de studie, “aan GET-deelnemers werd verteld dat ‘in vroegere onderzoeksstudies de meeste mensen met CVS/ME zich ofwel “veel beter” ofwel “heel veel beter” voelden met GET’ en dat “GET ‘één van de doeltreffendste therapiestrategieën is die momenteel bekend zijn'”.

Het lijkt erop dat dat soort problemen niet enkel PACE betroffen, de grootste studie in de Larunreview. Zo gebruikte ook de tweede grootste studie, FINE, wat het omschreef als “Bemoediging Aanwakkeren”. Dit omvatte dat men aan patiënten dingen zei zoals: “elke beweging versterkt je lichaam”, “er is geen ziekte” en “vanaf het moment je deze kamer verlaat, is je herstel ingezet”.

Naast het mogelijk beïnvloeden van deelnemers hun zelfgerapporteerde uitkomsten, had dat soort bemoediging wellicht ook een weerslag op hoe het personeel stond tegenover de deelnemers. Er zijn aanwijzingen dat dit het geval was, zoals in een paper van de FINE-studie, waarin een leidinggevende wordt geciteerd die zei: “Eén of twee keer maakte ik me zorgen omdat ze boos werden op de patiënten… die boosheid werd aan de patiënten gecommuniceerd. Hun frustratie bereikte een soort van kookpunt… er was een soort van gevoel dat de patiënt dankbaar zou moeten zijn en hun advies zou moeten volgen, maar in werkelijkheid stribbelt de patiënt tegen en dan heb je zoiets van ‘die rotzakken willen niet beter worden’, weet je wel?”

Door een overdreven positieve visie te promoten over de kwaliteit van onderzoek als PACE en de voordelen van bewegingstherapie voor CVS-patiënten, maakt Cochrane zich mogelijk schuldig aan het beïnvloeden van de manier waarop de maatschappij reageert op een volledige patiëntenpopulatie.

Het is duidelijk dat vele CVS-patiënten bezorgd zijn over hoe laag de lat wordt gelegd in het onderzoek naar hun aandoening. Hun standpunten moeten ernstig genomen worden, ze moeten meegeteld worden, en ze mogen niet opzijgeschoven worden ten voordele van de standpunten van diegenen die geselecteerd werden door Cochrane. Als Cochrane onafhankelijke methodologen gevonden heeft die bereid zijn om het op te nemen voor studies als PACE en FINE, ondanks het risico op vooringenomenheid die subjectieve zelfgerapporteerde uitkomsten verdraait, dan zouden ze dit moeten doen in open debat met zowel patiënten als methodologen die het er niet mee eens zijn.

Professor Jonathan Edwards, emeritus hoogleraar Bindweefselgeneeskunde aan UCL, zei het volgende op [het forum] Science for ME:

Het probleem van niet-geblindeerde studies met subjectieve eindpunten is niet “slechts een mening”. Het is de enige zinnige mening en zit verankerd in alle op bewijs gebaseerde geneeskunde. Met alle respect, als Toveys adviseurs deze mening niet is toegedaan, dan zijn ze incompetent. En opnieuw met alle respect, als Tovey dat niet beseft, dan is hij niet bekwaam om op te treden als redacteur van een organisatie als Cochrane. Hij lijkt tot hiertoe eerlijk gehandeld te hebben, maar in dit geval lijkt hij aan te duiden dat hij niet begrijpt wat betrouwbaar bewijs betekent. Je zou bijna durven zeggen dat Cochrane compleet de weg kwijt is.

Het probleem van subjectieve eindpunten zonder blindering is een absoluut basisbegrip. Het is de reden waarom geblindeerde studies zijn uitgevonden. Een studie met dit ontwerp voor een geneesmiddel zou nooit ernstig worden genomen. Bovendien wordt het probleem bij door therapeuten uitgevoerde behandelingen veel erger, niet minder erg, omwille van het rollenspel en het feit dat je je houding aanpast, iets wat inherent verbonden is aan menselijke interactie.

Ik vrees dat we niet lager kunnen vallen dan dit.

Ik vind dat een verontschuldiging vereist is, samen met een toegeving dat die commentaar van “slechts een mening” ongepast was. Als een medewerker in naam van Cochrane zo’n verklaring uit, dan vernietigt dat effectief heel de reputatie van Cochrane.

Vorig jaar ondertekenden 114 wetenschappers, academici, clinici, tien parlementsleden en tientallen organisaties van patiënten en belangenbehartigers een open brief aan Dr. Richard Horton, redacteur van The Lancet. Die brief gaf scherpe kritiek op de “onaanvaardbare methodologische fouten” van PACE. Wat kan u vertellen over de expertise en de verantwoordingen van de methodologische adviseurs van Cochrane die deze mening niet delen?

David [Tovey] legde uit dat het courant is dat Cochranereviews gebruik maken van door patiënten gerapporteerde uitkomsten. Ik heb daar geen probleem mee, zo lang er gevalideerde maatstaven van kernuitkomsten zijn, en zo lang de uitkomsten gepast en belangrijk zijn voor patiënten. Ik heb er wél een probleem mee dat een Cochranereview vooral voortgaat op zuiver subjectieve uitkomsten als de studies in kwestie niet geblindeerd kunnen worden. Als de resultaten van relevante objectieve metingen de subjectieve metingen tegenspreken, zoals gebeurde in het geval van de PACE-studie, dan is dat een bijkomende reden tot bezorgdheid over het ontwerp en de uitvoering van de studie. Dit reviewteam koos er opzettelijk voor om voort te gaan op subjectieve uitkomsten en om objectieve uitkomsten af te zwakken, terwijl dat nergens voor nodig was. Als men dit niet nader verklaart, dan riskeert men de indruk te scheppen dat er een intentie was om voort te gaan op uitkomsten die waarschijnlijk voordelig waren voor de interventie.

Dit is een uittreksel uit het Cochranehandboek.

8.21.1 Risico op vooringenomenheid

In empirische studies is aangetoond dat een gebrek aan blindering van gerandomiseerde studies vaker leidde tot overdreven geschatte effecten van interventie, met gemiddeld 9%, gemeten volgens odds ratio (Pildal 2007). Deze studies hebben een waaier aan uitkomsten bekeken, waarvan sommigen objectief zijn. Men zag dat het geschatte effect gemiddeld meer vooringenomen was in studies met subjectievere uitkomsten (Wood 2008).

Dit komt uit een blog over blindering door Saul Crandon, gepost op 26 juni 2017 op de website Students for Best Evidence (https://www.students4bestevidence.net/blinding-comprehensive-guide-students):

Wat als blindering niet mogelijk is?

In gevallen waar blindering niet mogelijk of niet werkbaar is, moet de uitkomstmaat objectief zijn! Als je een studie leest die niet-geblindeerd is en subjectieve uitkomstmaten heeft, dan kan je net zo goed meteen stoppen met lezen. De reden daarvoor is, dat als patiënten weten dat ze de actieve interventie ontvangen en de uitkomstmaat subjectief is, zoals “hoeveel pijn had je”, hun rapportering waarschijnlijk vooringenomen zal zijn. Weten wie in welke groep zit kan er bewust of onbewust voor zorgen dat de patiënt zich beter voelt en verbeterde subjectieve pijntolerantie rapporteert. Dit is geen betrouwbaar studieontwerp en de resultaten worden beter niet als vaststaand feit geïnterpreteerd.

Deze blog staat op een uitstekende website die onder andere samenwerkt met het Britse Cochranecentrum en vele andere Cochranecentra over heel de wereld. De blogger lijkt de beperkingen van subjectieve uitkomsten in niet-geblindeerde studies beter te snappen dan de auteurs van deze review, en zelfs beter dan Cochranes onafhankelijke methodologische adviseurs.

Professor Edwards gaf me ook de toestemming om zijn eenvoudige toelichting te delen over waarom blinderen zo belangrijk is, voor diegenen die de technische concepten ingewikkeld vinden.

Hoe geschikt een studieontwerp is, kan eenvoudig getest worden door te gaan kijken hoe waarschijnlijk het is dat een studie met dergelijk ontwerp voor een willekeurige alternatieve therapie, zoals craniale osteopathie, door systematische vertekening een vals “significant” resultaat zou voortbrengen via conventionele statistiek. Voor studies zoals PACE is in het verleden bewezen dat het antwoord hierop luidt: ‘zeer waarschijnlijk’. We hebben daar zelfs een voorbeeld van: de SMILE-studie, over een willekeurige alternatieve therapie voor ME/CVS, ontworpen door een osteopaat (het Lightning Process), gaf een positief resultaat dat de hoofdonderzoek blijkbaar “verrast” had. Ik voel me in haar plaats beschaamd dat ze verrast was, aangezien ik had gehoopt dat zelfs onze stagiairs zouden begrijpen dat dit de reden is voor blindering van studies (en om diezelfde reden moeten studies met subjectieve uitkomsten geblindeerd worden, want andere studies hebben geen blindering nodig).

David beantwoordde dit punt door te stellen dat de auteurs het reviewprotocol hadden gevolgd. Maar de reviewauteurs veranderden de manier waarop de primaire uitkomst geëvalueerd werd, door de in het protocol geplande analyse, die bij opvolging een nulresultaat onthulde, te vervangen door een analyse die toeliet om veel positievere resultaten te rapporteren. Als men in staat was om zonder degelijke motivering het vooraf gespecificeerde protocol te wijzigen, dan moet men ook in staat zijn om verantwoording af te leggen over de belangrijke methodologische bedenkingen die patiënten aanhalen over het voortgaan op subjectieve uitkomsten.

4. Ik stelde dat de hoofdonderzoeker van de PACE-studie en adviseur van de review, en zijn medeonderzoekers, voorstanders waren van de bewegingstherapie, en adviseurs waren in de verzekeringsindustrie, en dat de PACE-studie deels gefinancierd werd door het Departement voor Werk en Pensioenen (DWP), dat nog nooit een studie had gefinancierd en dat sindsdien ook nooit meer heeft gedaan.

Door het promoten van de visie dat zieke en geïnvalideerde mensen minder financiële hulp nodig hebben als ze aangemoedigd worden om de juiste houding en het juiste gedrag aan te nemen, leek men steun te oogsten voor de recente hervormingen van de sociale zekerheid. Het DWP had deze hervormingen gebaseerd op een biopsychosociaal model van invaliditeit, dat benadrukt dat mensen met aandoeningen als CVS met een positieve instelling moeten deelnemen aan therapieën zoals Graduele Oefentherapie. Deze hervormingen en hun impact op geïnvalideerde mensen zijn nu door een VN-onderzoek veroordeeld omdat ze leiden tot “ernstige en systematische schendingen” van de rechten van geïnvalideerde mensen. Tegelijkertijd weigeren verzekeringsinstellingen aanvragen van ME/CVS-patiënten die geen bijkomende bewegingstherapie willen volgen, en patiënten hebben zelf gerapporteerd dat de hoofdonderzoeker van PACE, Peter White, hier persoonlijk bij betrokken was. White was Chief Medical Officer bij verzekeringsmaatschappij Swiss Re, en een gearchiveerde kopie van hun verslag over een presentatie die hij hen gaf over de PACE-trial, bevat advies over hoe uitsluiting van geestelijke gezondheidsproblemen gebruikt kan worden om uitbetalingen aan aanvragers met CVS te beperken.

Ik somde ook andere fouten op in de uitvoering van PACE die ik hier uitgebreider zal herhalen. David verklaarde niet waarom de reviewauteurs ze allemaal negeerden in hun inschatting van het risico op vooringenomenheid. In de eerste versie van mijn klacht zag ik er enkele over het hoofd, en ik weet ook dat er meer problemen zijn dan diegenen die ik hieronder heb opgesomd.

Uitkomsten werden omgewisseld nadat de studie begonnen was.

De uitvoerders van de PACE-studie meldden hun belangenconflicten niet aan de studiedeelnemers, en schonden zo de Verklaring van Helsinki, terwijl ze zich er in hun protocol toe verbonden om de Verklaring na te leven.

Ze gebruikten de diagnostische criteria van Oxford voor CVS, wat betekent dat een groot deel van de studiedeelnemers wellicht niet representatief was voor de populatie van ME/CVS-patiënten. De Pathways to Prevention Workshop over ME/CVS die onlangs gehouden werd door de National Institutes of Health, concludeerde dat “het blijven gebruiken van de Oxforddefinitie (van CVS) de vooruitgang kan afremmen en schade kan veroorzaken”.

Ze verschoven de grenzen voor inclusie en herstel, wat betekent dat voor ten minste één uitkomst 13% van de deelnemers tegelijkertijd ziek genoeg was om deel te nemen aan de studie, en gezond genoeg om ingedeeld te worden als hersteld. De rechtvaardiging die hiervoor werd gegeven was dat “ongeveer de helft van de algemene bevolking in de werkende leeftijd” een SF36-PF-score had onder de in het protocol gestelde herstelgrens van 85, maar de data die ze citeerden toonden aan dat dit slechts het geval was voor 18% van de bevolking in de werkende leeftijd. Zes jaar na publicatie blijft deze fout onverbeterd, hoewel de onder dwangbevel vrijgegeven PACE-data in een paper uit 2017 door Wilshire et al. nulresultaten hebben onthuld voor de in het protocol gespecificeerde herstelcriteria. Wilshires paper legt ook uit dat er problemen zijn met andere aspecten van de gereviseerde herstelcriteria van het PACE-team, die post hoc uitgewerkt lijken te zijn, zonder dat dit specifiek in de paper wordt vermeld.

Ze besloten om één van de weinige objectieve uitkomstmaten (actigraaf) achterwege te laten, ondanks het gebruik ervan bij aanvang. Toen men hen hierop wees, gebruikten ze het argument dat de beslissing genomen werd omdat actometers te belastend waren voor patiënten. De onlangs vrijgegeven notulen van de Studiebeheerraad (vergadering nr. 11, 4/11/2004) tonen aan dat de beslissing gebaseerd was op toen ongepubliceerde data van een andere onderzoeksgroep die vond dat CGT voor CVS subjectieve zelfgerapporteerde uitkomsten kon veranderen, maar dat het niet leidde tot verbetering in objectief gemeten activiteitenniveaus. Dit nam men als aanwijzing dat actometers niet “nuttig waren voor uitkomsten”.

Ze promootten tijdens de studie de doeltreffendheid van hun favoriete therapieën via brochures.

Davids antwoord was dat het niet ongewoon was bij wetenschappelijk onderzoek dat studieuitvoerders of studiefinancierders gevestigde belangen hebben in de uitkomst van een studie. Ik besef dat maar al te goed, en iedereen is het er vast en zeker mee eens dat dit niet toe te juichen valt. En het is zeker niet iets dat we mogen wegwuiven alsof het er nu eenmaal bijhoort. Ik had gedacht dat Cochrane zijn lezers van zoiets op de hoogte zou stellen en zou proberen om er actief op te controleren. Ik had niet verwacht dat Cochrane-auteurs het advies zouden vragen en zouden erkennen van de hoofdauteur van de belangrijkste opgenomen studie.

David zegt verder dat de PACE-studie onderhevig was aan het gewoonlijke risico op vooringenomenheid en dat er zekerheidsevaluaties werden uitgevoerd als onderdeel van de standaard peerreviewprocedure. Maar zoals Tom Kindlon en Robert Courtney in hun commentaren op de review duidelijk maakten, werd het instrument dat Cochrane gebruikt om risico op vooringenomenheid in te schatten niet correct toegepast op de PACE-studie. De studie werd beoordeeld als laag risico op vooringenomenheid, alsof het alle resultaten voor de uitkomstmaten gespecificeerd had voordat de rekrutering was begonnen. Dit was duidelijk niet het geval en de reviewauteurs kozen ervoor om dit te negeren. Het is belangrijk dat men probeert te weten te komen hoe deze fout in de beoordeling van het risico op vooringenomenheid kon gebeuren, en waarom ze ongecorrigeerd bleef staan, zo lang nadat men erop gewezen had.

Vervolgens zei David dat Cochranereviews niet bedoeld zijn om aanbevelingen te doen. Nogmaals: dat weet ik maar al te goed. Nochtans promoot Cochrane zichzelf als de meest degelijke en betrouwbare bron van bewijs – meer bepaald de “thuisbasis voor bewijs”. Daarom heeft Cochrane de plicht om te verzekeren dat dit bewijs niet vooringenomen is en niet beïnvloed wordt door belangenconflicten. Als de resultaten van een Cochranereview de geldbesparende motivering van een beleidsmaker ondersteunen, bijvoorbeeld door uitbetaling van uitkeringen voor invaliditeit te beperken voor patiënten die weigeren een behandelingen te ondergaan waarvoor Cochranebewijs aanduidt dat ze doeltreffend is, dan zal die informatiebron voor die beleidsmaker de voorkeur krijgen over eender welke andere bron. Ik vind het niet kunnen dat Cochrane in het geval van het gedrag van die beleidsmaker alle verantwoordelijkheid van zich afschudt.

5. Ik meldde dat de PACE-trial intussen wordt gebruikt als lesvoorbeeld van hoe een gerandomiseerde studie niet uitgevoerd moet worden.

Davids antwoord was dat belangenconflicten en het uitvoeren van ongeplande analyses na dataverzameling niet enkel voorkwam bij PACE. Ik heb voorbeelden gegeven van vele andere problemen met de PACE-studie die bijzondere aandacht verdienen. Ik heb geen probleem met post-hocanalyses, als men ze als dusdanig aanduidt, en als alle vooraf gespecificeerde analyses gemaakt en gerapporteerd zijn. Ik zeg het nog een keer: het is enorm verontrustend dat Cochranereviewers vinden dat ze dit schandalige soort gedrag en rapportering mogen negeren omdat het wel vaker voorkomt in studies, vooral in psychologische en niet-medicamenteuze behandelingen.

6. Ik wees op het probleem veroorzaakt door het feit dat de review aangestuurd wordt door de groep Veelvoorkomende Psychologische Aandoeningen.

David zei dat het feit dat het onder die groep zit, niets suggereert over de oorzaak. Dat is ook niet wat ik bedoelde. Maar het suggereert wel dat men veronderstelt dat de behandeling die gereviewd wordt, een gepaste keuze is voor ME/CVS.

Ik ben blij dat de review verplaatst wordt naar een andere groep. Ik vind dat Neuromusculair waarschijnlijk het meest gepast is, maar ik heb gehoord dat het waarschijnlijk de Groep Pijn, Palliatieve en Ondersteunende Zorg zal worden. Aangezien de coördinerende redacteur van deze groep ook een van de twee mensen is die met David samenwerkt als toezichter op de review over lichaamsbeweging, wil ik vermelden dat sommige patiënten bedenkingen hebben bij zijn boek uit 2015 over fysieke sensaties. Er staat een hoofdstuk in over chronische vermoeidheid dat deels een afspiegeling lijkt te zijn van de cultuur waarbij patiënten hun bedenkingen hebben. De positieve resultaten van de PACE-onderzoekers werden kritiekloos voorgesteld, en daarbij werden CGT en GET omschreven als benaderingen die de overtuigingen en lichamelijke sensaties van patiënten op de proef stellen. Ik ben me ervan bewust dat de problemen van PACE in 2015 nog niet zo uitgebreid besproken werden, maar ze waren er wel en ze waren belangrijk.

Als men niet duidelijk is over de beperkingen van het zogenaamde ondersteunende bewijs van doeltreffendheid van de behandelingen, dan lopen we het risico om de eigen reacties van de patiënt tegenover hun ziekte te devalueren en te onderdrukken, via misplaatste beweringen over wat de “op bewijs gebaseerde” benadering is. Cochrane zou hier als een bolwerk tegen opgewassen moeten zijn, en zou zich moeten uitspreken tegen onderzoekers die overdreven beweringen doen. In het geval van ME/CVS ziet het ernaar uit dat men aanvaardt dat de lat voor bewijs laag wordt gelegd, ook al zeggen patiënten dat ze hierdoor schade oplopen. Het vroegere werk van de redacteur van de Pijngroep wijst op een mogelijke vooringenomenheid in het voordeel van een onderzoekscultuur die ME-patiënten niet goed behandeld heeft, en die er mee voor gezorgd heeft dat werk zoals PACE kritiekloos wordt geslikt.

Overlegt Cochrane hierover met patiënten? Patiënten waren betrokken bij de evaluatie van de intussen gelukkig ingetrokken review van individuele patiëntendata, dus dat zouden hier de geknipte mensen voor zijn.

Het is interessant om op te merken dat NICE de aandoening ME/CVS in een categorie op zich heeft geplaatst. https://www.nice.org.uk/guidance/conditions-and-diseases Een verstandige beslissing. ME/CVS-reviews zullen natuurlijk op een of andere manier in het Groepensysteem van Cochrane gewrongen moeten worden, ook al is er geen gepaste plek. Het Groepensysteem van Cochranereviews laat vaak te wensen over, en is voor buitenstaanders verwarrend. Ik hoop dat men tenminste een nieuw reviewteam zal aanwerven.

7. Ik zei dat ik iemand met ME kende die in correspondentie was geweest met David Tovey en Rachel Churchill sinds vóór de review oorspronkelijk gepubliceerd werd in 2014, en gewaarschuwd had voor de enorme mogelijke problemen die erin staan. Ik vroeg waarom er schijnbaar geen patiënten betrokken werden bij de review, ondanks het feit dat zij lang vóór publicatie hun hulp aangeboden hadden. Ik maakte vervolgens een fout door te suggereren dat ik ook kopieën zou kunnen voorleggen van de correspondentie tussen David en die persoon. Ik had duidelijk moeten maken dat ik de inhoud van de gesprekken tussen hen nooit met eigen ogen heb gezien, en dus geen kopieën van die correspondentie of notities kon of zou voorleggen zonder toelating van beide partijen. Mijn verontschuldigingen voor dit misverstand.

David gaf geen antwoord op de vraag waarom patiënten actief werden uitgesloten van betrokkenheid bij deze review. Volgens het beleid van Cochrane moeten patiënten zo veel mogelijk betrokken worden bij reviews, en het meest gebruikte excuus waar men altijd mee op de proppen komt, is dat het te moeilijk is om “gebruikers” te vinden met de nodige kwalificaties. Ik zou graag willen dat u uitlegt waarom de mensen die hun hulp aanboden, doelbewust werden afgewezen. Als de problemen met de manier waarop men omgaat met de bedenkingen die patiënten hebben bij reviews, niet publiekelijk besproken mogen worden, dan is dat iets dat Cochrane intern moet bekijken, in plaats van het te negeren.

8. Ik kloeg over het feit dat Cochraneredacteurs zich noch leken te bekommeren om de vele kritieken ingediend via het feedbacksyteem, noch om de vraag of de antwoorden van de auteurs al dan niet toereikend waren.

David antwoordde door te zeggen dat het feedbackmechanisme werkte zoals het bedoeld was en dat het de verantwoordelijkheid van de auteur was om te antwoorden. Als ik Hoofdredacteur was, dan zou ik mij ernstige zorgen maken over de ongepaste en op het randje af grove antwoorden van de Cochrane-auteurs op onweerlegbare kritiek op de review. Als dit is hoe het feedbackmechanisme eruit moet zien, hoeveel fouter moet het dan nog lopen voordat men erkent dat er iets grondig mis is?

Wie heeft de verantwoordelijkheid om te bepalen of de auteurs gepast hebben gereageerd of niet? Het ziet ernaar uit dat er weinig toezicht wordt gehouden, hoewel ik me heb laten vertellen dat er bedenkingen geuit werden over de onbehoorlijke antwoorden van de auteurs, van zodra ze gepubliceerd waren.

9. Ik vermeldde het geval van Robert Courtney, die gedetailleerde, grondige en onweerlegbare kritiek leverde via het feedbacksysteem en een zodanig onbehoorlijk antwoord kreeg van de auteur dat hij een officiële klacht indiende.

David antwoordde dat deze klacht ernstig werd genomen door de Cochraneredacteurs en dat men nog steeds bezig is met de redactionele evaluatie van deze klacht. Dit legt de volledige verantwoordelijkheid op diegenen die kritische feedback geven om op te volgen of het antwoord van de auteur ondermaats is, en het is pas op dat moment dat Cochrane het ernstig gaat nemen. Dat de antwoorden van de auteurs ondermaats waren, was overduidelijk voor iedereen die de feedback las van Courtney en anderen die kritische commentaar gaven.

10. Ik stelde dat ik al jarenlang in eigen naam mijn beklag doe aan David en zijn team over deze review en andere kwesties (zoals de zinloze steun aan reviews over homeopathie, en de gebrekkige controle van belangenconflicten). Ik kreeg vaak de indruk dat deze bedenkingen niet ernstig werden genomen, en op mijn e-mails werd vaak niet gereageerd. Ik wees ook op de enorme kritiek die de PACE-studie krijgt van Dr. David Tuller en anderen.

David [Tovey] stelde dat zijn redacteurs een evenwichtige en voorzichtige benadering hebben gebruikt, die enkel en alleen gericht was op de kwaliteit van de wetenschap. Mijn kritiek, en die van wetenschappers, studiemethodologen, statistici en ME-deskundigen, om nog te zwijgen van de uiterst goed geïnformeerde patiëntengemeenschap, is ook gericht op de kwaliteit van de wetenschap. Dit wordt erg bemoeilijkt door het feit dat Cochrane de problemen in dit onderzoeksveld niet erkent of bekritiseert, waardoor instellingen die de bedenkingen omtrent PACE graag willen wegwuiven, dit schijnbaar kunnen doen met goedkeuring vanwege Cochrane. Als Cochraneredacteurs zich hadden toegespitst op de kwaliteit van de wetenschap, dan was deze review zoals hij er nu uitziet nooit gepubliceerd geweest, en dan waren ons heel wat problemen gespaard gebleven.

David zegt dat hij en zijn team voldoende tijd hebben genomen om de klachten te onderzoeken. Ik en vele anderen zijn het daar niet mee eens.

11. Ik vermeldde een artikel in The BMJ over de open brief aan The Lancet, opgesteld door Dr. David Tuller en ondertekend door om en bij de 200 organisaties en wetenschappers die oproepen tot een heranalyse van de PACE-studie. Ik vergat in mijn oorspronkelijke klacht te vermelden dat er een volledig nummer van The Journal of Health Psychology (Speciaal Nummer: The PACE Trial Jaargang 22 Nummer 9, augustus 2017) gewijd was aan de PACE-studie. Een begeleidende redactionele column (Speciaal Nummer over de PACE-studie) beschreef het lage aantal en de slechte kwaliteit van de pro-PACE-inzendingen van de 20 pro-PACE-mensen die benaderd werden. Daarbij kwam nog de onwil van de pro-PACE-auteurs om aanpassingen te doen na peerreview, dus van de 17 artikels waren er slechts twee die PACE verdedigden.

David zei dat Cochraneredacteurs de verantwoordelijkheid hebben om hun beslissingen te nemen op basis van wetenschap en niet op basis van meningen, hoe overtuigd ze er ook van zijn. Ik weet niet of hij denkt dat de mening, of die nu uitgesproken is of niet, van de honderden mensen die de open brief aan The Lancet ondertekenden of commentaar gaven op het BMJ-artikel, of een van de vele artikels schreven die kritiek geven op PACE in The Journal of Health Psychology, gebaseerd waren op iets anders dan de wetenschap.

Denkt u niet dat patiënten blij zouden zijn met de resultaten van de PACE-studie als de wetenschap degelijk was? Zo’n slechte wetenschap aanvaarden als waardevol, heeft gezorgd voor schadelijk beleid en overdreven uitspraken over de doeltreffendheid en veiligheid van een behandeling. Men gaat ervan uit dat omdat Cochrane de slechte wetenschap niet aan de kaak stelt, dat de wetenschap van goede kwaliteit is. Cochrane heeft patiënten in de steek gelaten.

12. Ik vermeldde dat David in oktober 2018 de welkome aankondiging deed dat hij plande om de review in te trekken, in afwachting van een doorlichting. Ik en vele andere waren extreem teleurgesteld en verward toen dit niet gebeurde.

David legde in zijn antwoord uit dat twee van de auteurs hem ervan hadden overtuigd om het niet te doen. Hij verdedigde zich door te zeggen dat het team zijn best doet om niet ongepast beïnvloed te worden door personen aan eender welke zijde van de jarenlange discussies rond deze aandoening en deze review.

Maar beïnvloed worden door de auteurs is wel OK? Het lijkt erop dat diegenen die nu binnen Cochrane beslissingen maken over deze review, diegenen zijn die een rol hebben gespeeld in het goedkeuren van de publicatie van de vorige review, of die PACE al kritiekloos hebben geciteerd in hun eigen werk. Worden er bij de lopende toezichtsprocedure van Cochrane überhaupt mensen betrokken die zich ooit kritisch hebben geuit over de overduidelijke problemen in deze invloedrijke review?

Het ziet ernaar uit dat een andere factor die geleid heeft tot het niet intrekken van de review de correspondentie was van Trygve Ottersen, Uitvoerend Directeur van het Noorse Instituut voor Volksgezondheid, het instituut dat op dit moment Cochrane Noorwegen financiert. Ottersen bepleitte dat het onredelijk zou zijn om de review in te trekken, omdat de lat voor controle van Laruns werk hoger werd gelegd dan voor andere Cochranereviews. Maar de lat lag vroeger, toen deze review gepubliceerd werd, bijna onverdedigbaar laag. Waar die lat moet liggen voor onderzoek, zou bepaald moeten worden in samenspraak met patiënten, die niet hoeven te pikken dat anderen de lat zo laag leggen voor werk dat een impact heeft op hun leven.

Het is belangrijk om ervoor te zorgen dat wat David een “zorgplicht” tegenover bijdragers noemt, niet uitmondt in een poging om hen en hun werk te beschermen tegen gegronde kritiek. Cochranes bedrijfsmodel is gestoeld op het aantrekken van vrijwilligers om reviews uit te voeren, dus ze staan misschien bijzonder weifelachtig tegenover handelingen die de reviewauteurs of de instelling die hen steunen, in verlegenheid kunnen brengen. Cochrane moet zich bereid tonen om die storm te doorstaan als het wil vermijden dat het belang van onderzoekers boven dat van patiënten wordt gesteld.

13. Ik vroeg waarom na de kritiek op de HPV-review* een “dringend onderzoek” noopte, maar na Mark Vinks kritiek op deze review niet. [*kritiek die ingediend werd over vooringenomenheid in een Cochranereview over het HPV-vaccin, n.v.d.r.]

Davids antwoord hierop sprak boekdelen. Hij zei dat het onderzoek van Robert Courtneys klacht “qua grondigheid en hoe ernstig ze werd genomen, zeer gelijkaardig was aan de reactie op het artikel over HPV van Jorgensen et al.”. Zeer gelijkaardig, behalve dan op vlak van snelheid. Als Courtneys klacht even ernstig werd genomen en even grondig werd onderzocht als het artikel van Jorgensen, waarom ging het onderzoek over het HPV-artikel dan via de versnelde procedure, terwijl het onderzoek van de klacht van Courtney, die vele maanden vroeger werd ingediend, nog steeds niet is afgerond? Het lijkt wel of er hier sprake is van discriminatie met het oog op reputatiebescherming voor Cochrane, in plaats van patiëntenbescherming voorop te stellen.

14. Ik vermeldde de groeiende bezorgdheid van Parlementsleden over hoe slecht mensen met ME worden behandeld als gevolg van het aanvaarden van het gebrekkige bewijs uit de PACE-studie. In een debat in Westminster in juni vorig jaar stelde Parlementslid Carol Monaghan dat eens de volledige waarheid over de PACE-studie naar buiten komt, het één van de grootste medische schandalen van de 21ste eeuw zal zijn.

Vervolgens was er op 24 januari 2019 een debat in het Britse Lagerhuis met volgende motie:

“Dit Huis roept de Regering op om verhoogde financiering te voorzien voor biomedisch onderzoek naar de diagnose en behandeling van ME, de afschaffing te ondersteunen van Graduele Oefentherapie en Cognitieve Gedragstherapie als behandelingsmiddel, geactualiseerde opleidingen te ondersteunen voor huisartsen en medische professionals om hen te voorzien van duidelijke richtlijnen over diagnose van ME en gepast advies over omgaan met de ziekte dat de internationale consensus over beste praktijken weerspiegelt, en is verontrust over de huidige trend waarbij ME-gezinnen onterecht onderworpen worden aan kinderbeschermingsprocedures.”

De motie werd unaniem goedgekeurd door 40 Parlementsleden en niemand stemde tegen.

David antwoordde door te herhalen dat redacteurs en auteurs van Cochrane zich enkel en alleen richten op de wetenschap en het bewijs, en dat ze niet beïnvloed mogen worden door welke opinie dan ook. Met uitzondering van de opinie van Cochranes anonieme en onafhankelijke methodologische adviseurs, natuurlijk. Opnieuw wordt gesuggereerd dat de standpunten tegen PACE niet gebaseerd zijn op wetenschap. Het is verontrustend om te zien dat de Britse wetenschap blijkbaar politiek onder druk moet worden gezet vooraleer ze de strikte aanpak kiezen die nodig is om patiënten beter van dienst te zijn.

Hij voegt toe dat Cochrane onafhankelijkheid van politieke inmenging hoog in het vaandel draagt. Eerder dan politieke inmenging gaat het hier om de invloed van diegenen die al voor Cochrane werken, en die hun gewicht in de schaal lijken te leggen bij belangrijke beslissingen. Het ziet ernaar uit dat er academici zijn die hun reputatie en financiële belangen willen verdedigen, en die gemerkt hebben dat Cochranes systemen en procedures bespeeld kunnen worden, of het zou ook kunnen dat ze ontworpen zijn op een manier die hen toevallig handig uitkomt.

Een medisch probleem wordt niet zomaar besproken in het Parlement, tenzij er iets ernstig mis is gegaan dat een negatieve impact heeft op patiënten, mantelzorgers, diensten en/of de economie. De PACE-studie vormt een ernstig probleem waar Cochrane in een boog omheen lijkt te willen gaan, in plaats van zich uit te spreken tegen enkele van de onaanvaardbare fouten die het vertrouwen van patiënten zo hebben geschaad.

15. Mijn laatste punt ging over de publicatie van het protocol voor een review over Lichaamsbeweging voor CVS via individuele patiëntendata (IPD), met een reviewteam waar de meeste PACE-onderzoekers in zetelden, plus een prominent Cochranelid dat voorstander is van lichaamsbeweging als behandeling voor ME.

Gelukkig is dit reviewprotocol ingetrokken en zal de review nooit gepubliceerd worden.

David merkte op dat IPD-reviews over het algemeen de onderzoekers betrekt bij het team van auteurs en dat dit de “aanvaarde gang van zaken” is. En opnieuw zien we hier een aanvaarde gang van zaken die totaal ongepast en onaanvaardbaar is.

Sinds het IPD-protocol werd gepubliceerd, hebben de PACE-auteurs gebruikt gemaakt van dat protocol, en hun connecties bij Cochrane, om bedenkingen over hun werk te helpen verwerpen. Legitieme aanvragen in het kader van vrijheid van informatie vanwege patiënten in verband met de PACE-studie werden omschreven als “ergerlijk” in beschikkingen die Cochranes werk citeren. Deze oneerlijke beschikkingen zijn op hun beurt geciteerd door de Health Research Authority als bewijs dat de PACE-onderzoekers redelijke antwoorden hebben gegeven op verzoeken om informatie en data uit hun werk. Cochrane heeft een sleutelrol gespeeld in de stortvloed aan foute informatie die doorheen Britse instellingen is verspreid over de PACE-studie en over de patiënten die geoorloofde kritiek hebben geuit.

Kort gezegd: Cochrane is een liefdadigheidsinstelling die moet handelen ten gunste van patiënten en de bevolking. Dat geldt niet voor academische instellingen, en het geldt zeker niet voor publicerende bedrijven zoals Elsevier. En toch heeft Cochrane kritiek tegengewerkt en heeft het passief aan de zijlijn staan toekijken, terwijl patiënten en belangenbehartigers strijden voor waarheid en gerechtigheid tegen ouderwetse op eminentie gebaseerde geneeskunde.

Hoogachtend,

Caroline Struthers

Trial By Error: Cochranes rapport over Courtneys klacht

David Tuller, DrPH, Virology Blog, 12 maart 2019

Update:

Toen ik dit eerder vandaag postte, had ik ook een update willen geven over de stand van zaken omtrent de review over lichaamsbeweging. Op 8 maart meldde Cochrane, via een bericht dat aan de review werd toegevoegd, dat de auteurs in mei een andere gereviseerde versie zouden indienen. (Cochrane had vorige herfst al een vorige gereviseerde versie afgewezen.) Dat is ook de maand waarin Dr. Tovey zijn functie als hoofdredacteur van Cochrane neerlegt. Het is onduidelijk of die samenloop van omstandigheden iets betekent. De uiteindelijke beslissing over de review over lichaamsbeweging zal dus waarschijnlijk bij Dr. Toveys opvolger komen te liggen.

Dit is het bericht dat aan de review werd toegevoegd:

“Cochranes redacteurs en het auteursteam van de review zijn samen overeengekomen dat de periode verlengd zal worden tot mei 2019, wanneer het auteursteam de review zal aanpassen om de wijzigingen te bespreken gericht op het verbeteren van de kwaliteit van de reviewrapportering en om ervoor te zorgen dat de conclusies geheel verdedigbaar en geldig zijn voor het nemen van zorgbeslissingen. De wijzigingen zullen ook de bedenkingen behandelen die naar boven zijn gekomen in feedback sinds de klacht van Robert Courtney. De aanpassing zal geen volledige update omvatten, maar een beslissing hierover zal later gemaakt worden.”

En nu even over Cochranes rapport over Courtneys klacht… In Noorwegen hebben mensen toegang tot documenten die publieke agentschappen oplijsten op deze site. Het Cochranerapport werd opgenomen in correspondentie tussen het Noorse Instituut voor Volksgezondheid en Cochrane, en een verslag daarvan vind je hier.

**********

Vorige herfst rapporteerden de media dat Cochrane van plan was om over te gaan tot tijdelijke intrekking van een review uit 2014 over lichaamsbeweging voor de ziekte die het lange tijd chronisch vermoeidheidssyndroom heeft genoemd. In die verslaggeving leek men de schuld van de oproer te leggen bij onredelijke patiënten, en suggereerde men dat Cochrane door de knieën ging voor antiwetenschappelijke fanatiekelingen.

De nieuwsberichten repten over het algemeen met geen woord over de eigenlijke methodologische pijnpunten. Als reactie publiceerde Virology Blog een open brief met een steunbetuiging aan Cochrane, ondertekend door meer dan 40 wetenschappers, academici en andere experts.

Eerst en vooral wil ik één punt afhandelen: de studies die opgenomen werden in de review over lichaamsbeweging, waren studies met een open onderzoeksopzet die voornamelijk voortgingen op subjectieve uitkomsten. Zoals al tig keer is herhaald in dit hele debat, is dit studieontwerp uiterst gevoelig aan vooringenomenheid en wordt het in andere velden van de geneeskunde niet meer gebruikt. Dat betekent dat de review zelf een ongekende overvloed aan vooringenomenheid bevat en dat de conclusies van de review dus in feite oninterpreteerbaar zijn. En toch lijkt Cochrane op dit moment niet van mening te zijn dat dergelijke studies niet gebruikt zouden mogen worden voor beleidsbepalingen op vlak van volksgezondheid; ik hoop dat de organisatie binnenkort tot dit noodzakelijke inzicht zal komen.

Dat belangrijke punt even daargelaten, was Cochranes beslissing over de review over lichaamsbeweging duidelijk gebaseerd op wetenschappelijke bedenkingen. Twee patiënten, Robert Courtney en Tom Kindlon, hebben uitgebreide kritieken geschreven over de review over lichaamsbeweging uit 2014. De hoofdauteur van de review, Noorse onderzoekster Lillebeth Larun, verschafte geen toereikende antwoorden, dus diende Courtney een formele klacht in bij Cochrane. Cochrane evalueerde die klacht en vond Courtneys bedenkingen gegrond. Spijtig genoeg is Courtney gestorven voordat Cochrane zijn klacht als gegrond verklaarde.

Ik heb intussen een kopie van Cochranes rapport over Courtneys klacht. Uit de analyse wordt duidelijk dat Cochrane bedenkingen had bij de wetenschappelijke juistheid en de integriteit van de review over lichaamsbeweging. In tegenstelling tot wat de verdedigers van de review over lichaamsbeweging beweren, reageerde Cochrane niet op een hysterische patiëntenmeute, maar wel op de overtuigende en weldoordachte argumenten van één patiënt in het bijzonder.

Courtney had het bij het rechte eind toen hij zei dat de methodologie van de review de auteurs toeliet om de voordelen van hun bewegingstherapie positiever voor te stellen. Als de auteurs in hun revisie van de review deze kritiek zouden volgen, dan zouden ze hun positieve conclusies aanzienlijk moeten afzwakken. Dit wordt duidelijk uit het feit dat Cochrane in zijn rapport voorbeelden toevoegt van paragrafen die zodanig zijn aangepast dat ze minder enthousiast klinken over bewegingstherapie.

Hoewel het Cochranerapport vele van de problemen duidelijk vernoemt, zegt het spijtig genoeg niets over het feit dat de auteurs objectieve uitkomsten uit de review weglieten. In reactie op deze kritiek verdedigde Larun de weglating door op te merken dat deze uitkomsten geen deel uitmaakten van het reviewprotocol. Dit is eigenlijk geen antwoord; het doet enkel de vraag rijzen waarom Larun en haar collega’s toen al beslisten om deze data uit te sluiten, en waarom de reviewers van het protocol dit onaanvaardbare manoeuvre door de vingers zagen.

Aangezien objectieve uitkomsten niet overeenkwamen met de rapportering van succes op subjectieve metingen, zou het opnemen van deze resultaten natuurlijk een impact hebben gehad op de bevindingen van de review. Je moet niet heel slim zijn om te snappen dat Larun en haar collega’s, door data te negeren die hun gewenste uitkomsten tegenspraken, hun review over bewegingstherapie sterk in hun eigen richting beïnvloed hebben.

Dit is het rapport: Cochranerapport over Courtneys klacht