Home » Nieuwsartikels » David Tuller » Trial By Error: mijn opiniestuk over BMJ en dr. Godlee: “BMJ moet ondeugdelijke onderzoekspaper over chronisch vermoeidheidssyndroom intrekken”

Trial By Error: mijn opiniestuk over BMJ en dr. Godlee: “BMJ moet ondeugdelijke onderzoekspaper over chronisch vermoeidheidssyndroom intrekken”

Geplaatst door ME-Gids
op 29/02/2020

Laatste bijwerking op 29/02/2020

Bron:

Virology Blog & STAT

| 8488 x gelezen

Dr. David Tuller, Virology Blog, 16 december 2019

Afgelopen vrijdag plaatste STAT mijn opiniestuk over BMJ en de paper over het Lightning Process, meer bepaald over de beslissing van BMJ om deze paper niet in te trekken, ondanks het feit dat het verslag meerdere schendingen van de meest basale ethische en methodologische principes van medisch onderzoek bevatte.

Deze onwetenschappelijke beslissing is potentieel schadelijk, niet alleen voor kinderen die lijden aan een stigmatiserende ziekte, maar uiteindelijk ook voor de reputatie van zowel BMJ als Dr. Godlee.

STAT is een uitstekend online mediaplatform dat opereert vanuit Boston. Het doet diepgravend onderzoek naar de basisprincipes van wetenschappelijk onderzoek en beleid binnen de gezondheidszorg en geneeskunde.

STAT is veelgelezen en alom gewaardeerd en heeft in het verleden meerdere stukken over de ziekte in kwestie gepubliceerd, onder andere een artikel over het ineenstorten van PACE (door Julie Rehmeyer); één over de beslissing van de CDC om te stoppen met het aanbevelen van CGT en GET (door Julie Rehmeyer en mezelf) en een artikel over een verzekeringskwestie (door Steven Lubet en mezelf) waarbij de patiënt aan het langste eind trok.

Drie jaar geleden publiceerde STAT een lovend artikel over dr. Fiona Godlee, hoofdredacteur van The BMJ en redactiedirecteur van BMJ, dat meerdere (vak)bladen onder haar hoede heeft.

Het betreffende stuk had de veelbelovende titel: ‘De tijd van pappen en nathouden is voorbij: Redacteur op kruistocht zal de wetenschap eens flink opschudden’.

Genoeg voer voor mijn eigen artikel over BMJ en Godlee’s bedenkelijke handelingen op dit vlak.

De titel van mijn opiniestuk was botweg:

‘BMJ moet ondeugdelijke onderzoekspaper over chronisch vermoeidheidssyndroom intrekken’

Lees hieronder de vertaling van het volledige artikel.

BMJ moet ondeugdelijke onderzoekspaper over chronisch vermoeidheidssyndroom intrekken

Dit artikel werd oorspronkelijk gepubliceerd door STAT.

David Tuller, STAT, 13 december 2019

Schoenen van mensen die te ziek waren om deel te nemen aan een demonstratie georganiseerd door #millionsmissing in Den Haag, met als doel: aandacht vragen voor mensen die lijden aan de ziekte ME/cvs. © Peter de Jong/AP

Wanneer het gaat om het onder de aandacht brengen van onderwerpen die zeer belangrijk zijn voor zorgconsumenten, dan zijn er maar weinig bladen altijd zo lovenswaardig bezig geweest als BMJ (voorheen het British Medical Journal) en haar zusteruitgaven. Het is daarom bizar en zorgwekkend te noemen dat redacteuren van BMJ geen actie ondernemen tegen onacceptabele missers in prominent onderzoek, of dat deze op zijn minst benoemd worden.

Tijdens mijn opleiding journalistiek aan de Universiteit van Berkeley stonden er op mijn leeslijst, voor de lessen gezondheidszorg en geneeskunde, baanbrekende artikelen van onder andere The BMJ, bijvoorbeeld over hoe farmaceutische bedrijven goochelden met getallen om zo bestaande diagnoses te verbreden of om er zelfs nieuwe te bedenken. BMJ’s luide roep om openheid en toegankelijkheid van onderzoeksdata en hun kruistochten binnen dit gebied van onderzoeksjournalistiek heb ik altijd erg kunnen waarderen.

Deze keiharde aanpak kan grotendeels toegeschreven worden aan dr. Fiona Godlee, de aan Cambridge geschoolde arts die sinds 2005 aan het roer staat van de organisatie. Zij zit in het bestuur van BMJ en is daarnaast hoofdredacteur van The BMJ, een van ‘s werelds meest toonaangevende medische vakbladen. In een artikel dat STAT in 2016 over haar schreef, werd zij een redacteur “op kruistocht” genoemd, die dingen flink wilde opschudden binnen de wetenschap. The BMJ is een “strijdblad”, zo vertelde ze aan STAT.

Daarom ben ik zo teleurgesteld over de manier waarop BMJ en Godlee zijn omgegaan met een erg problematische paper uit een veld dat ik goed ken: gedrags- en psychologische interventies voor de ziekte (of cluster aan ziektes) die vaak chronisch vermoeidheidssyndroom genoemd wordt, of ook wel bekend is als o.a. myalgische encefalomyelitis (ME), CVS/ME of ME/cvs.

ME/cvs, zoals het nu genoemd wordt door overheidsinstanties in de VS, is een invaliderende ziekte, gekenmerkt door immunologische, neurologische en andere fysieke stoornissen. Er zijn momenteel geen vastgestelde diagnostische testen of goedgekeurde medicijnen waarmee mensen behandeld kunnen worden. Symptomen zijn onder andere: lang herstel na minimale inspanning, cognitieve stoornissen en slaapstoornissen.

Lange tijd waren de standaardbehandelingen psychotherapie en graduele oefentherapie, waarbij de patiënt langzaam fysieke inspanning leert opbouwen. Deze behandelingen waren grotendeels gebaseerd op de inmiddels wereldwijde afgekeurde theorie dat patiënten ‘gedeconditioneerd’ zouden zijn. Deze theorie werd decennialang enthousiast verspreid door een groep psychiaters uit Groot-Brittannië en andere gezondheidsdeskundigen. Nadat er serieuze wetenschappelijke vragen werden gesteld over de wetenschap achter deze revalidatieaanpak, schrapten de CDC in 2017 deze behandelingen uit hun adviezen.

Als journalist en academicus volksgezondheid aan Berkeley, heb ik uitgebreid geschreven over deze kwestie, voornamelijk voor de wetenschappelijke site Virology Blog, maar ook voor onder andere de New York Times, Undark en STAT. Mijn onderzoek legde aanzienlijke methodologische en ethische problemen vast bij een aantal psychologische- en gedragsstudies, waarvan sommige gepubliceerd werden in BMJ-bladen, wat suggereert dat BMJ, evenals een groot deel van de Britse wetenschappelijke en medische gevestigde orde, een blinde vlek heeft op dit vlak.

Een treffend voorbeeld is de studie over het commercieel opgezette driedaagse zelfhulpprogramma met de naam “Lightning Process” als behandeling voor kinderen met CVS/ME (zoals de onderzoekers de ziekte noemden). Het Lightning Process is een vreemde mix van neurolinguïstisch programmeren, life coaching, osteopathie, positieve affirmaties en andere elementen, en heeft als doel om mensen te trainen om hun eigen gezondheid te verbeteren door hun manier van denken te veranderen en hun symptomen de baas te leren zijn.

De bedenker van dit alles, osteopaat Phil Parker, leerde in het verleden aspirant genezers hoe ze mensen konden diagnosticeren door middel van het lezen van hun aura, tarotkaarten en energievelden en het zwaaien van pendules. Hij leerde ze ook communiceren met spirituele gidsen. De behandelaars van het Lightning Process beweerden dat ze mensen succesvol hadden behandeld voor ziektes als MS, eetstoornissen en andere aandoeningen. Reclamecodecommissies [1] in Groot-Brittannië hebben de behandelaars op de vingers getikt voor het maken van niet-wetenschappelijk onderbouwde medische beweringen.

Het Lightning Process was niet geblindeerd en leunde op zelfevaluatie – een ontwerp met enorm veel risico op vooringenomenheid, aangezien patiënten kennis hadden van welke behandeling zij kregen, en dit de antwoorden die zij gaven over hun gezondheid, kon beïnvloeden. Desalniettemin verklaarden de onderzoekers, op basis van hun bevindingen, dat het Lightning Process, in combinatie met medische zorg, een “effectieve” behandeling was voor kinderen met CVS/ME. Archives of Disease in Childhood, een gewaardeerd blad uitgegeven door BMJ, publiceerde de resultaten in september 2017.

Maar naast de twijfelachtige manier van behandelen, heeft de studie zelf basisprincipes van wetenschappelijk onderzoek geschonden. Meer dan de helft van de deelnemers was bijvoorbeeld al geworven toen het onderzoek nog niet eens geregistreerd was. Primaire en secundaire uitkomsten werden omgewisseld toen ze al data hadden van deze vroeg aangetrokken patiënten. Deze bijzonder belangrijke details werden niet vermeld in de uiteindelijke paper.

Ik vermeldde deze onregelmatigheden in een blogpost in december 2017, 3 maanden nadat de resultaten van het onderzoek waren gepubliceerd.

Het voortijdige rekruteren van deelnemers voordat de studie officieel geregistreerd was, maakte dat het onderzoek van meet af aan gedoemd was om te mislukken. In 2005 werd door het International Committee of Medical Journal Editors een beleid ingevoerd waardoor onderzoeken werden afgewezen waarvoor deelnemers gerekruteerd waren vóór registratie.

Prospectieve onderzoeksregistratie houdt in dat onderzoekers vooraf alle relevante informatie moeten overdragen: aantal deelnemers, de behandelingen, primaire en secundaire resultaten en andere details. Alle redacteuren van belangrijke vakbladen onderschreven dit beleid om selectieve uitkomstrapportage te voorkomen, met ander woorden: de neiging om alleen de beste resultaten te selecteren en te belichten en niet vast te houden aan het vooraf ontworpen plan.

BMJ was een leidende stem in de beweging naar strengere registratievereisten. Tijdens een hoorzitting van het Britse Parlement in 2013, prees dr. Godlee het nultolerantiebeleid van de uitgever. “Voor zover wij weten hebben wij in de afgelopen 2 jaar geen studies gepubliceerd die niet vooraf waren geregistreerd“, verklaarde zij. In 2015 noemde men het beleid van vooraf registreren in een redactioneel artikel in The BMJ zelfs het “meest waardevolle instrument dat we hebben om onbevooroordeelde verslaggeving van onderzoeksstudies te waarborgen”.

Het onderzoek over het Lightning Process laat zien wat er kan gebeuren wanneer dat “waardevolle instrument” niet gehanteerd wordt. In het onderzoek werd aanvankelijk “aanwezigheid op school” beschouwd als primair resultaat en “zelfevaluatie van fysiek functioneren” als secundair resultaat. Maar na het verzamelen van de gegevens van de kinderen die al voor het registreren waren aangetrokken, maakten de onderzoekers van de zelfevaluatie van het fysiek functioneren het primaire resultaat en werd aanwezigheid op school ineens als secundair resultaat benoemd. De gepubliceerde bevindingen werden zo behoorlijk opgekrikt, want op deze manier konden zij nu hun nieuwe primaire resultaat, de zelfevaluatie van het fysieke functioneren, als positief beschrijven. Dit in tegenstelling tot de aanwezigheid op school. Hierover was geen verbetering te rapporteren. Deze uitkomst werd gebagatelliseerd en vrijwel genegeerd. Met andere woorden: deze draai tijdens het nog lopende onderzoek zorgde ervoor dat de onderzoekers het Lightning Process als effectief konden presenteren.

Door het onderzoek ten onrechte als vooraf geregistreerde studie te presenteren met vooraf vastgestelde beoordelingsmethoden, hebben de onderzoekers burgers, medische behandelaars en beleidsmakers misleid. Verslaggeving in het nieuws versterkte deze boodschap nog eens.

Archives of Disease in Childhood besloot zich in januari 2018 in de zaak te verdiepen. Na anderhalf jaar werd het onderzoeksverslag dan eindelijk opnieuw uitgebracht met een uitgebreide rectificatie naast de herhaling van de aanvankelijk gepubliceerde resultaten, nl. dat het Lightning Process effectief was. Een begeleidend schrijven van de redacteur probeerde goed te praten dat de studie opnieuw werd gepubliceerd met dezelfde uitslagen, in plaats van ze in te trekken.

De uitleg van het blad met betrekking tot deze beslissing houdt bij nadere, kritische beschouwing geen stand.

Allereerst valt er in het begeleidend schrijven te lezen dat, “alhoewel het beleid van BMJ vereist dat gerandomiseerde onderzoeken vooraf geregistreerd worden, het niet als een reden voor terugtrekking wordt gezien wanneer er niet aan dat beleid voldaan wordt.” Er wordt verder niet uitgelegd hoe men tot deze verbazingwekkende conclusie komt. Een conclusie die zo haaks staat op de stellige verklaringen van BMJ over het belang van voorregistratie.

Ook werd in het schrijven van de redacteur geprobeerd om het gegoochel met uitkomsten halverwege de studie weg te poetsen. De onderzoekers schreven deze draai toe aan voorkeuren uitgesproken door deelnemers van het eerste uur. Volgens het schrijven heeft het blad “zich laten geruststellen door de auteurs dat deze draai van de aanvankelijke uitkomst niet beïnvloed is door (positieve) bevindingen” tijdens de eerste wervingsfase.

Aan diegenen die mogelijk beïnvloed zijn door vooringenomenheid vragen of ze daadwerkelijk beïnvloed zijn door vooringenomenheid, lijkt opzettelijk voorbij te gaan aan de kern van de zaak. Studies zo opstellen dat vooringenomenheid tot een minimum beperkt blijft, is juist belangrijk omdat mensen onbetrouwbaar zijn in het beoordelen of hun wensen en overtuigingen hun handelen beïnvloeden. De “geruststelling” dat vooringenomenheid geen rol speelde, kun je niet zomaar voor waar aannemen. Zeker niet wanneer de hele opzet van een onderzoek vooringenomenheid aanmoedigt en de hierboven besproken handelingen de uitkomsten van zo’n onderzoek in een beter daglicht plaatsen.

Noch de rectificatie, noch het begeleidend schrijven gaven een bevredigende uitleg van waarom de onderzoekers deze saillante details niet meedeelden in het gepubliceerde verslag. Misschien besloot men dat het beter was die vraag onbeantwoord te laten. Want het Britse Medical Research Council, een belangrijke geldschieter, stelt dat wetenschappelijk wangedrag onder andere inhoudt dat: “ data onjuist naar buiten gebracht worden”. Hieronder wordt bijvoorbeeld bedoeld dat “relevante uitkomsten en/of gegevens uitgesloten worden”, of dat men “bewust, onbezonnen of door grove nalatigheid een foute interpretatie van de gegevens naar buiten brengt”.

De onderzoekers van het Lightning Process brachten een “foute interpretatie van gegevens” naar buiten, door niet te laten zien wat ze in werkelijkheid deden. Of deze “uitsluiting” “bewust” gebeurde of niet, het getuigde zeker van “onbezonnenheid” en “van “grove nalatigheid”. Zelfs wanneer de meningen verdeeld zijn over het feit of het wel of niet gaat om nalatigheid in dit specifieke geval, is het moeilijk te begrijpen waarom een team met zulke ervaren onderzoekers zulke relevante informatie weggelaten heeft en waarom het zo’n onjuiste voorstelling van zaken heeft gepubliceerd.

Dat BMJ in dit licht nog steeds zijn goedkeuring geeft aan dit onderzoek, kan alleen maar omschreven worden als een vorm van “grove nalatigheid”. Als reactie op de rectificatie heb ik in augustus 2019, Godlee via een open brief op dit feit aangesproken. De brief was ondertekend door 55 wetenschappers, academici en andere experts verbonden aan universiteiten als Harvard, Columbia, Stanford, University College London, UC Berkeley, Queen Mary University of London en anderen.

De brief noemde de beslissing van Archives of Disease in Childhood “wetenschappelijk en ethisch onverdedigbaar” en “mogelijk schadelijk” voor kinderen, met de opmerking dat het vakblad “nu is overgegaan tot herpublicatie van positieve primaire resultaten die voortkomen uit uitkomstenverwisseling in een studie die niet voldeed aan strenge publicatievereisten [d.w.z. voorregistratie], die specifiek bedoeld zijn om uitkomstverwisseling en andere vormen van selectieve uitkomstenrapportering tegen te gaan”.

Nadat ik geen reactie ontving van Godlee, heb ik de brief in november nogmaals verstuurd. Deze keer was de brief zelfs ondertekend en onderschreven door nog meer experts en 60 patiënten- en belangenorganisaties vanuit de hele wereld.

Een aantal van deze ondertekenaars heeft Godlee zelfs persoonlijk gemaild om hun ongenoegen over te brengen. “Zoals u weet hebben vele andere wetenschappers van naam de eerste brief aan u ondertekend,” schreef Vincent Racaniello, een professor op het gebied van microbiologie verbonden aan de universiteit Columbia, en tevens de beheerder van Virology Blog. “Ik ben er zeker van dat we honderden extra namen zouden kunnen verzamelen. Hoeveel namen heeft u nodig voordat u overtuigd raakt van het feit dat dit artikel ingetrokken moet worden? Hoeveel langer wilt u jonge patiënten blootstellen aan de risico’s op schade die zij hierdoor kunnen oplopen?”

Dr. Ronald Tompkins, professor chirurgie aan de Harvard Medical School, vertelde Godlee dat hij “verbijsterd” was dat het onderzoek nog steeds in medische wetenschappelijke literatuur te vinden is. Brian Hughes, een professor psychologie aan de National University of Ireland in Galway, schreef Godlee dat BMJ’s klaarblijkelijke steun aan zo’n twijfelachtige manier van onderzoek doen “andere wetenschappers die het niet te nauw nemen met de spelregels van voorregistratie zal aanmoedigen, in de wetenschap dat ze toch wel in een BMJ-vakblad gepubliceerd zullen worden.”

Ondanks deze vurige pleidooien heeft Godlee opnieuw haar steun aan de herziene versie uitgesproken. “Ik ben van mening dat de rectificatie en het begeleidend schrijven de gang van zaken degelijk hebben beschreven en dat de nodige mate van onzekerheid en voorbehoud door de auteurs prima is verwoord,” was haar antwoord dat zij mij vorige week mailde als reactie op de open brief. “Lezers en opstellers van richtlijnen hebben mijns inziens genoeg informatie om zelf conclusies te trekken met betrekking tot de kwaliteit van het bewijs dat deze therapie onderschrijft.”

Zoals wij ondertekenaars het zien, heeft BMJ door de uitspraak van Godlee afstand genomen van zijn verantwoordelijkheid om medische literatuur te beschermen tegen slecht onderzoek. Dan kun je zoveel “onzekerheid” en “voorbehoud” plaatsen als je wilt. Dat kun je hiermee niet compenseren. De “goedgekeurd-stempel” van BMJ zou meer gewicht moeten hebben dan een advies van “trek-je-eigen–conclusies-maar”, wanneer je het hebt over de integriteit van het onderzoek dat wordt gepubliceerd in de vakbladen van je organisatie.

Een complicerende factor zou dr. Esther Crawley van Bristol University kunnen zijn. Zij is de hoofdonderzoeker van de studie over het Lightning Process en een goede bekende van BMJ.

Zij is tevens kinderarts en publiceerde al meerdere artikelen over deze ziekte in BMJ-vakbladen. Zij is bovendien coredacteur bij BMJ Pediatrics Open. Jammer genoeg voor BMJ moest zij, naast de ellende rondom de studie over het Lightning Process, eerder dit jaar al bij elf artikelen rectificaties plaatsen van de ethische verklaringen, waarvan 5 in BMJ-bladen. (Deze ontwikkelingen werden mede dankzij mijn onderzoek voor Virology Blog teweeggebracht).

Het onvermogen van BMJ om problemen te signaleren, ondanks al het zogenaamd grondige toezicht, wijst er op dat hun peerreview en redactionele procedures grondig toe zijn aan herziening. Bovendien lijkt het erop dat BMJ reputatieschade belangrijker vindt dan de gezondheid en het welzijn van kinderen, toch zeker in dit wetenschappelijke veld. Anders hadden zij allang de benodigde stappen genomen omtrent de studie over het Lightning Process.

David Tuller is een senior fellow op het gebied van volksgezondheid en journalistiek aan University of California in Berkeley. Leden van de ME/cvs-gemeenschap hebben gul geld gedoneerd aan een crowdfundingsinitiatief om zijn positie binnen de wetenschap te steunen.

Esther Crawley, de hoofdonderzoeker van de studie over het Lightning Process heeft Tuller beschuldigd van laster. Deze claims zijn niet goed onderbouwd. UC Berkeley heeft van de Universiteit van Bristol ook klachten ontvangen over ‘gedrag en acties’ van Tuller.

De klachten zijn inmiddels bekeken en afgewezen.