Home » Nieuwsartikels » David Tuller » Trial by error: nog een brief aan BMJ’s Dr Godlee; en een brief van Prof. Edwards

Trial by error: nog een brief aan BMJ’s Dr Godlee; en een brief van Prof. Edwards

Geplaatst door ME-Gids
op 11/09/2018

Laatste bijwerking op 11/09/2018

Bron:

David Tuller, Virology Blog

| 7153 x gelezen

Op 21 augustus publiceerde de Britse krant The Times een artikel over Tullers open brief aan The Lancet waarin wordt opgeroepen tot een onafhankelijke heranalyse van de PACE-studie. Kort daarop volgde een artikel over hetzelfde onderwerp in The BMJ, berucht omwille van hun publicaties van andere rampzalige studies over ME. Enkele dagen later publiceerde The Times een brief van Professor Fiona Watt, voorzitter van het MRC (de grootste financierder van PACE), in reactie op het artikel in The Times. In haar brief spreekt ze vanwege MRC opnieuw de volle steun uit voor PACE.

De twee volgende posts van Virology Blog gaan over dit thema.

De eerste post is een brief van Tuller aan Dr Fiona Godlee, hoofdredacteur van The BMJ. In dit zoveelste bericht aan Dr Godlee stipt Tuller enkele fouten aan in het recente BMJ-artikel, en vraagt hij opnieuw om haar reactie op de problemen omtrent twee studies over ME bij kinderen (zie o.a. vorige brievenrondes I en II).

De tweede post is een brief van emeritus professor Jonathan Edwards, een van de ondertekenaars van de open brief, aan Prof. Fiona Watt, uitvoerend voorzitter van MRC. Prof. Edwards vraagt in een zeer degelijk onderbouwde brief dat MRC zijn steun aan PACE publiekelijk opzegt.

Wordt ongetwijfeld vervolgd…

Trial by error: nog een brief aan BMJ’s Dr Godlee

David Tuller, DrPH, Virology Blog, 27 augustus 2018

Vorige week publiceerde The Times een artikel over de open brief aan The Lancet over de PACE-studie, en snel daarna volgde een stuk in The BMJ. Vanochtend e-mailde ik volgende brief naar Fiona Godlee, hoofdredacteur van The BMJ en redactioneel directeur bij BMJ. De Health Research Authority, enkele NICE-belanghebbenden en Parlementslid Carol Monaghan zette ik bij de brief in CC, aangezien ze allemaal belang hebben bij de correcte beoordeling van studies in dit veld.

********

Geachte Dr Godlee,

Ik wil u bedanken voor het nieuwsartikel in The BMJ over de recente open brief aan The Lancet over de tekortkomingen van de PACE-studie.

Ik was echter verbaasd dat in de voetnoten niet gerefereerd werd aan de open brief zelf. Deze weglating maakt het moeilijker voor lezers die een blik willen werpen op de tekst van de open brief, alsook op de volledige lijst van de 114 experts, tien parlementsleden en 70 patiënten- en belangenbehartigingsorganisaties die de brief ondertekend hebben. Ik ga ervan uit dat het niet toevoegen van de verwijzing naar de open brief een onoplettendheid was. Misschien kan dat nog toegevoegd worden. [Mededeling: ik was de hoofdinitiatiefnemer van de open brief.]

Daarenboven bevat het artikel een onjuiste verklaring van waarom patiënten bezwaar hebben tegen PACE. De belangrijkste reden was niet omdat “ze dachten dat het suggereerde dat ME/CVS tussen de oren zat en genezen kon worden met cognitieve gedragstherapie en lichaamsbeweging”, zoals het artikel beweert. Integendeel, patiënten verzetten zich tegen de PACE-bevindingen omdat ze onmiddellijk zagen dat de studie wetenschappelijk onbetrouwbaar was en, naast andere tekortkomingen, een analyse bevatte waarin deelnemers belangrijke uitkomstdrempels konden halen bij het begin – en dat is natuurlijk absurd.

Toch werden deze legitieme bedenkingen door de medische en academische gevestigde orde verworpen en belachelijk gemaakt, en werden patiënten die ze aanhaalden, afgeschilderd als irrationeel, antiwetenschappelijk en zelfs gevaarlijk. Spijtig genoeg onderscheidden de toonaangevende medische vakbladen zich in dezen niet. De experts die de open brief ondertekenden, erkennen dat de patiënten gelijk hadden.

Als men bij BMJ nu wil aantonen dat men geïnteresseerd is in correcte rapportage over dit veld, dan zou men kunnen beginnen bij het verbeteren van een fout in het nieuwsbericht uit 2011 over de resultaten van de PACE-studie. Het BMJ-artikel gebruikt foutief het woord “genezen” in de beschrijving van deelnemers die de drempels van de zogezegde “normale waarden” hadden bereikt. De Lancetpaper behandelde de kwestie van “herstel” of “genezing” natuurlijk niet, dus de term die door BMJ in het artikel gebruikt werd, zorgde mee voor de verspreiding van foute informatie over de bevindingen. (Een begeleidend redactioneel artikel van The Lancet beweerde dat deelnemers die de drempel van deze “normale waarden” bereikten, voldeden aan een “strikt criterium” voor herstel. Aangezien deelnemers deze drempels bij het begin bereikt konden hebben, was dit een belachelijke bewering.)

Bovendien is het bij BMJ stil gebleven over de twee grote pediatrische ME/CVS-studies die ik de afgelopen maanden herhaaldelijk onder uw aandacht probeerde te brengen: de studie over afwezigheid op school uit 2011 in BMJ Open, en de studie over het Lightning Process die vorig jaar werd gepubliceerd in Archives of Disease in Childhood. Zoals ik opmerkte, zijn redacteurs bij beide vakbladen hun professionele verantwoordelijkheid niet nagekomen, door de manier waarop ze met deze zaken zijn omgegaan.

Laat ons even samenvatten.

In het geval van BMJ Open had de studie over afwezigheid op school zichzelf vrijgesteld van ethische review, omdat het zou gaan om een dienstevaluatie. Alhoewel deze bewering aantoonbaar onjuist was, hield de hoofdredacteur van BMJ Open vol dat het vakblad de bedenkingen had geëvalueerd en ze ongegrond had bevonden. Toen de vragen daarmee niet ophielden, diende BMJ Open een door eigenbelang ingegeven, onjuist en vaag relaas in over het dispuut bij het COPE-Forum, en sloot dan de zaak af zonder te reageren op het zinvolle advies van het forum om de studieauteurs om opheldering te vragen.

Uiteindelijk nodigde de hoofdredacteur Virology Blog uit om een brief in te zenden ter publicatie, met de belofte dat ze een gedetailleerde reactie zouden vragen van de studieauteurs en hun instelling. Wij hebben die brief niet ingediend omdat we vinden dat BMJ Open sowieso de verplichting had om een gedetailleerde reactie te vragen bij de studieauteurs en hun instelling. We begrepen niet waarom de hoofdredacteur een brief van ons nodig had om ervoor te zorgen dat het vakblad zijn normale redactionele functies zou uitvoeren.

De uitnodiging tot het indienen van een brief leek ons dus geen eerlijk aanbod maar eerder een geniepige manier van BMJ Open om zich uit een netelige situatie te bevrijden. Wij vonden dat als we een brief inzonden ter publicatie en de hoofdredacteur de beloofde reacties ontving, het vakblad dan een uitwisseling van opinies kon posten en zichzelf kon presenteren als de koning van het open debat, zonder zich bezig te moeten houden met de puinhoop die ze gecreëerd hebben door de studie over afwezigheid op school überhaupt te publiceren. Wij zagen geen enkele reden om dat soort strategie in de hand te werken. Uiteindelijk waren de overduidelijke pogingen van de hoofdredacteur om zijn verantwoordelijkheid te ontlopen, ontmoedigend en eerlijk gezegd verontrustend – om dan nog te zwijgen van de schade die het de wetenschappelijke onderneming toebrengt.

In het geval van Archives of Disease in Childhood overtrad de studie over het Lightning Process BMJ’s strikte beleid over prospectieve studieregistratie, en werden uitkomstmaten omgewisseld nadat meer dan de helft van de deelnemers gegevens hadden verschaft. De onderzoekers lieten deze belangrijke details weg uit de gepubliceerde paper. Het vakblad beloofde in januari dat het de situatie zou onderzoeken. De documentatie herbekijken zou hen niet meer dan vijf minuten tijd hebben gekost, en toch blijft het onderzoek na meer dan zes maanden aanslepen. De vertraging kan niet anders benoemd worden dan onbegrijpelijk. Het zorgt ervoor dat beoefenaars van het Lightning Process kunnen blijven opscheppen over hoe BMJ hun zweverige behandeling als doeltreffend heeft uitgeroepen.

Feiten zijn feiten, Dr Godlee. Het feit dat uw redactieteam blijkbaar niet in staat is en de wil niet heeft om het overduidelijke te erkennen en deze kwesties aan te pakken, zorgt ervoor dat kwetsbare kinderen mogelijk risico lopen op schade. Wanneer bent u van plan om dit recht te trekken?

(Ik heb beambten in CC gezet van de Health Research Authority, belanghebbenden van het ontwikkelingsproces van de NICE-richtlijn, en Parlementslid Carol Monaghan, die allemaal belangstelling hebben in de evaluatie en het karakter van studies in dit onderzoeksveld.)

Vriendelijke groet, David

David Tuller, DrPH

Senior Fellow Volksgezondheid en Journalistiek

Center for Global Public Health

School of Public Health

University of California, Berkeley

Trial by error: Professor Edwards brief aan Fiona Watt van MRC

David Tuller, DrPH, Virology Blog, 28 augustus 2018

Jonathan Edwards, emeritus professor geneeskunde aan University College London, stuurde onlangs een brief naar Professor Fiona Watt, uitvoerend voorzitter van het Britse Medical Research Council [Brits coördinerend overheidsorgaan voor financiering van medisch wetenschappelijk onderzoek, n.v.d.r.]. Het MRC was de belangrijkste financierder van PACE en blijft de studie en de uitvoering ervan verdedigen. In de voorbije jaren is Professor Edwards erg betrokken geraakt bij het promoten van biomedisch onderzoek en bij het verminderen van de impact van PACE en gerelateerd onderzoek. In zijn brief vraagt hij het MRC dringend om publiekelijk te erkennen dat het fout was om de studie überhaupt te financieren. Het hoeft ons niet te verbazen dat Professor Watt die stap weigerde te zetten.

Deze week publiceerde The Times een brief van Professor Watt over de PACE-studie. Ze schreef de brief in reactie op het artikel in The Times van vorige week over de open brief aan The Lancet, die ondertekend werd door meer dan 100 experts, tien parlementsleden en 70 patiënten- en belangenbehartigersorganisaties. Het artikel in The Times werd gevolgd door een artikel over de kwestie in The BMJ.

Professor Watts brief herbevestigt de steun van MRC aan PACE. In de brief lijkt ze te suggereren dat critici – waaronder wellicht de ondertekenaars van de open brief aan The Lancet – handelen vanuit “vijandigheid” tegenover de PACE-auteurs. Dat is onzin. Als hoofdorganisator van de open brief kan ik vol vertrouwen zeggen dat de handtekeningen ingegeven werden door ontzetting over de methodologische en ethische fouten in PACE en over het feit dat het vakblad weigerde om ze aan te pakken.

Professor Watt vindt het blijkbaar prima dat 13% van de studiedeelnemers al bij het begin “hersteld” was op een belangrijke maatstaf – en dat terwijl ze op dezelfde maatstaf beschouwd werden als geïnvalideerd genoeg om deel te nemen aan de studie. Ze lijkt het prima te vinden dat onderzoekers in hun protocol beloven dat ze deelnemers op de hoogte zullen stellen van hun belangenconflicten, maar vervolgens ernstige belangenconflicten niet vermelden. Ze vindt blijkbaar ook dat subjectieve uitkomsten in een studie met open onderzoeksopzet betrouwbare informatie kunnen opleveren, ook al hebben andere domeinen van de geneeskunde dat soort bewijs achter zich gelaten. Het is niet duidelijk waarom Professor Watt er dit soort meningen op nahoudt.

Professor Edwards ondertekende de open brief aan The Lancet. Hij schreef oorspronkelijk zijn eigen brief naar Professor Watt in vertrouwen. Aangezien zij nu haar krachtige steun aan PACE heeft uitgesproken in haar brief aan The Times, heeft hij me de toelating gegeven om te posten wat hij geschreven had. (Ik heb de brief licht aangepast om verwijzing naar anderen te verwijderen.)

**********

20 juli 2018

Geachte Professor Watt,

[naam verwijderd] vroeg me om te reageren op uw brief van 9 juli aan zijn Parlementslid Jeremy Quin, in verband met financiering voor ME/CVS-onderzoek en bedenkingen over de PACE-studie. Ik was toevallig sowieso van plan om contact met u op te nemen in verband met het standpunt van MRC over PACE…

Ik vind dat we gezamenlijk onder ogen moeten zien wat een enorme fout het was om PACE in het leven te roepen, omdat het nog steeds een ernstige negatieve weerslag heeft op zowel klinische zorg als onderzoek, en dat zal zo blijven totdat we er iets aan doen.

In uw brief aan de heer Quin zegt u over PACE: “ik vind wel dat de studie ontworpen, uitgevoerd en gecontroleerd is in overeenstemming met de toenmalige verwachte normen…”. Ik hoop dat u niet helemaal bekend bent met het ontwerp van de studie en de problemen ervan, en ik vraag me af of u slecht geïnformeerd werd. U vernoemt de problemen bij studies waar het onmogelijk is om ofwel de patiënt ofwel de clinicus in kwestie te anonimiseren. Het eigenlijke probleem is het “anonimiseren” of blinderen van behandelingen, nl. er niet het label opplakken van “de goede nieuwe behandeling” of “de gewoonlijke nul komma niks”. Het was niet alleen zo dat de PACE-auteurs geen enkele moeite deden om te verhullen welke [behandeling] welke was, maar ze zetten het zelfs op nogal ongewone manieren in de verf, met zowel informatiebladen als een nieuwsbrief, verspreid tijdens de studie.

Dit probleem heeft niets te maken met “de toenmalige verwachte normen”. Het heeft alles te maken met wat wij wetenschappers er tijdens onze studies ingedramd kregen. Of het nu gaat om een klinische studie of (in mijn geval) om cellen scoren in een stuk weefsel, als er bij je evaluatie van resultaten risico bestaat op subjectieve vooringenomenheid, dan moet je jezelf blinderen zodat je niet weet of je bezig bent met het scoren van “test” of “controle”. Als je jezelf niet kan blinderen, dan moet je gebruik maken van objectieve metingen. Anders zijn je gegevens waardeloos.

Men zou kunnen beweren dat het klinische studieteam in 2004 niet op de hoogte was van het feit dat de menselijke aard wetenschappelijke observaties kan kleuren, maar dat argument gaat niet op. Op het moment dat PACE gepland werd, was ik bezig met het publiceren van mijn haalbaarheidsstudie in NEJM over rituximab voor reumatoïde artritis en was ik al meer dan tien jaar met studies bezig. Die studie besprak o.a. cyclofosfamide, wat niet geblindeerd kan worden. Alle betrokkenen waren zich bewust van het probleem en de mogelijke oplossingen – oplossingen waar het PACE-team geen enkele poging toe heeft gedaan. Bij een studie met zo’n omvang als PACE is minimale systematische vooringenomenheid al genoeg om tot statistisch significante verschillen te komen. In gespreid uitgevoerde studies is er een groot risico op vooringenomenheid omdat het personeel van de externe instellingen denkt dat ze “helpen” door “positieve” resultaten aan te wakkeren. Deze omstandigheden kenden wij, die studies uitvoerden, maar al te goed.

Op grond hiervan alleen al ben ik er zeker van dat als u zou navragen bij eender wie die rond die tijd nauw betrokken was bij studies, zoals Ravinder Maini of Bob Souhami, ze het ermee eens zouden zijn dat PACE nog niet in de buurt kwam van de standaard voor 2004, of zelfs die van 1984, als het gaat om het kunnen genereren van bruikbaar positief bewijs van doeltreffendheid. Geen enkele geneesmiddelenstudie die dit opzet gebruikt, zou gepubliceerd worden in een kwaliteitsblad – dus waarom dan wel een studie over een door therapeuten uitgevoerde behandeling, waarvan met weet dat problemen met vooringenomenheid daar groter zijn? Misschien hadden psychiaters geen weet van studienormen, maar onwetendheid over vastgelegde praktijkregels kan toch zeker niet gelden als verdediging. Als je niet weet hoe je tot interpreteerbare resultaten kan komen, dan neem je maar oninterpreteerbare resultaten en doe je alsof ze interpreteerbaar zijn – zo’n argument gaat natuurlijk niet op.

En dat is nog maar de eerste laag van het probleem. De tweede laag is dat de PACE-studie lijdt aan de ergst mogelijke vorm van subjectieve vooringenomenheid. De twee behandelingen die er zogezegd beter uitkwamen, gingen over patiënten trainen om te gaan geloven dat ze zich beter voelden. De primaire uitkomstmaat was een vragenlijst, en het hoeft niet te verbazen dat patiënten in die twee groepen zeiden dat ze zich beter voelden. Mensen doen wat van hen gevraagd wordt. In de andere “testarm” werden patiënten getraind om hun aandoening te aanvaarden en ermee om te gaan via pacing. De vergelijkingsarm was geen zinvolle controle, want het was expliciet “niets meer dan gewoonlijk”.

Met andere woorden: de subjectieve vooringenomenheid die we in de meeste experimenten zo klein mogelijk proberen te houden door onze neiging tot cherry picking [selectief gebruik van enkel die gegevens die passen in je hypothese, n.v.d.r.] te erkennen, was in PACE het bedoelde mechanisme van de behandeling. Voor psychologen had dit evident moeten zijn!

Ik vind het veelzeggend dat de recente “SMILE”-studie over een alternatieve therapie, die patiënten ook traint om te geloven dat ze zich beter voelen, een gelijkaardig resultaat voortbracht als CGT en GET. We weten niet of deze behandelingen een specifiek effect hebben. (Als PACE iets aantoont, dan is het wel dat er in de praktijk effect is: geen terugkeer naar werk, geen vermindering in uitkeringen, geen verhoogde activiteit en zelfs geen subjectief verschil op tweeënhalf jaar.) Er is geen dosis-respons curve. We komen zo goed als niks te weten, zoals te verwachten was.

Er zijn nog allerlei andere problemen met de studie die het moeilijk maken om vol te houden dat “de auteurs alle mogelijke inspanningen hebben gedaan om er zeker van te zijn dat de uitvoering van het onderzoek voldeed aan een hoge standaard”. Zo had een objectieve maatstaf voor activiteit ingebouwd kunnen worden in de primaire uitkomstmaat, net zoals de American College of Rheumatology studiemaatstaven voor artritis combineerde met objectieve en subjectieve componenten met behulp van meerdere drempels. Maar we hebben notulen van een vergadering van het PACE-comité waarin besloten werd om zo’n maatstaven voor PACE niet te gebruiken omdat vorige studies geen positieve verandering hadden getoond in reactie op behandeling. Enzovoort…

Ik zie niet in hoe we de conclusie kunnen ontwijken dat het toezicht over PACE incompetent was. Sommige mensen zullen misschien een toontje lager moeten gaan zingen, maar er staat te veel op het spel om dat in beschouwing te nemen. Hun dwaling lijkt verwonderlijk, maar kan verklaard worden doordat te veel aandacht werd gevestigd op statistische en structurele kwesties en niet genoeg op de praktische psychologische realiteit…

Op de langere termijn blijft PACE een rampzalige invloed uitoefenen op de klinische zorg, en ook op onderzoek. Het lijkt erop dat behandelingen uitgevoerd worden die niet werken en leed veroorzaken. PACE is een belangrijk rekwisiet in de miljoenen kostende uitbreiding van de zogenaamde op bewijs gebaseerde therapieën die intussen niet enkel voor ME, maar voor eender welke onverklaarde symptomen worden voorgesteld. Hoe meer ik erover te weten komen, hoe groter mijn vermoeden wordt dat geen enkel van dit soort “bewijs” veel betekenis heeft. Zelfs Simon Wessely, die PACE in gang hielp zetten, kijkt toe als een soort Leerling Tovenaar, terwijl PACE gebruikt wordt als staving om zorg uit te besteden aan verstrekkers met personeel dat niet eens formeel opgeleid is in CGT, laat staan dat ze nuttige kennis hebben over de ziekte. Zorginkopers vinden contact met de dokter overbodig. Terwijl dokters zoals Stephen en ik vroeger ervaring konden opdoen in de klinische praktijk en konden nadenken over mogelijke oorzaken, staan we nu voor een toekomst waarin niemand nog enig idee heeft wat het probleem is dat wetenschappelijke inbreng nodig heeft.

NICE vormt momenteel een nieuw comité om richtlijnen voor ME/CVS opnieuw te evalueren. De uitkomst van die herevaluatie zal afhangen van of kwaliteitsvol bewijs de voorrang krijgt. Cochrane begint nu te beseffen dat het niet goed is uitgedraaid met hun systematische review van ME/CVS, maar nieuwe reviews bestellen kost tijd. Ondanks de overduidelijke fouten in PACE, blijven opinies sterk beïnvloed door het standpunt van instellingen uit de gevestigde orde zoals Lancet en MRC. PACE was geen competente wetenschap en ik vind het niet ethisch verantwoord om het als dusdanig te blijven verdedigen.

Wat we vooral nodig hebben, is dat vertrouwen en respect. Zowel patiënten als wetenschappers moeten het gevoel krijgen dat er een of andere vorm van kwaliteitsverzekering is in de wetenschap. En de enige manier waarop ik dat zie gebeuren is als het MRC een publieke verklaring doet waarin het erkent dat volgens elke redelijke wetenschappelijke standaard het sponsoren van PACE een ernstige inschattingsfout was die men had kunnen voorkomen. Vandaar mijn formeel, maar besloten verzoek tot zo’n verklaring. Vertrouwen en respect van patiënten staat voorop, maar vertrouwen en respect binnen de wetenschappelijke gemeenschap is ook van het uiterste belang. En dat is echt geen onbereikbaar doel.

Hoogachtend,

Jonathan Edwards

Professor Emeritus

Departement Geneeskunde

University College London