Home » Nieuwsartikels » David Tuller » Trial by error: brievenronde tegen twee studies over ME bij kinderen, deel II

Trial by error: brievenronde tegen twee studies over ME bij kinderen, deel II

Geplaatst door ME-Gids
op 19/08/2018

Laatste bijwerking op 19/08/2018

Bron:

| 8831 x gelezen

David Tuller blijft naarstig brieven schrijven naar organisaties en belanghebbenden, over zijn bedenkingen bij twee studies over behandeling van ME bij kinderen, gepubliceerd in vakbladen van BMJ. Hij argumenteert dat de studies nooit gepubliceerd hadden mogen worden, omdat ze verschillende ethische en/of wetenschappelijk principes met voeten treden.

Dit keer schreef hij naar:

het Wetenschappelijk en Technisch Comité van het Britse Parlement, dat ervoor moet zorgen dat overheidsbeleid en besluitvorming gebaseerd zijn op degelijk wetenschappelijk en technisch advies en bewijs http://www.virology.ws/2018/07/11/trial-by-error-my-letter-to-the-science-and-technology-committee/

Professor Dorothy Bishop, die zich eerder positief uitliet over de studie over het Lightning Process. Tuller schreef haar een brief, en intussen heeft Prof. Bishop daarop geantwoord, en schreef Tuller een antwoord op haar reactie. http://www.virology.ws/2018/06/25/trial-by-error-my-exchange-with-professor-bishop/

Fiona Godlee, hoofdredacteur van BMJ, die de studies publiceerde. Tuller schreef haar opnieuw, omdat ze nog niet op zijn vorige brief had gereageerd. http://www.virology.ws/2018/07/02/trial-by-error-my-letter-to-fiona-godlee/

Nogmaals Fiona Godlee, omdat ze nog steeds niet had gereageerd. http://www.virology.ws/2018/07/11/trial-by-error-waiting-for-godlee/

Nick Brown hoofdredacteur van Archives of Disease in Childhood, dat de studie over het Lightning Process publiceerde. Hij had op de website een noot toegevoegd aan de studie, maar die was volgens Tuller lang niet toereikend. http://www.virology.ws/2018/07/16/trial-by-error-the-contentless-editors-note-about-the-lightning-process-trial/

Opnieuw dank aan David Tuller voor zijn niet-aflatende inzet voor ME-patiënten overal ter wereld!

Trial by error: mijn gesprek met professor Bishop

David Tuller, DrPH, Virology Blog, 25 juni 2018

Niet lang geleden schreef ik naar Dorothy Bishop, neuropsycholoog aan Oxford University, die een verklaring had geschreven voor Science Media Centre over de studie over het Lightning Process. Alhoewel ze bedenkingen uitsprak over de pseudowetenschappelijke aard van de interventie, vond ze het over het algemeen een goed uitgevoerde studie en merkte ze op dat de bevindingen solide leken te zijn. In mijn e-mail, die ik postte op Virology Blog, stipte ik de methodologische onregelmatigheden van de studie aan, en vroeg ik haar om de documentatie te herzien en te bekijken of ze haar opmerkingen wilde aanpassen.

Professor Bishop schreef terug dat ze de documentatie zou herbekijken en dat ze binnen een of twee weken zou antwoorden. Vorig weekend ontving ik haar reactie. Ik waardeer dat Professor Bishop de tijd heeft genomen om de kwestie opnieuw te bekijken. Spijtig genoeg herbevestigde ze haar steun voor de bevindingen, maar ze baseerde die steun op een duidelijke foutlezing van de documentatie, zoals ik opmerk in mijn antwoord op haar bericht.

Professor Bishop verwees specifiek naar een gevoeligheidsanalyse die werd uitgevoerd ter vergelijking van antwoorden die verschaft werden voor en na 2011, toen de onderzoekers toestemming kregen om telefonisch antwoorden te verzamelen. Ze hield verkeerdelijk vol dat deze gevoeligheidsanalyse de kwestie van vooringenomenheid aanpakte die veroorzaakt werd door het omwisselen van de uitkomstmaten in 2012. Aangezien de gevoeligheidsanalyse niets te maken had met de omwisseling van de uitkomstmaten, is het onduidelijk waarom ze deze bewering maakt.

Professor Bishop verklaarde tevens verkeerdelijk dat de omwisseling van uitkomstmaten niets veranderd had aan de resultaten. Ze baseerde zich op het feit dat wat zij de oorspronkelijke primaire uitkomst noemde, nl. aanwezigheid op school op 12 maanden, positieve resultaten gaf. Het probleem is dat de oorspronkelijke primaire uitkomst aanwezigheid op school op zes maanden was, niet op 12 maanden; dat laatste was altijd een secundaire uitkomstmaat geweest. En aanwezigheid op school op zes maanden had een nulresultaat.

Bovendien beloofden de onderzoekers zowel in het protocol van de haalbaarheidsstudie als dat van de volledige studie dat officiële schoolregisters opgevraagd zouden worden om de betrouwbaarheid van de zelfgerapporteerde aanwezigheid dubbel te controleren. Deze gegevens werden, om onbekende redenen, in het studierapport niet verschaft. Dus we kunnen op geen enkele manier weten of de positieve zelfrapportage voor schoolaanwezigheid op 12 maanden nauwkeurig was, gezien de onderzoekers er spijtig genoeg voor kozen om de informatie uit officiële schoolregisters niet bij te voegen. Eén mogelijke reden waarom de onderzoekers dit zo beslisten is, dat het de bewering van verbeterde aanwezigheid op school op 12 maanden niet ondersteunde.

Beide redeneringen die Professor Bishop aanhaalde om haar opinie over de “solide” bevindingen staande te houden, blijken dus het resultaat te zijn van denkfouten, zoals ik schreef in mijn reactie. Ik heb geen verdere reactie van haar ontvangen.

**********

Geachte Dr. Tuller,

Ik schrijf u in antwoord op uw e-mail over de studie van Esther Crawley en collega’s over het Lightning Process als behandeling voor ME/CVS.

U bent al bekend met mijn standpunten over het Lightning Process, die ik aangaf toen het Science Media Centre mij om een reactie vroeg over de studie, en vervolgens in een interview met Tom Chivers voor een stuk dat hij over het onderwerp schreef. Ik heb zelf een situatie meegemaakt waarin enthousiaste voorstanders mij probeerden te overtuigen een studie uit te voeren over een behandeling die pseudowetenschappelijk leek, en ik kan bevestigen dat dit een onderzoeker in een moeilijke positie plaatst: als je weigert mee te doen, kan men zeggen dat je kortzichtig bent; maar als je er wel in mee gaat, loop je het risico dat je een onwetenschappelijke benadering lijkt goed te keuren, wat nog zorgwekkender is als er commerciële belangen mee gemoeid zijn. Dat gezegd zijnde, zou ik zelf niet opgetogen zijn als ik een kind had met ME/CVS dat een behandeling aangeboden zou krijgen met zo’n twijfelachtige referenties, en ik vraag me af hoe verstandig het is om zo’n studie uit te voeren.

Aangezien de studie is uitgevoerd, zijn de vraag of ze correct is uitgevoerd, en de vraag of ze de doeltreffendheid van LP aantoont, twee losstaande kwesties. Op vlak van studieuitvoering duidt het insluiten van een haalbaarheidsstudie op goede praktijken. Het rapport ervan duidt aan dat het nuttig was omdat het vaststelde wat patiënten aanvaardbare procedures en maatstaven vonden. Het leidde naar meer gebruik van telefonische interviews om de last van papieren vragenlijsten te verlichten, en het wierp vragen op over het gebruik van aanwezigheid op school als primaire uitkomstmaat, aangezien het vooral ongepast leek voor leerlingen die zich voorbereiden op hun afstuderen. Deze wijzigingen werden goedgekeurd en werden toegevoegd aan de volgende fase, toen nieuwe patiënten gerekruteerd werden na de haalbaarheidsstudie. Was het een redelijke beslissing om patiënten van de haalbaarheidsstudie in te passen in de nieuwe studie? Het efficiënte daaraan zou zijn dat de gegevens van de haalbaarheidsstudie niet verloren gaan, en het zou de algemene duurtijd van de studie verkorten, maar het veroorzaakt, zoals u opmerkte, een belangrijk risico op vooringenomenheid, zelfs als er een goede redenering achter zit. Dus het antwoord op die vraag is “ja”, enkel en alleen als het risico van vooringenomenheid, veroorzaakt door deze stap, onder controle kan worden gehouden. Het lijkt erop dat het ethisch comité, dat de studie onder de loep nam, vond dat dit het geval was. We moeten ons tot het studierapport wenden om te zien hoe men dit heeft gedaan.

Eén manier om vooringenomenheid te vermijden is om de analyse te beperken tot casussen die gerekruteerd werden na voltooiing van de haalbaarheidsstudie. In de paper van 2017 vermeldden de auteurs een gevoeligheidsanalyse die enkel die casussen omvat die gerekruteerd werden na 2011 – dus zonder vooringenomenheid – en men stelt dat de resultaten vergelijkbaar zijn. Deze gevoeligheidsanalyse, “beperkt tot deelnemers gerekruteerd nadat het protocol gewijzigd werd om gegevens voor de primaire uitkomstmaat telefonisch te verzamelen” wordt in de discussie nogmaals vermeld. Tabel 2 toont de relevante gegevens, die de bewering ondersteunen dat de resultaten op SF-36 behouden blijven voor de kinderen die gerekruteerd werden na de haalbaarheidsstudie.

Een tweede manier om zeker te zijn dat er geen vooringenomenheid in het spel is, is de analyse van de gegevens van de oorspronkelijke primaire uitkomstmaat, zelfs al is dit idee minder optimaal. In uw e-mail stelde u dat de oorspronkelijke uitkomstmaat, aanwezigheid op school, geen enkel voordeel van LP aantoonde; ik ben het daar niet mee eens. Mijn interpretatie van Tabel 3 is dat er een voordeel was op 12 maanden. Dus als de oorspronkelijke uitkomstmaat gebruikt was geweest, zou het voordeel van LP nog steeds zichtbaar zijn.

Ik ben het ermee eens dat het problematisch is dat noch de paper uit 2013 over het studieprotocol, noch het rapport van de studie uit 2017 onderstreepte dat de studie een combinatie was van deelnemers aan een haalbaarheidsstudie en nieuw gerekruteerde casussen, en dat de primaire uitkomstmaten veranderd waren tussen de twee fases. Ik ben het ermee eens dat hoewel deze informatie uit de verschillende papers afgeleid kan worden, het alles behalve voor de hand liggend is.

Ik vind het verbazingwekkend dat deze kwestie geen enkele aandacht kreeg in het overzicht, gezien de belangrijke gevolgen voor de analyse. Toch ben ik het er niet mee eens dat het ontwerp de studie ongeldig maakt. Het rapport bevat twee vergelijkingen die niet beïnvloed zouden worden door vooringenomenheid door het wisselen van de uitkomstmaten, d.w.z. de analyse van SF-36 in Tabel 2, rij 3, en de analyse van aanwezigheid op school in de laatste rij van Tabel 2, en beiden ondersteunen een voordeel voor LP.

Wat de drijvende factor is achter dit effect is een goede vraag; ik ben het ermee eens dat het belangrijk is om voorzichtig te zijn als uitkomstmaten gebaseerd zijn op subjectieve rapportage, want schijnbare verbetering wordt mogelijk niet weerspiegeld in objectieve metingen. Dit wordt geïllustreerd door dit voorbeeld in mijn eigen studieveld: Bull, L. (2007). Sunflower therapy for children with specific learning difficulties (dyslexia): A randomised, controlled trial. [ Zonnebloemtherapie voor kinderen met specifieke leerproblemen (dyslexie): een gerandomiseerde, gecontroleerde studie. ] Complement Ther Clin Pract, 13, 15-24. In deze studie waren de voordelen niet zichtbaar via rechtstreekse evaluatie van het kind, maar ouders waren toch enthousiast over het programma. Dit benadrukt de complexiteit van het evalueren van interventies waarbij subjectieve en objectieve uitkomstmaten uiteenlopen.

Alles bij elkaar genomen, vind ik het nogal buitengewoon dat ik mij bevind in een positie waarbij ik een studie verdedig die buiten mijn eigen onderzoeksveld ligt en die beweert voordeel te vinden in een pseudowetenschappelijke interventie. Desalniettemin, gezien u vraagt om mijn beoordeling van de kwesties die u aanhaalt, is mijn interpretatie dat de gegevens van de paper uit 2017 de conclusie ondersteunen dat LP betere uitkomsten geeft, zowel voor de oorspronkelijke primaire uitkomstmaat, als voor de gereviseerde primaire uitkomstmaat; doorslaggevend is, dat die laatste resultaten behouden lijken als analyse wordt beperkt tot de deelnemers die gerekruteerd werden na de haalbaarheidsstudie.

Ik ben me ervan bewust dat u en anderen teleurgesteld zullen zijn dat ik uw kritieken niet ondersteun, maar ik vind dat de beweringen dat de resultaten ongeldig worden gemaakt door het omwisselen van uitkomstmaten, niet gesteund worden door de gepubliceerde gegevens. Mijn opinie is gebaseerd op mijn lezing van de twee papers uit 2013, de paper uit 2017 en de studieregistratie. Ik heb enkele uren de tijd genomen om de gepubliceerde papers door te nemen, omdat uw verzoek daarom redelijk was, en ik heb te goeder trouw mijn beoordeling gegeven. Gezien de achtergrond van deze studie, verwacht ik dat vele mensen hier verder over zullen willen debatteren, maar het is voor mij niet mogelijk om meer tijd te besteden aan deze kwestie, aangezien mijn prioriteit ligt bij het uitvoeren van mijn eigen onderzoek. Dit zal daarom mijn laatste opmerking zijn over dit onderwerp. Ik vind het niet erg als u deze reactie deelt, maar ik zou u dan vragen om de volledige e-mail te citeren.

Hoogachtend

**********

Geachte Dr. Bishop,

Het zou kunnen dat ik in de toekomst een langer antwoord geef, maar ik wilde alvast een aantal fouten in uw analyse aanduiden. Beide argumenten die u aanhaalt over waarom de studiebevindingen betrouwbaar zijn, zijn simpelweg niet correct en gebaseerd op een foute lezing van de documentatie.

1) De beslissing om antwoorden telefonisch te verzamelen werd genomen in 2011. De beslissing om de haalbaarheidsstudie uit te breiden en de uitkomstmaten om te wisselen, werd gemaakt in 2012. De gevoeligheidsanalyse had te maken met de eerste beslissing, niet met de tweede. Dus ik begrijp niet waarom u zou beweren dat de gevoeligheidsanalyse, uitgevoerd voor de deelnemers die gerekruteerd werden na de wissel in methodologie in 2011, iets zou zeggen over de vooringenomenheid die een jaar later geïntroduceerd werd door het omwisselen van de uitkomstmaten, nadat al uit 56 van de 100 gegevens verworven waren. De gevoeligheidsanalyse is hier niet van belang. De enige manier om te doen wat u suggereert, is een aparte analyse te maken van de 44 deelnemers gerekruteerd na de uitkomstwissel. Die analyse werd niet verschaft.

2) U vergist zich over de resultaten voor de oorspronkelijke primaire uitkomstmaat van aanwezigheid op school. De oorspronkelijke primaire uitkomstmaat was aanwezigheid op school op zes maanden, niet 12 maanden. De meting op zes maanden gaf een nulresultaat. Bovendien beloofden zowel het protocol van de haalbaarheidsstudie als dat van de volledige studie dat zelfgerapporteerde aanwezigheid op school afgetoetst zou worden aan officiële schoolregisters. Dit gebeurde blijkbaar niet, of het wordt in ieder geval niet vermeld in de paper. Dus de zelfgerapporteerde aanwezigheid op school op 12 maanden is niet de oorspronkelijke primaire uitkomst, in tegenstelling tot wat u beweert in uw antwoord. Hadden ze hun oorspronkelijke primaire uitkomstmaat gerapporteerd, dan hadden ze een nulresultaat moeten rapporteren, zoals ik al gedocumenteerd heb.

3) Uw conclusie dat de resultaten betrouwbaar zijn, is gebaseerd op uw foute verklaringen of veronderstellingen over bovenvermelde punten 1) en 2). Gezien het feit dat geen van uw antwoorden op de eerste twee punten gebaseerd was op correcte informatie over de studie, gelooft u dan nog steeds dat de resultaten betrouwbaar zijn? Of anders gezegd: aangezien er geen gevoeligheidsanalyse was die het probleem aanpakte, en aangezien de aanwezigheid op school op zes maanden een nulresultaat gaf, wil u dan uw conclusie herzien?

4) U zegt niets over het eenvoudige feit dat BMJ een strikt beleid voert tegen het publiceren van studies die deelnemers hebben gerekruteerd vóór registratie – en daar hebben ze alle reden toe. BMJ’s beleid lijkt geen uitzonderingen te bevatten voor gevallen waarin haalbaarheidsstudies uitgebreid worden tot volledige studies. Ik zou denken dat het zeker geen uitzonderingen maakt voor gevallen waarin uitkomstmaten meer dan halfweg de studie worden omgewisseld. Bent u het ermee eens dat deze studie BMJ’s eigen beleid overtreedt?

5) U vermeldt dat het “problematisch” en “verbazingwekkend” is dat deze verschillende aspecten niet vermeld werden in de paper over de studie. Zou het niet gepaster zijn om deze lacune te beschrijven met de woorden “verbijsterend” en “schandalig”?

6) Wat zijn op dit moment uw aanbevelingen voor BMJ over het aanpakken van de overduidelijke problemen in de studie?

Nogmaals dank voor uw reactie.

Vriendelijke groet, David

Trial by error: mijn brief aan Fiona Godlee

David Tuller, DrPH, Virology Blog, 2 juli 2018

Update (6 juli 2018): Ik stuurde gisteren een vervolgmail naar Fiona Godlee om een onjuistheid te corrigeren die ik schreef over het rapport over PACE in The BMJ in 2011. Ik heb de vervolgmail toegevoegd aan het einde van deze post.

***********

Eerder vandaag e-mailde ik volgende brief naar Fiona Godlee, hoofdredacteur bij The BMJ en redactioneel directeur van BMJ. Ik zette de Health Research Authority in CC, alsook het CFS/ME Research Collaborative, NICE, Carol Monaghan, etc.

De onderwerpregel: BMJ pakt problemen met pediatrische studies over ME/CVS niet aan.

**********

Geachte Dr. Godlee,

Sorry dat dit misschien brutaal klinkt, maar ik moet de vraag stellen: Kan de gezondheid van kinderen BMJ iets schelen? Als ik heel eerlijk ben, kan ik uit mijn recente pogingen om de methodologische en ethische overtredingen in twee BMJ-papers over kinderen met ME/CVS, enkel de conclusie trekken dat bekommernissen over reputationele schade de bovenhand hebben gehaald boven andere afwegingen, of toch zeker in dit onderzoeksdomein. Dit is geen mooie conclusie, maar zo ver ik kan zien, is dit de enige conclusie die overeenkomt met de feiten.

U kent wellicht beide zaken. In de voorbije weken heb ik u in CC gezet bij meerdere e-mails over de artikels aan verschillende agentschappen, organisaties en ambtenaren, nl. de studie over afwezigheid op school van 2011 in BMJ Open, en de studie over het Lightning Process van vorig jaar in Archives of Disease in Childhood. Zoals u weet, zijn de knelpunten krachtig gedocumenteerd op Virology Blog. En toch hebben redacteurs bij de twee vakbladen aangetoond dat ze deze bekommernissen of niet willen of niet kunnen aanpakken. Dit niet nemen van redactionele verantwoordelijkheid is zorgwekkend, gezien beide papers een mogelijke impact hebben op het gezondheidsbeleid over ME/CVS bij kinderen. Om slechts één voorbeeld te geven: NICE nam het Lightning Process onlangs op in een lijst van te onderzoeken niet-farmacologische behandelingen voor de nieuwe ME/CVS-richtlijn – een beslissing die overduidelijk gebaseerd was op de studie in Archives.

Laat ons kort de papers herbekijken en ook de ontoereikende antwoorden van de vakbladen toen ze bevraagd werden over hun flagrante fouten.

De onderzoekers van de studie over afwezigheid op school stelden de studie vrij van ethische review omdat die gekwalificeerd zou worden als “dienstevaluatie”. Redacteurs zouden erkend moeten hebben dat deze bewering niet klopte, gezien de studie een hypothese omvatte, veralgemeenbare conclusies, en een analyse van primaire data getrokken uit interviews met bekende personen – allemaal karakteristieken van onderzoek dat ethische review vereist. En toch publiceerde BMJ Open de paper als dienstevaluatie, zelfs nadat een peerreviewer zware bedenkingen uitte over het gebrek aan ethische review.

Sinds de vragen vorig jaar gesteld werden, heeft BMJ Open zijn aanvankelijke fout nog erger gemaakt door ze twee, drie en vier keer opnieuw te maken. Redacteurs hebben herhaaldelijk volgehouden dat het correct was om de studie te beschouwen als dienstevaluatie, desondanks het feit dat het vakblad zelf het publiceerde onder de hoofding “onderzoek”. Opmerkelijk genoeg stelde BMJ Open in zijn presentatie van de kwestie voor het Comité voor Onderzoeksethiek dat één reden om de studie te kwalificeren als dienstevaluatie was, dat het enkel geanonimiseerde gegevens behandelde. Aangezien deze verklaring duidelijk haaks stond op de in de paper beschreven methodologie, creëerde het de indruk dat de redacteurs van BMJ Open de studie, die ze op agressieve wijze verdedigden, niet eens hadden gelezen.

De COPE-verklaring hield ook vol dat mijn rapportering over de studie “onnauwkeurig, misleidend en schadelijk was voor de reputatie van de uitgever”. Ik betwijfel niet dat wat ik geschreven heb, schadelijk zou kunnen zijn voor de reputatie van de uitgever, en dat had het ook moeten zijn. Maar ik kijk al een tijd reikhalzend uit naar bewijs vanwege BMJ Open dat mijn rapportage “onnauwkeurig” was of “misleidend”. (Net als iedereen kan ook ik fouten maken, en als ik dat doe, probeer ik ze te verbeteren – blijkbaar doet BMJ dit niet.)

Dat bewijs is er niet gekomen, wat ik begrijp als een erkenning vanwege BMJ Open dat de verklaring over mijn werk niet waar was, dus ik hoop dat ik ooit een verontschuldiging krijg voor deze valse bewering. Voorlopig neem ik genoegen met een antwoord op volgende vraag: Vindt u het aanvaardbaar dat uw redacteurs niet onderbouwde beschuldigingen maken over mensen die legitieme kritiek uitdrukken, en ondertussen aantoonbaar valse verklaringen verspreiden over studies die ze hebben gepubliceerd?

In reactie op het vage relaas van BMJ Open over de gebeurtenissen, gaf COPE aan redacteurs het advies om de methodologie samen met de onderzoekers opnieuw te bekijken, om te bepalen of de studie nu wel of niet in aanmerking kwam als dienstevaluatie. Door het opvolgen van dit advies zou het bedrieglijke standpunt van BMJ Open onvermijdelijk aan het licht zijn gekomen, dus wellicht was het niet wat de redacteurs hadden willen horen. In plaats van te gehoorzamen, sloten ze de COPE-zaak af. Ik veronderstel dat ze probeerden te doen alsof de kwestie opgelost was.

Het vakblad spoorde Professor Vincent Racaniello en mij wel aan om een brief in te zenden ter publicatie, en ze boden volgend lokaas aan: de belofte dat de redacteurs dan aan de onderzoekers zou vragen om er punt per punt op te reageren. (Professor Racaniello is een microbioloog aan Columbia en de host van Virology Blog.) Wat ons betreft, was het sowieso de verantwoordelijkheid van BMJ Open om een punt-per-puntreactie of eender welke soort verklaring van de onderzoekers te vragen, dus we begrepen niet waarom zo’n brief van ons vereist was om deze noodzakelijke redactionele actie uit te lokken.

In elk geval boden we aan om een brief in te zenden ter publicatie als het vakblad ermee akkoord ging om input te vragen van het gepaste agentschap – de Health Research Authority – over de vraag of de studie in aanmerking kwam als dienstevaluatie of niet. BMJ Open heeft hier niet op gereageerd. Dat leek onze aanname te bevestigen dat het vakblad geen oprechte klaarheid nastreefde in deze kwestie, maar simpelweg een uitwisseling van standpunten wilde publiceren tussen ons en de onderzoekers, zodat ze beschouwd konden worden als eerlijke bemiddelaar in het wetenschappelijke “debat”.

Laten we wel wezen: zo’n debat is onmogelijk. De studie over afwezigheid op school is onderzoek en ethische review is vereist. Dat is een feit, geen opinie of een vraag met meerdere mogelijke antwoorden. Bovendien kan BMJ Open, gezien zijn handelingen in het verleden, zich niet op een geloofwaardige manier presenteren als een eerlijke bemiddelaar in deze zaak. BMJ moet nu publiekelijk antwoorden op twee belangrijke vragen: Waarom heeft BMJ Open de studie over afwezigheid op school überhaupt als dienstevaluatie gepubliceerd? En waarom blijft het vakblad beweren dat de beslissing om het te publiceren als dienstevaluatie correct was en heeft het herhaaldelijk de bedenkingen afgewezen van diegenen die op correcte wijze het tegenovergestelde beweerden?

Laat ons nu de paper over het Lightning Process bekijken in Archives of Disease in Childhood. Ik denk dat we het eens zouden moeten kunnen zijn over een korte reeks feiten over deze studie: 1) Zesenvijftig van de 100 deelnemers werden gerekruteerd voordat de studie geregistreerd was. 2) Dit schond het strikte beleid van BMJ tegen het publiceren van papers waarvoor deelnemers gerekruteerd werden vóór studieregistratie. 3) De onderzoekers wisselden primaire en secundaire uitkomstmaten om, op basis van gegevens verkregen uit deze 56 deelnemers die gerekruteerd werden vóór studieregistratie, wat leidt tot vooringenomen resultaten. 4) Niemand die de paper leest zonder de ondersteunende documentatie, komt iets te weten over punten 1, 2 en 3.

Geen enkele van deze methodologische onregelmatigheden zijn aanvaardbaar, dat spreekt voor zich. De redacteur van Archives of Disease in Childhood werd vijf maanden geleden attent gemaakt op de kwestie, in een open brief ondertekend door 21 experts van Stanford, Harvard, Berkeley, Columbia, UCL, QMUL, etc. Hij beloofde de zaak te onderzoeken. Meer dan een maand geleden, toen u de e-mail naar hem doorstuurde die ik over de studie had verstuurd aan diegenen die betrokken zijn bij de ontwikkeling van de nieuwe NICE-richtlijn voor ME/CVS, antwoordde de redacteur dat het vakblad zou reageren als het “helemaal klaar” is. Aangezien de feiten zo eenvoudig te constateren zijn, doet deze lange vertraging vermoeden dat Archives niet echt geïnteresseerd is in de evaluatie ervan.

Laten we één ding niet vergeten. Het Lightning Process werd ontworpen door een kerel die vroeger mensen opleidde in het ontwikkelen van hun genezende krachten met behulp van Tarot, spirituele gidsen en andere nogal ongewone modaliteiten. Het is een combinatie van neurolinguïstische programmering, osteopathie en positieve affirmaties. Behandelaars beweren dat ze in staat zijn om niet enkel deze ziekte te genezen, maar ook MS en een hele rits andere ernstige ziektes. Ze zijn al meerdere keren aangeklaagd voor valse reclame.

Archives of Disease in Childhood heeft er nu voor gezorgd dat alle aanbieders van Lightning Process kunnen opscheppen over de doeltreffendheid van hun pseudowetenschappelijke interventie – op basis van een studie die expliciet in overtreding was met het beleid van BMJ over studieregistratie en waarin ze hun eigen positieve bevindingen in de hand werkten door het omwisselen van uitkomstmaten. Dus waarom worden ME/CVS-patiënten er voortdurend van beschuldigd antiwetenschappelijk en irrationeel en “ergerlijk” te zijn, omdat ze bevindingen niet aanvaarden die voortkomen uit dit soort van gegevensverdraaiing? In dit domein van onderzoek is het voor niet-vooringenomen toeschouwers duidelijk dat het de onderzoekers zelf zijn die best vergeleken worden met klimaatveranderingsontkenners, niet de patiënten die op moedige wijze hun jammerlijke wetenschap aanvechten.

Echt waar, Dr. Godlee, het is genoeg geweest. Het is tijd om te stoppen met dwarsliggen, de knelpunten van deze papers te erkennen en aan te pakken, en de naakte waarheid onder ogen te zien – tenminste, als de gezondheid van kinderen de BMJ inderdaad iets kan schelen. (En dan heb ik het nog niet eens gehad over het feit dat The BMJ zelf een foute bewering in zijn nieuwsrubriek over de Lancetpaper van 2011 nooit heeft gecorrigeerd, nl. dat 30% van de deelnemers aan de studie weer gezond werden. Aangezien de paper in de Lancet zelf niet rapporteerde over “herstel” en die bewering gehaald was uit een uitgebreid commentaar, geschreven door Nederlandse collega’s van de auteurs, moet deze bewering rechtgezet worden – zelfs na zo lange tijd nog.)

Kort gezegd vrees ik dat uw vakblad de weg is kwijtgeraakt als het gaat om de benadering van deze ziekte in het bijzonder. Het huidige behandelingsparadigma gebaseerd op PACE/CGT/GET is voor onze ogen aan het afbrokkelen. Terwijl dat proces verder gaat, kunnen diegenen die dit soort wetenschappelijke tegenspoed in de hand hebben gewerkt, verwachten dat ook zij getroffen zullen worden door vallende brokstukken. Hoe langer u wacht met het erkennen van deze problemen en het corrigeren ervan, hoe erger de onvermijdelijke consequenties voor uw reputatie zullen zijn.

Met het oog op transparantie heb ik bij deze brief anderen in CC gezet met wie ik al gecommuniceerd heb over het probleem met deze BMJ-studies. Het gaat dan o.a. om diegenen die betrokken zijn bij de ontwikkeling van de nieuwe NICE-richtlijnen, leden van de raad van bestuur van het CFS/ME Research Collaborative, ambtenaren van de Health Research Authority, en Parlementslid Carol Monaghan.

Hartelijk dank voor uw spoedige aandacht in dit verband. Ik sta zeker open voor een telefonisch gesprek of een persoonlijke ontmoeting om de documentatie te overlopen en deze ernstige kwestie te bespreken.

Vriendelijke groet, David

David Tuller, DrPH

Senior Fellow in Public Health and Journalism

Center for Global Public Health

School of Public Health

University of California, Berkeley

****************

Vervolgbrief

Geachte Dr. Godlee,

In de brief die ik onlangs stuurde, heb ik de rapportage van de PACE-resultaten in The BMJ in 2011 onjuist geciteerd. De zin in mijn brief die naar dit studierapport verwijst, had niet moeten aangeven dat The BMJ rapporteerde dat 30% van de deelnemers aan de studie “genezen” waren maar dat 28-30% van degenen die toegewezen waar aan de twee actieve interventies in kwestie, “genezen” waren.

Ik verontschuldig mij voor de fout. Voor volledige transparantie zal ik deze e-mail op Virology Blog posten als een update. Ik ben er echter zeker van dat u begreep wat er bedoeld werd. Hoe dan ook, de zin in The BMJ is onjuist en moet gecorrigeerd worden. Zoals de PACE-auteurs expliciet gesteld hebben in de correspondentie enkele maanden later, had de paper uit 2011 geen betrekking op “herstel”.

The BMJ had moeten aangeven dat de bewering van “herstel” afkomstig was van het commentaar bij de paper, die geschreven was door Nederlandse collega’s van de PACE-auteurs. Opmerkelijk is dat The Lancet deze misleidende bewering verdedigd heeft door te beweren dat het alleen de opinies van de commentators weerspiegelt en niet de feitelijke bevindingen van de studie – hoewel het commentaar zelf duidelijk de claim als feit presenteerde.

Ik kijk uit naar uw antwoord hierop en alle andere zorgen die in mijn vorige brief naar voren zijn gebracht over de studies over het Lightning Process en over afwezigheid op school.

Vriendelijke groet, David

David Tuller, DrPH

Senior Fellow in Public Health and Journalism

Center for Global Public Health

School of Public Health

University of California, Berkeley

Trial by error: wachten op Godlee

David Tuller, DrPH, Virology Blog, 11 juli 2018

Vanochtend stuurde ik nog eens een brief naar Fiona Godlee, hoofdredacteur bij The BMJ en redactioneel directeur bij BMJ. Hopelijk onderneemt ze binnenkort actie tegen de twee pediatrische papers waarvan de publicatie heeft aangetoond dat er iets ernstig mis is bij de vakbladen waar zij de leiding over heeft, tenminste als het gaat om dit onderzoeksveld. Het is best schokkend dat de redacteurs van de vakbladen en Dr. Godlee zelf blijven weigeren om verantwoordelijkheid te nemen voor deze puinhoop en hun fouten recht te zetten. De onmiddellijke aanleiding voor mijn nieuwe brief was een pas gepubliceerd artikel van Phil Parker, oprichter van het Lightning Process, die de Archives-studie aanprijst als bewijs dat zijn trainingsprogramma genezende eigenschappen heeft.

Nu is gebleken dat de redacteur van Archives of Disease in Childhood vorige maand snel een opmerking toevoegde aan de studie over het Lightning Process, gedateerd op 19 juni. Het is natuurlijk een compleet ontoereikende verklaring die de paper laat voor wat hij is, tenminste toch voorlopig. Het is enkel toegevoegd aan het onderdeel “reacties” van de online pagina voor de paper, voor zover ik kon zien. Dat betekent dat niemand die de huidige versie van de paper online leest, het idee krijgt dat hij op dit moment onderzocht wordt voor ernstige methodologische overtredingen, en dat deze overtredingen bedenkingen doen rijzen over of de bevindingen wel juist en betrouwbaar zijn.

**********

Geachte Dr. Godlee,

In mijn brief aan u vorige week [cf. supra, n.v.d.r.], wierp ik vragen op over twee pediatrische studies gepubliceerd in BMJ-vakbladen. De eerste, een studie uit 2011 over afwezigheid op school in BMJ Open, leek geen ethische review ondergaan te hebben; de onderzoekers stelden het ervan vrij via de valse redenering dat het een “dienstevaluatie” betrof en geen “onderzoek”. De tweede, een studie uit 2017 in Archives of Disease in Childhood over een pseudowetenschappelijk programma dat het Lightning Process heet, overtrad het BMJ-beleid over prospectieve studieregistratie en beïnvloedde haar bevindingen door halfweg uitkomstmaten om te wisselen. In beide gevallen hebben de redacteurs niet voldoende en zonder de gepaste dringendheid geantwoord.

Nu blijkt, dat de redacteur van Archives vorige maand in stilte een vage en ontoereikende opmerking heeft toegevoegd aan de studie over het Lightning Process, waarin hij erkent dat het vakblad berichten had ontvangen waarin bedenkingen werden geuit over de methodologische onregelmatigheden van de studie. De verklaring beweert dat het vakblad zijn toezichtsprocedures opnieuw heeft bekeken en “verduidelijkingen” heeft ontvangen van de auteurs die “door de redactie onder beschouwing worden genomen”. Maar de verklaring schiet op verschillende vlakken tekort.

Het vermeldt niet dat het vakblad meer dan vier maanden eerder attent was gemaakt op het probleem in een brief van 21 experts. Het zegt niet duidelijk dat de naar voor gebrachte bedenkingen gegrond zijn. Het legt niet uit waarom het onderzoek zo lang heeft geduurd als de feiten zo duidelijk zijn. Het geeft ook geen einddatum tegen wanneer het vakblad de “verduidelijkingen” “onder beschouwing” genomen zal hebben en actie zal ondernemen over de gedocumenteerde problemen met de studieregistratie, uitkomstenverwisseling en het gebrek aan toevoeging van saillante informatie. Dus op dit moment blijft de paper nog steeds ongewijzigd in de literatuur staan.

In mijn brief van vorige week drukte ik bijzondere bezorgdheid uit over het feit dat behandelaars die Lightning Process gebruiken, de Archives-studie kunnen citeren als bewijs dat hun zweverige behandeling werkt. Ik wou u laten weten dat niet minder dan Phil Parker zelf, de stichter van Lightning Process, dit net gedaan heeft. In een nieuw artikel met als titel ““Understanding the Lightning Process Approach to CFS/ME: a Review of the Disease Process and the Approach [CVS/ME benaderen via het Lightning Process: een review van het ziekteproces en de benadering, n.v.d.r.], stelt hij met zijn collega’s de studie in Archives voor als het hoogtepunt van een zogezegde “groeiende bewijsbasis voor … de doeltreffendheid”. (Het artikel van Parker verscheen in een Roemeens vakblad voor “ervaringsgerichte psychologie”, dus we kunnen waarschijnlijk wel overeenkomen dat de reikwijdte ervan tamelijk beperkt zal blijven. Maar zelfs vakbladen van bedenkelijk allooi kunnen een vernislaag van academische geloofwaardigheid creëren die dekkend genoeg is om dubieuze informatie te helpen verspreiden en populariseren.)

Het Lightning Process is een ratjetoe van osteopathie, positieve affirmaties en neurolinguïstisch programmeren. Deelnemers wordt verteld dat ze hun gezondheid kunnen verbeteren door hun gedachtenpatronen te veranderen. Parker, de oprichter, doceerde vroeger iets dat de “Genezingscursus van het Europese College van Holistische Geneeskunde” heette. Volgens een gearchiveerde website hield zijn opleiding het volgende in: “het gebruik van aura’s voor diagnose van problemen van de cliënt” en “geneeskundige orakelkaarten en tarot”, aangezien “orakelen nuttig is voor het creëren van een sterke connectie met helende en spirituele gidsen”. Volgens de website konden deelnemers aan de cursus ook verwachten dat ze zouden leren hoe ze een “ruimte gepast konden voorbereiden zodat energieën die de ruimte bevuilden, het werk niet dwarsbomen”.

Zoals ik al meerdere keren heb aangeduid, vielen in de studie over het Lightning Process meerdere methodologische misstappen op. Meer dan de helft van de 100 deelnemers werden gerekruteerd voordat de studie geregistreerd was. Gezien het BMJ-beleid, had Archives de studie op die grond alleen al moeten weigeren. Daarenboven verwisselden de onderzoekers primaire en secundaire uitkomstmaten op basis van die eerste resultaten, wat onvermijdelijk leidt tot beïnvloeding van de resultaten. Bovendien vermeldden ze deze details niet in de paper in Archives – een onrustwekkende weglating van saillante informatie.

BMJ heeft nu al zes maanden de tijd genomen om een zaak te onderzoeken die in slechts een paar minuten tijd opgehelderd had kunnen zijn. Nu heeft het een kennisgeving gepost over de zaak, maar laat het nog steeds alle vragen onbeantwoord. Als de redacteurs onmiddellijk hadden gereageerd eens ze attent gemaakt werden op de problemen, dan had Parker het prestige van BMJ niet voor zijn kar kunnen spannen om het Lightning Process te promoten in zijn recente artikel in een vakblad.

Hoeveel langer gaat het nog duren voor u de zaak aanpakt? Hoeveel meer artikels met referentie aan Archives of Disease in Childhood zal Phil Parker in de tussentijd publiceren? Hoeveel wanhopige ouders van zieke kinderen zullen het Lightning Process uitproberen op basis van de positieve rapportering in de paper in Archives?

In dit geval, zoals ik eerder al opmerkte, lijken BMJ-redacteurs meer belang te hechten aan reputationele bekommernissen dan aan professionele en morele verplichtingen. De situatie heeft voorstanders van het Lightning Process de kans geven om bedenkelijke beweringen te blijven maken door BMJ-onderzoek te citeren, dus het is van groot belang dat u liever vroeger dan later passende maatregelen treft. Met het oog op transparantie zet ik volgende mensen in CC: vertegenwoordigers van de Health Research Authority, het CFS/ME Research Collaborative en anderen die al op de hoogte zijn van mijn bedenkingen over het feit dat BMJ behandelaars van Lightning Process het recht geeft om hun zaakjes aan te prijzen.

Hartelijk dank voor uw snelle aandacht in dit verband.

Vriendelijke groet, David

Trial by error: mijn brief aan het Wetenschappelijk en Technisch Comité van het Parlement

David Tuller, DrPH, Virology Blog, 11 juli 2018

Eerder vandaag stuurde ik volgende brief per e-mail naar de leden van het Wetenschappelijk en Technisch Comité van het Lagerhuis, dat problemen met wetenschappelijke en onderzoeksintegriteit bekijkt. Ik vond dat ze wel mochten weten dat deze eigenschap blijkbaar afwezig is in bepaalde studies over ME/CVS. (Moest de brief bekend in de oren klinken, dan is dat omdat hij samengesteld is uit onderdelen van vorige versies die ik aan anderen heb verstuurd.)

Ik zette zowel Richard Horton, redacteur van The Lancet, als Fiona Godlee, redactioneel directeur van BMJ, in CC.

De onderwerpregel: “Bedenkingen over het gebrek aan onderzoeksintegriteit in Lancet- en BMJ-papers over ME/CVS”

**********

Geacht Rt Hon Parlementslid Norman Lamb (en andere leden van het Wetenschappelijk en Technisch Comité van het Lagerhuis)

Mijn naam is David Tuller. Ik ben een onderzoeker volksgezondheid en journalistiek aan het Center for Global Public Health aan de University of California in Berkeley. Al drie jaar neem ik onderzoek onder de loep over behandelingen voor de ziekte die bekend staat onder de verschillende benamingen chronisch vermoeidheidssyndroom, myalgische encefalomyelitis, CVS/ME en ME/CVS. Ik contacteer u omwille van uw onderzoek van wetenschappelijke integriteit – een eigenschap die buitengewoon tekort schiet in dit onderzoeksveld.

Via mijn artikelenreeks (“Trial By Error”) op een bekende wetenschapssite (Virology Blog) heb ik geholpen om de vele gebreken van de PACE-trial te belichten – een onderwerp dat dit jaar besproken werd in Westminster Hall tijdens een debat over de ziekte. Vorige week nog werd door Virology Blog een open brief gestuurd – en hij werd ook online gepost – naar The Lancet en redacteur Richard Horton, over de “onaanvaardbare methodologische misstappen” in PACE. De brief werd ondertekend door meer dan 100 wetenschappers, academici, clinici en andere experts, 10 parlementsleden en meer dan 60 groepen van patiënten en belangenbehartigers van over heel de wereld.

Dit is een link naar de open brief: http://www.virology.ws/2018/07/10/trial-by-error-yet-another-appeal-to-the-lancet-with-more-on-board/ [In Nederlands: Trial by error: nog maar eens een oproep aan The Lancet, met meer handtekeningen]

Dit is een link naar mijn 15.000 woorden tellende onderzoek over PACE, gepubliceerd in oktober 2015: http://www.virology.ws/2015/10/21/trial-by-error-i/ [NL versie op ME-gids: https://www.me-gids.net/module-ME_CVS_docs-viewpub-tid-1-pid-1433.html]

Dit is een link naar een geüpdatete lijst van alle blogposts van Virology Blog over PACE en aanverwante ME/CVS-onderwerpen. http://www.virology.ws/mecfs/ [NL vertalingen op ME-gids: https://www.me-gids.net/module-ME_CVS_docs-viewpub-tid-1-pid-2007.html]

Ik heb Dr. Horton bij deze mail in CC gezet. Misschien kan hij verklaren waarom zijn vakblad een studie publiceerde waarin 13% van de deelnemers tegelijkertijd geïdentificeerd werden als “geïnvalideerd” en “binnen normale waarden” voor fysiek functioneren op dezelfde maatstaf – en waarom de gepubliceerde paper dit saillante detail niet vermeldt. Misschien kan hij ook verklaren waarom de onderzoekers aan de deelnemers niets vermeldden over hun nauwe banden met arbeidsongeschikheidsverzekeraars – zelfs al beloofden ze in hun studieprotocol “alle belangenconflicten” bekend te maken als onderdeel van het proces van geïnformeerde toestemming.

Als het gaat om pover onderzoek in het veld van ME/CVS, zou het echter oneerlijk zijn enkel kritiek te geven op The Lancet. BMJ-vakbladen hebben ook bedenkelijke studies gepubliceerd. Gezien uw doorlopende onderzoek van deze kwesties, vond ik het gepast om u attent te maken op twee van dit soort problematische studies – één in BMJ Open en één in Archives of Disease in Childhood.

De paper in BMJ Open heet “Unidentified Chronic Fatigue Syndrome/myalgic encephalomyelitis (CFS/ME) is a major cause of school absence: surveillance outcomes from school-based clinics” [Ongeïdentificeerd chronisch vermoeidheidssyndroom/myalgische encefalomyelitis (CVS/ME) is een belangrijke oorzaak van afwezigheid op school: controle-uitkomsten van aan scholen verbonden klinieken], en werd gepubliceerd in 2011. De paper in Archives of Disease in Childhood heet “Clinical and cost-effectiveness of the Lightning Process in addition to specialist medical care for paediatric chronic fatigue syndrome: randomised controlled trial” [Klinische en kosteneffectiviteit van Lightning Process in aanvulling op gespecialiseerde medische zorg voor pediatrisch chronisch vermoeidheidssyndroom: gerandomiseerde gecontroleerde trial], en werd vorig jaar gepubliceerd.

Beide studies overtraden methodologische en/of ethische kernprincipes. Maar omdat ze in de literatuur blijven staan, kunnen ze een impact hebben op volksgezondheidsbeleid en medische behandelingen voor kinderen. Alhoewel BMJ-redacteurs op de hoogte werden gesteld van de zaak, hebben ze nog steeds geen passende en noodzakelijke stappen ondernomen. Dit verzuim zorgt ervoor dat kinderen mogelijk risico lopen op schade en het zet niet alleen vraagtekens bij de slechte besluitvorming van BMJ in de prepublicatieperiode, maar ook bij het feit dat ze hun verantwoordelijkheid niet opnemen voor het corrigeren van de feiten, wanneer onweerlegbare fouten worden vastgesteld.

In de studie in BMJ Open poogden de onderzoekers de hypothese te testen dat kinderen met chronisch vermoeidheidssyndroom geïdentificeerd zouden kunnen worden via schoolafwezigheidsregisters. Maar ze stelden de studie vrij van ethische review met behulp van de valse redenering dat het een “dienstevaluatie” betrof en geen “onderzoek”. De studie viel terug op primaire data, rechtstreeks verzameld bij gekende deelnemers, en niet op anonieme secundaire data. Bovendien omvatte ze een hypothese en veralgemeenbare conclusies. Volgens de richtlijnen in het VK, is een studie met deze kenmerken geen “dienstevaluatie”, maar wel een “onderzoek” dat ethische review vereist.

Een peerreviewer voor BMJ Open plaatste heel wat vraagtekens bij de bewering die de studie maakte over dat het een “dienstevaluatie” betrof en geen “onderzoek”. Hoewel de onderzoekers geen afdoend antwoord gaven op het gebrek aan ethische review, zag BMJ Open de kwestie door de vingers en aanvaardde de paper toch. Ironisch genoeg publiceerde het vakblad het onder de hoofding “onderzoek”, maar stelde het zich sindsdien verdedigend op omtrent de beslissing om het te categoriseren als “dienstevaluatie”.

In de studie over het Lightning Process in Archives of Disease in Childhood werd meer dan de helft van de deelnemers gerekruteerd als onderdeel van een haalbaarheidsstudie die van start ging bijna twee jaar vóór de registratie van de studie. Terwijl deze deelnemers aan de haalbaarheidsstudie mee werden opgenomen in de volledige studie, werden ook de primaire en secundaire uitkomstmaten omgewisseld, op basis van hun resultaten – wat vanzelfsprekend leidt tot beïnvloeding van de bevindingen. De paper in Archives of Disease in Childhood rapporteerde positieve resultaten, maar vermeldde deze relevante details niet – een verontrustende weglating.

Om vooringenomenheid te vermijden, voeren BMJ en andere toonaangevende vakbladen al jarenlang een beleid tegen het publiceren van studies waarbij deelnemers gerekruteerd werden vóór registratie. Dit beleid werd door de studie over het Lightning Process duidelijk met voeten getreden. En toch blijft Archives of Disease in Medicine [sic] beoefenaars van het Lightning Process het recht geven om op te scheppen over de doeltreffendheid van hun pseudowetenschappelijk programma voor kinderen met deze ziekte. De berichtgeving in de media over de gerapporteerde resultaten heeft mogelijk meer wanhopige ouders aangemoedigd om hun zuurverdiende geld uit te geven aan het Lightning Process. Vorige maand voegde Archives een vage “noot van de redactie” toe aan het artikel; de noot gaf aan dat het vakblad bedenkingen onder de loep nam over bepaalde onregelmatigheden, maar verschafte geen details of antwoorden.

In volgende posts in Virology Blog kan u meer lezen over de gedocumenteerde problemen in deze studies, alsook bezorgde brieven die verstuurd werden naar de redacteurs van de vakbladen door meer dan een dozijn wetenschappers, clinici en andere experts:

Trial By Error: geen ethische review van de studie van Crawley over afwezigheid op school

Trial By Error: een brief aan BMJ Open

Trial By Error: de niet-openbaar gemaakte uitkomstenverwisseling van de SMILE-studie

Trial By Error: een brief aan Archives of Disease in Childhood

Ik heb Fiona Godlee, hoodredacteur van The BMJ en redactioneel directer van BMJ Company, bij deze mail in CC gezet. Misschien kan zij verklaren waarom de vakbladen waar zij de leiding over heeft het overduidelijke nog niet publiekelijk hebben erkend: de studie in BMJ Open was geen “dienstevaluatie”, en de studie in Archives overtrad het BMJ-beleid over registratie van prospectieve studies. Sowieso had geen van beide studies aanvaard mogen worden voor publicatie.

Gelooft Dr. Godlee dat deze incidenten erop wijzen dat er nood is aan meer controle op het redactionele proces en het peerreviewproces van BMJ, tenminste als het gaat om dit onderzoeksdomein? Heeft zij suggesties over welke hulpmiddelen beschikbaar zouden moeten zijn als een wetenschappelijk tijdschrift zijn verantwoordelijkheid omtrent het eigen toezicht niet nakomt, met mogelijk negatieve gevolgen voor volksgezondheid en geneeskunde?

Ik breng deze kwesties over wetenschappelijke integriteit nu bij u ter sprake omdat dit BMJ-onderzoek het risico loopt om geloofwaardig bevonden te worden bij overleg over publiek beleid dat kinderen betreft. Zo is er de huidige poging van NICE om een nieuwe richtlijn voor ME/CVS te ontwikkelen, of de lopende implementering van het problematische bezuinigingsprogramma Improved Access to Psychological Therapy [controversieel nieuw systeem voor toegang tot psychologische behandelingen in het VK, n.v.d.r.]. Net als PACE is er geen sprake van dat deze gebrekkige studies geciteerd mogen worden ter ondersteuning van volksgezondheidsinitiatieven, klinische richtlijnen of aanbevelingen over geneeskundige zorg. Maar omwille van duidelijke redactionele tekortkomingen bij de vakbladen in kwestie, raakten deze papers op een of andere manier toch door de peerreview, werden ze aanvaard voor publicatie en blijven ze in de literatuur staan.

Hartelijk dank voor uw aandacht voor deze belangrijke kwestie. Mocht u vragen hebben over deze twee studies, de PACE-studie of andere papers in deze ondermaatse onderzoekstak, dan beantwoord ik ze graag.

Vriendelijke groet, David

David Tuller, DrPH

Senior Fellow in Public Health and Journalism

Center for Global Public Health

School of Public Health

University of California, Berkeley

Trial by error: de inhoudsloze “noot van de redactie” bij de studie over het Lightning Process

David Tuller, DrPH, Virology Blog, 16 juli 2018

Vorige week merkte ik op dat Nick Brown, hoofdredacteur van Archives of Disease in Childhood, op 19 juni een “noot van de redactie” had toegevoegd aan de studie over het Lightning Process. De noot schiet verbluffend tekort.

Dit is de noot:

Deze studie werd in september 2017 na peerreview online gepubliceerd in Archives of Disease in Childhood. De studie testte de doeltreffendheid van een behandeling met neurolinguïstische programmering (vaak toegepast maar nooit formeel getest) voor kinderen en jongeren met chronische vermoeidheid, gerekruteerd tussen 2010 en 2013. Hoewel het aantal deelnemers klein was, suggereerde analyse een voordeel op vlak van fysiek functioneren (gemeten via de standaardschaal SF-36) zowel op 6 als op 12 maanden na behandeling.

Sinds haar publicatie kreeg de studie kritiek omdat ze niet in overeenstemming zou zijn met het beleid van ICMJE en BMJ over studieregistratie en ze de richtlijnen van CONSORT over studierapportering niet volledig zou volgen. Het vakblad kreeg kritiek omdat het deze kwesties niet zou hebben opgemerkt tijdens redactionele evaluatie en peerreview. Wij hebben kennis genomen van deze commentaren en hebben een evaluatie opgemaakt van onze processen omtrent deze paper en de EQUATOR-richtlijnen in het algemeen. Bijkomend hebben we van de auteurs toelichtingen ontvangen die de redactie nu onder beschouwing neemt.

Vandaag stuurde ik volgende e-mail naar Dr. Brown, met in CC NICE en de Health Research Authority, en ook redactioneel directeur van BMJ, Fiona Godlee, die nog steeds geen woord heeft gezegd over de flagrante problemen in deze studie.

********

Geachte Dr. Brown,

Vorige week merkte ik de noot van de redactie op die u blijkbaar op 19 juni had toegevoegd aan de studie over het Lightning Process. In een daaropvolgende brief aan Dr. Godlee suggereerde ik dat ik de noot van de redactie ontoereikend vond. Ik dacht dat ik best rechtstreeks aan u zou uitleggen waarom ik dat vind.

Ik heb belanghebbenden van het NICE-richtlijnenproces bij dit bericht in CC gezet, aangezien u hen had beloofd dat u een “volledig” antwoord zou geven op de bedenkingen over de studie. Ik weet niet of u hen op de hoogte hebt gehouden over deze ontwikkeling; in elk geval is de noot duidelijk geen volledig antwoord. Ik heb ook beambten van de Health Research Authority in CC gezet, aangezien het plaatselijke comité voor onderzoeksethiek vooringenomenheid in de hand werkte door een misplaatste beslissing te nemen over de gerapporteerde bevindingen van deze studie: het keurde nl. de aanvraag van de onderzoekers goed om een haalbaarheidsstudie over te laten lopen in een volledige studie terwijl ze tegelijkertijd de primaire en secundaire uitkomstmaten omwisselden.

Uw redactionele noot herhaalt de positieve bevindingen van de studie, maar blijft vaag over de opgeworpen kritiek. Niemand die de noot leest, zal begrijpen dat die gerapporteerde bevindingen in feite onbetrouwbaar en ongeldig gemaakt worden door de vermelde registratieproblemen en het niet volgen van CONSORT-richtlijnen. (Volgens het beleid van BMJ had de studie natuurlijk überhaupt nooit mogen worden gepubliceerd.)

Door de kritiek niet te weerleggen, lijkt de redactionele noot daarenboven te erkennen dat de kritiek terecht is, zonder dat direct te moeten toegeven. Als u had vastgesteld dat mijn kritiek voortvloeide uit misvattingen of een foutlezing van de documentatie, dan had u dat waarschijnlijk wel zo gezegd. Als de bedenkingen ongegrond waren geweest, dan zou er geen reden zijn om uw redactionele en peerreviewsystemen door te lichten.

Maar als u tot het besluit bent gekomen dat de kritiek gegrond is, dan is het verbijsterend dat u de paper zelf hebt gelaten voor wat hij is. U hebt ook gekozen om geen saillante details te delen met de lezers – over de fouten zelf, over hun gevolgen voor de haalbaarheid van de gerapporteerde bevindingen van de studie, en over de vastgestelde tekortkomingen in de publicatieprocessen van het vakblad. Ook hebt u niet aangeduid wanneer u verdere updates zal geven. U geeft aan dat u “toelichtingen” hebt ontvangen van de onderzoekers, en dat deze “onder redactionele beschouwing” worden genomen. Maar u maakt verder niet duidelijk of deze “toelichtingen” een licht werpen op de problematische methodologische keuzes die gemaakt werden in de studie en hoe lang deze “redactionele beschouwing” zal duren.

Zoals ik herhaaldelijk heb aangeduid, kan in een paar minuten tijd geconstateerd worden dat deze ernstige bedenkingen correct zijn. Maar na bijna zes maanden van onderzoek zijn zowel u, als Archives, Dr. Godlee en BMJ nog steeds niet in staat om openlijk toe te geven wat onweerlegbaar is gedocumenteerd: 1) de studie over het Lightning Process overtrad BMJ-beleid door 56 van de 100 deelnemers te rekruteren voordat de studie geregistreerd was; 2) de onderzoekers beïnvloedden hun bevindingen verder door uitkomstmaten om te wisselen op basis van hun eerste resultaten; 3) ze maakten geen melding over deze belangrijke wijzigingen in de paper in Archives. Zoals u vermoedelijk weet, zijn dit onaanvaardbare wetenschappelijke praktijken.

De redactionele noot vermeldt verder dat Archives kritiek kreeg op zijn peerreviewprocessen. Als die zin verwijst naar kritiek van mijnentwege, dan zou ik zeggen dat ik eerder kritiek had op uw gebrek aan aanpak van de zaak nadat u er in januari formeel attent op werd gemaakt. Ik erken dat mensen, dus ook redacteurs, fouten kunnen maken, net als ik. Daarom is het de onontbeerlijke taak van de redacteur om fouten te corrigeren; als hij dit niet doet, dan verraadt hij daarmee zijn lezers en het publieke vertrouwen. Met zo veel vertraging zo’n vage noot posten die niemand zal zien, en al helemaal niet zal begrijpen, creëert de indruk dat Archives zijn reputatie belangrijker vindt dan redactionele integriteit en transparantie, tenminste toch in dit domein.

Laat ons niet vergeten dat het hier gaat om een zweverige behandeling op basis van neurolinguïstisch programmeren, positieve affirmaties en osteopathie. De stichter, Phil Parker, leidde vroeger genezers op in het gebruik van Tarot en spirituele gidsen. Dit is zijn biografie op een website die reclame maakt voor zijn cursussen:

“Phil Parker staat reeds bij velen bekend als een inspirerende leraar, therapeut, genezer en auteur. Zijn persoonlijke helende reis begon, toen hij met zijn patiënten als osteopaat werkte. Hij ontdekte dat hun lichamen hem plots belangrijke stukjes informatie over hen en hun verleden vertelden, die tot zijn verbazing feitelijk correct bleken te zijn! In de loop der jaren ontwikkelde hij verder zijn vermogen om in andere mensen hun lichaam te stappen om hen te assisteren in hun genezing, met verbluffende resultaten. Na 20 jaar als genezer gewerkt te werken, heeft Phil Parker een krachtig en magisch programma ontwikkeld om uw natuurlijke genezingsvermogens te helpen ontgrendelen. Als u zich aangetrokken voelt tot deze cursussen, dan bent u waarschijnlijk klaar om deel te nemen.”

Zoals ik vroeger al heb gezegd, verleent Archives nu aanzien aan behandelaars van Parkers Lightning Process – op basis van een studie die welomschreven ethische en wetenschappelijke principes met voeten treedt. Deze overtredingen gebeurden in een studie op kinderen met een gestigmatiseerde ziekte. BMJ beweert zich te bekommeren om de gezondheid en het welzijn van kinderen. Aangezien niemand de feiten betwist, is het teleurstellend, ontmoedigend, en voor mij persoonlijk moeilijk te begrijpen dat u weigert om de puinhoop op te ruimen die u veroorzaakt hebt door de studie te publiceren.

Vriendelijke groet,

David

David Tuller, DrPH

Senior Fellow in Public Health and Journalism

Center for Global Public Health

School of Public Health

University of California, Berkeley