Home » Nieuwsartikels » David Tuller » Trial by error: mijn meest recente brief aan Archives of Disease in Childhood

Trial by error: mijn meest recente brief aan Archives of Disease in Childhood

Geplaatst door ME-Gids
op 28/10/2018

Laatste bijwerking op 28/10/2018

Bron:

| 12553 x gelezen

David Tuller, DrPH, Virology Blog, 8 oktober 2018

Vandaag stuurde ik volgende e-mail naar Dr. Nick Brown, hoofdredacteur van Archives of Disease in Childhood, het vakblad dat een jaar geleden de studie over het Lightning Process publiceerde. In CC zette ik Dr. Fiona Godlee, redactioneel directeur van BMJ, dat Archives publiceert.

**********

Geachte Dr. Brown,

Zoals u weet, vraag ik al sinds januari dat Archives of Disease in Childhood actie onderneemt omtrent de door mij gedocumenteerde methodologische en ethische dwalingen in een studie die vorig jaar werd gepubliceerd. De studie was een klinische proef van het Lightning Process op kinderen met chronisch vermoeidheidssyndroom, ook gekend als myalgische encefalomyelitis, CVS/ME of ME/CVS.

Zoals ik heb opgemerkt, biedt de studie aan behandelaars die Lightning Process gebruiken, de gelegenheid om de paper in Archives te citeren als bewijs dat deze zweverige behandeling doeltreffend is. Bezorgde ouders geven ongetwijfeld hun zuurverdiende geld uit, in een wanhopige poging om hun kinderen te helpen. Aangezien deze klinische studie een uiterst kwetsbare bevolkingsgroep betreft, is het verontrustend dat uw vakblad de zaak niet onmiddellijk kan of wil oplossen. Het creëert de indruk dat Archives en BMJ meer bezig zijn met imagoschade dan met de garantie dat kinderen medische hulp krijgen die gestoeld is op legitiem en gedegen onderzoek.

Ik heb onlangs kritiek gegeven op een “noot van de redactie” die u op 19 juni hebt gepost – bijna vier maanden geleden. Ten eerste is deze noot van de redactie niet direct gelinkt aan het artikel zelf, maar staat ze ergens op de site verscholen onder “reacties”. Dat betekent dat niemand die het artikel leest – waaronder ook ouders van kinderen met ME/cvs – enig idee hebben van de grote vraagtekens die bij de studievoering werden geplaatst, tenzij ze toevallig doorklikken op “reacties”.

Ten tweede, hoewel de noot van de redactie lijkt te erkennen dat de door mij gedocumenteerde bedenkingen correct zijn, wordt er geen einddatum aangegeven van wat in de noot “redactionele beschouwing” wordt genoemd. Aangezien de feiten eenvoudig vast te stellen zijn, is het zinloos en onverantwoord om het aanpakken van het probleem verder uit te stellen.

Kort samengevat: in deze studie werden 56 van de 100 deelnemers gerekruteerd in het kader van een haalbaarheidsstudie voordat de volledige studie werd geregistreerd. Toen de onderzoekers toestemming kregen om de haalbaarheidsstudie uit te breiden tot een volledige studie, kregen ze tezelfdertijd ook – onbegrijpelijk genoeg – de toestemming om primaire en secundaire uitkomstmaten om te wisselen. Door dat te doen, verzekerden ze zich ervan dat ze positieve bevindingen konden rapporteren in plaats van nulbevindingen voor de primaire uitkomstmaat van de volledige studie. Het hoeft niet te verbazen dat de gereviseerde primaire uitkomstmaat van zelfgerapporteerd fysiek functioneren op zes maanden positieve resultaten kende, terwijl de oorspronkelijke primaire uitkomst van aanwezigheid op school op zes maanden, een nulresultaat kende.

BMJ heeft een strikt beleid rond het publiceren van papers waarvoor de deelnemers gerekruteerd werden voordat de studie geregistreerd was. Ik veronderstel dat, als iemand bij het vakblad de relevante studiedocumentatie gelezen had, de paper gewoonweg nooit gepubliceerd was geworden. Ik heb geen enkele uitzondering gevonden van dit BMJ-beleid voor haalbaarheidsstudies die uitgebreid werden tot volledige studies, en al zeker niet voor studies waarbij uitkomstmaten omgewisseld werden nadat meer dan de helft van de deelnemers gegevens had verschaft.

Bovendien werd de volledige studie geregistreerd als prospectief – wat ze overduidelijk niet was. En de paper zelf werd geschreven alsof de studie prospectief was. Met andere woorden: de onderzoekers vermeldden het kritische feit niet dat 56% van de deelnemers gerekruteerd werd voordat de studie geregistreerd was, en dat primaire en secundaire uitkomstmaten omgewisseld werden op basis van de eerste bevindingen. Aangezien dit overduidelijke overtredingen zijn van de kernprincipes van BMJ, welk argument blijft er dan nog over tegen het intrekken van de studie?

Ik moet nog twee bijkomende punten van kritiek toevoegen. Ten eerste was de studie over het Lightning Process een niet-geblindeerde studie die voortging op subjectieve uitkomsten. In andere velden van de geneeskunde is het algemeen geweten dat dit soort studieontwerp meestal leidt tot vooringenomen resultaten. Dat is vooral zo in het geval van een behandeling als Lightning Process, dat deelnemers aanspoort om te geloven dat het erkennen van de realiteit van hun ziekte hun herstel kan belemmeren. Dat maakt de bevindingen oninterpreteerbaar, zelfs zonder de gedocumenteerde tekortkomingen over de studievoering mee te rekenen.

Ten tweede, bovenop de positieve bevindingen gerapporteerd voor de subjectieve primaire uitkomst van fysiek functioneren, rapporteerden de auteurs ook positieve resultaten voor de secundaire uitkomstmaat van zelfgerapporteerde aanwezigheid op school op 12 maanden, dus in tegenstelling tot de nulresultaten voor zelfgerapporteerde aanwezigheid op school op zes maanden. En toch beloofden de onderzoekers, zowel in het protocol van de haalbaarheidsstudie als in dat van de volledige studie, dat ze officiële schoolafwezigheidsregisters zouden opvragen om de nauwkeurigheid te verifiëren van de zelfgerapporteerde aanwezigheid op school. Bevindingen uit deze officiële schoolafwezigheidsregisters werden niet toegevoegd aan de paper van de volledige studie, en de onderzoekers gaven ook geen uitleg bij deze weglating.

Er zijn slechts twee mogelijke redenen: ofwel verzamelden de onderzoekers deze gegevens niet, ofwel verzamelden ze de gegevens, en constateerden ze dat de officiële schoolafwezigheidsregisters niet overeenkwamen met de zelfgerapporteerde aanwezigheid op school. Geen van beide mogelijkheden geven een goede indruk van de door het onderzoeksteam gemaakte keuzes.

Hoe kon dit soort overtredingen gebeuren? De studie over het Lightning Process heeft negen coauteurs. Misschien weerspiegelen deze misstappen een soort van onbedoelde vergissing. Maar dat zou toch ook een alarmbel moeten doen rinkelen. Als het inderdaad berust op een vergissing, dan zou dat zeker vraagtekens plaatsen bij andere studies van dezelfde onderzoekers waar misschien ook gelijkaardige flagrante fouten in zitten. De enige gevolgtrekking hieruit kan zijn dat geen van de negen coauteurs beseften dat het omwisselen van uitkomstmaten halfweg de studie onaanvaardbaar is, omdat het de resultaten zou beïnvloeden. Het zou ook betekenen dat geen van de negen coauteurs begreep dat het noodzakelijk was om deze saillante details over de methodologie van de studie te vermelden in het eindrapport.

Wat de redenen er ook voor zijn geweest, het feit dat deze fouten aanwezig zijn, suggereert onvoldoende strengheid in hoe de studie werd gevoerd en gerapporteerd, maar ook in de peerreview en de redactionele proces van Archives zelf. Voor de toekomst raad ik u ten zeerste aan om u ervan te verzekeren dat peerreviewers en redacteurs alle relevante documentatie bekijken en onderzoeken wanneer ze beslissen of een paper geschikt is voor publicatie in een prestigieus blad als Archives of Disease in Childhood. Anders zal het vakblad wellicht nog meer van dit soort gênante voorvallen meemaken.

Buiten de problemen met de studie zelf, is het belangrijk om te herhalen dat Phil Parker, die Lightning Process ontwikkelde, vroeger les gaf over hoe men anderen kan genezen via het gebruik van Tarot, spirituele gidsen en aanverwante modaliteiten. Volgende biografische toelichting komt van een website die reclame maakt voor een van zijn opleidingen:

“Phil Parker staat reeds bij velen bekend als een inspirerende leraar, therapeut, genezer en auteur. Zijn persoonlijke helende reis begon, toen hij met zijn patiënten als osteopaat werkte. Hij ontdekte dat hun lichamen hem plots belangrijke stukjes informatie over hen en hun verleden vertelden, die tot zijn verbazing feitelijk correct bleken te zijn! In de loop der jaren ontwikkelde hij verder zijn vermogen om in andere mensen hun lichaam te stappen om hen te assisteren in hun genezing, met verbluffende resultaten. Na 20 jaar als genezer gewerkt te werken, heeft Phil Parker een krachtig en magisch programma ontwikkeld om uw natuurlijke genezingsvermogens te helpen ontgrendelen. Als u zich aangetrokken voelt tot deze cursussen, dan bent u waarschijnlijk klaar om deel te nemen.”

Dr. Brown, het is onaanvaardbaar dat u het aanpakken van de problemen met de studie over het Lightning Process blijft uitstellen. Aangezien deze studie waarschijnlijk van invloed is op de behandeling van kinderen met deze verwoestende ziekte, is het noodzakelijk om Archives verlengde periode van “redactionele beschouwing” af te ronden. Het vakblad moet het publiek zo snel mogelijk op de hoogte stellen van het feit dat de bevindingen die gerapporteerd werden in de paper, niet geldig zijn, en dat ze niet gebruikt mogen worden als basis voor klinische beslissingen over pediatrische gevallen van ME/cvs.

Ik dank u voor uw snelle aandacht in deze zaak.

Vriendelijke groet, David

David Tuller, DrPH

Senior Fellow in Volksgezondheid en Journalistiek

Center for Global Public Health

School of Public Health

University of California, Berkeley