Home » Nieuwsartikels » David Tuller » Trial by error: wéér een brief over de studie over het Lightning Process

Trial by error: wéér een brief over de studie over het Lightning Process

Geplaatst door ME-Gids
op 25/11/2018

Laatste bijwerking op 25/11/2018

Bron:

| 6876 x gelezen

David Tuller, DrPH, Virology Blog, 7 november 2018

Vanochtend [7 november 2018, n.v.d.r.] stuurde ik volgende brief aan Fiona Godlee, hoofdredacteur van The BMJ en redactioneel directeur van BMJ. In CC zette ik Parlementslid Carol Monaghan, Parlementslid Darren Jones en Parlementslid Nicky Morgan.

**********

Geachte Dr. Godlee,

Meer dan tien jaar geleden kwam een groep vooraanstaande medische vakbladen overeen dat men van klinische studies best vereist dat ze prospectief geregistreerd worden. Zo zou vooringenomenheid bij publicatie en selectieve uitkomstenrapportering verminderd worden, en zou ook de integriteit en geloofwaardigheid van onderzoek beschermd worden. In 2013 getuigde u voor het Wetenschappelijk en Technisch Comité van het Britse Lagerhuis over het belang van dit gezamenlijke initiatief.

Dit is een deel van uw getuigenis: “In 2005 zeiden de grote vakbladen voor het eerst dat ze enkel nog prospectief geregistreerde studies zouden publiceren en daar bovenop enkel nog dat soort studies zouden peerreviewen en zouden beschouwen als gerandomiseerde studies. Dat zond een krachtig signaal uit… Voor zover we weten, hebben we in de laatste twee jaar geen enkele studie gepubliceerd die niet prospectief werd geregistreerd.”

Dit is het huidige beleid van BMJ, zoals beschreven op de website van het bedrijf: “In overeenstemming met de Aanbevelingen van ICMJE [International Committee of Medical Journal Editors – Internationaal Comité van Redacteurs van Medische Vakbladen, n.v.d.r.] zal BMJ rapporten van klinische studies niet in beschouwing nemen, tenzij ze prospectief geregistreerd werden, vóór rekrutering van deelnemers.”

En eerder dit jaar schreef Trish Groves, hoofdredacteur van BMJ Open, volgende tweet: “Prospectieve registratie van #klinischestudies is geen overbodige bureaucratie: er zijn goede ethische en wetenschappelijke redenen voor.”

Trish Groves on Twitter

Prospective registration of #clinicaltrials isn’t red tape: it’s done for sound ethical and scientific reasons. Yet unregistered trials rejected @bmj_latest still get published elsewhere as this study @bmj_open shows https://t.co/4bIT7v0i6L

Uit deze stellingen vloeien logische consequenties voort. Als studies die niet gepubliceerd hadden mogen worden, omdat ze niet prospectief geregistreerd werden, op een of andere manier tóch door de mazen van het redactionele net zijn geglipt, dan is het aannemelijk dat ze ingetrokken worden, eens de feiten bevestigd worden. Anders zouden onbetrouwbare resultaten van dat soort studies verder gebruikt kunnen worden als onderbouwing van onbewezen en mogelijk schadelijke behandelingen.

En toch wordt deze impliciete belofte op dit moment overtreden door het invloedrijke BMJ-vakblad Archives of Disease in Childhood. Ik heb deze zaak sinds december jl. beschreven in meerdere blogposts en in open brieven, zowel aan u als aan de hoofdredacteur van het blad, Nick Brown. (Parlementslid Carol Monaghan en Parlementslid Darren Jones staan bij deze brief in CC; ze zetelen op dit moment beiden in het Wetenschappelijk en Technisch Comité. Ik zet ook Parlementslid Nicky Morgan in CC, want die heeft interesse in de kwestie.)

Kort samengevat: vorig jaar publiceerde Archives of Disease in Childhood een studie over het Lightning Process als behandeling voor pediatrisch chronisch vermoeidheidssyndroom. In de paper stelden de onderzoekers de studie voor alsof het ze prospectief was, terwijl ze dat niet was. Ze vermeldden ook niet dat ze halfweg de studie de uitkomstmaten hadden omgewisseld. Niettegenstaande deze gedocumenteerde fouten, blijft de paper in de literatuur staan, wat doet vermoeden dat het vakblad in dit geval meer belang hecht aan zijn reputatie, dan aan de gezondheid en het welzijn van kinderen met een stigmatiserende ziekte.

Het Lightning Process is een pseudowetenschappelijke behandeling die een combinatie is van lifecoaching, neurolinguïstische programmering en osteopathie. Deelnemers aan het programma krijgen te horen dat ze de ziekte kunnen overwinnen door hun gedachtepatronen te beheersen en te veranderen. Behandelaars die Lightning Process gebruiken, verkondigen – zonder legitiem bewijs te citeren – dat ze multiple sclerose, eetstoornissen en andere ernstige aandoeningen met succes behandelen. Beleidsmakers van de overheid hebben enkele behandelaars op de vingers getikt voor het maken van misleidende beweringen.

Phil Parker, die het Lightning Process ontwikkeld heeft, gaf vroeger een cursus over hoe je mensen kan genezen via “geneeskundige waarzeggingskaarten en tarot”. De gearchiveerde website voor deze cursus legt uit dat “waarzeggerij erg nuttig is voor het creëren van sterke verbinding met genezende/spirituele gidsen”. Verder bevatte de cursus lessen over “het gebruik van aura’s voor de diagnose van problemen van een cliënt” en over hoe je “een ruimte geschikt voorbereidt zodat eventuele energie die de kamer verstoort, niet interfereert met het werk dat je doet”.

Dit is Phil Parkers biografie van dezelfde gearchiveerde website:

Phil Parker staat reeds bij velen bekend als een inspirerende leraar, therapeut, genezer en auteur. Zijn persoonlijke helende reis begon … toen hij met zijn patiënten als osteopaat werkte. Hij ontdekte dat hun lichamen hem plots belangrijke stukjes informatie over hen en hun verleden vertelden, die tot zijn verbazing feitelijk correct bleken te zijn! Hij ontwikkelde verder zijn vermogen om in andere mensen hun lichaam te stappen om hen te assisteren in hun genezing, met verbluffende resultaten. Na 20 jaar als genezer gewerkt te werken, heeft Phil Parker een krachtig en magisch programma ontwikkeld om uw natuurlijke genezingsvermogens te helpen ontgrendelen. Als u zich aangetrokken voelt tot deze cursussen, dan bent u waarschijnlijk klaar om deel te nemen.”

In het geval van deze studie rekruteerden de onderzoekers 56 pediatrische deelnemers als onderdeel van een haalbaarheidsstudie over het Lightning Process. De lokale commissie voor onderzoeksethiek gaf een goedkeuring voor de aanvraag om de haalbaarheidsstudie uit te breiden tot een volledige studie. Op hetzelfde moment gaf de commissie de onderzoekers ook de toestemming om primaire en secundaire uitkomsten om te wisselen. De onderzoekers registreerden de volledige studie en rekruteerden meer kinderen, waardoor hun totale staal 100 deelnemers bedroeg.

Door deze stappen goed te keuren, werkte de commissie voor onderzoeksethiek in feite het soort selectieve uitkomstenrapportering in de hand dat normaal gezien vermeden had moeten worden door de vereiste van prospectieve registratie. Met de uitkomstwissel en de 44 extra deelnemers, rapporteerden de onderzoekers positieve resultaten voor de gereviseerde primaire uitkomst van zelfgerapporteerd fysiek functioneren op zes maanden – een bevinding die brede aandacht kreeg in de media. En toch rapporteerden ze nulresultaten voor de oorspronkelijke primaire uitkomst voor aanwezigheid op school op zes maanden. Aangezien dit nu een secundaire uitkomst was, werden de bevindingen in wezen genegeerd.

Daarbij komt nog dat de paper zelf op een bijzonder ondoorzichtige manier was geschreven. De onderzoekers legden niet uit dat ze 56% van de deelnemers hadden gerekruteerd vóór registratie van de studie en dat ze uitkomstmaten hadden verwisseld op basis van eerste bevindingen. Het is onduidelijk waarom ervaren onderzoekers zouden beslissen om deze belangrijke details weg te laten uit het gepubliceerde rapport.

Men moet ook opmerken dat de studie zelfs zonder deze afwijkingen niet veel nuttige informatie had kunnen verschaffen. Net als vele andere studies in dit onderzoeksveld, was dit een studie met open onderzoeksopzet die voortgaat op subjectieve uitkomsten. Als een studie deze twee eigenschappen combineert, dan lopen de resultaten hoog risico op vooringenomenheid en kunnen ze niet als betrouwbaar worden beschouwd.

In dit geval zou aanwezigheid op school een strikt objectieve uitkomst zijn geweest, als de onderzoekers zich niet hadden beziggehouden met uitkomstenverwisseling. Alhoewel ze nulresultaten rapporteerden voor aanwezigheid op school op zes maanden, rapporteerden ze positieve resultaten voor aanwezigheid op school op 12 maanden. In hun protocol hadden de onderzoekers beloofd om de zelfgerapporteerde verklaringen van aanwezigheid op school, mogelijk beïnvloed door het geheugen, te verifiëren via officiële schoolaanwezigheidsregisters. Maar toch waren de gepubliceerde resultaten over aanwezigheid op school uitsluitend gebaseerd op zelfgerapporteerde verklaringen over aanwezigheid op school.

De onderzoekers voegden aan de gepubliceerde paper geen gegevens toe uit de officiële schoolaanwezigheidsregisters. Ook vermeldden ze niet of ze deze officiële registers hadden ingekeken en of deze registers dan de zelfgerapporteerde verklaring over aanwezigheid op school bevestigden of tegenspraken. Zonder deze markante feiten is het onmogelijk om de zelfgerapporteerde resultaten op 12 maanden zomaar voor waar aan te nemen.

Ondanks deze schending van kernprincipes van BMJ, heeft Archives of Disease in Childhood de studie niet ingetrokken. In plaats daarvan heeft het vakblad een “noot van de redactie” toegevoegd die niet zichtbaar is vanop de startpagina van de paper, maar verstopt zit onder het onderdeel “antwoorden” van de site. De meeste lezers, waaronder wanhopige ouders op zoek naar antwoorden, hebben de noot beslist niet gezien.

Deze noot van de redactie, gepost in juni, lijkt de geldigheid van de bedenkingen te erkennen. Men legt uit dat Archives of Disease in Childhood zijn redactioneel proces heeft geëvalueerd en “verduidelijkingen” heeft ontvangen van de onderzoekers. De noot suggereert dat de zaak onder “redactionele beschouwing” wordt genomen. Aangezien het slechts enkele minuten tijd kost om de relevante documentatie te verifiëren, is het onbegrijpelijk waarom nog geen verdere actie is ondernomen – vooral gezien de mogelijk impact van de paper op pediatrische zorg en volksgezondheidsbeleid.

Hoe veel meer informatie heeft Archives of Disease in Childhood nog nodig om het langgerekte proces van “redactionele beschouwing” af te ronden? Dr. Godlee, u sprak vijf jaar geleden voor het Parlement rechtuit over het beschermen van wetenschap via een nultolerantiebeleid omtrent prospectieve studieregistratie. Maar het onbesliste lot van de paper over het Lightning Process suggereert dat leden van uw redactionele team niet even enthousiast zijn als u over de strenge normen waarover u sprak.

Tot op heden hebben de onderzoekers en hun instelling hun knoeiboel niet opgeruimd. Dat zij dat niet doen, mag Archives of Disease in Childhood niet beletten om de vereiste voor prospectieve registratie retroactief toe te passen en klaar en duidelijk te stellen dat er iets fout liep met hun eigen toezicht. De gepubliceerde paper gaf en geeft nog steeds alle behandelaars die Lightning Process toepassen het recht om erover op te scheppen. Gezien de methodologische en ethische dwalingen die de studie ontsieren en haar conclusies ongefundeerd maken, is het onaanvaardbaar dat het vakblad de betrouwbaarheid van de wetenschappelijke literatuur niet kan of niet wil verzekeren.

Vriendelijke groet, David

David Tuller, DrPH

Senior Fellow Volksgezondheid en Journalistiek

Center for Global Public Health

School of Public Health

University of California, Berkeley