Home » Nieuwsartikels » David Tuller » Trial by error: mijn brief aan de seniorauteur van de studie over het Lightning Process

Trial by error: mijn brief aan de seniorauteur van de studie over het Lightning Process

Geplaatst door ME-Gids
op 02/02/2019

Laatste bijwerking op 02/02/2019

Bron:

David Tuller, Virology Blog

| 12276 x gelezen

David Tuller, DrPH, Virology Blog, 7 januari 2019

Alan Montgomery is professor medische statistiek en klinische studies aan de School of Medicine van de University of Notthingham. Hij is ook seniorauteur van de studie over het Lightning Process, gepubliceerd in 2017 in Archives of Disease in Childhood, een vakblad van BMJ. Professor Montgomery werkte vroeger aan University of Bristol, samen met Professor Esther Crawley en de andere coauteurs van de studie over het Lightning Process.

Zoals ik meer dan een jaar geleden documenteerde, is de studie over het Lightning Process een methodologische en ethische puinhoop die wetenschappelijke basisprincipes met de voeten treedt. Ondanks de mogelijk impact van de gerapporteerde bevindingen op het beleid, heeft Archives of Disease in Childhood de problemen tot nu toe niet volledig opgelost gekregen. Gezien het vakblad geen directe actie kan of wil ondernemen om deze kwetsbare patiëntengroep te beschermen van slecht onderzoek, besloot ik om rechtstreeks contact op te nemen met Professor Montgomery. Gezien zijn referenties is het verbluffend dat hij toestemde om seniorauteur te zijn van de paper, aangezien de studie zichzelf verkeerdelijk prospectief noemde en niets vermeldde over belangrijke uitkomstenwissels halfweg.

Ik stuurde zondagavond (Californische tijd) [6 januari 2019] volgende brief per e-mail naar Professor Montgomery, met als onderwerpregel “Retrospectieve registratie en uitkomstenverwisseling in studie over het Lightning Process.” In CC zette ik Dr. Nick Brown, hoofdredacteur van Archives of Disease in Childhood, en Dr. Fiona Godlee, redactioneel directeur van BMJ. Bovendien zette ik drie Parlementsleden in CC die hun ontsteltenis hebben geuit over de slechte kwaliteit van onderzoek in dit veld en die een parlementair debat op gang willen brengen over dit probleem: Parlementslid Carol Monaghan, Parlementslid Darren Jones en Parlementslid Nicky Morgan. Tot slot zette ik ook Adam Lowe, Sally Burch en Dr. Charles Shepherd in CC, drie leden van het comité dat de ME/cvs-richtlijnen ontwikkelt voor de National Institute for Health and Care Excellence.

**********

Geachte Professor Montgomery,

Ik ben journalist en onderzoeker volksgezondheid aan de University of California, in Berkeley. Al een paar jaar hou ik me bezig met onderzoek naar problematische studies in het ME/cvs-veld. Veel van mijn werk is verschenen op Virology Blog, een site beheerd door Professor Vincent Racaniello, microbioloog aan Columbia University. Ook deze open brief zal daar gepost worden.

In september 2017 publiceerde Archives of Disease in Childhood een studie met als titel ‘Klinische en kosteneffectiviteit van Lightning Process in aanvulling op gespecialiseerde medische zorg voor pediatrisch chronisch vermoeidheidssyndroom: gerandomiseerde gecontroleerde studie.”

U ben de seniorauteur van die paper; uw acht coauteurs zijn allemaal verbonden aan de University of Bristol.

De studie over het Lightning Process was een studie met open onderzoeksopzet die voortging op zelfgerapporteerde uitkomsten – een ontwerp dat vaak zeer vooringenomen resultaten voortbrengt. Daarenboven, zoals ik het laatste jaar herhaaldelijk heb gedocumenteerd op Virology Blog en in brieven aan BMJ-redacteurs, beging men in de studie serieuze methodologische en ethische overtredingen.

In dit geval werd een pediatrische haalbaarheidsstudie over het Lightning Process uitgebreid tot een volledige studie, ook al waren de primaire en de secundaire uitkomstmaten omgewisseld op basis van de eerste resultaten. Deze grote wijzigingen werden niet vermeld in de paper in Archives, ook al zorgden ze ervoor dat de bevindingen positiever voorgesteld konden worden dan anders mogelijk zou zijn geweest. De wijzigingen worden pas duidelijk na het inkijken van andere documenten, zoals de studieregistratie, het studieprotocol van de haalbaarheidsstudie en het protocol van de volledige studie.

Mijn bedenkingen zijn in het bijzonder de volgende:

De studie werd geregistreerd als prospectieve studie. Maar 56 van de 100 deelnemers werden gerekruteerd als onderdeel van de haalbaarheidsstudie, die bijna twee jaar vóór de registratiedatum begonnen was. Om onverklaarde redenen maakte de paper in Archives hier geen melding van. Net als alle grote uitgevers van medische vakbladen, voert BMJ al jarenlang een beleid dat stelt dat klinische studies waarvoor deelnemers gerekruteerd worden vóór registratie, niet in beschouwing worden genomen. Door de paper over het Lightning Process in beschouwing te nemen en vervolgens te publiceren, overtrad Archives of Disease in Childhood zijn eigen strikte richtlijnen.

In het protocol voor de haalbaarheidsstudie was aanwezigheid op school op zes maanden de primaire uitkomst, en zelfgerapporteerd fysiek functioneren op zes maanden de secundaire uitkomst. Nadat de data voor de haalbaarheidsstudie verzameld waren, werden deze uitkomstmaten voor de volledige studie omgewisseld – aanwezigheid op school op zes maanden werd een secundaire uitkomst, en zelfgerapporteerd fysiek functioneren op zes maanden werd de primaire uitkomst. Net als bij de kwestie over de studieregistratie, vermeldde de paper in Archives niets over de uitkomstenwissel die gebeurde nadat de helft van de testgroep gerekruteerd was om deel te nemen aan de haalbaarheidsstudie.

Als belangrijkste bevinding benadrukte de paper in Archives de gerapporteerde voordelen in de groep die Lightning Process kreeg, voor zelfgerapporteerd fysiek functioneren op zes maanden, de nieuwe primaire uitkomstmaat. Zelfgerapporteerde aanwezigheid op school op zes maanden, wat nu een secundaire uitkomst was, bracht een nulresultaat voort en kreeg amper aandacht in de paper in Archives. Zo krikte de uitkomstenwissel de bevindingen op en verbeterde ze het schijnbare succes van de behandeling. Had men de maatstaven niet omgewisseld, dan had de paper nulresultaten moeten rapporteren op de primaire uitkomstmaat.

In zowel het protocol van de haalbaarheidsstudie als dat van de volledige studie beloofden de onderzoekers om officiële schoolaanwezigheidsregisters op te vragen als een manier om de juistheid van de zelfgerapporteerde aanwezigheid af te checken. De paper in Archives verschafte geen officiële schoolaanwezigheidsregisters, ook al benadrukte ze voordelen op 12 maanden in zelfgerapporteerde aanwezigheid op school. Er werd geen verklaring gegeven voor de afwezigheid van deze officiële schoolaanwezigheidsregisters, wat twee dingen kan betekenen: Ofwel had men ze niet verkregen, ofwel had men ze wel verkregen, maar bevestigden ze de zelfgerapporteerde aanwezigheid op school op 12 maanden niet.

Zoals te verwachten valt, focuste de media bij haar verslaggeving over de paper in Archives op de gerapporteerde voordelen in de arm die Lightning Process kreeg, voor de gereviseerde primaire uitkomst van zelfgerapporteerd fysiek functioneren op zes maanden. De nulresultaten die gerapporteerd werden voor aanwezigheid op school op zes maanden, de oorspronkelijke primaire uitkomst, werden grotendeels genegeerd. De niet-vermelde uitkomstenwissel zorgde er zo voor dat de gerapporteerde bevindingen positievere aandacht kregen van de media dan ze anders zouden hebben gekregen.

Openheid is essentieel in wetenschappelijk onderzoek. Maar de paper in Archives vermeldde niets over het saillante detail over de studierekrutering en -registratie, de beslissing om uitkomstmaten halfweg om te wisselen, en of ze al dan niet de officiële schoolaanwezigheidsregisters hadden verkregen – allemaal factoren die een impact hebben op hoe de data geïnterpreteerd moeten worden. In juni jl. wees een gepubliceerde “noot van de redactie” erop dat de bedenkingen die opgeworpen werden over de studie gerechtvaardigd waren en dat opnieuw besproken zou worden wat er met de paper moest gebeuren. Zeven maanden later is er geen verdere actie aangekondigd, ook al is er voor diepgaande evaluatie van de kwestie niet meer nodig dan een korte herlezing van de relevante documentatie.

Het mag gerust nog eens herhaald worden dat het Lightning Process een pseudowetenschappelijke interventie is, die life-coaching combineert met neurolinguïstische programmering en osteopathie. Deelnemers krijgen te horen dat ze hun ziekte kunnen overwinnen door hun gedachtenpatronen onder controle te houden en te veranderen. Behandelaars die gebruik maken van het Lightning Process, hebben verkondigd – zonder legitiem bewijs te citeren – dat het een succesvolle behandeling is voor multiple sclerose, eetstoornissen en andere ernstige aandoeningen. Overheidsregulatoren hebben enkele behandelaars op de vingers getikt omdat ze misleidende beweringen maken.

Phil Parker, uitvinder van het Lightning Process, gaf vroeger een cursus over hoe je mensen kan genezen via “kaarten en tarot voor waarzeggende geneeskunde”. De gearchiveerde website voor die cursus legt uit dat “waarzeggerij nuttig is voor het creëren van een sterke verbinding met genezende/spirituele gidsen.” De cursus bevatte ook lessen over “het gebruik van aura’s voor de diagnose van de problemen van een cliënt” en over hoe je “een ruimte geschikt voorbereidt zodat eventuele energie die de kamer verstoort, niet interfereert met het werk dat je doet”.

Dit is Phil Parkers biografie op dezelfde website:

“Phil Parker staat reeds bij velen bekend als een inspirerende leraar, therapeut, genezer en auteur. Zijn persoonlijke helende reis begon… toen hij met zijn patiënten als osteopaat werkte. Hij ontdekte dat hun lichamen hem plots belangrijke stukjes informatie over hen en hun verleden vertelden, die tot zijn verbazing feitelijk correct bleken te zijn! In de loop der jaren ontwikkelde hij verder zijn vermogen om in andere mensen hun lichaam te stappen om hen te assisteren in hun genezing, met verbluffende resultaten. Na 20 jaar als genezer gewerkt te werken, heeft Phil Parker een krachtig en magisch programma ontwikkeld om uw natuurlijke genezingsvermogens te helpen ontgrendelen. Als u zich aangetrokken voelt tot deze cursussen, dan bent u waarschijnlijk klaar om deel te nemen.”

Professor Montgomery, deze situatie sleept al veel te lang aan. De feiten staan vast. Ik vraag u, als seniorauteur van de studie over het Lightning Proces, met klem om de verantwoordelijkheid op te nemen voor de misstappen in de paper. Heeft iemand van de coauteurs erkend of erop gewezen dat de paper een misleidend en onjuist verslag maakt van het onderzoek? Zo niet, waarom niet?

Gezien de studie verkeerdelijk geregistreerd werd als prospectief, had Archives of Disease in Childhood ze überhaupt niet mogen publiceren. De gepaste actie is daarom het intrekken van de studie, samen met een volledige verklaring van hoe deze methodologische en ethische onregelmatigheden tot stand kwamen. U en uw coauteurs zouden zich ook moeten verontschuldigen tegenover gezinnen die honderden ponden gespendeerd hebben aan het Lightning Process op basis van uw gerapporteerde bevindingen.

In CC staan Dr. Nick Brown, hoofdredacteur van Archives of Disease in Childhood, en Dr. Fiona Godlee, redactioneel directeur van BMJ. Ook in CC staan drie parlementsleden die hun ontsteltenis hebben geuit over de slechte kwaliteit van het onderzoek in dit veld, en die een parlementair debat op gang proberen te brengen: Parlementslid Carol Monaghan, Parlementslid Darren Jones en Parlementslid Nicky Morgan. Ten slotte, aangezien het zou kunnen dat het National Institute on Health and Care Excellence het Lightning Process in rekening neemt bij de ontwikkeling van een nieuwe richtlijn voor ME/cvs, heb ik drie leden van het comité in CC gezet dat deze taak moet uitvoeren.

Ik dank u voor uw snelle aandacht in deze kwestie.

Vriendelijke groet, David

David Tuller, DrPH

Senior Fellow Volksgezondheid en Journalistiek

Center for Global Public Health

School of Public Health

University of California, Berkeley