Home » Nieuwsartikels » David Tuller » Trial By Error: BMJ’s gedrag is moreel failliet – open brief aan Dr. Godlee en bijkomende oproepen tot intrekking van de LP-studie

Trial By Error: BMJ’s gedrag is moreel failliet – open brief aan Dr. Godlee en bijkomende oproepen tot intrekking van de LP-studie

Geplaatst door ME-Gids
op 18/09/2019

Laatste bijwerking op 18/09/2019

Bron:

David Tuller, Virology Blog

| 120022 x gelezen

David Tuller, DrPH, Virology Blog, 28 augustus 2019

Ik stuurde volgende brief naar Dr. Fiona Godlee, redactioneel directeur van BMJ, over het feit dat het schandalig is dat Archives of Disease in Childhood overgegaan is tot herpublicatie van de studie over het Lightning Process van Bristol University, zonder iets te veranderen aan de oorspronkelijke bevindingen. Gezien het feit dat het team van Bristol flagrante methodologische overtredingen beging, had het vakblad de paper moeten intrekken.

Maar dat is niet gebeurd is, en dus had Archives de onderzoekers ertoe moeten verplichten om de paper te herpubliceren met als uiteindelijke primaire uitkomst de initiële primaire uitkomst, nl. aanwezigheid op school op zes maanden, wat een nulresultaat gaf. Dr. Godlee was absoluut zeker op de hoogte van de kwestie, en zij is waarschijnlijk diegene die de handelingen van het vakblad heeft goedgekeurd. De gedocumenteerde feiten doen vermoeden dat BMJ ethisch gezien het noorden kwijt is en dat de redacteurs meer bekommerd zijn om mogelijke schade aan hun reputatie dan om de integriteit van de medische literatuur of de gezondheid en het welzijn van kinderen. Dat is wellicht waarom tientallen wetenschappers, artsen en andere experts van toonaangevende academische instellingen onmiddellijk hun handtekening onder deze brief hebben gezet.

**********

Geachte Dr. Godlee,

Wij schrijven u in verband met de correctie die vorige maand [1] toegevoegd werd aan de pediatrische studie over het Lightning Process, uitgevoerd door onderzoekers van de University of Bristol en in september 2017 gepubliceerd door Archives of Disease in Childhood. De studie verscheen onder volgende titel: “Klinische en kosteneffectiviteit van Lightning Process in aanvulling op gespecialiseerde medische zorg voor pediatrisch chronisch vermoeidheidssyndroom: gerandomiseerde gecontroleerde studie”. [2]

Zoals kort na publicatie gedocumenteerd werd op Virology Blog [3], rekruteerden de onderzoekers, voordat de studie geregistreerd was, meer dan de helft van de proefpersonen als onderdeel van een haalbaarheidsstudie, wisselden ze primaire en secundaire uitkomsten om nadat ze data verzameld hadden van deze eerste deelnemers, en vermeldden ze deze saillante details niet in de paper. Onlangs bracht Archives of Disease in Childhood een correctie en bijhorende noot van de redactie uit, en erkende daarmee dat de kritiek van Virology Blog gegrond is. Maar toch laat het vakblad toe dat de onderzoekers hun belangrijkste conclusie opnieuw bevestigen, nl. dat het Lightning Process “doeltreffend” zou zijn als behandeling voor een ziekte bij kinderen. Dit is onverdedigbaar.

Het Lightning Process is een commercieel programma dat een combinatie is van levenscoaching, neurolinguïstisch programmeren en positieve affirmaties. Deelnemers krijgen te horen dat ze hun ziekte kunnen overwinnen door hun gedachtenpatronen onder te controle te krijgen en te veranderen. Aanbieders van het Lightning Process beweren dat ze multiple sclerose, eetstoornissen en andere ernstige aandoeningen met succes kunnen behandelen. Aanbieders zijn op de vingers getikt door toezichthouders van de overheid voor het maken van misleidende reclame.

Naast de bedenkingen over het Lightning Process zelf, was de studie van Bristol een studie met open onderzoeksopzet die voortging op zelfgerapporteerde uitkomsten – een combinatie van ontwerpkenmerken die kunnen leiden tot een grote mate van vooringenomenheid. Door methodologische en ethische kernprincipes van wetenschappelijk onderzoek met voeten te treden, overtraden de onderzoekers ook BMJ’s eigen strikte beleid tegen publicatie van studies waarvoor deelnemers gerekruteerd werden vóór studieregistratie. Aangezien alle grote medische vakbladen het in 2005 eens werden over dit beleid, hadden ervaren onderzoekers, waaronder leden van het Bristolteam, dit maar al te goed moeten weten.

BMJ was een van de eersten die prospectieve registratie voor studies verplicht hebben gemaakt om in aanmerking te komen voor publicatie. In 2013 getuigde u voor het Comité voor Wetenschap en Technologie van het Britse Lagerhuis, en prees u BMJ omdat het met succes een nultolerantiebeleid had ingevoerd in verband met dat soort studies. “Voor zover wij weten, hebben we in de laatste twee jaar geen enkele studie gepubliceerd die niet prospectief werd geregistreerd”, stelde u toen – een uitspraak die u vandaag niet meer zou kunnen herhalen. [4] Een redactioneel artikel uit 2015 in The BMJ noemde het beleid omtrent prospectieve registratie “ons waardevolste instrument tegen vooringenomenheid bij wetenschappelijke studierapportering”. [5]

Gezien BMJ al jarenlang poneert dat prospectieve registratie noodzakelijk is om de integriteit van de medische literatuur te vrijwaren, begrijpen wij niet waarom u nu opeens bereid bent om de studie over het Lightning Process vrij te stellen van deze vereiste. De noot van de redactie die samen met de correctie gepost werd, verklaarde dat een gebrek aan prospectieve registratie geen reden was tot intrekking. [6] Er werd geen uitleg of staving gegeven voor deze bepaling, die niet verenigbaar lijkt te zijn met het nultolerantiebeleid waarvoor u pleitte in uw parlementaire getuigenis.

Zoals u wellicht weet, is prospectieve registratie onder andere belangrijk omdat het selectieve uitkomstrapportage vermijdt. En laat dat nu net zijn wat er gebeurd is bij de studie over het Lightning Process, waarin de onderzoekers primaire en secundaire uitkomsten halfweg omwisselden. In de gepubliceerde paper rapporteerden de onderzoekers positieve resultaten voor de gereviseerde primaire uitkomst van zelfgerapporteerd fysiek functioneren op zes maanden, die oorspronkelijk was opgegeven als secundaire uitkomst. Ze rapporteerden echter nulresultaten voor de oorspronkelijk primaire uitkomst van aanwezigheid op school op zes maanden, die uiteindelijk gedegradeerd werd tot secundaire uitkomst.

De wissel stelde de onderzoekers er dus toe in staat om positieve resultaten in plaats van nulresultaten te rapporteren voor hun officiële primaire uitkomst. Het zal niemand verbazen dat deze verandering een enorme impact had op hoe de informatie werd voorgesteld in Archives of Disease in Childhood en hoe ze geïnterpreteerd werd door de media. De positieve bevindingen voor de primaire uitkomst, die geselecteerd werd nadat meer dan de helft van de deelnemers al data had verschaft, kregen een prominente plaats in de gepubliceerde paper. Deze bevindingen werden breed uitgesmeerd in de media [7] en werden onlangs nog geciteerd in een systematische review, als bewijs dat de interventie “doeltreffend” zou zijn. [8] De nulresultaten voor de oorspronkelijke primaire uitkomst werden genegeerd.

De noot van de redactie legt uit dat het vakblad de kwestie over de uitkomstenwissel onderzocht heeft door “bevestiging te vragen bij de auteurs dat de wijziging van de primaire uitkomst niet beïnvloed werd door (positieve) bevindingen in de haalbaarheidsfase”. Dit is een verbijsterende uitspraak. We kunnen toch niet verwachten dat mensen, die onderhevig kunnen zijn aan vooringenomenheid, een onpartijdig en betrouwbaar oordeel vellen over of hun beslissing al dan niet beïnvloed is geweest door mogelijke vooringenomenheid. Een studieontwerp moet normaal gezien proberen om vooringenomenheid tot een minimum te beperken, net omdat mensen meestal blind zijn voor hun eigen vooringenomenheid. Het kan toch niet dat gerenommeerde wetenschap in toonaangevende vakbladen “bevestiging” moet gaan vragen bij onderzoekers over of ze al dan niet hebben kunnen weerstaan aan hun natuurlijke neiging om zich bij de selectie van primaire uitkomsten te laten leiden door hun eigen belangen.

In verband met die bevestiging van de onderzoekers uit Bristol, is het bovendien belangrijk om te onthouden dat ze in hun publieke versie van de feiten belangrijke informatie weglieten over studieregistratie en uitkomstverwisseling. Archives of Disease in Childhood had deze paper nooit gepubliceerd, als deze twee grote fouten niet waren gemaakt: 1) de onderzoekers gaven de redacteurs geen correct verslag van hoe de studie was uitgevoerd; en 2) de onaanvaardbare tekortkomingen van de paper werden door het vakblad niet opgemerkt of aangepakt, ondanks hun plicht om de paper te onderwerpen aan een gedegen proces van peerreview en redactioneel toezicht.

Archives of Disease in Childhood is dus overgegaan tot herpublicatie van positieve primaire resultaten, die ontstonden na uitkomstenverwisseling, in een studie die niet voldeed aan strikte vereisten die er net zijn gekomen om uitkomstenverwisseling en andere manieren van selectieve uitkomstenrapportering tegen te gaan. Op die manier geeft het vakblad de onderzoekers van Bristol een pluim voor hun gebrek aan oprechtheid en hun methodologische misstappen en doet het het tegenovergestelde van wat door BMJ en uzelf is gezegd over het cruciale belang van prospectieve registratie.

In dit geval is wat BMJ heeft gedaan, wetenschappelijk en ethisch onverdedigbaar. Het is ook mogelijk schadelijk voor de gezondheid en het welzijn van kinderen. Dank u voor uw snelle aandacht voor deze verontrustende kwestie.

Vriendelijke groet,

Dharam V. Ablashi, DVM, MS, Dip Bact

Wetenschappelijk Directeur

HHV-6 Foundation

Santa Barbara, Californië, VSA

ex-Senior Onderzoekers

National Cancer Institute

National Institutes of Health

Bethesda, Maryland, VSA

Michael Allen, PhD

Klinisch Psycholoog (op rust)

San Francisco, Californië, VSA

James N. BaraniVK, MD

Professor Geneeskunde

Georgetown University

Washington, DC, VSA

Lisa F. Barcellos, MPH, PhD

Professor Epidemiologie

School of Public Health

California Institute for Quantitative Biosciences

University of California, Berkeley

Berkeley, Californië, VSA

Lucinda Bateman, MD

Medisch Directeur

Bateman Horne Center

Salt Lake City, Utah, VSA

Alison C. Bested, MD, FRCPC

Klinisch Directeur

Institute for Neuro-Immune Medicine

Associate Professor

Nova Southeastern University

Fort Lauderdale, Florida, VSA

Charlotte Blease, PhD

Research Fellow met beurs van Fulbright en Marie Curie

Algemene Geneeskunde en Eerstelijnszorg

Beth Israel Deaconess Medical Center

Harvard Medical School

Boston, Massachusetts, VSA

Molly Brown, PhD

Assistent-Professor

Departement Psychologie

DePaul University

Chicago, Illinois, VSA

Robin Callender Smith, PhD

Professor Mediarecht

Centre for Commercial Law Studies

Queen Mary University of London

Advocaat en Rechter Informatierechten

London, Engeland, VK

Janet L Dafoe, PhD

Kinderpsycholoog in privé-praktijk

Palo Alto, Californië, VSA

Ronald W. Davis, PhD

Professor Biochemie en Genetica

Stanford University

Stanford, Californië, VSA

Simon Duffy, PhD, FRSA

Directeur

Centre for Welfare Reform

Sheffield, Engeland, VK

Jonathan C.W. Edwards, MD

Emeritus Hoogleraar Geneeskunde

University College London

London, Engeland, VK

Valerie Eliot Smith

Advocaat en Gastonderzoeker

Centre for Commercial Law Studies

Queen Mary University of London

London, Engeland, VK

Margaret C Fernald, PhD

Klinisch Kinderpsycholoog

Klinisch Medewerker Psychologie

University of Maine

Orono, Maine, VSA

Kenneth J. Friedman, PhD

Hoofddocent Fysiologie en Farmacologie (op rust)

New Jersey Medical School

University of Medicine and Dentistry of New Jersey

Newark, New Jersey, VSA

Robert F. Garry, PhD

Professor Microbiologie en Immunologie

Tulane University School of Medicine

New Orleans, Louisiana, VSA

Claudia Gillberg, PhD

Fellow, Centre for Welfare Reform

Sheffield, Engeland, VK

Senior Onderzoeksmedewerker

National Centre for Lifelong Learning

Jönköping University

Jönköping, Zweden

Rebecca Goldin, PhD

Professor Wiskunde

George Mason University

Fairfax, Virginia, VSA

Alan Gurwitt, MD

Psychiater in privé-praktijk (op rust)

Klinisch Hoofddocent

Yale Child Study Center (op rust)

New Haven, Connecticut, VSA

Klinisch Hoofddocent

University of Connecticut Dept Psychiatrie (op rust)

Storrs, Connecticut, VSA

Lector, Harvard Medical School (op rust)

Boston, Massachusetts, VSA

Geoffrey Hallmann, LLB, DipLegPrac, DipFinPrac

Specialist Invaliditeit en Compensatierecht (op rust)

Lismore, New South Wales, Australië

Brian M. Hughes, PhD, FPsSI

Professor Psychologie

National University of Ireland, Galway

Galway, Ierland

Leonard A. Jason, PhD

Professor Psychologie

DePaul University

Chicago, Illinois, VSA

Maureen Hanson, PhD

Liberty Hyde Bailey Professor

Departement Moleculaire Biologie en Genetica

Cornell University

Ithaca, New York, VSA

Keith Kahn-Harris, PhD

Docent Sociologie

Birkbeck, University of London

Londen, Engeland, VK

Jon D. Kaiser, M.D.

Klinische Faculteit

Departement Geneeskunde

University of Californië, San Francisco

San Francisco, Californië, VSA

Nancy Klimas MD

Directeur, Institute for Neuro-Immune Medicine

Nova Southeastern University

Directeur, Miami VA Medical Center GWI and CFS/ME Program

Miami, Florida, VSA

Eliana M. Lacerda, MD, MSc, PhD

Klinisch Assistent-Professor

International Centre for Evidence in Disability

Faculty of Infectious and Tropical Diseases

London School of Hygiene & Tropical Medicine

Londen, Engeland, VK

Bruce Levin, PhD

Professor Biostatistiek

Columbia University

New York, New York, VSA

Rogier Louwen, PhD

Assistent-Professor

Departement Medische Microbiologie en Infectieziekten

Erasmus MC

Rotterdam, Nederland

Steven Lubet, JD

Williams Memorial Professor Rechten

Northwestern University Pritzker School of Law

Chicago, Illinois, VSA

Marlon Maus, MD, DrPH, FACS

Directeur, DrPH-Programma

School of Public Health

University of California, Berkeley

Berkeley, Californië, VSA

Patrick E. McKnight, PhD

Professor Psychologie

George Mason University

Fairfax, Virginia, VSA

Heidi Nicholl, PhD

Algemeen Directeur

Emerge Australia

Melbourne, Victoria, Australië

Steve Olson, MD

Huisarts

Uitvoerend Directeur grote groepspraktijk en Regionaal Directeur artsen

Oakland, Californië, VSA

Elisa Oltra, PhD

Professor Moleculaire en Cellulaire Biologie

Catholic University of Valencia, Departement Geneeskunde

Valencia, Spanje

Vincent R. Racaniello, PhD

Professor Microbiologie en Immunologie

Columbia University

New York, New York, VSA

Arthur L. Reingold, MD

Professor Epidemiologie

University of California, Berkeley

Berkeley, Californië, VSA

Ola Didrik Saugstad, MD, PhD

Emeritus Professor

Afdeling Pediatrische en Adolescentengeneeskunde

University of Oslo

Oslo, Noorwegen

Adjunct-Professor Pediatrie

Feinberg School of Medicine

Northwestern University

Chicago, Illinois, VSA

David Scales MPhil, MD, PhD

Assistent-Professor Geneeskunde

Afdeling Ziekenhuisgeneeskunde

Weill Cornell Medicine

New York, New York, VSA

Michael Scott, PhD

Clinicus en Onderzoeker

Psychologische Therapie-eenheid

Liverpool, Engeland, VK

Philip B. Stark, PhD

Professor Statistiek

University of California, Berkeley

Berkeley, Californië, VSA

Eleanor Stein, MD, FRCP(C)

Psychiater in privé-praktijk

Assistent Klinisch Professor

University of Calgary

Calgary, Alberta, Canada

Leonie Sugarman, PhD

Emeritus Hoofddocent Toegepaste Psychologie

University of Cumbria

Carlisle, Engeland, VK

John Swartzberg, MD

Emeritus Klinisch Professor

School of Public Health

University of California, Berkeley

Berkeley, Californië, VSA

Ronald G. Tompkins, MD, ScD

Summer M Redstone Professor Chirurgie

Harvard Medical School

Boston, Massachusetts, VSA

Samuel Tucker, MD

Assistent Klinisch Professor Psychiatrie (op rust)

University of California, San Francisco

San Francisco, Californië, VSA

David Tuller, DrPH

Senior Fellow in Volksgezondheid en Journalistiek

Center for Global Public Health

University of California, Berkeley

Berkeley, Californië, VSA

Rosamund Vallings, MNZM, MBBS

Huisarts

Auckland, Nieuw-Zeeland

Linda van Campen, MD

Cardioloog

Stichting Cardiozorg

Hoofddorp, Nederland

Mark Vink, MD

Huisarts

Soerabaja Research Center

Amsterdam, Nederland

Frans Visser, MD

Cardioloog

Stichting Cardiozorg

Hoofddorp, Nederland

Tony Ward, MA (Hons), PhD, DipClinPsyc

Geregistreerd Klinisch Psycholoog

Professor Klinische Psychologie

School of Psychology

Victoria University of Wellington

Wellington, Nieuw-Zeeland

Adjunct Professor, School of Psychology

University of Birmingham

Birmingham, Engeland, VK

Adjunct Professor, School of Psychology

University of Kent

Canterbury, Engeland, VK

John Whiting, MD

Gespecialiseerd Arts in privé-praktijk

Brisbane, Queensland, Australië

Carolyn Wilshire, PhD

Senior Lector

School of Psychology

Victoria University of Wellington

Wellington, Nieuw-Zeeland

**********

[1] Crawley E, Gaunt D, Garfield K, et al. Nota ter correctie en verduidelijking: Clinical and cost-effectiveness of the Lightning Process in addition to specialist medical care for paediatric chronic fatigue syndrome: randomised controlled trial. Archives of Disease in Childhood; 2019. Geraadpleegd op: https://adc.bmj.com/content/early/2019/08/17/archdischild-2017-313375corr1

[2] Crawley E, Gaunt D, Garfield K, et al. Clinical and cost-effectiveness of the Lightning Process in addition to specialist medical care for paediatric chronic fatigue syndrome: randomised controlled trial. Archives of Disease in Childhood; 2018; 103:155-164

[3] Tuller D. Trial by Error: the SMILE trial’s undisclosed outcome-swapping. Virology Blog; 13 dec. 2017. Geraadpleegd op: http://www.virology.ws/2017/12/13/trial-by-error-the-smile-trials-undisclosed-outcomes/

[4] Clinical trials: Hearings before the Science and Technology Committee, House of Commons; March 13, 2003. (Getuigenis van Fiona Godlee) Geraadpleegd op: https://publications.parliament.VK/pa/cm201213/cmselect/cmsctech/uc1054-i/uc105401.htm

[5] Weber W, Merino J, Loder E. Editoriaal: trial registration 10 years on. BMJ; 2015; 351. Geraadpleegd op: https://www.bmj.com/content/351/bmj.h3572

[6] Brown N. Noot van de redactie over correctie aan Crawley et al. (2018). Archives of Disease in Childhood; 2019. Geraadpleegd op: https://adc.bmj.com/content/early/2019/08/17/archdischild-2017-313375ednote

[7] Bosely, S. Controversial Lightning Process ‘helps children with chronic fatigue syndrome.’ The Guardian; 20 sept. 2017. Geraadpleegd op: https://www.theguardian.com/society/2017/sep/20/controversial-lightning-process-helps-children-with-chronic-fatigue-syndrome-me

[8] Gregorowski A, Simpson J, Segal T. Child and adolescent chronic fatigue syndrome/myalgic encephalomyelitis; where are we now? Current Opinion in Pediatrics; 2019; 31: 462-46.

Trial By Error: Oproep tot intrekking van de LP-studie

David Tuller, DrPH, Virology Blog, 3 september 2019

Vorige week, toen ik een open brief stuurde naar Dr. Fiona Godlee tegen de onverdedigbare beslissing van Archives of Disease in Childhood om de oorspronkelijk gerapporteerde bevindingen uit de studie over het Lightning Process te herpubliceren, zette ik vele van de 55 ondertekenaars in CC. Intussen hebben drie van hen – Professor Ola Saugstad van de University of Oslo, Professor Racaniello van Columbia University (en beheerder van Virology Blog) en Professor Elisa Oltra* van Universidad Católica de Valencia San Vicente Martir – hun eigen krachtig commentaar gestuurd naar Dr. Godlee en de anderen die bij de oorspronkelijke brief in CC stonden.

Ze onderschrijven alle drie volmondig de zaak tegen de paper. Professor Saugstad en Professor Racaniello roepen expliciet op tot intrekking. Professor Oltra* vraagt zich af waarom een dergelijke studie überhaupt werd uitgevoerd, gezien de geringe hoeveelheid informatie die beschikbaar is over het Lightning Process, en ze noemt het gepubliceerde rapport “onhoudbaar”.

Ik herpost hun commentaren hieronder.

*Ik corrigeerde de spelling van Professor Oltras naam van “Ultra” op beide plaatsen, een paar uur nadat ik dit had gepost.

**********

Geachte Dr. Godlee,

Ik ondertekende onlangs de brief aan u omtrent de pediatrische studie over het Lightning Process, uitgevoerd door onderzoekers van de University of Bristol. De studie, gepubliceerd in Archives of Disease in childhood, had als titel: “Klinische en kosteneffectiviteit van Lightning Process in aanvulling op gespecialiseerde medische zorg voor pediatrisch chronisch vermoeidheidssyndroom: gerandomiseerde gecontroleerde studie”. [referentie]

Ik ben Professor Pediatrie aan University of Oslo en was, tot aan mijn pensioen vorig jaar, Directeur van Noorwegens grootste onderzoeksinstituut voor Pediatrie. Ik volg al meer dan 25 jaar van dichtbij het veld van ME/chronisch vermoeidheidssyndroom en heb in mijn land vele bedgebonden ME/cvs-patiënten bij hen thuis bezocht, omdat ze te ziek waren om naar het hospitaal te komen.

Naar mijn mening moet het bovengenoemde artikel ingetrokken worden. De gerapporteerde bevindingen kunnen leiden tot ernstige schade bij jonge ME-patiënten. Het verwondert me dat een studie die zo vele basisregels overtreden heeft, aanvaard werd voor publicatie, en dat het vakblad nu heeft beslist om ze opnieuw te publiceren.

Ik was en ben nog steeds redacteur en lid van verschillende redactionele raden voor internationale pediatrische/neonatale/perinatale vakbladen, waaronder: J Pediatrics, Pediatric Research, Acta Paediatrica, Neonatology, J Perinatal Medicine en J Perinatology. Ik weet hoe belangrijk het is om geen manuscripten te aanvaarden die gebaseerd zijn op een studie die al met patiëntenrekrutering begon voordat de studie zelf was geregistreerd. En het omwisselen van primaire en secundaire uitkomstmaten tijdens de studieperiode is uiteraard volstrekt onaanvaardbaar. De onderzoekers voerden het onderzoek uit op een manier waarvan iedereen weet dat het de kans op vooringenomenheid vergroot in plaats van verkleint. En vervolgens vermeldden ze in het artikel zelf niet wat ze in feite hadden gedaan.

Er kan nog veel meer gezegd worden over andere belangrijke zwakke punten van dit artikel. Naar mijn mening heeft deze publicatie veel schade berokkend aan kwetsbare ME-patiënten en toont het aan dat onderzoek van lage kwaliteit kwalijker kan zijn dan helemaal geen onderzoek. De studie herpubliceren, zelfs met de lange correctie, is een grove fout.

Met hoogachting,

Ola Didrik Saugstad, MD, PhD, FRCPE

Professor Pediatrie

Directeur (em) Departement Pediatrisch Onderzoek

Universitair Ziekenhuis Oslo

University of Oslo

Noorwegen

Referentie

Crawley E, Gaunt D, Garfield K, et al. Clinical and cost-effectiveness of the Lightning Process in addition to specialist medical care for paediatric chronic fatigue syndrome: randomised controlled trial. Archives of Disease in Childhood; 2018; 103:155-164

**********

Geachte Dr. Godlee,

Ik heb een brief ondertekend die op 27 augustus naar u werd verstuurd, over de pediatrische studie over het Lightning Process, met als titel “Klinische en kosteneffectiviteit van Lightning Process in aanvulling op gespecialiseerde medische zorg voor pediatrisch chronisch vermoeidheidssyndroom: gerandomiseerde gecontroleerde studie”.

Ik zie dat Dr. Ola Saugstad u persoonlijk heeft geschreven om zijn ontzetting te uiten over deze paper… en ik zou daar graag mijn stem aan toevoegen.

Naar mijn mening moet de publicatie van deze studie worden ingetrokken. Ze bevat een aantal overtredingen van regels die aan de basis liggen van klinische studievoering. Het baart me zorgen dat het toepassen van zulke bevindingen op jonge ME-patiënten zou kunnen leiden tot ernstige lichamelijke schade.

Ik ben Professor Microbiologie en Immunologie aan Columbia University en volg het ME/cvs-veld al van toen er werd gedacht dat het te maken had met een retrovirus (ik ben nl. viroloog). Sindsdien stel ik mijn virologieblog open voor David Tuller, die uitgebreid over dit thema heeft gepubliceerd.

Het belangrijkste probleem van deze studie is dat patiënten niet gerekruteerd mogen worden voordat de studie zelf geregistreerd is. Verder werden primaire en secundaire uitkomstmaten tijdens de studie omgewisseld. Nóg verbazingwekkender is, dat de auteurs in het artikel met geen woord repten over deze foute klinische praktijken. Die praktijken zijn absoluut onaanvaardbaar, en toch laat u toe dat de studie in de literatuur blijft staan.

Zoals u weet, hebben vele andere befaamde wetenschappers hun handtekening gezet onder de oorspronkelijke brief aan u. Ik ben er zeker van dat we nog honderden handtekeningen meer zouden kunnen verzamelen. Hoeveel handtekeningen zijn er nodig om u ervan te overtuigen dat het werk ingetrokken moet worden? Hoe veel langer wil u jonge patiënten nog risico laten lopen op schade? Ik kan er met mijn hoofd niet bij waarom u deze publicatie in de literatuur wil laten staan.

______________________________

Vincent Racaniello, Ph.D. | Higgins Professor

Departement Microbiologie en Immunologie

Columbia University, New York

**********

Geachte Dr. Godlee,

Ik ondertekende een brief die op 27 augustus naar u werd verstuurd, over de pediatrische studie over het Lightning Process, met als titel: “Klinische en kosteneffectiviteit van Lightning Process in aanvulling op gespecialiseerde medische zorg voor pediatrisch chronisch vermoeidheidssyndroom: gerandomiseerde gecontroleerde studie”.

Volgend op de e-mails van Dr Ola Didrik Saugstad, MD, PhD, FRCPE, Professor Pediatrie aan de University of Oslo en van Vincent Racaniello, Ph.D. aan het Departement Microbiologie en Immunologie, Columbia University, New York, wil ik graag enkele bedenkingen toevoegen aan de ernstige fouten die al werden aangeduid, en die uw rapport onhoudbaar maken:

1. Er worden in uw artikel geen referenties verschaft over de belangrijkste geëvalueerde interventie (Lightning Process of LP). De omschrijving van de interventie in het onderdeel Methodes is vaag. Een wetenschappelijk protocol moet voldoende details bevatten, zodat andere onderzoekers in staat zijn om het te reproduceren. Aan deze vereiste wordt in uw paper niet voldaan. Bovendien heb ik in Pubmed noch een nauwkeurige omschrijving, noch wetenschappelijk bewijs kunnen vinden over de doeltreffendheid van deze “mysterieuze” LP-methode, bij de behandeling van eender welk gezondheidsprobleem. Met mijn achtergrond als moleculair bioloog, kan ik activiteiten, uitgevoerd via “ongedefinieerde protocols”, moeilijk beschouwen als wetenschappelijk. Om die reden begrijp ik niet hoe BMJ tot publicatie overging van dit werk.
Uitkomsten bevatten uitsluitend subjectieve instrumenten, wat beperkt bewijs verschaft, en bovendien lijkt een deelname van 30% aan vragenlijstinvulling op drie tijdspunten eerder laag voor een cohort die “in herstel” zou zijn, wat de validiteit van de resultaten in vraag stelt. Dit betekent dat 70% van de deelnemers de vragenlijsten op ten minste een van de drie geregistreerde tijdspunten niet heeft ingevuld.
Wat kan de reden zijn voor het evalueren van de kosteneffectiviteit van een “ongedefinieerde methode” zonder bewezen wetenschappelijk effect voor eender welk gezondheidsprobleem? Kosteneffectiviteit voor wie of voor wat? Is dit wetenschap, of is dit een reclamecampagne voor een “mysterieus product”?

Ik zou graag antwoorden krijgen op al deze vragen, om te kunnen begrijpen waarom men kinderen met ME/cvs wil blootstellen aan bijkomende stress en hun familie aan valse hoop en bijkomende financiële kosten.

Hoogachtend,

Elisa Oltra, PhD

Professor Cellulaire Moleculaire Biologie

Universidad Católica de Valencia San Vicente Mártir

Valencia (Spanje)

Trial By Error: nog meer experts roepen Godlee op tot intrekking LP-studie

David Tuller, DrPH, Virology Blog, 9 september 2019

Vorige week postte ik drie commentaren [3/9/19] die verstuurd werden naar Dr. Fiona Godlee, redactioneel directeur van BMJ, waarin werd opgeroepen tot intrekking van de vooringenomen en in diskrediet geraakte [studie over het] Lightning Process. Professor Ola Saugstad van University of Oslo, Professor Vincent Racaniello van Columbia University en Professor Elisa Oltra van Universidad Católica de Valencia San Vicente Mártir waren drie van de 55 experts die Virology Blogs recente open brief aan Dr. Godlee (cf. supra) [28/8/19] hadden ondertekend. Die brief drukte bezorgdheid en ontzetting uit over het feit dat Archives of Disease in Childhood, het BMJ-vakblad dat de studie twee jaar geleden gepubliceerd had, de op Virology Blog gedocumenteerde methodologische overtredingen beaamde, maar toch overging tot herpublicatie van de oorspronkelijke, totaal gecompromitteerde bevindingen. Toen ik de brief naar Dr. Godlee stuurde, zette ik vele van de ondertekenaars in CC.

Nadat Professor Oltra haar bericht verstuurd had, kwamen er nog meer oproepen tot intrekking van de paper, van volgende experts: Dr Alan Gurwitt, een Yale-psychiater op rust, Dr. Marlon Maus* [kort na posten verbeterd, ik schreef Maos – sorry, Marlon!], een collega van de School of Public Health aan Berkeley, en Professor Jonathan Edwards van University College London. In zijn brief aan Dr. Godlee vermeldde Professor Edwards Cochranes gereviseerde tool over risico op bias [vooringenomenheid, n.v.d.r.], pas gepubliceerd door BMJ, en merkte een verontrustend detail op: de hoofdauteur van de revisie, Professor Jonathan Sterne van Bristol University, was ook de coauteur van de studie over het Lightning Process.

*****

Geachte Dr. Godlee,

Met dit bericht schaar ik me achter anderen die al contact met u opnamen omtrent de correctie en herpublicatie van de studie over het Lightning Process, oorspronkelijk gepubliceerd in september 2017 door Archives of Disease in Childhood. Dat artikel had als titel “Klinische en kosteneffectiviteit van Lightning Process in aanvulling op gespecialiseerde medische zorg voor pediatrisch chronisch vermoeidheidssyndroom: gerandomiseerde gecontroleerde studie”.

Ik ben het volkomen eens met de punten die worden aangehaald in Dr. Tullers brief, die tevens ondertekend werd door vele andere artsen en wetenschappers. Deze studie moet worden ingetrokken met het oog op de bescherming van kinderen. Het is uiterst ongepast dat u besliste om de studie met de oorspronkelijke bevindingen te herpubliceren.

Ik ben een psychiater op rust en een van de verschillende auteurs van “Diagnose en Omgaan Met Myalgische Encefalomyelitis/Chronisch Vermoeidheidssyndroom bij Jonge Mensen: een Primer”, gepubliceerd in Frontiers in Pediatrics (juni 2017). Tijdens het literatuurreviewproces voor die primer, reviewde ik wat er beschikbaar was over het Lightning Process. Ik kwam tot de conclusie dat deze behandeling absolute onzin is. Ze voorstellen als behandeling voor ME/cvs vloeit voort uit het misplaatste idee dat men heeft in Groot-Brittannië dat de ziekte een psychologische in plaats van een pathofysiologische onderliggende oorzaak heeft.

Alan Gurwitt, MD

Psychiater in privépraktijk (op rust)

Klinisch Hoogleraar (op rust)

Yale Child Study Center

Yale School of Medicine

New Haven, Connecticut, VSA

**********

Geachte Dr. Godlee,

Als oftalmoloog en Professor volksgezondheid wil ik graag mijn stem toevoegen aan die van anderen, in verband met de kwalijke studie ““Klinische en kosteneffectiviteit van Lightning Process in aanvulling op gespecialiseerde medische zorg voor pediatrisch chronisch vermoeidheidssyndroom: een gerandomiseerde, gecontroleerde studie”. Na evaluatie van de achtergrond van de studie en haar conclusies, ben ik het volledig eens met de interpretatie van Dr. Tuller en anderen. De medische wereld staat bol van voorbeelden van patiënten die een psychiatrisch label krijgen, terwijl latere studies en onderzoek in feite bewijzen dat ze lijden aan een lichamelijke ziekte. Ik geloof dat dit ook hier het geval zal zijn en we moeten het voorzichtigheidsprincipe bezigen, dus ik stel voor dat u overweegt om de studie in te trekken tot verder bewijs wordt verworven.

Hoogachtend,

Marlon Maus, MD, DrPH, FACS

Professor, School of Public Health, UC Berkeley

*****

Geachte Fiona,

In zag onlangs dat BMJ een verslag heeft gepubliceerd over de voltooiing van de nieuwe tool voor Risico op Bias 2 (RoB2*), gebruikt in het kader van het GRADE -systeem dat wordt gebruikt door Cochrane en NICE bij het evalueren van de kwaliteit van klinisch bewijs [*binnenkort publiceren we nog een blog van Tuller over dit thema, n.v.d.r.]. Het document richt zich op het minder stringent maken van de RoB-evaluatie, vooral voor ongeblindeerde studies.

Mijn onmiddellijke reactie hierop was, dat dit een stap achteruit is, aangezien ongeblindeerde studies steeds vaker als geloofwaardiger worden voorgesteld dan ze zijn. Na mijn onmiddellijke reactie volgde een ernstige bedenking, toen ik zag dat de corresponderende auteur, Jonathan Sterne van Bristol, ook auteur is van de paper die rapporteert over de SMILE-studie over het Lightning Process, wat vroeger al eens het onderwerp was van onze correspondentie, en vandaag opnieuw.

Het RoB2-document stelt voor om bias in wetenschappelijke proeven soepeler te benaderen. In dat kader herbekijkt het de invloed van het wijzigen van uitkomstmaten na studie-aanvang maar vóór data-analyse, en verwijst het ook naar problemen met bias door overtuigingen van de patiënt of van het team dat de behandeling uitvoert, bij gebruik van subjectieve uitkomstmaten. Het zal niet aan uw aandacht ontsnapt zijn dat enkele van de vele fouten in de SMILE-studie gaan over uitkomstenverwisseling toen de studie al halfweg was, en over het ernstige risico op verwachtingsbias in verband met subjectieve uitkomstmaten.

Dus schrijf ik u nog maar eens een bericht, om hetzelfde te vragen als David Tuller en intussen al vijftig of meer andere collega’s, nl. dat u de problemen van de SMILE-studie alstublieft ernstig zou willen nemen. Ik geloof dat ik er voordien al op had aangestuurd dat intrekking van de studie of het duidelijk aanduiden van de fouten in de studie noodzakelijk was. Als ik het gereviseerde manuscript bekijk, denk ik niet dat de revisie beschouwd kan worden als een adequate oplossing voor het probleem, aangezien de misplaatste conclusie blijft staan.

Deze kwestie begint surrealistische proporties aan te nemen. Het lijkt wel of de SMILE-studie tot doel had om aan te tonen dat evaluatie via het GRADE- en RoB-systeem ongestraft omzeild kan worden.

Het GRADE-systeem vertrekt vanuit de veronderstelling dat een gerandomiseerde studie hoogkwalitatief bewijs verschaft, tenzij ze lijdt aan één of meerdere gebreken, waaronder bias. Die veronderstelling kan niet hardgemaakt worden. Neem bijvoorbeeld een studie waarbij patiënten ingedeeld worden in twee groepen: één die aangeleerd krijgt dat je enkel beter wordt als je denkt en zegt dat je je beter voelt, of dat nu klopt of niet, en een andere groep waarin je de opdracht krijgt om te zeggen hoe je je écht voelen, en dat men dan als uitkomst gaat nemen wat de patiënten zeggen over hoe ze zich voelen. Je zou kunnen denken dat zo’n studie absurd is, en dat niemand ooit op zo’n idee zou komen. En toch is dit min of meer waar de SMILE-studie op neer komt. Dat is toch ongeveer hoe de patiënten hun ervaring beschreven hebben. Anderzijds, zoals Dr. Oltra aanduidt, krijgen we niet te horen wat er écht gebeurd is, en het ziet ernaar uit dat RoB2 het risico op bias niet hoog inschat als we niet weten wat er precies gebeurd is!

RoB2 vermeldt wel de mogelijkheid dat er bias zou kunnen ontstaan door de overtuigingen van patiënten of therapeuten, maar als voorbeeld geeft het nogal extreme gevallen, bv. een kinesist/fysiotherapeut die het voordeel van haar eigen behandeling moet evalueren, of een patiënt die gelooft in homeopathie. Niemand lijkt zich bewust te zijn van het feit dat verwachtingsbias als gevolg van overtuigingen over de waarde van eender welke behandeling alomtegenwoordig is in studies (en in eender welk wetenschappelijk experiment, waaronder labowerk) en dat dit de belangrijkste reden is waarom we de test- en controlegroepen blinderen. Bij ME/cvs hebben we drastische reacties gezien door verwachtingsbias bij conventionele geneesmiddelen zonder therapeutisch effect, waaronder rituximab en antivirale middelen. De RoB2-analyse is ofwel erg naïef, ofwel bedrieglijk.

Zoals we maar al te goed weten, was het opzet van de SMILE-studie allesbehalve goed: ze startte als “haalbaarheidsstudie”, met een groot aantal gerekruteerde patiënten, en werd vervolgens geregistreerd als een “formele studie”, nadat uitkomsten omgewisseld werden toen er al weet was van de resultaten van ongeveer 50 patiënten. Misschien valt dit volgens Dr. Sterne onder de toegelaten handelingen vóór data-analyse, maar in feite is het een klassiek geval van cherry-picking.

“Haalbaarheidsstudies” en “pragmatische studies” lijken steeds populairder te worden. Voor zover ik dit kan inschatten, zijn dit technieken die ontworpen werden om de indruk te scheppen dat studies zo geconstrueerd zijn dat het verzamelde bewijs betrouwbaar is, terwijl dat bijna zeker niet het geval is. Ik krijg heel erg de indruk dat “methodologische experts” die verbonden zijn aan klinische studie-eenheden en andere aanverwante departementen, mogelijk een belangenconflict hebben in de vorm van co-auteurschap bij publicaties over wetenschappelijke proeven van lage kwaliteit.

Ik heb lange tijd gedacht dat de problemen met laagkwalitatieve studies over ME/cvs een randfenomeen waren binnen de academische geneeskunde. Intussen hebben ik heel erg het gevoel dat ze misschien wel eens een symptoom zouden kunnen zijn van een algemeen aftakelingsproces van de kwaliteit van de klinische wetenschap in het VK. Het lijkt erop dat we steeds meer evolueren in de richting van aanvaarding van methodologie waarvan we al decennialang weten dat ze leidt tot zinloze resultaten. Ik krijg de indruk dat instellingen zoals Cochrane en The BMJ in een situatie terecht zijn gekomen waarin ze al slaapwandelend een goedkeuringsstempel geven aan compleet waardeloze commerciële ondernemingen. Binnen deze bredere context kan ik enkel benadrukken dat ik het eens ben met iedereen die bij dit bericht in CC staat, nl. dat de paper over de SMILE-studie ingetrokken moet worden en dat er zo snel mogelijk een volledig onafhankelijke doorlichting moet komen.

Met hoogachting,

Jonathan Edwards

Trial By Error: Dr. Godlee krijgt weer keiharde brieven van experts

David Tuller, DrPH, Virology Blog, 11 september 2019

Er blijven brieven van topexperts binnensijpelen bij Dr. Fiona Godlee, over het feit dat BMJ overging tot herpublicatie van Professor Esther Crawleys studie over het Lightning Process. De brieven hekelen BMJ’s handelen in deze kwestie en roepen Dr. Godlee op om dringend over te gaan tot intrekking van de rotzooi die beter bekend is onder de titel “Klinische en kosteneffectiviteit van Lightning Process in aanvulling op gespecialiseerde medische zorg voor pediatrisch chronisch vermoeidheidssyndroom: gerandomiseerde gecontroleerde studie”.

Ik heb eerder al zes brieven gepubliceerd, hier [3/9/19] en hier [9/9/19]. Hieronder staan er nog eens vijf. Ze werden rechtstreeks naar Dr. Godlee ge-e-maild, en in CC stonden velen van de 55 wetenschappers, artsen en andere experts die hun handtekening hadden gezet onder Virology Blogs meest recente open brief over de kwestie. De laatste briefschrijvers zijn: Dr. Steve Olsen van Kaiser Permanente, afdeling Noordelijk Californië; Professor Alison Bested van Nova Southeastern University in Florida; Professor Rebecca Goldin van George Mason University in Virginia; Professor Ronald Tompkins van Harvard Medical School, en Professor Brian Hughes van National University of Ireland, Galway.

De studie over het Lightning Process werd online gepubliceerd in september 2017 door Archives of Disease in Childhood, een BMJ-vakblad. Nadat iemand van het forum Science for ME me op de kwestie attent had gemaakt via een aantal eerste bedenkingen omtrent de chronologie van de studie, documenteerde ik in december 2017 dat Professor Crawley en haar collega’s meer dan de helft van de deelnemers al gerekruteerd hadden voordat de studie geregistreerd werd, de uitkomstmaten omgewisseld hadden nadat ze die eerste data hadden verzameld, en deze saillante details niet vermeld hadden in de gepubliceerde paper.

In plaats van de paper in te trekken, herpubliceerde Archives of Disease in Childhood onlangs de oorspronkelijke resultaten, samen met een ellenlange correctie/verduidelijking en een noot van de redactie waarin belachelijke uitvluchten werden verzonnen voor het niet intrekken van de paper. Uiteraard was ik niet de enige die het verontrustend vond dat BMJ zijn redactionele verantwoordelijkheid op zo’n flagrante manier ontliep. Topexperts waren meteen bereid om de open brief aan Dr. Godlee te ondertekenen. Intussen sporen velen van hen haar ook in eigen naam aan om het juiste te doen, vaak in niet mis te verstane bewoordingen.

Zal Dr. Godlee naar hen luisteren?

*****

Geachte Dr. Godlee,

Ook ik zette mijn handtekening onder de brief van 27 augustus over het feit dat BMJ’s studie over het Lightning Process niet thuishoort in de medische literatuur.

Ik ben dertig jaar lang huisarts geweest, en ik ben uitvoerend geneesheer van een van de grootste geïntegreerde medische groepen van de Verenigde Staten, en gecertificeerd in medische informatica.

Gelooft u echt dat het Lightning Process gevalideerd is als doeltreffende behandeling voor een ernstige multisysteemziekte? Als u dit niet gelooft, dan moet de studie ingetrokken worden, om schade te voorkomen.

Als u gelooft dat LP wel gevalideerd is als doeltreffende behandeling en/of als het artikel niet wordt verwijderd, dan verliest BMJ al zijn geloofwaardigheid in de ogen van een steeds groter wordend aantal artsen. Studies die vanaf nu door u gepubliceerd worden, hoe waardevol en verdienstelijk ze ook zijn, zullen niet meer serieus worden genomen, enkel en alleen door hun associatie met BMJ.

Laat u mij ten slotte alstublieft even weten of u bereid zou zijn om een artikel te publiceren als ik Lightning Process zou vervangen door voodoo, als enige wijziging in methodologie.

Steve Olson, MD

Huisarts

Permanente Medical Group – Regionaal Directeur

Kaiser Permanente

Oakland, CA

*****

Geachte Dr. Goldee [sic],

Zoals vele andere dokters en wetenschappers, ondertekende ik een verzoek aan BMJ tot intrekking van het artikel “Klinische en kosteneffectiviteit van Lightning Process…”. Ik schrijf u om opnieuw mijn grote bezorgdheid te uiten over BMJ’s publicatiepraktijken en over de gevolgen van het artikel.

Als wiskundige en Directeur van STATS (een non-profit die zich bezighoudt met nauwkeurige rapportage van statistische aspecten van medisch onderzoek), nam ik het artikel onder de loep om in te schatten hoe het zou overkomen op het publiek. Wat journalisten en ouders vooral willen weten, is of de resultaten “waar zijn” en of de methodes “correct zijn”. Een bescheiden poging tot ontwarring van de onderzoeksmethodes, bracht de vernietigende zwakheden van het artikel aan het licht.

Het experimentele ontwerp van deze studie lijkt een schoolvoorbeeld van waarom het publiek wetenschappers niet zomaar mag vertrouwen. Na de feiten beslissingen nemen over uitkomstmaten (zoals het omwisselen van primaire en secundaire uitkomsten), en expliciet verboden wetenschappelijke praktijken nastreven (zoals deelnemers rekruteren vóór studieregistratie, via een haalbaarheidsstudie) maken de kans op vals positieve resultaten veel groter; en als dat soort wijzigingen wetenschappelijk en commercieel gemotiveerd zijn, gaat alle geloofwaardigheid verloren.

Eerlijk gezegd verbaast het mij dat BMJ blijkbaar bereid is om zijn reputatie op het spel te zetten ter verdediging van een studie die op buitenstaanders overkomt als een commerciële façade. Dat het stuk een “gerandomiseerde gecontroleerde studie” genoemd wordt, is misleidend, aangezien de deelnemers niet willekeurig werden gekozen. Suggereren dat er een klinisch voordeel aan verbonden is, terwijl de data, zoals we weten, zo vlotjes gemanipuleerd werden, impliceert dat wetenschappelijke kennismakelaars niet meer in staat zijn om slechte wetenschap met commercieel motief uit de wetenschappelijke mainstream te houden. Suggereren dat de methode “kosteneffectief” is, terwijl de paper reclame maakt voor de dubieuze “bewezen” methodes van het bedrijf, doet ons vermoeden dat de BMJ andere drijfveren heeft dan de gezondheid van kinderen. Publieke argwaan tegenover wetenschap komt voort uit oneerlijk verkregen “resultaten” die institutioneel bekrachtigd worden, bijvoorbeeld door publicatie in BMJ.

Jammer genoeg voor kinderen die lijden aan ME/cvs, heeft BMJ nog steeds een grote invloed op behandelingsprotocols. U hebt nu persoonlijk de kans om een lans te breken voor kwalitatieve wetenschap, en ook BMJ zou die kans moeten grijpen. Trek de paper in op basis van BMJ-beleidslijnen, op basis van het feit dat de auteurs van de studie foute informatie verschaften, en op basis van data waarvan de kwaliteit niet geëvalueerd kan worden omwille van de verzamelingsmethodes. Door de paper in te trekken, zou u laten zien dat de wetenschap beter kan, en daar is niks mis mee, gezien de aan het licht gekomen datamanipulatie. De schade die echter berokkend wordt door het publiceren van wat in wezen in elkaar geflanste resultaten zijn, zal een blijvende impact hebben op zowel kinderen die nood hebben aan wetenschap van goede kwaliteit, als op BMJ’s reputatie en het publieke vertrouwen in de medische wetenschap.

Rebecca Goldin, Ph.D.

Professor, Wiskundige Wetenschappen

George Mason University

Directeur, STATS

Sense About Science

*****

Geachte Dr. Godlee,

Ik zou u willen oproepen tot intrekking van het BMJ-artikel over het Lightning Process, op basis van het feit dat men gebruik maakte van onjuiste methodologie om deze klinische studie uit te voeren.

Ik zou u tevens willen oproepen tot intrekking van dit artikel op basis van mijn ervaring als specialist – ik behandel al zesentwintig jaar patiënten met Myalgische Encefalomyelitis/chronisch vermoeidheidssyndroom (ME/cvs).

Een van mijn patiënten onderging dit “Lightning Process” in de hoop dat ze zou “genezen” van haar ME/cvs. In plaats daarvan had ze een ernstige terugval van haar ME-symptomen en was ze maandenlang bedlegerig.

Dit programma bracht deze patiënte erg veel schade toe. Het gaf haar valse hoop en veroorzaakte een ernstige terugval van haar symptomen gedurende vele maanden.

Ik heb het artikel bekeken en heb onmiddellijk aan al mijn patiënten laten weten dat ze deze schadelijke behandeling in geen geval mogen aanvatten.

ME/cvs-patiënten verdienen beter dan dit vanwege de medische sector. Wij zijn hier als artsen om patiënten te genezen en om ons “verre te houden van iedere welbewuste slechte daad”. Eed van Hippocrates

ME/cvs is een lichamelijke ziekte. De spieren en mitochondriën werken bij hen niet naar behoren. Als gevolg hebben deze patiënten postexertionele malaise. Geen enkele mate van positief denken zal iets veranderen aan deze fundamentele pathofysiologie van ME/cvs. Rapport Institute of Medicine, 2015. https://www.ncbi.nlm.nih.gov/books/NBK284902/#sec_073

De BMJ kan deze situatie corrigeren door over te gaan tot intrekking van dit onderzoeksartikel, waarvan de basisveronderstelling schadelijk is voor patiënten met ME/cvs.

Mijn dank voor uw aandacht.

Hoogachtend,

Alison

Alison C. Bested MD FRCPC

Diplomaat, American Board of Integrative Medicine

Voorzitter, Integratieve Geneeskunde

Directeur, Studenten Onderzoeksontwikkeling

Klinisch Directeur, Institute for Neuro-Immune Medicine

Hoofddocent

Dr. Kiran C. Patel College of Osteopathic Medicine

Center for Collaborative Research

Institute for Neuro-Immune Medicine

Nova Southeastern University

Davie, FL 33314

*****

Geachte Dr. Godlee,

Ik vind dit een schokkende situatie. Als dokter met 40 jaar dienst en als wetenschapper vind ik dat dit artikel ingetrokken moet worden.

Ron

Ronald G. Tompkins, M.D., Sc.D.

Professor Chirurgie via Sumner Redstone

Harvard Medical School

Directeur en Stichter, Center for Surgery, Innovation & Bioengineering

Massachusetts General Hospital

Boston, MA 02114

*****

Geachte Dr. Godlee,

Ten eerste wil ik u bedanken voor uw werk als hoofdredacteur van de BMJ. Ik bedoel dat in geen geval als karig lof. Hoewel mijn collega’s en ik onze bedenkingen hebben geuit, vind ik het belangrijk om uit te spreken dat de redactie van een vakblad voeren niet altijd een eenvoudige taak is. Redacteurs spelen een cruciale rol in de productielijn van de wetenschap en uw eigen bijdrage en die van uw redactionele collega’s mogen wel eens vermeld worden.

Anderzijds voel ik me verplicht om mijn stem toe te voegen aan anderen die u hebben geschreven over de paper “Klinische en kosteneffectiviteit van Lightning Process in aanvulling op gespecialiseerde medische zorg voor pediatrisch chronisch vermoeidheidssyndroom: gerandomiseerde gecontroleerde studie” en, in het bijzonder, over de bijhorende correctie die werd gepubliceerd.

U kent zeker de details van onze bedenkingen, zoals uitgelegd in vorige e-mails.

Ikzelf ben al bijna twintig jaar lang bezig met onderzoek over de problemen omtrent controversiële therapieën en menselijke factoren (d.w.z. foutenrisico’s). U weet zeker wel dat verwachtingseffecten en bevestigingsbias erg problematisch zijn in onderzoek naar klinische therapieën in het algemeen. En als het dan gaat om therapieën die op zich al controversieel zijn, wordt de chaos compleet.

Het zogenaamde “Lightning Process” is ongetwijfeld een dergelijke soort therapie. Het bestaat in feite uit een aantal modaliteiten die normaal gezien onder de pseudowetenschappen vallen. Het is grotendeels gebaseerd op zogenaamd Neurolinguïstisch Programmeren (NLP), dat volledig in diskrediet is gekomen. De uitvinder van het “Lightning Process” is een voorstander en verstrekker van verschillende pseudowetenschappelijke therapieën (bv. craniale osteopathie, toegepaste kinesiologie, hypnotherapie). Alles samen is er niets dat erop wijst dat het “Lightning Process” een veelbelovende klinische modaliteit zou kunnen zijn. Het is wetenschappelijk niet plausibel – het bestaat omdat commercieel ingestelde verstrekkers van pseudowetenschappelijke behandelingen er met succes een markt voor hebben geschapen. Vanuit dat oogpunt zit het in hetzelfde marktsegment als bijvoorbeeld kristaltherapie.

Het is niet mijn bedoeling om pejoratief te klinken door het zo te omschrijven. Ik wil enkel en alleen aantonen dat eender welke hypothese over de doeltreffendheid van het “Lightning Process” voor eender welke aandoening een “buitengewone bewering” is. Buitengewone beweringen moeten natuurlijk getest worden. Er zouden bijvoorbeeld ook studies uitgevoerd moeten worden over kristaltherapie. Maar u begrijpt toch zeker wel dat er, in de wetenschap, “voor buitengewone beweringen, buitengewoon bewijs nodig is”. Onderzoek dat de doeltreffendheid van “Lightning Process” wil vaststellen, moet met wel erg overtuigend bewijs komen. De beweringen die worden gemaakt, staan haaks op ons algemeen begrip van de menselijke biologie. Als het “Lightning Process” écht zou blijken te werken, dan zouden we onze handboeken fysiologie en neurologie moeten herschrijven.

Voor zo ver ik kan zien, is het bewijs in deze bepaalde paper allesbehalve buitengewoon. De studie omzeilde zelfs de basisvereisten voor prospectieve registratie, zoals u zelf in uw gepubliceerde correctie vermeldt. Dit doet onmiddellijk alarmbellen rinkelen over vooringenomenheid bij de rapportering. Het bewijs dat te lezen staat in de paper is niet betrouwbaar, want de auteurs konden selectief rapporteren, zonder hun intenties vooraf te registreren.

Kortom: bevestigingsbias werd niet vermeden. Het was absoluut niet voldoende dat u vroeg aan de auteurs of ze al dan niet vooringenomen waren.

De data die verzameld werden via deze procedurele en methodologische fouten, komen in geen geval in aanmerking als “buitengewoon bewijs”.

Voor zo ver ik het begrijp, zou deze paper nooit gepubliceerd zijn geweest als u op de hoogte was geweest van de onregelmatigheden, op het moment van de eerste review. Daarom mag hij niet opnieuw gepubliceerd worden. Daarom moet hij ingetrokken worden.

Het niet intrekken van deze paper zal leiden tot een ernstig probleem, want als deze paper overeind blijft, dan zal het andere onderzoekers zeker aansporen om het niet zo nauw te nemen met prospectieve registratie, wetende dat BMJ-vakbladen hun bevindingen sowieso zullen publiceren. De paper zal bekend komen te staan als voorbeeld van halfslachtig redactioneel engagement tegenover wetenschappelijke striktheid.

Vriendelijke groeten,

Professor Brian Hughes, PhD, FPsSI

School of Psychology

National University of Ireland, Galway

Trial By Error: nieuwe lading brieven aan Dr. Godlee over BMJ’s flaters i.v.m. LP-studie

David Tuller, DrPH, Virology blog, 16 september 2019

Ik heb hier [3/9/19], hier [9/9/19] en hier [11/9/19] een lading brieven gepost over de studie over het Lightning Process die verstuurd werden naar Dr. Fiona Godlee, redactioneel directeur van BMJ. Ik ben onder de indruk van hoe direct deze wetenschappers en artsen hun ontzetting uiten over het feit dat BMJ zijn eigen redactionele normen niet naleeft. Ik heb de indruk dat sommige van de briefschrijvers hun inspiratie halen uit eerdere berichten aan Dr. Godlee.

In elk geval zijn er hier nog drie meer: van Steven Lubet, professor rechten aan Northwestern University in Chicago, van Robert Garry, een professor microbiologie aan Tulane University in New Orleans, en van Philip Stark, een professor statistiek aan UC Berkeley. Bedankt aan hen allen voor hun steun. Dat brengt het totaal tot hiertoe op 14 brieven.

**********

Geachte Dr. Godlee,

Ik ben rechtsethicus, geen dokter of wetenschapper, dus ik ga me niet uitspreken over de verschillende methodologische en andere problemen die zijn vastgesteld in “Klinische en kosteneffectiviteit van het Lightning Process…”. Ik wil echter wél graag commentaar geven op één aspect van de “correctie” die onlangs werd gepubliceerd in Archives of Disease in Childhood en die genoegen nam met “bevestiging van de auteurs dat de wijziging van de primaire uitkomst niet beïnvloed werd door (positieve) bevindingen in de haalbaarheidsfase”. Ik bestudeer en evalueer al decennialang belangenconflicten in zowel academische en professionele omstandigheden, en ik vind het uiterst zorgwekkend dat een gerespecteerd academisch vakblad erkende wetenschappelijke onregelmatigheden buiten beschouwing laat op basis van zo’n overduidelijk door eigenbelang ingegeven conclusie vanwege de onderzoekers zelf.

Ik ga er geen doekjes om winden: richtlijnen omtrent belangenconflicten bestaan net omdát men er onmogelijk op kan vertrouwen dat de personen in kwestie een objectieve visie hebben op hun eigen beslissingen. In dit geval hebben de auteurs van het “Lighting Process” er zeer zeker belang bij dat intrekking van hun artikel wordt vermeden, waarvan ze pas nu toegeven dat het “niet volledig voldeed aan ICMJE*”. [*verwijst naar ethische richtlijnen voor biomedische vakbladen, n.v.d.r.] Dus hoe eerlijk of oneerlijk ze ook zijn in de verdediging van hun werk, het is niet aan hen om te bepalen of ze hun primaire uitkomst al dan niet hebben gewijzigd onder invloed van hun vroegste positieve bevindingen.

In wettelijke en juridische ethiek wordt als diskwalificatienorm de vraag gesteld of “er redenen zijn om iemands onpartijdigheid in vraag te stellen”. Ik zou hier vriendelijk willen suggereren dat BMJ’s Archives of Disease in Childhood de lat echt niet lager mag leggen dan dat.

In dit geval kunnen de auteurs van het artikel over het “Lightning Process” onmogelijk onpartijdig zijn omtrent de geldigheid van hun eigen studie, en al zeker niet omtrent de vraag of hun uitkomstwissel, al dan niet bewust, beïnvloed werd door de bevindingen die ze al hadden, voorafgaand aan registratie. Volgens de laagste standaardprincipes voor belangenconflicten mag de beslissing om over te gaan tot correctie in plaats van tot intrekking op geen enkele manier gebaseerd zijn op bevestigingen van de auteurs na de feiten.

Hoogachtend,

Steven Lubet

Williams Memorial Professor

Northwestern University Pritzker School of Law

Chicago IL 60611

**********

Geachte Dr. Godlee,

Ik schrijf u om u met aandrang te vragen om uw beslissing te herzien omtrent het herpubliceren van de pediatrische studie over het Lightning Process, uitgevoerd door onderzoekers van University of Bristol en gepubliceerd in Archives of Disease in Childhood.

Ik spreek vanuit mijn eigen standpunt als viroloog met een langlopende interesse in chronische ziektes zoals het chronisch vermoeidheidssyndroom. Ook al ben ik geen arts, ik heb vele mensen ontmoet met deze aandoeningen, en heb ten minst één familielid dat erdoor getroffen is. Chronisch vermoeidheidssyndroom is geen toestand van geestelijke verwarring die gecorrigeerd kan worden via de pseudowetenschappelijke bezweringen van het Lightning Process.

Ik weet zeker dat u op de hoogte bent van het feit dat het International Committee of Medical Journal editors duidelijk poneert dat “de integriteit van onderzoek ook gecompromitteerd kan worden door ongepaste methodologie die kan leiden tot intrekking”.

En dit is toch wel het beste voorbeeld ooit van “ongepaste methodologie”.

Mijn advies is om onmiddellijk een “uitdrukking van bezorgdheid” te publiceren omtrent deze studie boordevol fouten, in overeenstemming met de COPE-richtlijnen.

Verder vraag ik u met aandrang om andere experts te raadplegen buiten de invloedssfeer van Bristol, en om hun raadslagen te volgen.

Ik ben er zeker van dat een onafhankelijke groep van experts tot exact dezelfde conclusie zal komen als de eminente groep die hierbij in CC staat: dit manuscript moet ingetrokken worden.

Met hoogachting,

Robert F. Garry, PhD

Robert F. Garry, PhD

Professor, Departement Microbiologie en Immunologie

Vicerector, Graduaatsprogramma Biomedische Wetenschappen

Programmabeheerder, Viral Hemorrhagic Fever Consortium

Directeur, Tulane Center of Excellence, Global Viral Network

Wetenschappelijk Hoofdadviseur en Mede-stichter, Zalgen Labs, LLC

Tulane University School of Medicine

New Orleans, LA 70118

**********

[van Philip Stark, Professor Statistiek aan UC Berkeley]

Geachte Dr. Godlee,

Ik hoop dat u terugkomt op uw beslissing.

Door deze paper te laten staan, doet u geen goed aan de wetenschap en de volksgezondheid – hoewel het wel een prachtig (negatief) voorbeeld is voor de lessen wetenschappelijke ethiek, want het illustreert hoe het ontwijken van goede statistische praktijken kan leiden tot foute conclusies.

Vriendelijke groeten,

Philip