David Tuller, DrPH, Virology Blog, 28 augustus 2019
Ik stuurde volgende brief naar Dr. Fiona Godlee, redactioneel directeur van BMJ, over het feit dat het schandalig is dat Archives of Disease in Childhood overgegaan is tot herpublicatie van de studie over het Lightning Process van Bristol University, zonder iets te veranderen aan de oorspronkelijke bevindingen. Gezien het feit dat het team van Bristol flagrante methodologische overtredingen beging, had het vakblad de paper moeten intrekken.
Maar dat is niet gebeurd is, en dus had Archives de onderzoekers ertoe moeten verplichten om de paper te herpubliceren met als uiteindelijke primaire uitkomst de initiële primaire uitkomst, nl. aanwezigheid op school op zes maanden, wat een nulresultaat gaf. Dr. Godlee was absoluut zeker op de hoogte van de kwestie, en zij is waarschijnlijk diegene die de handelingen van het vakblad heeft goedgekeurd. De gedocumenteerde feiten doen vermoeden dat BMJ ethisch gezien het noorden kwijt is en dat de redacteurs meer bekommerd zijn om mogelijke schade aan hun reputatie dan om de integriteit van de medische literatuur of de gezondheid en het welzijn van kinderen. Dat is wellicht waarom tientallen wetenschappers, artsen en andere experts van toonaangevende academische instellingen onmiddellijk hun handtekening onder deze brief hebben gezet.
**********
Geachte Dr. Godlee,
Wij schrijven u in verband met de correctie die vorige maand [1] toegevoegd werd aan de pediatrische studie over het Lightning Process, uitgevoerd door onderzoekers van de University of Bristol en in september 2017 gepubliceerd door Archives of Disease in Childhood. De studie verscheen onder volgende titel: “Klinische en kosteneffectiviteit van Lightning Process in aanvulling op gespecialiseerde medische zorg voor pediatrisch chronisch vermoeidheidssyndroom: gerandomiseerde gecontroleerde studie”. [2]
Zoals kort na publicatie gedocumenteerd werd op Virology Blog [3], rekruteerden de onderzoekers, voordat de studie geregistreerd was, meer dan de helft van de proefpersonen als onderdeel van een haalbaarheidsstudie, wisselden ze primaire en secundaire uitkomsten om nadat ze data verzameld hadden van deze eerste deelnemers, en vermeldden ze deze saillante details niet in de paper. Onlangs bracht Archives of Disease in Childhood een correctie en bijhorende noot van de redactie uit, en erkende daarmee dat de kritiek van Virology Blog gegrond is. Maar toch laat het vakblad toe dat de onderzoekers hun belangrijkste conclusie opnieuw bevestigen, nl. dat het Lightning Process “doeltreffend” zou zijn als behandeling voor een ziekte bij kinderen. Dit is onverdedigbaar.
Het Lightning Process is een commercieel programma dat een combinatie is van levenscoaching, neurolinguïstisch programmeren en positieve affirmaties. Deelnemers krijgen te horen dat ze hun ziekte kunnen overwinnen door hun gedachtenpatronen onder te controle te krijgen en te veranderen. Aanbieders van het Lightning Process beweren dat ze multiple sclerose, eetstoornissen en andere ernstige aandoeningen met succes kunnen behandelen. Aanbieders zijn op de vingers getikt door toezichthouders van de overheid voor het maken van misleidende reclame.
Naast de bedenkingen over het Lightning Process zelf, was de studie van Bristol een studie met open onderzoeksopzet die voortging op zelfgerapporteerde uitkomsten – een combinatie van ontwerpkenmerken die kunnen leiden tot een grote mate van vooringenomenheid. Door methodologische en ethische kernprincipes van wetenschappelijk onderzoek met voeten te treden, overtraden de onderzoekers ook BMJ’s eigen strikte beleid tegen publicatie van studies waarvoor deelnemers gerekruteerd werden vóór studieregistratie. Aangezien alle grote medische vakbladen het in 2005 eens werden over dit beleid, hadden ervaren onderzoekers, waaronder leden van het Bristolteam, dit maar al te goed moeten weten.
BMJ was een van de eersten die prospectieve registratie voor studies verplicht hebben gemaakt om in aanmerking te komen voor publicatie. In 2013 getuigde u voor het Comité voor Wetenschap en Technologie van het Britse Lagerhuis, en prees u BMJ omdat het met succes een nultolerantiebeleid had ingevoerd in verband met dat soort studies. “Voor zover wij weten, hebben we in de laatste twee jaar geen enkele studie gepubliceerd die niet prospectief werd geregistreerd”, stelde u toen – een uitspraak die u vandaag niet meer zou kunnen herhalen. [4] Een redactioneel artikel uit 2015 in The BMJ noemde het beleid omtrent prospectieve registratie “ons waardevolste instrument tegen vooringenomenheid bij wetenschappelijke studierapportering”. [5]
Gezien BMJ al jarenlang poneert dat prospectieve registratie noodzakelijk is om de integriteit van de medische literatuur te vrijwaren, begrijpen wij niet waarom u nu opeens bereid bent om de studie over het Lightning Process vrij te stellen van deze vereiste. De noot van de redactie die samen met de correctie gepost werd, verklaarde dat een gebrek aan prospectieve registratie geen reden was tot intrekking. [6] Er werd geen uitleg of staving gegeven voor deze bepaling, die niet verenigbaar lijkt te zijn met het nultolerantiebeleid waarvoor u pleitte in uw parlementaire getuigenis.
Zoals u wellicht weet, is prospectieve registratie onder andere belangrijk omdat het selectieve uitkomstrapportage vermijdt. En laat dat nu net zijn wat er gebeurd is bij de studie over het Lightning Process, waarin de onderzoekers primaire en secundaire uitkomsten halfweg omwisselden. In de gepubliceerde paper rapporteerden de onderzoekers positieve resultaten voor de gereviseerde primaire uitkomst van zelfgerapporteerd fysiek functioneren op zes maanden, die oorspronkelijk was opgegeven als secundaire uitkomst. Ze rapporteerden echter nulresultaten voor de oorspronkelijk primaire uitkomst van aanwezigheid op school op zes maanden, die uiteindelijk gedegradeerd werd tot secundaire uitkomst.
De wissel stelde de onderzoekers er dus toe in staat om positieve resultaten in plaats van nulresultaten te rapporteren voor hun officiële primaire uitkomst. Het zal niemand verbazen dat deze verandering een enorme impact had op hoe de informatie werd voorgesteld in Archives of Disease in Childhood en hoe ze geïnterpreteerd werd door de media. De positieve bevindingen voor de primaire uitkomst, die geselecteerd werd nadat meer dan de helft van de deelnemers al data had verschaft, kregen een prominente plaats in de gepubliceerde paper. Deze bevindingen werden breed uitgesmeerd in de media [7] en werden onlangs nog geciteerd in een systematische review, als bewijs dat de interventie “doeltreffend” zou zijn. [8] De nulresultaten voor de oorspronkelijke primaire uitkomst werden genegeerd.
De noot van de redactie legt uit dat het vakblad de kwestie over de uitkomstenwissel onderzocht heeft door “bevestiging te vragen bij de auteurs dat de wijziging van de primaire uitkomst niet beïnvloed werd door (positieve) bevindingen in de haalbaarheidsfase”. Dit is een verbijsterende uitspraak. We kunnen toch niet verwachten dat mensen, die onderhevig kunnen zijn aan vooringenomenheid, een onpartijdig en betrouwbaar oordeel vellen over of hun beslissing al dan niet beïnvloed is geweest door mogelijke vooringenomenheid. Een studieontwerp moet normaal gezien proberen om vooringenomenheid tot een minimum te beperken, net omdat mensen meestal blind zijn voor hun eigen vooringenomenheid. Het kan toch niet dat gerenommeerde wetenschap in toonaangevende vakbladen “bevestiging” moet gaan vragen bij onderzoekers over of ze al dan niet hebben kunnen weerstaan aan hun natuurlijke neiging om zich bij de selectie van primaire uitkomsten te laten leiden door hun eigen belangen.
In verband met die bevestiging van de onderzoekers uit Bristol, is het bovendien belangrijk om te onthouden dat ze in hun publieke versie van de feiten belangrijke informatie weglieten over studieregistratie en uitkomstverwisseling. Archives of Disease in Childhood had deze paper nooit gepubliceerd, als deze twee grote fouten niet waren gemaakt: 1) de onderzoekers gaven de redacteurs geen correct verslag van hoe de studie was uitgevoerd; en 2) de onaanvaardbare tekortkomingen van de paper werden door het vakblad niet opgemerkt of aangepakt, ondanks hun plicht om de paper te onderwerpen aan een gedegen proces van peerreview en redactioneel toezicht.
Archives of Disease in Childhood is dus overgegaan tot herpublicatie van positieve primaire resultaten, die ontstonden na uitkomstenverwisseling, in een studie die niet voldeed aan strikte vereisten die er net zijn gekomen om uitkomstenverwisseling en andere manieren van selectieve uitkomstenrapportering tegen te gaan. Op die manier geeft het vakblad de onderzoekers van Bristol een pluim voor hun gebrek aan oprechtheid en hun methodologische misstappen en doet het het tegenovergestelde van wat door BMJ en uzelf is gezegd over het cruciale belang van prospectieve registratie.
In dit geval is wat BMJ heeft gedaan, wetenschappelijk en ethisch onverdedigbaar. Het is ook mogelijk schadelijk voor de gezondheid en het welzijn van kinderen. Dank u voor uw snelle aandacht voor deze verontrustende kwestie.
Vriendelijke groet,
Dharam V. Ablashi, DVM, MS, Dip Bact
Wetenschappelijk Directeur
HHV-6 Foundation
Santa Barbara, Californië, VSA
ex-Senior Onderzoekers
National Cancer Institute
National Institutes of Health
Bethesda, Maryland, VSA
Michael Allen, PhD
Klinisch Psycholoog (op rust)
San Francisco, Californië, VSA
James N. BaraniVK, MD
Professor Geneeskunde
Georgetown University
Washington, DC, VSA
Lisa F. Barcellos, MPH, PhD
Professor Epidemiologie
School of Public Health
California Institute for Quantitative Biosciences
University of California, Berkeley
Berkeley, Californië, VSA
Lucinda Bateman, MD
Medisch Directeur
Bateman Horne Center
Salt Lake City, Utah, VSA
Alison C. Bested, MD, FRCPC
Klinisch Directeur
Institute for Neuro-Immune Medicine
Associate Professor
Nova Southeastern University
Fort Lauderdale, Florida, VSA
Charlotte Blease, PhD
Research Fellow met beurs van Fulbright en Marie Curie
Algemene Geneeskunde en Eerstelijnszorg
Beth Israel Deaconess Medical Center
Harvard Medical School
Boston, Massachusetts, VSA
Molly Brown, PhD
Assistent-Professor
Departement Psychologie
DePaul University
Chicago, Illinois, VSA
Robin Callender Smith, PhD
Professor Mediarecht
Centre for Commercial Law Studies
Queen Mary University of London
Advocaat en Rechter Informatierechten
London, Engeland, VK
Janet L Dafoe, PhD
Kinderpsycholoog in privé-praktijk
Palo Alto, Californië, VSA
Ronald W. Davis, PhD
Professor Biochemie en Genetica
Stanford University
Stanford, Californië, VSA
Simon Duffy, PhD, FRSA
Directeur
Centre for Welfare Reform
Sheffield, Engeland, VK
Jonathan C.W. Edwards, MD
Emeritus Hoogleraar Geneeskunde
University College London
London, Engeland, VK
Valerie Eliot Smith
Advocaat en Gastonderzoeker
Centre for Commercial Law Studies
Queen Mary University of London
London, Engeland, VK
Margaret C Fernald, PhD
Klinisch Kinderpsycholoog
Klinisch Medewerker Psychologie
University of Maine
Orono, Maine, VSA
Kenneth J. Friedman, PhD
Hoofddocent Fysiologie en Farmacologie (op rust)
New Jersey Medical School
University of Medicine and Dentistry of New Jersey
Newark, New Jersey, VSA
Robert F. Garry, PhD
Professor Microbiologie en Immunologie
Tulane University School of Medicine
New Orleans, Louisiana, VSA
Claudia Gillberg, PhD
Fellow, Centre for Welfare Reform
Sheffield, Engeland, VK
Senior Onderzoeksmedewerker
National Centre for Lifelong Learning
Jönköping University
Jönköping, Zweden
Rebecca Goldin, PhD
Professor Wiskunde
George Mason University
Fairfax, Virginia, VSA
Alan Gurwitt, MD
Psychiater in privé-praktijk (op rust)
Klinisch Hoofddocent
Yale Child Study Center (op rust)
New Haven, Connecticut, VSA
Klinisch Hoofddocent
University of Connecticut Dept Psychiatrie (op rust)
Storrs, Connecticut, VSA
Lector, Harvard Medical School (op rust)
Boston, Massachusetts, VSA
Geoffrey Hallmann, LLB, DipLegPrac, DipFinPrac
Specialist Invaliditeit en Compensatierecht (op rust)
Lismore, New South Wales, Australië
Brian M. Hughes, PhD, FPsSI
Professor Psychologie
National University of Ireland, Galway
Galway, Ierland
Leonard A. Jason, PhD
Professor Psychologie
DePaul University
Chicago, Illinois, VSA
Maureen Hanson, PhD
Liberty Hyde Bailey Professor
Departement Moleculaire Biologie en Genetica
Cornell University
Ithaca, New York, VSA
Keith Kahn-Harris, PhD
Docent Sociologie
Birkbeck, University of London
Londen, Engeland, VK
Jon D. Kaiser, M.D.
Klinische Faculteit
Departement Geneeskunde
University of Californië, San Francisco
San Francisco, Californië, VSA
Nancy Klimas MD
Directeur, Institute for Neuro-Immune Medicine
Nova Southeastern University
Directeur, Miami VA Medical Center GWI and CFS/ME Program
Miami, Florida, VSA
Eliana M. Lacerda, MD, MSc, PhD
Klinisch Assistent-Professor
International Centre for Evidence in Disability
Faculty of Infectious and Tropical Diseases
London School of Hygiene & Tropical Medicine
Londen, Engeland, VK
Bruce Levin, PhD
Professor Biostatistiek
Columbia University
New York, New York, VSA
Rogier Louwen, PhD
Assistent-Professor
Departement Medische Microbiologie en Infectieziekten
Erasmus MC
Rotterdam, Nederland
Steven Lubet, JD
Williams Memorial Professor Rechten
Northwestern University Pritzker School of Law
Chicago, Illinois, VSA
Marlon Maus, MD, DrPH, FACS
Directeur, DrPH-Programma
School of Public Health
University of California, Berkeley
Berkeley, Californië, VSA
Patrick E. McKnight, PhD
Professor Psychologie
George Mason University
Fairfax, Virginia, VSA
Heidi Nicholl, PhD
Algemeen Directeur
Emerge Australia
Melbourne, Victoria, Australië
Steve Olson, MD
Huisarts
Uitvoerend Directeur grote groepspraktijk en Regionaal Directeur artsen
Oakland, Californië, VSA
Elisa Oltra, PhD
Professor Moleculaire en Cellulaire Biologie
Catholic University of Valencia, Departement Geneeskunde
Valencia, Spanje
Vincent R. Racaniello, PhD
Professor Microbiologie en Immunologie
Columbia University
New York, New York, VSA
Arthur L. Reingold, MD
Professor Epidemiologie
University of California, Berkeley
Berkeley, Californië, VSA
Ola Didrik Saugstad, MD, PhD
Emeritus Professor
Afdeling Pediatrische en Adolescentengeneeskunde
University of Oslo
Oslo, Noorwegen
Adjunct-Professor Pediatrie
Feinberg School of Medicine
Northwestern University
Chicago, Illinois, VSA
David Scales MPhil, MD, PhD
Assistent-Professor Geneeskunde
Afdeling Ziekenhuisgeneeskunde
Weill Cornell Medicine
New York, New York, VSA
Michael Scott, PhD
Clinicus en Onderzoeker
Psychologische Therapie-eenheid
Liverpool, Engeland, VK
Philip B. Stark, PhD
Professor Statistiek
University of California, Berkeley
Berkeley, Californië, VSA
Eleanor Stein, MD, FRCP(C)
Psychiater in privé-praktijk
Assistent Klinisch Professor
University of Calgary
Calgary, Alberta, Canada
Leonie Sugarman, PhD
Emeritus Hoofddocent Toegepaste Psychologie
University of Cumbria
Carlisle, Engeland, VK
John Swartzberg, MD
Emeritus Klinisch Professor
School of Public Health
University of California, Berkeley
Berkeley, Californië, VSA
Ronald G. Tompkins, MD, ScD
Summer M Redstone Professor Chirurgie
Harvard Medical School
Boston, Massachusetts, VSA
Samuel Tucker, MD
Assistent Klinisch Professor Psychiatrie (op rust)
University of California, San Francisco
San Francisco, Californië, VSA
David Tuller, DrPH
Senior Fellow in Volksgezondheid en Journalistiek
Center for Global Public Health
University of California, Berkeley
Berkeley, Californië, VSA
Rosamund Vallings, MNZM, MBBS
Huisarts
Auckland, Nieuw-Zeeland
Linda van Campen, MD
Cardioloog
Stichting Cardiozorg
Hoofddorp, Nederland
Mark Vink, MD
Huisarts
Soerabaja Research Center
Amsterdam, Nederland
Frans Visser, MD
Cardioloog
Stichting Cardiozorg
Hoofddorp, Nederland
Tony Ward, MA (Hons), PhD, DipClinPsyc
Geregistreerd Klinisch Psycholoog
Professor Klinische Psychologie
School of Psychology
Victoria University of Wellington
Wellington, Nieuw-Zeeland
Adjunct Professor, School of Psychology
University of Birmingham
Birmingham, Engeland, VK
Adjunct Professor, School of Psychology
University of Kent
Canterbury, Engeland, VK
John Whiting, MD
Gespecialiseerd Arts in privé-praktijk
Brisbane, Queensland, Australië
Carolyn Wilshire, PhD
Senior Lector
School of Psychology
Victoria University of Wellington
Wellington, Nieuw-Zeeland
**********
[1] Crawley E, Gaunt D, Garfield K, et al. Nota ter correctie en verduidelijking: Clinical and cost-effectiveness of the Lightning Process in addition to specialist medical care for paediatric chronic fatigue syndrome: randomised controlled trial. Archives of Disease in Childhood; 2019. Geraadpleegd op: https://adc.bmj.com/content/early/2019/08/17/archdischild-2017-313375corr1
[2] Crawley E, Gaunt D, Garfield K, et al. Clinical and cost-effectiveness of the Lightning Process in addition to specialist medical care for paediatric chronic fatigue syndrome: randomised controlled trial. Archives of Disease in Childhood; 2018; 103:155-164
[3] Tuller D. Trial by Error: the SMILE trial’s undisclosed outcome-swapping. Virology Blog; 13 dec. 2017. Geraadpleegd op: http://www.virology.ws/2017/12/13/trial-by-error-the-smile-trials-undisclosed-outcomes/
[4] Clinical trials: Hearings before the Science and Technology Committee, House of Commons; March 13, 2003. (Getuigenis van Fiona Godlee) Geraadpleegd op: https://publications.parliament.VK/pa/cm201213/cmselect/cmsctech/uc1054-i/uc105401.htm
[5] Weber W, Merino J, Loder E. Editoriaal: trial registration 10 years on. BMJ; 2015; 351. Geraadpleegd op: https://www.bmj.com/content/351/bmj.h3572
[6] Brown N. Noot van de redactie over correctie aan Crawley et al. (2018). Archives of Disease in Childhood; 2019. Geraadpleegd op: https://adc.bmj.com/content/early/2019/08/17/archdischild-2017-313375ednote
[7] Bosely, S. Controversial Lightning Process ‘helps children with chronic fatigue syndrome.’ The Guardian; 20 sept. 2017. Geraadpleegd op: https://www.theguardian.com/society/2017/sep/20/controversial-lightning-process-helps-children-with-chronic-fatigue-syndrome-me
[8] Gregorowski A, Simpson J, Segal T. Child and adolescent chronic fatigue syndrome/myalgic encephalomyelitis; where are we now? Current Opinion in Pediatrics; 2019; 31: 462-46.
© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.
Trial By Error: Oproep tot intrekking van de LP-studie
David Tuller, DrPH, Virology Blog, 3 september 2019
Vorige week, toen ik een open brief stuurde naar Dr. Fiona Godlee tegen de onverdedigbare beslissing van Archives of Disease in Childhood om de oorspronkelijk gerapporteerde bevindingen uit de studie over het Lightning Process te herpubliceren, zette ik vele van de 55 ondertekenaars in CC. Intussen hebben drie van hen – Professor Ola Saugstad van de University of Oslo, Professor Racaniello van Columbia University (en beheerder van Virology Blog) en Professor Elisa Oltra* van Universidad Católica de Valencia San Vicente Martir – hun eigen krachtig commentaar gestuurd naar Dr. Godlee en de anderen die bij de oorspronkelijke brief in CC stonden.
Ze onderschrijven alle drie volmondig de zaak tegen de paper. Professor Saugstad en Professor Racaniello roepen expliciet op tot intrekking. Professor Oltra* vraagt zich af waarom een dergelijke studie überhaupt werd uitgevoerd, gezien de geringe hoeveelheid informatie die beschikbaar is over het Lightning Process, en ze noemt het gepubliceerde rapport “onhoudbaar”.
Ik herpost hun commentaren hieronder.
*Ik corrigeerde de spelling van Professor Oltras naam van “Ultra” op beide plaatsen, een paar uur nadat ik dit had gepost.
**********
Geachte Dr. Godlee,
Ik ondertekende onlangs de brief aan u omtrent de pediatrische studie over het Lightning Process, uitgevoerd door onderzoekers van de University of Bristol. De studie, gepubliceerd in Archives of Disease in childhood, had als titel: “Klinische en kosteneffectiviteit van Lightning Process in aanvulling op gespecialiseerde medische zorg voor pediatrisch chronisch vermoeidheidssyndroom: gerandomiseerde gecontroleerde studie”. [referentie]
Ik ben Professor Pediatrie aan University of Oslo en was, tot aan mijn pensioen vorig jaar, Directeur van Noorwegens grootste onderzoeksinstituut voor Pediatrie. Ik volg al meer dan 25 jaar van dichtbij het veld van ME/chronisch vermoeidheidssyndroom en heb in mijn land vele bedgebonden ME/cvs-patiënten bij hen thuis bezocht, omdat ze te ziek waren om naar het hospitaal te komen.
Naar mijn mening moet het bovengenoemde artikel ingetrokken worden. De gerapporteerde bevindingen kunnen leiden tot ernstige schade bij jonge ME-patiënten. Het verwondert me dat een studie die zo vele basisregels overtreden heeft, aanvaard werd voor publicatie, en dat het vakblad nu heeft beslist om ze opnieuw te publiceren.
Ik was en ben nog steeds redacteur en lid van verschillende redactionele raden voor internationale pediatrische/neonatale/perinatale vakbladen, waaronder: J Pediatrics, Pediatric Research, Acta Paediatrica, Neonatology, J Perinatal Medicine en J Perinatology. Ik weet hoe belangrijk het is om geen manuscripten te aanvaarden die gebaseerd zijn op een studie die al met patiëntenrekrutering begon voordat de studie zelf was geregistreerd. En het omwisselen van primaire en secundaire uitkomstmaten tijdens de studieperiode is uiteraard volstrekt onaanvaardbaar. De onderzoekers voerden het onderzoek uit op een manier waarvan iedereen weet dat het de kans op vooringenomenheid vergroot in plaats van verkleint. En vervolgens vermeldden ze in het artikel zelf niet wat ze in feite hadden gedaan.
Er kan nog veel meer gezegd worden over andere belangrijke zwakke punten van dit artikel. Naar mijn mening heeft deze publicatie veel schade berokkend aan kwetsbare ME-patiënten en toont het aan dat onderzoek van lage kwaliteit kwalijker kan zijn dan helemaal geen onderzoek. De studie herpubliceren, zelfs met de lange correctie, is een grove fout.
Met hoogachting,
Ola Didrik Saugstad, MD, PhD, FRCPE
Professor Pediatrie
Directeur (em) Departement Pediatrisch Onderzoek
Universitair Ziekenhuis Oslo
University of Oslo
Noorwegen
Referentie
Crawley E, Gaunt D, Garfield K, et al. Clinical and cost-effectiveness of the Lightning Process in addition to specialist medical care for paediatric chronic fatigue syndrome: randomised controlled trial. Archives of Disease in Childhood; 2018; 103:155-164
**********
Geachte Dr. Godlee,
Ik heb een brief ondertekend die op 27 augustus naar u werd verstuurd, over de pediatrische studie over het Lightning Process, met als titel “Klinische en kosteneffectiviteit van Lightning Process in aanvulling op gespecialiseerde medische zorg voor pediatrisch chronisch vermoeidheidssyndroom: gerandomiseerde gecontroleerde studie”.
Ik zie dat Dr. Ola Saugstad u persoonlijk heeft geschreven om zijn ontzetting te uiten over deze paper… en ik zou daar graag mijn stem aan toevoegen.
Naar mijn mening moet de publicatie van deze studie worden ingetrokken. Ze bevat een aantal overtredingen van regels die aan de basis liggen van klinische studievoering. Het baart me zorgen dat het toepassen van zulke bevindingen op jonge ME-patiënten zou kunnen leiden tot ernstige lichamelijke schade.
Ik ben Professor Microbiologie en Immunologie aan Columbia University en volg het ME/cvs-veld al van toen er werd gedacht dat het te maken had met een retrovirus (ik ben nl. viroloog). Sindsdien stel ik mijn virologieblog open voor David Tuller, die uitgebreid over dit thema heeft gepubliceerd.
Het belangrijkste probleem van deze studie is dat patiënten niet gerekruteerd mogen worden voordat de studie zelf geregistreerd is. Verder werden primaire en secundaire uitkomstmaten tijdens de studie omgewisseld. Nóg verbazingwekkender is, dat de auteurs in het artikel met geen woord repten over deze foute klinische praktijken. Die praktijken zijn absoluut onaanvaardbaar, en toch laat u toe dat de studie in de literatuur blijft staan.
Zoals u weet, hebben vele andere befaamde wetenschappers hun handtekening gezet onder de oorspronkelijke brief aan u. Ik ben er zeker van dat we nog honderden handtekeningen meer zouden kunnen verzamelen. Hoeveel handtekeningen zijn er nodig om u ervan te overtuigen dat het werk ingetrokken moet worden? Hoe veel langer wil u jonge patiënten nog risico laten lopen op schade? Ik kan er met mijn hoofd niet bij waarom u deze publicatie in de literatuur wil laten staan.
______________________________
Vincent Racaniello, Ph.D. | Higgins Professor
Departement Microbiologie en Immunologie
Columbia University, New York
**********
Geachte Dr. Godlee,
Ik ondertekende een brief die op 27 augustus naar u werd verstuurd, over de pediatrische studie over het Lightning Process, met als titel: “Klinische en kosteneffectiviteit van Lightning Process in aanvulling op gespecialiseerde medische zorg voor pediatrisch chronisch vermoeidheidssyndroom: gerandomiseerde gecontroleerde studie”.
Volgend op de e-mails van Dr Ola Didrik Saugstad, MD, PhD, FRCPE, Professor Pediatrie aan de University of Oslo en van Vincent Racaniello, Ph.D. aan het Departement Microbiologie en Immunologie, Columbia University, New York, wil ik graag enkele bedenkingen toevoegen aan de ernstige fouten die al werden aangeduid, en die uw rapport onhoudbaar maken:
- 1. Er worden in uw artikel geen referenties verschaft over de belangrijkste geëvalueerde interventie (Lightning Process of LP). De omschrijving van de interventie in het onderdeel Methodes is vaag. Een wetenschappelijk protocol moet voldoende details bevatten, zodat andere onderzoekers in staat zijn om het te reproduceren. Aan deze vereiste wordt in uw paper niet voldaan. Bovendien heb ik in Pubmed noch een nauwkeurige omschrijving, noch wetenschappelijk bewijs kunnen vinden over de doeltreffendheid van deze “mysterieuze” LP-methode, bij de behandeling van eender welk gezondheidsprobleem. Met mijn achtergrond als moleculair bioloog, kan ik activiteiten, uitgevoerd via “ongedefinieerde protocols”, moeilijk beschouwen als wetenschappelijk. Om die reden begrijp ik niet hoe BMJ tot publicatie overging van dit werk.
- Uitkomsten bevatten uitsluitend subjectieve instrumenten, wat beperkt bewijs verschaft, en bovendien lijkt een deelname van 30% aan vragenlijstinvulling op drie tijdspunten eerder laag voor een cohort die “in herstel” zou zijn, wat de validiteit van de resultaten in vraag stelt. Dit betekent dat 70% van de deelnemers de vragenlijsten op ten minste een van de drie geregistreerde tijdspunten niet heeft ingevuld.
- Wat kan de reden zijn voor het evalueren van de kosteneffectiviteit van een “ongedefinieerde methode” zonder bewezen wetenschappelijk effect voor eender welk gezondheidsprobleem? Kosteneffectiviteit voor wie of voor wat? Is dit wetenschap, of is dit een reclamecampagne voor een “mysterieus product”?
Ik zou graag antwoorden krijgen op al deze vragen, om te kunnen begrijpen waarom men kinderen met ME/cvs wil blootstellen aan bijkomende stress en hun familie aan valse hoop en bijkomende financiële kosten.
Hoogachtend,
Elisa Oltra, PhD
Professor Cellulaire Moleculaire Biologie
Universidad Católica de Valencia San Vicente Mártir
Valencia (Spanje)
© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.
Trial By Error: nog meer experts roepen Godlee op tot intrekking LP-studie
David Tuller, DrPH, Virology Blog, 9 september 2019
Vorige week postte ik drie commentaren [3/9/19] die verstuurd werden naar Dr. Fiona Godlee, redactioneel directeur van BMJ, waarin werd opgeroepen tot intrekking van de vooringenomen en in diskrediet geraakte [studie over het] Lightning Process. Professor Ola Saugstad van University of Oslo, Professor Vincent Racaniello van Columbia University en Professor Elisa Oltra van Universidad Católica de Valencia San Vicente Mártir waren drie van de 55 experts die Virology Blogs recente open brief aan Dr. Godlee (cf. supra) [28/8/19] hadden ondertekend. Die brief drukte bezorgdheid en ontzetting uit over het feit dat Archives of Disease in Childhood, het BMJ-vakblad dat de studie twee jaar geleden gepubliceerd had, de op Virology Blog gedocumenteerde methodologische overtredingen beaamde, maar toch overging tot herpublicatie van de oorspronkelijke, totaal gecompromitteerde bevindingen. Toen ik de brief naar Dr. Godlee stuurde, zette ik vele van de ondertekenaars in CC.
Nadat Professor Oltra haar bericht verstuurd had, kwamen er nog meer oproepen tot intrekking van de paper, van volgende experts: Dr Alan Gurwitt, een Yale-psychiater op rust, Dr. Marlon Maus* [kort na posten verbeterd, ik schreef Maos – sorry, Marlon!], een collega van de School of Public Health aan Berkeley, en Professor Jonathan Edwards van University College London. In zijn brief aan Dr. Godlee vermeldde Professor Edwards Cochranes gereviseerde tool over risico op bias [vooringenomenheid, n.v.d.r.], pas gepubliceerd door BMJ, en merkte een verontrustend detail op: de hoofdauteur van de revisie, Professor Jonathan Sterne van Bristol University, was ook de coauteur van de studie over het Lightning Process.
*****
Geachte Dr. Godlee,
Met dit bericht schaar ik me achter anderen die al contact met u opnamen omtrent de correctie en herpublicatie van de studie over het Lightning Process, oorspronkelijk gepubliceerd in september 2017 door Archives of Disease in Childhood. Dat artikel had als titel “Klinische en kosteneffectiviteit van Lightning Process in aanvulling op gespecialiseerde medische zorg voor pediatrisch chronisch vermoeidheidssyndroom: gerandomiseerde gecontroleerde studie”.
Ik ben het volkomen eens met de punten die worden aangehaald in Dr. Tullers brief, die tevens ondertekend werd door vele andere artsen en wetenschappers. Deze studie moet worden ingetrokken met het oog op de bescherming van kinderen. Het is uiterst ongepast dat u besliste om de studie met de oorspronkelijke bevindingen te herpubliceren.
Ik ben een psychiater op rust en een van de verschillende auteurs van “Diagnose en Omgaan Met Myalgische Encefalomyelitis/Chronisch Vermoeidheidssyndroom bij Jonge Mensen: een Primer”, gepubliceerd in Frontiers in Pediatrics (juni 2017). Tijdens het literatuurreviewproces voor die primer, reviewde ik wat er beschikbaar was over het Lightning Process. Ik kwam tot de conclusie dat deze behandeling absolute onzin is. Ze voorstellen als behandeling voor ME/cvs vloeit voort uit het misplaatste idee dat men heeft in Groot-Brittannië dat de ziekte een psychologische in plaats van een pathofysiologische onderliggende oorzaak heeft.
Alan Gurwitt, MD
Psychiater in privépraktijk (op rust)
Klinisch Hoogleraar (op rust)
Yale Child Study Center
Yale School of Medicine
New Haven, Connecticut, VSA
**********
Geachte Dr. Godlee,
Als oftalmoloog en Professor volksgezondheid wil ik graag mijn stem toevoegen aan die van anderen, in verband met de kwalijke studie ““Klinische en kosteneffectiviteit van Lightning Process in aanvulling op gespecialiseerde medische zorg voor pediatrisch chronisch vermoeidheidssyndroom: een gerandomiseerde, gecontroleerde studie”. Na evaluatie van de achtergrond van de studie en haar conclusies, ben ik het volledig eens met de interpretatie van Dr. Tuller en anderen. De medische wereld staat bol van voorbeelden van patiënten die een psychiatrisch label krijgen, terwijl latere studies en onderzoek in feite bewijzen dat ze lijden aan een lichamelijke ziekte. Ik geloof dat dit ook hier het geval zal zijn en we moeten het voorzichtigheidsprincipe bezigen, dus ik stel voor dat u overweegt om de studie in te trekken tot verder bewijs wordt verworven.
Hoogachtend,
Marlon Maus, MD, DrPH, FACS
Professor, School of Public Health, UC Berkeley
*****
Geachte Fiona,
In zag onlangs dat BMJ een verslag heeft gepubliceerd over de voltooiing van de nieuwe tool voor Risico op Bias 2 (RoB2*), gebruikt in het kader van het GRADE -systeem dat wordt gebruikt door Cochrane en NICE bij het evalueren van de kwaliteit van klinisch bewijs [*binnenkort publiceren we nog een blog van Tuller over dit thema, n.v.d.r.]. Het document richt zich op het minder stringent maken van de RoB-evaluatie, vooral voor ongeblindeerde studies.
Mijn onmiddellijke reactie hierop was, dat dit een stap achteruit is, aangezien ongeblindeerde studies steeds vaker als geloofwaardiger worden voorgesteld dan ze zijn. Na mijn onmiddellijke reactie volgde een ernstige bedenking, toen ik zag dat de corresponderende auteur, Jonathan Sterne van Bristol, ook auteur is van de paper die rapporteert over de SMILE-studie over het Lightning Process, wat vroeger al eens het onderwerp was van onze correspondentie, en vandaag opnieuw.
Het RoB2-document stelt voor om bias in wetenschappelijke proeven soepeler te benaderen. In dat kader herbekijkt het de invloed van het wijzigen van uitkomstmaten na studie-aanvang maar vóór data-analyse, en verwijst het ook naar problemen met bias door overtuigingen van de patiënt of van het team dat de behandeling uitvoert, bij gebruik van subjectieve uitkomstmaten. Het zal niet aan uw aandacht ontsnapt zijn dat enkele van de vele fouten in de SMILE-studie gaan over uitkomstenverwisseling toen de studie al halfweg was, en over het ernstige risico op verwachtingsbias in verband met subjectieve uitkomstmaten.
Dus schrijf ik u nog maar eens een bericht, om hetzelfde te vragen als David Tuller en intussen al vijftig of meer andere collega’s, nl. dat u de problemen van de SMILE-studie alstublieft ernstig zou willen nemen. Ik geloof dat ik er voordien al op had aangestuurd dat intrekking van de studie of het duidelijk aanduiden van de fouten in de studie noodzakelijk was. Als ik het gereviseerde manuscript bekijk, denk ik niet dat de revisie beschouwd kan worden als een adequate oplossing voor het probleem, aangezien de misplaatste conclusie blijft staan.
Deze kwestie begint surrealistische proporties aan te nemen. Het lijkt wel of de SMILE-studie tot doel had om aan te tonen dat evaluatie via het GRADE- en RoB-systeem ongestraft omzeild kan worden.
Het GRADE-systeem vertrekt vanuit de veronderstelling dat een gerandomiseerde studie hoogkwalitatief bewijs verschaft, tenzij ze lijdt aan één of meerdere gebreken, waaronder bias. Die veronderstelling kan niet hardgemaakt worden. Neem bijvoorbeeld een studie waarbij patiënten ingedeeld worden in twee groepen: één die aangeleerd krijgt dat je enkel beter wordt als je denkt en zegt dat je je beter voelt, of dat nu klopt of niet, en een andere groep waarin je de opdracht krijgt om te zeggen hoe je je écht voelen, en dat men dan als uitkomst gaat nemen wat de patiënten zeggen over hoe ze zich voelen. Je zou kunnen denken dat zo’n studie absurd is, en dat niemand ooit op zo’n idee zou komen. En toch is dit min of meer waar de SMILE-studie op neer komt. Dat is toch ongeveer hoe de patiënten hun ervaring beschreven hebben. Anderzijds, zoals Dr. Oltra aanduidt, krijgen we niet te horen wat er écht gebeurd is, en het ziet ernaar uit dat RoB2 het risico op bias niet hoog inschat als we niet weten wat er precies gebeurd is!
RoB2 vermeldt wel de mogelijkheid dat er bias zou kunnen ontstaan door de overtuigingen van patiënten of therapeuten, maar als voorbeeld geeft het nogal extreme gevallen, bv. een kinesist/fysiotherapeut die het voordeel van haar eigen behandeling moet evalueren, of een patiënt die gelooft in homeopathie. Niemand lijkt zich bewust te zijn van het feit dat verwachtingsbias als gevolg van overtuigingen over de waarde van eender welke behandeling alomtegenwoordig is in studies (en in eender welk wetenschappelijk experiment, waaronder labowerk) en dat dit de belangrijkste reden is waarom we de test- en controlegroepen blinderen. Bij ME/cvs hebben we drastische reacties gezien door verwachtingsbias bij conventionele geneesmiddelen zonder therapeutisch effect, waaronder rituximab en antivirale middelen. De RoB2-analyse is ofwel erg naïef, ofwel bedrieglijk.
Zoals we maar al te goed weten, was het opzet van de SMILE-studie allesbehalve goed: ze startte als “haalbaarheidsstudie”, met een groot aantal gerekruteerde patiënten, en werd vervolgens geregistreerd als een “formele studie”, nadat uitkomsten omgewisseld werden toen er al weet was van de resultaten van ongeveer 50 patiënten. Misschien valt dit volgens Dr. Sterne onder de toegelaten handelingen vóór data-analyse, maar in feite is het een klassiek geval van cherry-picking.
“Haalbaarheidsstudies” en “pragmatische studies” lijken steeds populairder te worden. Voor zover ik dit kan inschatten, zijn dit technieken die ontworpen werden om de indruk te scheppen dat studies zo geconstrueerd zijn dat het verzamelde bewijs betrouwbaar is, terwijl dat bijna zeker niet het geval is. Ik krijg heel erg de indruk dat “methodologische experts” die verbonden zijn aan klinische studie-eenheden en andere aanverwante departementen, mogelijk een belangenconflict hebben in de vorm van co-auteurschap bij publicaties over wetenschappelijke proeven van lage kwaliteit.
Ik heb lange tijd gedacht dat de problemen met laagkwalitatieve studies over ME/cvs een randfenomeen waren binnen de academische geneeskunde. Intussen hebben ik heel erg het gevoel dat ze misschien wel eens een symptoom zouden kunnen zijn van een algemeen aftakelingsproces van de kwaliteit van de klinische wetenschap in het VK. Het lijkt erop dat we steeds meer evolueren in de richting van aanvaarding van methodologie waarvan we al decennialang weten dat ze leidt tot zinloze resultaten. Ik krijg de indruk dat instellingen zoals Cochrane en The BMJ in een situatie terecht zijn gekomen waarin ze al slaapwandelend een goedkeuringsstempel geven aan compleet waardeloze commerciële ondernemingen. Binnen deze bredere context kan ik enkel benadrukken dat ik het eens ben met iedereen die bij dit bericht in CC staat, nl. dat de paper over de SMILE-studie ingetrokken moet worden en dat er zo snel mogelijk een volledig onafhankelijke doorlichting moet komen.
Met hoogachting,
Jonathan Edwards
© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.
Trial By Error: Dr. Godlee krijgt weer keiharde brieven van experts
David Tuller, DrPH, Virology Blog, 11 september 2019
Er blijven brieven van topexperts binnensijpelen bij Dr. Fiona Godlee, over het feit dat BMJ overging tot herpublicatie van Professor Esther Crawleys studie over het Lightning Process. De brieven hekelen BMJ’s handelen in deze kwestie en roepen Dr. Godlee op om dringend over te gaan tot intrekking van de rotzooi die beter bekend is onder de titel “Klinische en kosteneffectiviteit van Lightning Process in aanvulling op gespecialiseerde medische zorg voor pediatrisch chronisch vermoeidheidssyndroom: gerandomiseerde gecontroleerde studie”.
Ik heb eerder al zes brieven gepubliceerd, hier [3/9/19] en hier [9/9/19]. Hieronder staan er nog eens vijf. Ze werden rechtstreeks naar Dr. Godlee ge-e-maild, en in CC stonden velen van de 55 wetenschappers, artsen en andere experts die hun handtekening hadden gezet onder Virology Blogs meest recente open brief over de kwestie. De laatste briefschrijvers zijn: Dr. Steve Olsen van Kaiser Permanente, afdeling Noordelijk Californië; Professor Alison Bested van Nova Southeastern University in Florida; Professor Rebecca Goldin van George Mason University in Virginia; Professor Ronald Tompkins van Harvard Medical School, en Professor Brian Hughes van National University of Ireland, Galway.
De studie over het Lightning Process werd online gepubliceerd in september 2017 door Archives of Disease in Childhood, een BMJ-vakblad. Nadat iemand van het forum Science for ME me op de kwestie attent had gemaakt via een aantal eerste bedenkingen omtrent de chronologie van de studie, documenteerde ik in december 2017 dat Professor Crawley en haar collega’s meer dan de helft van de deelnemers al gerekruteerd hadden voordat de studie geregistreerd werd, de uitkomstmaten omgewisseld hadden nadat ze die eerste data hadden verzameld, en deze saillante details niet vermeld hadden in de gepubliceerde paper.
In plaats van de paper in te trekken, herpubliceerde Archives of Disease in Childhood onlangs de oorspronkelijke resultaten, samen met een ellenlange correctie/verduidelijking en een noot van de redactie waarin belachelijke uitvluchten werden verzonnen voor het niet intrekken van de paper. Uiteraard was ik niet de enige die het verontrustend vond dat BMJ zijn redactionele verantwoordelijkheid op zo’n flagrante manier ontliep. Topexperts waren meteen bereid om de open brief aan Dr. Godlee te ondertekenen. Intussen sporen velen van hen haar ook in eigen naam aan om het juiste te doen, vaak in niet mis te verstane bewoordingen.
Zal Dr. Godlee naar hen luisteren?
*****
Geachte Dr. Godlee,
Ook ik zette mijn handtekening onder de brief van 27 augustus over het feit dat BMJ’s studie over het Lightning Process niet thuishoort in de medische literatuur.
Ik ben dertig jaar lang huisarts geweest, en ik ben uitvoerend geneesheer van een van de grootste geïntegreerde medische groepen van de Verenigde Staten, en gecertificeerd in medische informatica.
Gelooft u echt dat het Lightning Process gevalideerd is als doeltreffende behandeling voor een ernstige multisysteemziekte? Als u dit niet gelooft, dan moet de studie ingetrokken worden, om schade te voorkomen.
Als u gelooft dat LP wel gevalideerd is als doeltreffende behandeling en/of als het artikel niet wordt verwijderd, dan verliest BMJ al zijn geloofwaardigheid in de ogen van een steeds groter wordend aantal artsen. Studies die vanaf nu door u gepubliceerd worden, hoe waardevol en verdienstelijk ze ook zijn, zullen niet meer serieus worden genomen, enkel en alleen door hun associatie met BMJ.
Laat u mij ten slotte alstublieft even weten of u bereid zou zijn om een artikel te publiceren als ik Lightning Process zou vervangen door voodoo, als enige wijziging in methodologie.
Steve Olson, MD
Huisarts
Permanente Medical Group – Regionaal Directeur
Kaiser Permanente
Oakland, CA
*****
Geachte Dr. Goldee [sic],
Zoals vele andere dokters en wetenschappers, ondertekende ik een verzoek aan BMJ tot intrekking van het artikel “Klinische en kosteneffectiviteit van Lightning Process…”. Ik schrijf u om opnieuw mijn grote bezorgdheid te uiten over BMJ’s publicatiepraktijken en over de gevolgen van het artikel.
Als wiskundige en Directeur van STATS (een non-profit die zich bezighoudt met nauwkeurige rapportage van statistische aspecten van medisch onderzoek), nam ik het artikel onder de loep om in te schatten hoe het zou overkomen op het publiek. Wat journalisten en ouders vooral willen weten, is of de resultaten “waar zijn” en of de methodes “correct zijn”. Een bescheiden poging tot ontwarring van de onderzoeksmethodes, bracht de vernietigende zwakheden van het artikel aan het licht.
Het experimentele ontwerp van deze studie lijkt een schoolvoorbeeld van waarom het publiek wetenschappers niet zomaar mag vertrouwen. Na de feiten beslissingen nemen over uitkomstmaten (zoals het omwisselen van primaire en secundaire uitkomsten), en expliciet verboden wetenschappelijke praktijken nastreven (zoals deelnemers rekruteren vóór studieregistratie, via een haalbaarheidsstudie) maken de kans op vals positieve resultaten veel groter; en als dat soort wijzigingen wetenschappelijk en commercieel gemotiveerd zijn, gaat alle geloofwaardigheid verloren.
Eerlijk gezegd verbaast het mij dat BMJ blijkbaar bereid is om zijn reputatie op het spel te zetten ter verdediging van een studie die op buitenstaanders overkomt als een commerciële façade. Dat het stuk een “gerandomiseerde gecontroleerde studie” genoemd wordt, is misleidend, aangezien de deelnemers niet willekeurig werden gekozen. Suggereren dat er een klinisch voordeel aan verbonden is, terwijl de data, zoals we weten, zo vlotjes gemanipuleerd werden, impliceert dat wetenschappelijke kennismakelaars niet meer in staat zijn om slechte wetenschap met commercieel motief uit de wetenschappelijke mainstream te houden. Suggereren dat de methode “kosteneffectief” is, terwijl de paper reclame maakt voor de dubieuze “bewezen” methodes van het bedrijf, doet ons vermoeden dat de BMJ andere drijfveren heeft dan de gezondheid van kinderen. Publieke argwaan tegenover wetenschap komt voort uit oneerlijk verkregen “resultaten” die institutioneel bekrachtigd worden, bijvoorbeeld door publicatie in BMJ.
Jammer genoeg voor kinderen die lijden aan ME/cvs, heeft BMJ nog steeds een grote invloed op behandelingsprotocols. U hebt nu persoonlijk de kans om een lans te breken voor kwalitatieve wetenschap, en ook BMJ zou die kans moeten grijpen. Trek de paper in op basis van BMJ-beleidslijnen, op basis van het feit dat de auteurs van de studie foute informatie verschaften, en op basis van data waarvan de kwaliteit niet geëvalueerd kan worden omwille van de verzamelingsmethodes. Door de paper in te trekken, zou u laten zien dat de wetenschap beter kan, en daar is niks mis mee, gezien de aan het licht gekomen datamanipulatie. De schade die echter berokkend wordt door het publiceren van wat in wezen in elkaar geflanste resultaten zijn, zal een blijvende impact hebben op zowel kinderen die nood hebben aan wetenschap van goede kwaliteit, als op BMJ’s reputatie en het publieke vertrouwen in de medische wetenschap.
Rebecca Goldin, Ph.D.
Professor, Wiskundige Wetenschappen
George Mason University
Directeur, STATS
Sense About Science
*****
Geachte Dr. Godlee,
Ik zou u willen oproepen tot intrekking van het BMJ-artikel over het Lightning Process, op basis van het feit dat men gebruik maakte van onjuiste methodologie om deze klinische studie uit te voeren.
Ik zou u tevens willen oproepen tot intrekking van dit artikel op basis van mijn ervaring als specialist – ik behandel al zesentwintig jaar patiënten met Myalgische Encefalomyelitis/chronisch vermoeidheidssyndroom (ME/cvs).
Een van mijn patiënten onderging dit “Lightning Process” in de hoop dat ze zou “genezen” van haar ME/cvs. In plaats daarvan had ze een ernstige terugval van haar ME-symptomen en was ze maandenlang bedlegerig.
Dit programma bracht deze patiënte erg veel schade toe. Het gaf haar valse hoop en veroorzaakte een ernstige terugval van haar symptomen gedurende vele maanden.
Ik heb het artikel bekeken en heb onmiddellijk aan al mijn patiënten laten weten dat ze deze schadelijke behandeling in geen geval mogen aanvatten.
ME/cvs-patiënten verdienen beter dan dit vanwege de medische sector. Wij zijn hier als artsen om patiënten te genezen en om ons “verre te houden van iedere welbewuste slechte daad”. Eed van Hippocrates
ME/cvs is een lichamelijke ziekte. De spieren en mitochondriën werken bij hen niet naar behoren. Als gevolg hebben deze patiënten postexertionele malaise. Geen enkele mate van positief denken zal iets veranderen aan deze fundamentele pathofysiologie van ME/cvs. Rapport Institute of Medicine, 2015. https://www.ncbi.nlm.nih.gov/books/NBK284902/#sec_073
De BMJ kan deze situatie corrigeren door over te gaan tot intrekking van dit onderzoeksartikel, waarvan de basisveronderstelling schadelijk is voor patiënten met ME/cvs.
Mijn dank voor uw aandacht.
Hoogachtend,
Alison
Alison C. Bested MD FRCPC
Diplomaat, American Board of Integrative Medicine
Voorzitter, Integratieve Geneeskunde
Directeur, Studenten Onderzoeksontwikkeling
Klinisch Directeur, Institute for Neuro-Immune Medicine
Hoofddocent
Dr. Kiran C. Patel College of Osteopathic Medicine
Center for Collaborative Research
Institute for Neuro-Immune Medicine
Nova Southeastern University
Davie, FL 33314
*****
Geachte Dr. Godlee,
Ik vind dit een schokkende situatie. Als dokter met 40 jaar dienst en als wetenschapper vind ik dat dit artikel ingetrokken moet worden.
Ron
Ronald G. Tompkins, M.D., Sc.D.
Professor Chirurgie via Sumner Redstone
Harvard Medical School
Directeur en Stichter, Center for Surgery, Innovation & Bioengineering
Massachusetts General Hospital
Boston, MA 02114
*****
Geachte Dr. Godlee,
Ten eerste wil ik u bedanken voor uw werk als hoofdredacteur van de BMJ. Ik bedoel dat in geen geval als karig lof. Hoewel mijn collega’s en ik onze bedenkingen hebben geuit, vind ik het belangrijk om uit te spreken dat de redactie van een vakblad voeren niet altijd een eenvoudige taak is. Redacteurs spelen een cruciale rol in de productielijn van de wetenschap en uw eigen bijdrage en die van uw redactionele collega’s mogen wel eens vermeld worden.
Anderzijds voel ik me verplicht om mijn stem toe te voegen aan anderen die u hebben geschreven over de paper “Klinische en kosteneffectiviteit van Lightning Process in aanvulling op gespecialiseerde medische zorg voor pediatrisch chronisch vermoeidheidssyndroom: gerandomiseerde gecontroleerde studie” en, in het bijzonder, over de bijhorende correctie die werd gepubliceerd.
U kent zeker de details van onze bedenkingen, zoals uitgelegd in vorige e-mails.
Ikzelf ben al bijna twintig jaar lang bezig met onderzoek over de problemen omtrent controversiële therapieën en menselijke factoren (d.w.z. foutenrisico’s). U weet zeker wel dat verwachtingseffecten en bevestigingsbias erg problematisch zijn in onderzoek naar klinische therapieën in het algemeen. En als het dan gaat om therapieën die op zich al controversieel zijn, wordt de chaos compleet.
Het zogenaamde “Lightning Process” is ongetwijfeld een dergelijke soort therapie. Het bestaat in feite uit een aantal modaliteiten die normaal gezien onder de pseudowetenschappen vallen. Het is grotendeels gebaseerd op zogenaamd Neurolinguïstisch Programmeren (NLP), dat volledig in diskrediet is gekomen. De uitvinder van het “Lightning Process” is een voorstander en verstrekker van verschillende pseudowetenschappelijke therapieën (bv. craniale osteopathie, toegepaste kinesiologie, hypnotherapie). Alles samen is er niets dat erop wijst dat het “Lightning Process” een veelbelovende klinische modaliteit zou kunnen zijn. Het is wetenschappelijk niet plausibel – het bestaat omdat commercieel ingestelde verstrekkers van pseudowetenschappelijke behandelingen er met succes een markt voor hebben geschapen. Vanuit dat oogpunt zit het in hetzelfde marktsegment als bijvoorbeeld kristaltherapie.
Het is niet mijn bedoeling om pejoratief te klinken door het zo te omschrijven. Ik wil enkel en alleen aantonen dat eender welke hypothese over de doeltreffendheid van het “Lightning Process” voor eender welke aandoening een “buitengewone bewering” is. Buitengewone beweringen moeten natuurlijk getest worden. Er zouden bijvoorbeeld ook studies uitgevoerd moeten worden over kristaltherapie. Maar u begrijpt toch zeker wel dat er, in de wetenschap, “voor buitengewone beweringen, buitengewoon bewijs nodig is”. Onderzoek dat de doeltreffendheid van “Lightning Process” wil vaststellen, moet met wel erg overtuigend bewijs komen. De beweringen die worden gemaakt, staan haaks op ons algemeen begrip van de menselijke biologie. Als het “Lightning Process” écht zou blijken te werken, dan zouden we onze handboeken fysiologie en neurologie moeten herschrijven.
Voor zo ver ik kan zien, is het bewijs in deze bepaalde paper allesbehalve buitengewoon. De studie omzeilde zelfs de basisvereisten voor prospectieve registratie, zoals u zelf in uw gepubliceerde correctie vermeldt. Dit doet onmiddellijk alarmbellen rinkelen over vooringenomenheid bij de rapportering. Het bewijs dat te lezen staat in de paper is niet betrouwbaar, want de auteurs konden selectief rapporteren, zonder hun intenties vooraf te registreren.
Kortom: bevestigingsbias werd niet vermeden. Het was absoluut niet voldoende dat u vroeg aan de auteurs of ze al dan niet vooringenomen waren.
De data die verzameld werden via deze procedurele en methodologische fouten, komen in geen geval in aanmerking als “buitengewoon bewijs”.
Voor zo ver ik het begrijp, zou deze paper nooit gepubliceerd zijn geweest als u op de hoogte was geweest van de onregelmatigheden, op het moment van de eerste review. Daarom mag hij niet opnieuw gepubliceerd worden. Daarom moet hij ingetrokken worden.
Het niet intrekken van deze paper zal leiden tot een ernstig probleem, want als deze paper overeind blijft, dan zal het andere onderzoekers zeker aansporen om het niet zo nauw te nemen met prospectieve registratie, wetende dat BMJ-vakbladen hun bevindingen sowieso zullen publiceren. De paper zal bekend komen te staan als voorbeeld van halfslachtig redactioneel engagement tegenover wetenschappelijke striktheid.
Vriendelijke groeten,
Professor Brian Hughes, PhD, FPsSI
School of Psychology
National University of Ireland, Galway
© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.
Trial By Error: nieuwe lading brieven aan Dr. Godlee over BMJ’s flaters i.v.m. LP-studie
David Tuller, DrPH, Virology blog, 16 september 2019
Ik heb hier [3/9/19], hier [9/9/19] en hier [11/9/19] een lading brieven gepost over de studie over het Lightning Process die verstuurd werden naar Dr. Fiona Godlee, redactioneel directeur van BMJ. Ik ben onder de indruk van hoe direct deze wetenschappers en artsen hun ontzetting uiten over het feit dat BMJ zijn eigen redactionele normen niet naleeft. Ik heb de indruk dat sommige van de briefschrijvers hun inspiratie halen uit eerdere berichten aan Dr. Godlee.
In elk geval zijn er hier nog drie meer: van Steven Lubet, professor rechten aan Northwestern University in Chicago, van Robert Garry, een professor microbiologie aan Tulane University in New Orleans, en van Philip Stark, een professor statistiek aan UC Berkeley. Bedankt aan hen allen voor hun steun. Dat brengt het totaal tot hiertoe op 14 brieven.
**********
Geachte Dr. Godlee,
Ik ben rechtsethicus, geen dokter of wetenschapper, dus ik ga me niet uitspreken over de verschillende methodologische en andere problemen die zijn vastgesteld in “Klinische en kosteneffectiviteit van het Lightning Process…”. Ik wil echter wél graag commentaar geven op één aspect van de “correctie” die onlangs werd gepubliceerd in Archives of Disease in Childhood en die genoegen nam met “bevestiging van de auteurs dat de wijziging van de primaire uitkomst niet beïnvloed werd door (positieve) bevindingen in de haalbaarheidsfase”. Ik bestudeer en evalueer al decennialang belangenconflicten in zowel academische en professionele omstandigheden, en ik vind het uiterst zorgwekkend dat een gerespecteerd academisch vakblad erkende wetenschappelijke onregelmatigheden buiten beschouwing laat op basis van zo’n overduidelijk door eigenbelang ingegeven conclusie vanwege de onderzoekers zelf.
Ik ga er geen doekjes om winden: richtlijnen omtrent belangenconflicten bestaan net omdát men er onmogelijk op kan vertrouwen dat de personen in kwestie een objectieve visie hebben op hun eigen beslissingen. In dit geval hebben de auteurs van het “Lighting Process” er zeer zeker belang bij dat intrekking van hun artikel wordt vermeden, waarvan ze pas nu toegeven dat het “niet volledig voldeed aan ICMJE*”. [*verwijst naar ethische richtlijnen voor biomedische vakbladen, n.v.d.r.] Dus hoe eerlijk of oneerlijk ze ook zijn in de verdediging van hun werk, het is niet aan hen om te bepalen of ze hun primaire uitkomst al dan niet hebben gewijzigd onder invloed van hun vroegste positieve bevindingen.
In wettelijke en juridische ethiek wordt als diskwalificatienorm de vraag gesteld of “er redenen zijn om iemands onpartijdigheid in vraag te stellen”. Ik zou hier vriendelijk willen suggereren dat BMJ’s Archives of Disease in Childhood de lat echt niet lager mag leggen dan dat.
In dit geval kunnen de auteurs van het artikel over het “Lightning Process” onmogelijk onpartijdig zijn omtrent de geldigheid van hun eigen studie, en al zeker niet omtrent de vraag of hun uitkomstwissel, al dan niet bewust, beïnvloed werd door de bevindingen die ze al hadden, voorafgaand aan registratie. Volgens de laagste standaardprincipes voor belangenconflicten mag de beslissing om over te gaan tot correctie in plaats van tot intrekking op geen enkele manier gebaseerd zijn op bevestigingen van de auteurs na de feiten.
Hoogachtend,
Steven Lubet
Williams Memorial Professor
Northwestern University Pritzker School of Law
Chicago IL 60611
**********
Geachte Dr. Godlee,
Ik schrijf u om u met aandrang te vragen om uw beslissing te herzien omtrent het herpubliceren van de pediatrische studie over het Lightning Process, uitgevoerd door onderzoekers van University of Bristol en gepubliceerd in Archives of Disease in Childhood.
Ik spreek vanuit mijn eigen standpunt als viroloog met een langlopende interesse in chronische ziektes zoals het chronisch vermoeidheidssyndroom. Ook al ben ik geen arts, ik heb vele mensen ontmoet met deze aandoeningen, en heb ten minst één familielid dat erdoor getroffen is. Chronisch vermoeidheidssyndroom is geen toestand van geestelijke verwarring die gecorrigeerd kan worden via de pseudowetenschappelijke bezweringen van het Lightning Process.
Ik weet zeker dat u op de hoogte bent van het feit dat het International Committee of Medical Journal editors duidelijk poneert dat “de integriteit van onderzoek ook gecompromitteerd kan worden door ongepaste methodologie die kan leiden tot intrekking”.
En dit is toch wel het beste voorbeeld ooit van “ongepaste methodologie”.
Mijn advies is om onmiddellijk een “uitdrukking van bezorgdheid” te publiceren omtrent deze studie boordevol fouten, in overeenstemming met de COPE-richtlijnen.
Verder vraag ik u met aandrang om andere experts te raadplegen buiten de invloedssfeer van Bristol, en om hun raadslagen te volgen.
Ik ben er zeker van dat een onafhankelijke groep van experts tot exact dezelfde conclusie zal komen als de eminente groep die hierbij in CC staat: dit manuscript moet ingetrokken worden.
Met hoogachting,
Robert F. Garry, PhD
Robert F. Garry, PhD
Professor, Departement Microbiologie en Immunologie
Vicerector, Graduaatsprogramma Biomedische Wetenschappen
Programmabeheerder, Viral Hemorrhagic Fever Consortium
Directeur, Tulane Center of Excellence, Global Viral Network
Wetenschappelijk Hoofdadviseur en Mede-stichter, Zalgen Labs, LLC
Tulane University School of Medicine
New Orleans, LA 70118
**********
[van Philip Stark, Professor Statistiek aan UC Berkeley]
Geachte Dr. Godlee,
Ik hoop dat u terugkomt op uw beslissing.
Door deze paper te laten staan, doet u geen goed aan de wetenschap en de volksgezondheid – hoewel het wel een prachtig (negatief) voorbeeld is voor de lessen wetenschappelijke ethiek, want het illustreert hoe het ontwijken van goede statistische praktijken kan leiden tot foute conclusies.
Vriendelijke groeten,
Philip
© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.
Lees ook
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (1)
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (2)
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (3)
- Onderzoekers van de PACE-studie antwoorden David Tuller
- David Tuller reageert op de PACE-onderzoekers
- Petitie : Misleidende claims van PACE-studie moeten teruggetrokken worden
- Trial by error, vervolgd: heeft de PACE-studie echt een “strikt criterium” voor herstel toegepast?
- Trial by error, vervolg: Waarom is het “zusteronderzoek” van de PACE-studie “verdwenen” en vergeten?
- Overheid beveelt vrijgave van de gegevens van de PACE-studie
- Proffen schrijven open brief aan The Lancet en vragen herevaluatie van PACE-resultaten
- Open brief van Invest in ME over de PACE-studie aan de redacteur van The Lancet
- Trial by error, vervolgd: Het werk van het PACE-team voor verzekeringsmaatschappijen “houdt geen verband” met PACE. Echt waar?
- In het kielzog van het onderzoek van David Tuller, publiceren de PACE-onderzoekers een follow-upstudie
- ME Association: We betwisten het follow-uprapport van de PACE-studie
- Professor Jonathan Edwards: PACE-studie is “waardeloos”
- Oninterpreteerbaar: Fatale fouten in het PACE follow-uponderzoek van het chronisch vermoeidheidssyndroom
- Waarom de wetenschappelijke wereld het nodig heeft dat de PACE-gegevens worden vrijgegeven
- Reporter hekelt studie naar chronisch vermoeidheidssyndroom: ik stopte bij 14.000 woorden – genoeg was genoeg
- Een “moreel equivalent van oorlog” en de PACE-studie over chronisch vermoeidheidssyndroom
- Waarom ME-patiënten kritisch zijn over de PACE-studie
- Was onafhankelijke peerreview van de papers over de PACE-studie mogelijk?
- James Coyne over de “objectiviteit” van NHS Choices en het belachelijk maken van ME/CVS-patiënten
- Wat er voor nodig is voor Queen Mary om een verzoek om wetenschappelijke gegevens als “ergerlijk” te verklaren
- Update van mijn formeel verzoek voor het vrijgeven van de gegevens van de PACE-studie
- Formeel verzoek aan PLOS One om een Uitdrukking van Bezorgdheid uit te vaardigen voor de PACE-studie
- Waarom ik niet weet hoe PLOS zal reageren op de weigering van de auteurs om de data vrij te geven
- Antwoord van PLOS One op de bezorgdheid over de weigering van King’s College om de PACE-data te delen
- Proffen verzoeken om de gegevens van de PACE-studie
- King’s College London rekt tijd nog wat meer door weigering te herhalen om PACE-onderzoeksdata vrij te geven
- Herkennen wanneer het “beschermen van de privacy van patiënten” louter een excuus is voor het niet delen van de data
- Herzien van de economische analyse van de PACE-studie in PLoS One
- Een inkijk in de aanval op het delen van data
- Trial By Error, vervolgd: vragen voor Dr. White en zijn collega’s van de PACE-studie
- Niet-bekendgemaakte belangenconflicten in reviewprotocol van interventies voor medisch onverklaarde symptomen
- Trial by error, vervolgd: heeft de PACE-studie werkelijk bewezen dat graduele oefentherapie veilig is?
- Trial by error, vervolgd: meer nonsens van The Lancet Psychiatry
- We zijn tenminste niet ergerlijk
- Verdere inzichten in de oorlog tegen het delen van data
- Trial by error, vervolgd: een paar woorden over pesterijen
- Het heroverwegen van het beleid rond het onderzoek naar en de behandeling van ME/CVS
- Opnieuw een open brief aan de Lancet
- What About ME? Deel 1: ME-patiënten vragen patiëntenorganisaties kleur te bekennen t.a.v. PACE
- Ook België steunt in open brief de globale oproep om de PACE-data vrij te geven
- Lezing Dr. David Tuller en Prof. Frans Visser tijdens Nederlandse première Forgotten Plague
- Petitie met 12.000 handtekeningen aan The Lancet bezorgd om de PACE-studiedata vrij te geven
- Open brief Prof. Malcolm Hooper aan The Lancet
- Een half jaar gaat voorbij zonder de vrijgave van PACE-studiedata uit PLOS One
- PACE-Gate: de controverse over de grootste studie naar CGT en GET bij ME/cvs
- Proffen schrijven open brief aan PLoS One i.v.m. PACE-studie naar CGT/GET
- Correctie van PLoS verwijdert geanonimiseerde patiëntengegevens in studie naar CVS (& zet ze daarna terug)
- “Hun mond viel open van verbazing over de PACE-trial naar CGT en GET.”
- Rechtbank eist vrijgave van de gegevens van de PACE-studie naar CGT en GET voor ME/CVS
- Queen Mary University of London “bestudeert” de regelgeving om de PACE-data vrij te geven
- The Lancet struikelt opnieuw over de PACE-studie
- Trial by error, vervolgd: mijn vragen voor de hoofdredacteur van The Lancet, Richard Horton
- Vrijgave data PACE-team volgens originele protocol
- Verklaring QMUL: bekendmaking van de data van de PACE-studie onder de Wet op de Vrijheid van Informatie
- Persbericht. De vrijgave van de PACE-data is een fundamentele overwinning voor mensen met ME/cvs
- Stop studies naar graduele oefentherapie voor ME/CVS
- Prof. Van der Meer waarschuwt voor delen van data met “je vijanden”
- Geen “herstel” in de PACE-studie, blijkt uit nieuwe analyse
- Slechte wetenschap heeft miljoenen ME/cvs-patiënten misleid. Hier leest u hoe we terugvochten.
- Belangrijkste punten uit de analyse van de ruwe data voor “herstel” van de PACE-studie
- Bewijs voor aanbevolen behandelingen voor ME en CVS houdt geen stand
- Trial by error, vervolgd: de echte data van de PACE-studie
- Erger dan de ziekte
- De PACE-studie: waar “herstel” niet betekent dat je terug gezond bent
- Hoe de brief van Alem Matthees het mysterie van ME/cvs hielp oplossen
- Een open brief aan Psychological Medicine over “herstel” en de PACE-trial (Update)
- Opnieuw een open brief aan Psychological Medicine!
- De bal misslaan bij ME/cvs
- Trial by error, vervolgd: de nieuwe FITNET-studie voor kinderen
- Trial by error, vervolgd: een vervolgpost over FITNET-NHS
- Trial by error, vervolgd: de Nederlandse studies (opnieuw!), en een Esther Crawley-bonus
- Trial by error, vervolgd: mijn lasterlijk bloggen op Virology Blog
- Trial by error, vervolgd: een open brief aan het bestuur van het CFS/ME Research Collaborative (CMRC)
- Trial by error, vervolgd: CFS/ME Research Collaborative aan Virology Blog: “Rot op!”
- Trial by error, vervolgd: Het CMRC bevestigt volledige steun aan Lasterlijke Esther
- Trial by error, vervolgd: ME Research UK stapt uit het CFS/ME Research Collaborative
- Trial by error, vervolgd: mijn “scheur-het-aan-flarden”-toespraak bij Invest in ME
- David Tuller zamelt geld in voor Virology Blogs Trial by error: verslaggeving over PACE, ME/cvs en verwante onderwerpen
- Trial by error, vervolgd: mijn brief aan de University of Bristol
- Crowdfundingcampagne David Tuller in teken van ME: nog twee weken te gaan…
- David Tuller komt op voor ME: de laatste tien dagen van de campagne…
- Trial by error, vervolgd: is PACE een geval van wetenschappelijk wangedrag?
- Trial by error, vervolgd: de reis van Julie Rehmeyer “Through The Shadowlands”
- Trial by error, vervolgd: meer over graduele oefentherapie van Peter White en The Lancet
- Trial by error: De CDC schrappen cognitieve gedragstherapie (CGT) en graduele oefentherapie (GET) voor ME/cvs
- Trial by error: De NICE-richtlijnen, en meer over de CDC
- Trial by error: NICE weigert om namen van experts te onthullen
- Trial by error: NICE verwerpt mijn verzoek op basis van vrijheid van informatie
- De PACE-trial, of hoe een medisch schandaal tot stand kwam
- Waarop moet je letten in de Speciale Editie van het Journal of Health Psychology over de PACE-trial
- Deel 2: Waarop moet je letten in de Speciale Editie van het Journal of Health Psychology over de PACE-trial
- Trial by error: de wanhopige pogingen van het Science Media Center om PACE te verdedigen
- Trial by error: gepensioneerde PACE-onderzoeker Peter White en Swiss Re
- Trial by error: mijn e-mailuitwisseling met de directeur van NICE
- Trial by error: geen ethische review van de studie van Crawley over afwezigheid op school
- Trial by error: verzoek om meer details over de studie van Crawley over afwezigheid op school
- Trial by error: de rapporten van de “deskundigen ter zake” van NICE
- Trial by error: MEGA’s nieuwst mislukking
- Trial by error: NICE verwerpt huidige richtlijn, plant “volledige update”
- Trial by error: NIH geeft een subsidie van 2,1 miljoen dollar aan de Britse Biobank!
- Trial by error: nog een brief aan de directeur van NICE
- Trial by error: huidige NICE-richtlijn blijft, voorlopig toch
- Trial by error: de verrassende nieuwe gids voor beste praktijken van BMJ [voor ME/cvs]
- Trial by error: mijn korte ontmoeting met Professor Crawley
- Trial by error: Hé, Bristol! Waar is mijn ‘cease and desist’-brief*?
- Trial by error: de Crawley-kronieken (vervolg)
- Trial by error: mijn eenzijdige correspondentie met professor Crawley
- Trial by error: de niet-openbaar gemaakte uitkomstenverwisseling van de SMILE-studie
- SMILE-studie Lightning Process voor kinderen met CVS: Resultaten te mooi om waar te zijn?
- Trial by error: mijn vragen voor het Science Media Center
- Trial by error: de klacht van Bristol aan Berkeley
- David Tuller en de (s)PACEcake-eters
- Trial by error: de studie naar afwezigheid op school, tweede ronde
- Trial by error: COPE aan BMJ Open: meer details alstublieft!
- Trial by error: mijn halfjaaroverzicht
- Trial by error: de valse beweringen van professor Crawley op BuzzFeed
- Trial by error: een brief aan Archives of Disease in Childhood
- Trial by error: brief van CPET-experts aan het British Journal of Sports Medicine
- Trial by error: QMUL en FOI, Nature en Cochrane, het Pineapple Fund
- Trial by error: een brief aan BMJ Open
- Trial by error: onze gedachtenwisseling met BMJ Open
- Trial by error: mijn briefwisseling met het vakblad Archives of Diseases in Childhood
- Trial by error: nieuws over mijn plannen
- Trial by error: het nieuws van het CFS/ME Research Collaborative
- Trial by error: de Nederlandse review; mijn trip; Bristols stilzwijgen
- Trial by error: de stand van zaken in Australië en de nieuwe functie van professor Crawley
- Trial by error: ik meld me even vanuit Melbourne en Canberra…
- Trial by error: de volgende ronde met BMJ Open 26/3
- Trial by error: vragenronde met Schots Parlementslid Carol Monaghan 28/3
- Trial by error op Virology Blog: verslaggeving over ME/CVS. Crowdfundingscampagne voor David Tuller! 29/3
- Trial by error: mijn door Berkeley ondersteunde crowdfundingscampagne 2/4
- Trial by error: onze nieuwste tango met BMJ Open… 2/4
- Trial by error: een fantastisch stuk over ME/CVS op de Australische TV 4/4
- Trial by error: een post over Andrew Lloyd 4/4
- Trial by error: mijn Australische tour, vervolg 11/4
- Trial by error: twee podcastinterviews en “belangenconflicten” 16/4
- Trial by error, gastpost: crowdfunding David Tuller is geen belangenconflict 16/4
- Trial by error: Professor Michael Sharpes flater op de Australische Radio 18/4/18
- Trial by error: de steun die Andrew Lloyd in het verleden gaf aan PACE 24/4/18
- Trial by error: de winkeltasstudie en de vernieuwde website van de staat New York 24/4/18
- Trial by error: tot ziens Australië; en twee updates 25/4/18
- Trial by error: Vraag en antwoord met Leonard Jason met betrekking tot gevalsdefinities 2/5/18
- Trial by error: mijn bezoeken aan Alem Matthees 7/5/18
- Trial by error: Australiës online bijscholingsprogramma over GET/CGT 14/5/18
- Trial by error: meer over de CDC; Reader’s Digest; Newsbeat op BBC 23/5/18
- Trial by error: NICE neemt het Lightning Process in beschouwing 28/5/18
- Trial by error: mijn woordenwisseling met de hoofdonderzoekers van PACE, in NY Times in 2011 29/5/18
- Trial by error: BMJ “onderzoekt” nog steeds de paper over het Lightning Process 4/6/18
- Trial by error: mijn brief aan Parlementslid Monaghan over BMJ-studies 5/6/18
- Trial by error: een brief aan gezondheidsambtenaren over de lakse redactionele maatstaven van BMJ 6/6/18
- Trial By Error: mijn brief over de BMJ-studie aan het Science Media Centre 6/6/18
- Trial By Error: nog enkele brieven over BMJ’s gebrekkige pediatrische studies 11/6/18
- Trial By Error: een leerplan voor behandeling van CVS met CGT 13/6/18
- Trial by error: een brief aan NICE over het IAPT-programma 18/6/18
- Trial by error: Sir Simon trapt bal in eigen doel 18/6/18
- Trial by error: een open brief aan The Lancet, twee jaar later 19/6/18
- Trial by error: Professor Sharpes driftige opmerkingen – in wiens naam spreekt hij eigenlijk? 25/6/18
- Trial by error: mijn gesprek met professor Bishop 25/6/18
- Trial by error: Professor Sharpes briefing aan Monaghan vóór de hoorzitting 2/7/18
- Trial by error: mijn brief aan Fiona Godlee 2/7/18
- Trial by error: zijn alle experts in klinische studies fan van PACE? 9/7/18
- Trial by error: nog maar eens een oproep aan The Lancet, met meer handtekeningen 10/7/18
- Trial by error: wachten op Godlee 11/7/18
- Trial by error: mijn brief aan het Wetenschappelijk en Technisch Comité van het Parlement 11/7/18
- Trial by error: de inhoudsloze “noot van de redactie” bij de studie over het Lightning Process 16/7/18
- Trial by error: de update van CDC voor zorgverstrekkers 30/7/18
- Trial by error: Mayo blijft pleiten voor GET 6/8/18
- Trial by error: open brief aan The Lancet, versie 3.0 13/8/18
- Trial by error: de BPS-brigade trapt bal wéér in eigen doel 15/8/18
- Trial by error: meer Mayo alsjeblieft 20/8/18
- Trial by error: rekruteringsadvertentie voor FITNET-NHS maakt reclame voor “herstel” 20/8/18
- Trial by error: mijn brief aan Red Whale/GP Update 22/8/18
- Trial by error: nog een brief aan BMJ’s Dr Godlee 27/8/18
- Trial by error: Professor Edward brief aan Fiona Watt van MRC 28/8/18
- Trial by error: de Cochranecontroverse 3/9/18
- Trial by error: hoe staat het eigenlijk met de MAGENTA-studie? 17/9/18
- Trial by error: Bruce Levin over “hoe je een gerandomiseerde klinische studie NIET uitvoert” 18/9/18
- Trial by error: de open brief aan Netflix over Afflicted 24/9/18
- Over lichamelijke symptomen die afgewimpeld worden als “tussen de oren” 27/9/18
- Trial by error: de conferentie van de CFS/ME Research Collaborative 1/10/18
- Trial by error: mijn meest recente brief aan Archives of Disease in Childhood 8/10/18
- Trial by error: mijn eerste post over het IAPT-programma 10/10/18
- Trial by error: Per Fink in New York 16/10/18
- Trial by error: de zielige reactie van de Psychosomatische Conferentie 17/10/18
- ME/CVS is geen psychosomatische ziekte 18/10/18
- Mijn brief aan organisator van 4 e Psychosomatiekconferentie aan Columbia 19/10/18
- Trial by error: Cochrane trekt gebrekkige review over lichaamsbeweging in 19/10/18
- Een steunbetuiging aan Cochrane 23/10/18
- Trial by error: waar blijft die verontschuldiging, BMJ Open? 24/10/18
- Trial by error: drie jaar verder… 28/10/18
- Trial by error: wéér een brief over de studie over het Lightning Process 7/11/18
- Trial by error: een Australische uitwisseling met professor Sharpe 8/11/18
- Trial by error: hoe ontwijk je ethische review? 12/11/18
- Trial by error: enkele bedenkingen over NICE 19/11/18
- Trial by error: goed nieuws over Cochrane 3/12/18
- Trial by error: BMJ zag Bristols ethische vrijstellingen door de vingers 4/12/18
- Trial by error: een nieuwe zet van Cochrane 10/12/18
- Trial by error: het Noorse perspectief 12/12/18
- Trial by error: de nieuwe studie over interferon voor “CVS” 19/12/18
- Trial by error: Australisch ontwerprapport nodigt uit tot commentaar 24/12/18
- Trial by error: “Geen woorden, maar daden!”, zeggen patiënten tegen NIH 26/12/18
- Trial by error: mijn brief aan de seniorauteur van de studie over het Lightning Process 7/1/19
- Trial by error: verdere bedenkingen over de interferonstudie 7/1/19
- Trial by error: weer een Parlementair Debat voor Carol Monaghan 21/1/19
- Trial by error: mijn zesmaandelijks overzicht 22/1/19
- Trial by error: het werkgerelateerd advies van Action for ME 23/1/19
- Trial by error: Steve Brines verontrustende uitspraak in het parlementaire ME-debat 28/1/19
- Trial by error: mijn brief aan Professor Chew-Graham over METRIC 28/1/19
- Trial by error: Bristol onderzoekt Crawleypapers 31/1/19
- Trial by error: enkele bedenkingen over een aanstaand artikel 31/1/19
- Trial by error: de vragen van de verslaggever voor professor Racaniello 31/1/19
- Trial by error: wat meer over Bristols onderzoek 1/2/19
- Trial by error: een terugblik op de studie over de afwezigheid op school 3/2/19
- Trial by error: en nog een “repliek vooraf”… 5/2/19
- Trial by error: HRA-rapport praat PACE niet goed 6/2/19
- Trial by error: BMJ past PACE-artikel van vorige week aan 12/2/19
- Trial by error: mijn vragen aan de PACE-professoren 13/2/19
- Trial by error: Brieven aan Fiona Godlee en Nigel Hawkes 18/2/19
- Trial by error: Professor Sharpe vraagt om intrekking van artikels 18/2/19
- Trial by error: de kostprijs van SOLK 25/2/19
- Trial by error: wie heeft de documenten over de schoolstudie? 4/3/19
- Trial by error: stomme studies 6/3/19
- Trial by error: grote Amerikaanse zorgverzekeraar wijzigt koers! 11/3/19
- Trial by error: mijn brief aan professor Hotopf over Bristols schoolafwezigheidsstudie 18/3/19
- Trial by error: update van Cochrane en laatste brief van Caroline Struthers 20/2/19
- Trial by error: Cochranes rapport over Courtneys klacht 12/3/19
- Trial by error: mijn verslaggeving over ME/cvs en aanverwante controverses 27/3/19
- Trial by error: mijn brief aan Kate Kelland 18/3/19
- Trial by error: de zielige reactie van CDC aan Reuters 25/3/19
- Trial by error: meer over Kaiser Permanente 1/4/19
- Trial by error: april is crowfundingmaand aan Berkeley 1/4/19
- Trial by error: Amerikaanse Top voor ME/cvs-artsen 2/4/19
- Trial by error: crowdfunding, week 1 8/4/19
- Trial by error: mijn meest recente brief aan Bristol 9/4/19
- Trial by error: crowdfunding, week 2 en meer over Sharpe en Chalder 15/4/19µ
- Trial by error: update over Reuters 18/4/19
- Trial by error: ik kom even terug op het verhaal in Reuters 21/4/19
- Trial by error: crowdfunding, week 3: je donatie wordt verdubbeld 22/4/19
- Trial by error: Jennie Spotila over toespraak directeur NIH 23/4/19
- Trial by error: weer een brief aan de juridische dienst van Bristol 29/4/19
- Trial by error: mijn opvolgingsbrief aan Reuters 30/4/19
- Trial by error: mijn brief over SOLK aan British Journal of General Practice 6/5/19
- Trial by error: mijn gesprek met British Journal of Medical Practice 7/5/19
- Trial by error: ik schreef nog maar eens aan Bristol 13/5/19
- Trial by error: crowdfunding is ten einde! 14/5/19
- Trial by error: pleidooi aan Fiona Godlee over een bekend thema 16/5/19
- Trial by error: mijn opvolgbrief aan het British Journal of Medical Practice 20/5/19
- Trial by error: Lightning Process “doeltreffend”? Dat meen je toch niet? 20/5/19
- Trial By Error: mijn meest recente brief over de studie over het Lightning Process: update 22/5/19
- Trial by error: British Journal of Medical Practice stemt in met correctie over SOLK 29/5/19
- Trial by error: Professor Edwards schrijft naar Dr Godlee van BMJ over de LP-studie 3/6/19
- Trial By Error: tijd om de LP-studie in te trekken; Brief aan Archives of Disease in Childhood 3/6/19
- Trial By Error: een FOI-aanvraag aan Bristol over LP-studie 3/6/19
- Trial By Error: terugkijk op mijn vragen aan Science Media Centre over Bristols LP-studie 3/6/19
- Trial By Error: een tweede brief aan seniorauteur LP-studie 5/6/19
- Trial By Error: opvolging van mijn opvolgingsbrief aan Dr. Segal over citatie LP-studie 5/6/19
- Trial by error: hé BJGB, waar blijft die correctie over de kostprijs van SOLK? 10/6/19
- Trial by error: BJGP-correctie op komst; BMJ blijft ons hardnekkig negeren 11/6/19
- Trial by Error: een brief aan Bristol over mijn recente FOI-verzoek; plus update 12/6/19
- Trial By Error: weer een review die de LP-studie vernoemt, dus ik klim weer in mijn pen 24/6/19
- Trial By Error: een update over de pediatrische SOLK-review 26/6/19
- Trial By Error: FOI-antwoord uit Bristol over LP-studie; correctie in BJGP over SOLK /1/7/19
- Trial By Error: mijn brief aan Professor Chew-Graham over de kostprijs van SOLK 1/7/19
- Trial By Error: bedenkingen over SOLK en Bermingham; Brief aan Professor Payne 8/7/19
- Trial By Error: Mary Dimmock over de nieuwe bewijsreview van de CDC 10/7/19
- Trial By Error: ons contact met vakblad BMJ over “correctie” LP-studie 15/7/19
- Trial By Error: Britse klinieken gaan te laks om met schade door behandeling, zegt studie 16/7/19
- Trial By Error: nieuwe GET-onzin uit Australië 29/7/19
- Trial By Error: een slecht geïnformeerd artikel in The Guardian 13/8/19
- Trial By Error: mijn interview met de Australische Dr. Don Lewis 19/8/19
- Trial By Error: Joan McParlands getuigenis over het Lightning Process 21/8/19
- Trial By Error: BMJ’s gedrag is moreel failliet – open brief aan Dr. Godlee 28/8/19
- Trial By Error: oproep tot intrekking van de LP-studie 3/9/19
- Trial By Error: hoofdauteur nieuwe bias-richtlijn Cochrane was coauteur LP-studie 31/8/19
- Trial By Error: meer over Cochranes nieuwe tool i.v.m. risico op bias 4/9/19
- Trial By Error: nog meer experts roepen Godlee op tot intrekking LP-studie 9/9/19
- Trial By Error: Dr. Godlee krijgt weer keiharde brieven van experts 11/9/19
- Trial By Error: nieuwe lading brieven aan Dr. Godlee over BMJ’s flaters i.v.m. LP-studie 16/9/19