David Tuller, DrPH, Virology Blog, 30 januari 2018
Eerder vandaag [30 januari 2018, n.v.d.r.] e-mailde professor Racaniello de volgende brief naar Nick Brown, de hoofdredacteur van Archives of Disease in Childhood, een van de wetenschappelijke tijdschriften van de BMJ Groep. Archives heeft onlangs een studie gepubliceerd over het Lightning Process bij kinderen met ME/cvs.
**********
Geachte Dr. Brown,
In september heeft Archives of Disease een studie gepubliceerd met als titel “Clinical and cost-effectiveness of the Lightning Process in addtion to specialist medical care for paediatric chronic fatigue syndrome: randomised controlled trial” [Klinische doeltreffendheid en kosteneffectiviteit van het Lightning Process in aanvulling op gespecialiseerde medische zorg voor pediatrisch chronisch vermoeidheidssyndroom: gerandomiseerde gecontroleerde studie, n.v.d.r.] [1]. Zoals veel studies naar deze ziekte was het een studie met open onderzoeksopzet met zelfgerapporteerde uitkomsten – een studieontwerp waarvan bekend is dat het zeer gevoelig is voor bias.
De onderzoekers hebben kritiek gekregen op hun initiële beslissing om een pediatrische studie van het Lightning Process uit te voeren – een commerciële, pseudowetenschappelijke interventie die elementen van levenscoaching, osteopathie en neurolinguïstisch programmeren combineert. De interventie moedigt deelnemers aan om te rapporteren dat het hen beter gemaakt heeft, een andere bron van potentiële bias. Naast de beslissing om het Lightning Process te bestuderen, leed de studie onder andere aan grote kruisbesmetting tussen behandelingsgroepen en aanzienlijk verlies bij follow-up.
Naast deze problemen zijn we ook bezorgd over een methodologische anomalie die gemeld werd op Virology Blog door David Tuller van de University of California, Berkeley: een eerdere haalbaarheidsstudie werd uitgebreid naar een volledige studie, terwijl de onderzoekers de primaire en secundaire uitkomsten verwisselden in navolging van een evaluatie van de resultaten van de haalbaarheidsstudie [2]. De onderzoekers hebben ethische goedkeuring gekregen voor deze veranderingen in het studieontwerp, maar hebben verzaakt om deze te vermelden in de paper in Archives, hoewel de veranderingen ervoor zorgden dat de bevindingen veel positiever gepresenteerd konden worden dan anders het geval zou zijn geweest.
Deze veranderingen worden alleen zichtbaar via evaluatie van andere studiegerelateerde documenten, zoals de registratie [3], het protocol van de haalbaarheidsstudie [4] en het protocol van de volledige studie [5]. Onze specifieke bekommernissen omvatten het volgende:
- De onderzoekers registreerden de studie als een prospectieve studie. Maar meer dan de helft van de steekproef waren blijkbaar deelnemers die gerekruteerd werden voor de haalbaarheidsstudie [6], die bijna twee jaar voor de registratiedatum startte. De paper in Archives vermeldde dit feit niet of verklaarde de discrepantie tussen de data niet.
- In het protocol van de haalbaarheidsstudie was aanwezigheid op school na zes maanden de primaire uitkomst, en zelfgerapporteerd fysiek functioneren na zes maanden was een secundaire uitkomst. Na het evalueren van de resultaten van de haalbaarheidsstudie verwisselden de onderzoekers deze uitkomstmaten voor de volledige studie – schoolaanwezigheid na zes maanden werd een secundaire uitkomst, en zelfgerapporteerd fysiek functioneren na zes maanden werd de primaire uitkomst. De Archives-paper maakte geen gewag van de uitkomstenverwisseling die plaatsvond nadat meer dan de helft van de steekproef data had verstrekt als deelnemers aan de haalbaarheidsstudie.
- Als belangrijkste bevinding belichtte de paper in Archives de gerapporteerde voordelen in de Lightning Process-groep voor zelfgerapporteerd fysiek functioneren na zes maanden, de nieuwe primaire uitkomst. Zelfgerapporteerde aanwezigheid na zes maanden, nu een secundaire uitkomst, leverde nulresultaten op en werd amper vermeld in de paper in Archives. Dus de uitkomstenverwisseling stond de onderzoekers toe om positieve resultaten te rapporteren voor hun primaire uitkomst. Hadden ze de uitkomsten niet verwisseld nadat meer dan de helft van de steekproef gegevens verstrekt had, hadden ze nulresultaten van de primaire uitkomst moeten rapporteren.
- In zowel het protocol van de haalbaarheidsstudie als het protocol van de volledige studie, beloofden de onderzoekers om officiële schoolaanwezigheidsregisters op te vragen als aanvulling op de zelfgerapporteerde aanwezigheid op school. De paper in Archives verschafte geen officiële registraties van schoolaanwezigheid, hoewel het de nadruk legde op de voordelen na 12 maanden in zelfgerapporteerde aanwezigheid op school. De onderzoekers boden geen verklaring voor het ontbreken van deze officiële registraties van aanwezigheid op school. Interessant is dat in een recent nieuwsbericht gesteld werd dat de officiële schoolaanwezigheidsregisters de zelfgerapporteerde resultaten van aanwezigheid op school bevestigden, wat suggereert dat deze gegeven in feite verzameld werden.
- Het is niet verrassend dat de berichtgeving in de media over de paper in Archives focuste op de gerapporteerde voordelen in de Lightning Process-groep voor de gereviseerde primaire uitkomst van zelfgerapporteerd fysiek functioneren na zes maanden. De nulresultaten voor aanwezigheid op school na zes maanden, de originele primaire uitkomst, werd grotendeels genegeerd. De verwisseling van de uitkomsten die plaatsvond nadat de helft van de steekproef gegevens had verstrekt – en die de Archives- paper niet vermeldde – zorgde ervoor dat de gerapporteerde bevindingen meer positieve media-aandacht kregen dan ze anders zouden hebben gekregen.
Transparantie is essentieel in wetenschappelijk onderzoek. In dit geval verzaakte de paper in Archives om opvallende en relevante informatie bekend te maken over de samenstelling van de steekproef, het verwisselen van de uitkomsten, en de officiële registers van aanwezigheid op school. Deze ontbrekende details zouden – indien verstrekt – anderen helpen om de validiteit en betrouwbaarheid van de gerapporteerde bevindingen beter te beoordelen.
De paper in Archives moet gecorrigeerd worden en erkennen dat de steekproef de deelnemers aan de haalbaarheidsstudie bevatte en dat de evaluatie van hun gegevens geleid heeft tot de beslissing om de uitkomstmaten te verwisselen. De paper zou ook de aparte resultaten moeten voorleggen voor de deelnemers in de haalbaarheidsstudie en zij die achteraf gerekruteerd werden. En de gecorrigeerde versie moet de status van de officiële schoolaanwezigheidsregisters verduidelijken; als deze gegevens verzameld werden, zoals het recente nieuwsbericht suggereerde, dan moeten ze ook gerapporteerd worden.
We dringen er bij de Archives of Disease in Childhood op aan om deze zorgen ernstig te nemen en ze onverwijld aan te pakken.
Met vriendelijke groet –
Vincent R. Racaniello, PhD
Professor of Microbiology and Immunology
Columbia University
New York, NY, USA
Lisa F. Barcellos, MPH, PhD
Professor of Epidemiology
School of Public Health
California Institute for Quantitative Biosciences
University of California, Berkeley
Berkeley, CA, USA
Robin Callender Smith, PhD
Professor of Media Law
Centre for Commercial Law Studies
Queen Mary University of London
Barrister and Information Rights Judge
London, UK
Lily Chu, MD, MSHS
Independent Consultant
Burlingame, CA, USA
Ronald W. Davis, PhD
Professor of Biochemistry and Genetics
Stanford University
Stanford, CA, USA
Jonathan C.W. Edwards, MD
Emeritus Professor of Medicine
University College London
London, UK
Valerie Eliot Smith
Barrister and Visiting Scholar
Centre for Commercial Law Studies
Queen Mary University of London
London, UK
Rebecca Goldin, PhD
Professor of Mathematics
George Mason University
Fairfax, VA, USA
Leonard A. Jason, PhD
Professor of Psychology
DePaul University
Chicago, IL, USA
Michael W. Kahn, MD
Assistant Professor of Psychiatry
Harvard Medical School
Boston, MA, USA
Nancy Klimas, MD
Director, Institute for Neuro-Immune Medicine
Nova Southeastern University
Director, Miami VA Medical Center GWI and CFS/ME Program
Miami, FL, USA
Bruce Levin, PhD
Professor of Biostatistics
Columbia University
New York, NY, USA
Steven Lubet
Williams Memorial Professor of Law
Northwestern University Pritzker School of Law
Chicago, IL, USA
Marlon Maus, MD, DrPH, FACS
Director, DrPH Program
School of Public Health
University of California, Berkeley
Berkeley, CA, USA
Patrick E. McKnight, PhD
Professor of Psychology
George Mason University
Fairfax, VA, USA
Zaher Nahle, PhD, MPA
Vice President for Research and Scientific Programs
Solve ME/CFS Initiative
Los Angeles, CA, USA
Philip B. Stark, PhD
Professor of Statistics
University of California, Berkeley
Berkeley, CA, USA
John Swartzberg, MD
Clinical Professor Emeritus
School of Public Health
University of California, Berkeley
Berkeley, CA, USA
David Tuller, DrPH
Senior Fellow in Public Health and Journalism
Center for Global Public Health
University of California, Berkeley
Berkeley, CA, USA
William Weir, FRCP
Infectious Disease Consultant
London, UK
Carolyn Wilshire, PhD
Senior Lecturer
School of Psychology
Victoria University of Wellington
Wellington, New Zealand
**********
[1] Crawley EM, Gaunt DM, Garfield K, et al. 2018. Clinical and cost-effectiveness of the Lightning Process in addition to specialist medical care for paediatric chronic fatigue syndrome: randomised controlled trial. Archives of Disease in Childhood; 103(2):155-164
[2] Tuller D. 2017. Trial by error: the SMILE trial’s undisclosed outcome-swapping. Virology Blog; Dec 13. Accessed at: http://www.virology.ws/2017/12/13/trial-by-error-the-smile-trials-undisclosed-outcomes/
[3] ISRCTN Registry: ISRCTN8145620. July 31, 2012. Specialist Medical Intervention & Lightning Evaluation: Comparing specialist medical care with specialist medical care plus the Lightning Process for Chronic Fatigue Syndrome or Myalgic Encephalopathy (CFS/ME). Accessed at: http://www.isrctn.com/ISRCTN81456207
[4] Crawley EM, et al. July 2010. SMILE Protocol v6: Assessing the feasibility and acceptability of comparing the Lightning Process with specialist medical care for Chronic Fatigue Syndrome or Myalgic Encephalopathy (CFS/ME)–pilot Randomised Controlled Trial. Accessed at: http://www.bristol.ac.uk/media-library/sites/ccah/migrated/documents/smprotv6final.pdf
[5] Crawley EM, Mills N, Hollingworth W, et al. 2013. Comparing specialist medical care with specialist medical care plus the Lightning Process® for chronic fatigue syndrome or myalgic encephalomyelitis (CFS/ME): study protocol for a randomised controlled trial (SMILE Trial). Trials; 14:444
[6] Crawley EM, Mills N, Beast L, et al. 2013 The feasibility and acceptability of conducting a trial of specialist medical care and the Lightning Process in children with chronic fatigue syndrome:: feasibility randomized controlled trial (SMILE study). Trials; 14:415.
© David Tuller & Vincent Racaniello, Virology Blog. Vertaling zuiderzon, redactie abby, ME-gids.
Lees ook
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (1)
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (2)
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (3)
- Onderzoekers van de PACE-studie antwoorden David Tuller
- David Tuller reageert op de PACE-onderzoekers
- Petitie : Misleidende claims van PACE-studie moeten teruggetrokken worden
- Trial by error, vervolgd: heeft de PACE-studie echt een “strikt criterium” voor herstel toegepast?
- Trial by error, vervolg: Waarom is het “zusteronderzoek” van de PACE-studie “verdwenen” en vergeten?
- Overheid beveelt vrijgave van de gegevens van de PACE-studie
- Proffen schrijven open brief aan The Lancet en vragen herevaluatie van PACE-resultaten
- Open brief van Invest in ME over de PACE-studie aan de redacteur van The Lancet
- Trial by error, vervolgd: Het werk van het PACE-team voor verzekeringsmaatschappijen “houdt geen verband” met PACE. Echt waar?
- In het kielzog van het onderzoek van David Tuller, publiceren de PACE-onderzoekers een follow-upstudie
- ME Association: We betwisten het follow-uprapport van de PACE-studie
- Professor Jonathan Edwards: PACE-studie is “waardeloos”
- Oninterpreteerbaar: Fatale fouten in het PACE follow-uponderzoek van het chronisch vermoeidheidssyndroom
- Waarom de wetenschappelijke wereld het nodig heeft dat de PACE-gegevens worden vrijgegeven
- Reporter hekelt studie naar chronisch vermoeidheidssyndroom: ik stopte bij 14.000 woorden – genoeg was genoeg
- Een “moreel equivalent van oorlog” en de PACE-studie over chronisch vermoeidheidssyndroom
- Waarom ME-patiënten kritisch zijn over de PACE-studie
- Was onafhankelijke peerreview van de papers over de PACE-studie mogelijk?
- James Coyne over de “objectiviteit” van NHS Choices en het belachelijk maken van ME/CVS-patiënten
- Wat er voor nodig is voor Queen Mary om een verzoek om wetenschappelijke gegevens als “ergerlijk” te verklaren
- Update van mijn formeel verzoek voor het vrijgeven van de gegevens van de PACE-studie
- Formeel verzoek aan PLOS One om een Uitdrukking van Bezorgdheid uit te vaardigen voor de PACE-studie
- Waarom ik niet weet hoe PLOS zal reageren op de weigering van de auteurs om de data vrij te geven
- Antwoord van PLOS One op de bezorgdheid over de weigering van King’s College om de PACE-data te delen
- Proffen verzoeken om de gegevens van de PACE-studie
- King’s College London rekt tijd nog wat meer door weigering te herhalen om PACE-onderzoeksdata vrij te geven
- Herkennen wanneer het “beschermen van de privacy van patiënten” louter een excuus is voor het niet delen van de data
- Herzien van de economische analyse van de PACE-studie in PLoS One
- Een inkijk in de aanval op het delen van data
- Trial By Error, vervolgd: vragen voor Dr. White en zijn collega’s van de PACE-studie
- Niet-bekendgemaakte belangenconflicten in reviewprotocol van interventies voor medisch onverklaarde symptomen
- Trial by error, vervolgd: heeft de PACE-studie werkelijk bewezen dat graduele oefentherapie veilig is?
- Trial by error, vervolgd: meer nonsens van The Lancet Psychiatry
- We zijn tenminste niet ergerlijk
- Verdere inzichten in de oorlog tegen het delen van data
- Trial by error, vervolgd: een paar woorden over pesterijen
- Het heroverwegen van het beleid rond het onderzoek naar en de behandeling van ME/CVS
- Opnieuw een open brief aan de Lancet
- What About ME? Deel 1: ME-patiënten vragen patiëntenorganisaties kleur te bekennen t.a.v. PACE
- Ook België steunt in open brief de globale oproep om de PACE-data vrij te geven
- Lezing Dr. David Tuller en Prof. Frans Visser tijdens Nederlandse première Forgotten Plague
- Petitie met 12.000 handtekeningen aan The Lancet bezorgd om de PACE-studiedata vrij te geven
- Open brief Prof. Malcolm Hooper aan The Lancet
- Een half jaar gaat voorbij zonder de vrijgave van PACE-studiedata uit PLOS One
- PACE-Gate: de controverse over de grootste studie naar CGT en GET bij ME/cvs
- Proffen schrijven open brief aan PLoS One i.v.m. PACE-studie naar CGT/GET
- Correctie van PLoS verwijdert geanonimiseerde patiëntengegevens in studie naar CVS (& zet ze daarna terug)
- “Hun mond viel open van verbazing over de PACE-trial naar CGT en GET.”
- Rechtbank eist vrijgave van de gegevens van de PACE-studie naar CGT en GET voor ME/CVS
- Queen Mary University of London “bestudeert” de regelgeving om de PACE-data vrij te geven
- The Lancet struikelt opnieuw over de PACE-studie
- Trial by error, vervolgd: mijn vragen voor de hoofdredacteur van The Lancet, Richard Horton
- Vrijgave data PACE-team volgens originele protocol
- Verklaring QMUL: bekendmaking van de data van de PACE-studie onder de Wet op de Vrijheid van Informatie
- Persbericht. De vrijgave van de PACE-data is een fundamentele overwinning voor mensen met ME/cvs
- Stop studies naar graduele oefentherapie voor ME/CVS
- Prof. Van der Meer waarschuwt voor delen van data met “je vijanden”
- Geen “herstel” in de PACE-studie, blijkt uit nieuwe analyse
- Slechte wetenschap heeft miljoenen ME/cvs-patiënten misleid. Hier leest u hoe we terugvochten.
- Belangrijkste punten uit de analyse van de ruwe data voor “herstel” van de PACE-studie
- Bewijs voor aanbevolen behandelingen voor ME en CVS houdt geen stand
- Trial by error, vervolgd: de echte data van de PACE-studie
- Erger dan de ziekte
- De PACE-studie: waar “herstel” niet betekent dat je terug gezond bent
- Hoe de brief van Alem Matthees het mysterie van ME/cvs hielp oplossen
- Een open brief aan Psychological Medicine over “herstel” en de PACE-trial (Update)
- Opnieuw een open brief aan Psychological Medicine!
- De bal misslaan bij ME/cvs
- Trial by error, vervolgd: de nieuwe FITNET-studie voor kinderen
- Trial by error, vervolgd: een vervolgpost over FITNET-NHS
- Trial by error, vervolgd: de Nederlandse studies (opnieuw!), en een Esther Crawley-bonus
- Trial by error, vervolgd: mijn lasterlijk bloggen op Virology Blog
- Trial by error, vervolgd: een open brief aan het bestuur van het CFS/ME Research Collaborative (CMRC)
- Trial by error, vervolgd: CFS/ME Research Collaborative aan Virology Blog: “Rot op!”
- Trial by error, vervolgd: Het CMRC bevestigt volledige steun aan Lasterlijke Esther
- Trial by error, vervolgd: ME Research UK stapt uit het CFS/ME Research Collaborative
- Trial by error, vervolgd: mijn “scheur-het-aan-flarden”-toespraak bij Invest in ME
- David Tuller zamelt geld in voor Virology Blogs Trial by error: verslaggeving over PACE, ME/cvs en verwante onderwerpen
- Trial by error, vervolgd: mijn brief aan de University of Bristol
- Crowdfundingcampagne David Tuller in teken van ME: nog twee weken te gaan…
- David Tuller komt op voor ME: de laatste tien dagen van de campagne…
- Trial by error, vervolgd: is PACE een geval van wetenschappelijk wangedrag?
- Trial by error, vervolgd: de reis van Julie Rehmeyer “Through The Shadowlands”
- Trial by error, vervolgd: meer over graduele oefentherapie van Peter White en The Lancet
- Trial by error: De CDC schrappen cognitieve gedragstherapie (CGT) en graduele oefentherapie (GET) voor ME/cvs
- Trial by error: De NICE-richtlijnen, en meer over de CDC
- Trial by error: NICE weigert om namen van experts te onthullen
- Trial by error: NICE verwerpt mijn verzoek op basis van vrijheid van informatie
- De PACE-trial, of hoe een medisch schandaal tot stand kwam
- Waarop moet je letten in de Speciale Editie van het Journal of Health Psychology over de PACE-trial
- Deel 2: Waarop moet je letten in de Speciale Editie van het Journal of Health Psychology over de PACE-trial
- Trial by error: de wanhopige pogingen van het Science Media Center om PACE te verdedigen
- Trial by error: gepensioneerde PACE-onderzoeker Peter White en Swiss Re
- Trial by error: mijn e-mailuitwisseling met de directeur van NICE
- Trial by error: geen ethische review van de studie van Crawley over afwezigheid op school
- Trial by error: verzoek om meer details over de studie van Crawley over afwezigheid op school
- Trial by error: de rapporten van de “deskundigen ter zake” van NICE
- Trial by error: MEGA’s nieuwst mislukking
- Trial by error: NICE verwerpt huidige richtlijn, plant “volledige update”
- Trial by error: NIH geeft een subsidie van 2,1 miljoen dollar aan de Britse Biobank!
- Trial by error: nog een brief aan de directeur van NICE
- Trial by error: huidige NICE-richtlijn blijft, voorlopig toch
- Trial by error: de verrassende nieuwe gids voor beste praktijken van BMJ [voor ME/cvs]
- Trial by error: mijn korte ontmoeting met Professor Crawley
- Trial by error: Hé, Bristol! Waar is mijn ‘cease and desist’-brief*?
- Trial by error: de Crawley-kronieken (vervolg)
- Trial by error: mijn eenzijdige correspondentie met professor Crawley
- Trial by error: de niet-openbaar gemaakte uitkomstenverwisseling van de SMILE-studie
- SMILE-studie Lightning Process voor kinderen met CVS: Resultaten te mooi om waar te zijn?
- Trial by error: mijn vragen voor het Science Media Center
- David Tuller en de (s)PACEcake-eters
- Trial by error: de studie naar afwezigheid op school, tweede ronde
- Trial by error: COPE aan BMJ Open: meer details alstublieft!
- Trial by error: mijn halfjaaroverzicht
- Trial by error: de valse beweringen van professor Crawley op BuzzFeed
- Trial by error: de Nederlandse review; mijn trip; Bristols stilzwijgen
