Home » Nieuwsartikels » David Tuller » Trial by error: een brief aan Archives of Disease in Childhood

Trial by error: een brief aan Archives of Disease in Childhood

Geplaatst door ME-Gids
op 15/03/2018

Laatste bijwerking op 15/03/2018

Bron:

| 11508 x gelezen

David Tuller, DrPH, Virology Blog, 30 januari 2018

Eerder vandaag [30 januari 2018, n.v.d.r.] e-mailde professor Racaniello de volgende brief naar Nick Brown, de hoofdredacteur van Archives of Disease in Childhood, een van de wetenschappelijke tijdschriften van de BMJ Groep. Archives heeft onlangs een studie gepubliceerd over het Lightning Process bij kinderen met ME/cvs.

**********

Geachte Dr. Brown,

In september heeft Archives of Disease een studie gepubliceerd met als titel “Clinical and cost-effectiveness of the Lightning Process in addtion to specialist medical care for paediatric chronic fatigue syndrome: randomised controlled trial” [Klinische doeltreffendheid en kosteneffectiviteit van het Lightning Process in aanvulling op gespecialiseerde medische zorg voor pediatrisch chronisch vermoeidheidssyndroom: gerandomiseerde gecontroleerde studie, n.v.d.r.] [1]. Zoals veel studies naar deze ziekte was het een studie met open onderzoeksopzet met zelfgerapporteerde uitkomsten – een studieontwerp waarvan bekend is dat het zeer gevoelig is voor bias.

De onderzoekers hebben kritiek gekregen op hun initiële beslissing om een pediatrische studie van het Lightning Process uit te voeren – een commerciële, pseudowetenschappelijke interventie die elementen van levenscoaching, osteopathie en neurolinguïstisch programmeren combineert. De interventie moedigt deelnemers aan om te rapporteren dat het hen beter gemaakt heeft, een andere bron van potentiële bias. Naast de beslissing om het Lightning Process te bestuderen, leed de studie onder andere aan grote kruisbesmetting tussen behandelingsgroepen en aanzienlijk verlies bij follow-up.

Naast deze problemen zijn we ook bezorgd over een methodologische anomalie die gemeld werd op Virology Blog door David Tuller van de University of California, Berkeley: een eerdere haalbaarheidsstudie werd uitgebreid naar een volledige studie, terwijl de onderzoekers de primaire en secundaire uitkomsten verwisselden in navolging van een evaluatie van de resultaten van de haalbaarheidsstudie [2]. De onderzoekers hebben ethische goedkeuring gekregen voor deze veranderingen in het studieontwerp, maar hebben verzaakt om deze te vermelden in de paper in Archives, hoewel de veranderingen ervoor zorgden dat de bevindingen veel positiever gepresenteerd konden worden dan anders het geval zou zijn geweest.

Deze veranderingen worden alleen zichtbaar via evaluatie van andere studiegerelateerde documenten, zoals de registratie [3], het protocol van de haalbaarheidsstudie [4] en het protocol van de volledige studie [5]. Onze specifieke bekommernissen omvatten het volgende:

De onderzoekers registreerden de studie als een prospectieve studie. Maar meer dan de helft van de steekproef waren blijkbaar deelnemers die gerekruteerd werden voor de haalbaarheidsstudie [6], die bijna twee jaar voor de registratiedatum startte. De paper in Archives vermeldde dit feit niet of verklaarde de discrepantie tussen de data niet.

In het protocol van de haalbaarheidsstudie was aanwezigheid op school na zes maanden de primaire uitkomst, en zelfgerapporteerd fysiek functioneren na zes maanden was een secundaire uitkomst. Na het evalueren van de resultaten van de haalbaarheidsstudie verwisselden de onderzoekers deze uitkomstmaten voor de volledige studie – schoolaanwezigheid na zes maanden werd een secundaire uitkomst, en zelfgerapporteerd fysiek functioneren na zes maanden werd de primaire uitkomst. De Archives-paper maakte geen gewag van de uitkomstenverwisseling die plaatsvond nadat meer dan de helft van de steekproef data had verstrekt als deelnemers aan de haalbaarheidsstudie.

Als belangrijkste bevinding belichtte de paper in Archives de gerapporteerde voordelen in de Lightning Process-groep voor zelfgerapporteerd fysiek functioneren na zes maanden, de nieuwe primaire uitkomst. Zelfgerapporteerde aanwezigheid na zes maanden, nu een secundaire uitkomst, leverde nulresultaten op en werd amper vermeld in de paper in Archives. Dus de uitkomstenverwisseling stond de onderzoekers toe om positieve resultaten te rapporteren voor hun primaire uitkomst. Hadden ze de uitkomsten niet verwisseld nadat meer dan de helft van de steekproef gegevens verstrekt had, hadden ze nulresultaten van de primaire uitkomst moeten rapporteren.

In zowel het protocol van de haalbaarheidsstudie als het protocol van de volledige studie, beloofden de onderzoekers om officiële schoolaanwezigheidsregisters op te vragen als aanvulling op de zelfgerapporteerde aanwezigheid op school. De paper in Archives verschafte geen officiële registraties van schoolaanwezigheid, hoewel het de nadruk legde op de voordelen na 12 maanden in zelfgerapporteerde aanwezigheid op school. De onderzoekers boden geen verklaring voor het ontbreken van deze officiële registraties van aanwezigheid op school. Interessant is dat in een recent nieuwsbericht gesteld werd dat de officiële schoolaanwezigheidsregisters de zelfgerapporteerde resultaten van aanwezigheid op school bevestigden, wat suggereert dat deze gegeven in feite verzameld werden.

Het is niet verrassend dat de berichtgeving in de media over de paper in Archives focuste op de gerapporteerde voordelen in de Lightning Process-groep voor de gereviseerde primaire uitkomst van zelfgerapporteerd fysiek functioneren na zes maanden. De nulresultaten voor aanwezigheid op school na zes maanden, de originele primaire uitkomst, werd grotendeels genegeerd. De verwisseling van de uitkomsten die plaatsvond nadat de helft van de steekproef gegevens had verstrekt – en die de Archives- paper niet vermeldde – zorgde ervoor dat de gerapporteerde bevindingen meer positieve media-aandacht kregen dan ze anders zouden hebben gekregen.

Transparantie is essentieel in wetenschappelijk onderzoek. In dit geval verzaakte de paper in Archives om opvallende en relevante informatie bekend te maken over de samenstelling van de steekproef, het verwisselen van de uitkomsten, en de officiële registers van aanwezigheid op school. Deze ontbrekende details zouden – indien verstrekt – anderen helpen om de validiteit en betrouwbaarheid van de gerapporteerde bevindingen beter te beoordelen.

De paper in Archives moet gecorrigeerd worden en erkennen dat de steekproef de deelnemers aan de haalbaarheidsstudie bevatte en dat de evaluatie van hun gegevens geleid heeft tot de beslissing om de uitkomstmaten te verwisselen. De paper zou ook de aparte resultaten moeten voorleggen voor de deelnemers in de haalbaarheidsstudie en zij die achteraf gerekruteerd werden. En de gecorrigeerde versie moet de status van de officiële schoolaanwezigheidsregisters verduidelijken; als deze gegevens verzameld werden, zoals het recente nieuwsbericht suggereerde, dan moeten ze ook gerapporteerd worden.

We dringen er bij de Archives of Disease in Childhood op aan om deze zorgen ernstig te nemen en ze onverwijld aan te pakken.

Met vriendelijke groet –

Vincent R. Racaniello, PhD

Professor of Microbiology and Immunology

Columbia University

New York, NY, USA

Lisa F. Barcellos, MPH, PhD

Professor of Epidemiology

School of Public Health

California Institute for Quantitative Biosciences

University of California, Berkeley

Berkeley, CA, USA

Robin Callender Smith, PhD

Professor of Media Law

Centre for Commercial Law Studies

Queen Mary University of London

Barrister and Information Rights Judge

London, UK

Lily Chu, MD, MSHS

Independent Consultant

Burlingame, CA, USA

Ronald W. Davis, PhD

Professor of Biochemistry and Genetics

Stanford University

Stanford, CA, USA

Jonathan C.W. Edwards, MD

Emeritus Professor of Medicine

University College London

London, UK

Valerie Eliot Smith

Barrister and Visiting Scholar

Centre for Commercial Law Studies

Queen Mary University of London

London, UK

Rebecca Goldin, PhD

Professor of Mathematics

George Mason University

Fairfax, VA, USA

Leonard A. Jason, PhD

Professor of Psychology

DePaul University

Chicago, IL, USA

Michael W. Kahn, MD

Assistant Professor of Psychiatry

Harvard Medical School

Boston, MA, USA

Nancy Klimas, MD

Director, Institute for Neuro-Immune Medicine

Nova Southeastern University

Director, Miami VA Medical Center GWI and CFS/ME Program

Miami, FL, USA

Bruce Levin, PhD

Professor of Biostatistics

Columbia University

New York, NY, USA

Steven Lubet

Williams Memorial Professor of Law

Northwestern University Pritzker School of Law

Chicago, IL, USA

Marlon Maus, MD, DrPH, FACS

Director, DrPH Program

School of Public Health

University of California, Berkeley

Berkeley, CA, USA

Patrick E. McKnight, PhD

Professor of Psychology

George Mason University

Fairfax, VA, USA

Zaher Nahle, PhD, MPA

Vice President for Research and Scientific Programs

Solve ME/CFS Initiative

Los Angeles, CA, USA

Philip B. Stark, PhD

Professor of Statistics

University of California, Berkeley

Berkeley, CA, USA

John Swartzberg, MD

Clinical Professor Emeritus

School of Public Health

University of California, Berkeley

Berkeley, CA, USA

David Tuller, DrPH

Senior Fellow in Public Health and Journalism

Center for Global Public Health

University of California, Berkeley

Berkeley, CA, USA

William Weir, FRCP

Infectious Disease Consultant

London, UK

Carolyn Wilshire, PhD

Senior Lecturer

School of Psychology

Victoria University of Wellington

Wellington, New Zealand

**********

[1] Crawley EM, Gaunt DM, Garfield K, et al. 2018. Clinical and cost-effectiveness of the Lightning Process in addition to specialist medical care for paediatric chronic fatigue syndrome: randomised controlled trial. Archives of Disease in Childhood; 103(2):155-164

[2] Tuller D. 2017. Trial by error: the SMILE trial’s undisclosed outcome-swapping. Virology Blog; Dec 13. Accessed at: http://www.virology.ws/2017/12/13/trial-by-error-the-smile-trials-undisclosed-outcomes/

[3] ISRCTN Registry: ISRCTN8145620. July 31, 2012. Specialist Medical Intervention & Lightning Evaluation: Comparing specialist medical care with specialist medical care plus the Lightning Process for Chronic Fatigue Syndrome or Myalgic Encephalopathy (CFS/ME). Accessed at: http://www.isrctn.com/ISRCTN81456207

[4] Crawley EM, et al. July 2010. SMILE Protocol v6: Assessing the feasibility and acceptability of comparing the Lightning Process with specialist medical care for Chronic Fatigue Syndrome or Myalgic Encephalopathy (CFS/ME)–pilot Randomised Controlled Trial. Accessed at: http://www.bristol.ac.uk/media-library/sites/ccah/migrated/documents/smprotv6final.pdf

[5] Crawley EM, Mills N, Hollingworth W, et al. 2013. Comparing specialist medical care with specialist medical care plus the Lightning Process® for chronic fatigue syndrome or myalgic encephalomyelitis (CFS/ME): study protocol for a randomised controlled trial (SMILE Trial). Trials; 14:444

[6] Crawley EM, Mills N, Beast L, et al. 2013 The feasibility and acceptability of conducting a trial of specialist medical care and the Lightning Process in children with chronic fatigue syndrome:: feasibility randomized controlled trial (SMILE study). Trials; 14:415.