Home » Nieuwsartikels » David Tuller » Trial by error: een brief aan BMJ Open

Trial by error: een brief aan BMJ Open

Geplaatst door ME-Gids
op 30/03/2018

Laatste bijwerking op 30/03/2018

Bron:

| 21320 x gelezen

David Tuller, DrPH, Virology Blog, 19 februari 2018

Drie weken geleden e-mailde professor Racaniello een bezorgde brief naar Archives of Disease in Childhood over hun recente studie van het Lightning Process als behandeling voor ME/CVS bij kinderen. De redacteur van het wetenschappelijk tijdschrift, Dr. Nick Brown, antwoordde binnen het uur, en verzekerde professor Racaniello ervan dat hij de zaak serieus nam en dat het vakblad de kwestie zou beoordelen. Ik begrijp dat dit proces een tijd kan duren en kijk uit naar het antwoord.

In de tussentijd nam ik in het weekend opnieuw contact op met Dr. Brown, nadat een oplettende patiënt mij attendeerde op een interessante verklaring op de website van BMJ. Archives of Disease in Childhood, een wetenschappelijk tijdschrift van BMJ, belooft op zijn website om zich te houden aan het beleid van de organisatie en verwijst lezers naar de Auteurspost van BMJ voor verdere informatie. Deze post bevat een pagina over registratie van klinische studies.

Dit is de belangrijkste passage: “In overeenstemming met de Aanbevelingen van het ICMJE [Internationaal Comité van Redacteurs van Medische Tijdschriften], zal BMJ geen rapporten van klinische studies in overweging nemen tenzij ze prospectief geregistreerd werden vóór rekrutering van de deelnemers. Dit is van toepassing op studies die begonnen zijn na 1 juli 2005.”

In mijn e-mail aan Dr. Brown merkte ik op dat de studie naar het Lightning Process in strijd was met dit expliciete beleid over prospectieve studieregistratie. In de studie kwamen meer dan de helft deelnemers uit de haalbaarheidsstudie, waarvan de deelnemers gerekruteerd waren voor de officiële registratiedatum van de studie – in sommige gevallen bijna twee jaar eerder. Daarom was de studie duidelijk niet geregistreerd “voor rekrutering van de deelnemers”, zoals vereist volgens het beleid van BMJ.

De verklaring over prospectieve studieregistratie in het Auteurspunt van BMJ is niet dubbelzinnig. Gezien de methodologische keuzes van de studie over het Lightning Process, kan de studie redelijkerwijs niet beschreven worden als “prospectief”. Als Archives of Disease in Childhood zich gehouden had aan het vermelde beleid van BMJ voor studieregistratie, dan zou het de studie überhaupt niet gepubliceerd hebben. Onder de omstandigheden zou een terugtrekking eerder op zijn plaats zijn dan een correctie.

Verder stuurde professor Racaniello deze morgen [d.d. 19 februari 2018, n.v.d.r.] een e-mail met de volgende brief over een andere studie naar Trish Groves, hoofdredacteur bij BMJ Open. Hij zette Richard Sands, een mede-uitgever, en Fiona Godlee, hoofdredacteur van The BMJ, in cc.

**********

Geachte Dr. Groves,

In 2011 publiceerde BMJ Open een paper met de titel “Unidentified Chronic Fatigue Syndrome/myalgic encephalomyelitis (CFS/ME) is a major cause of school absence: surveillance outcomes from school-based clinics” [Ongeïdentificeerd chronisch vermoeidheidssyndroom/myalgische encefalomyelitis (CVS/ME) is een belangrijke oorzaak van afwezigheid op school: controle-uitkomsten van aan scholen verbonden klinieken] [1]. In de studie implementeerden de onderzoekers wat zij een “proefproject klinische dienst” noemden, om hun theorie te testen dat veel kinderen school missen omwille van chronisch vermoeidheidssyndroom, en dat schoolafwezigheidsregisters nuttig zouden kunnen zijn om ze te identificeren. De studie concludeerde dat deze aanpak inderdaad doeltreffend was in het identificeren van nieuwe patiënten.

De onderzoekers, allen van de University of Bristol, werkten samen met drie scholen in de regio. De scholen stuurden brieven naar de families van 146 leerlingen geregistreerd stonden met significante afwezigheid, en nodigden hen hierbij uit op een bespreking van het probleem met een pediater van de klinische CVS/ME-dienst in Bath en een schoolmedewerker. De kinderarts was de hoofdonderzoekers van de studie; in vele of de meeste gevallen, was de schoolmedewerker de leerplichtambtenaar. Meer dan 100 families antwoordden op de brieven en woonden de bespreking bij. Uiteindelijk werd bij 28 van de leerlingen chronisch vermoeidheidssyndroom geïdentificeerd.

Ouders in het VK kunnen vervolgd worden als hun kinderen te veel school missen. Het ontvangen van dergelijke schoolbrieven kon dwingend aangevoeld hebben voor de betrokken families, en het zou kunnen dat de erop volgende besprekingen nog meer angst en verdriet veroorzaakt hebben. Dit is precies het soort moeilijke situaties waarin ethische review en goedkeuring essentieel zijn. Toch stelden de onderzoekers deze studie vrij van ethische review op grond van het feit dat ze een “dienstevaluatie” uitvoerden, zoals gerapporteerd op Virology Blog door David Tuller van de University of California, Berkeley [2].

De studie die beschreven is in de paper van de BMJ Open, voldoet niet aan de geaccepteerde definities van dienstevaluatie, inclusief deze van de Britse Health Research Authority [Britse belangenverdediger van patiënten en volksgezondheid in onderzoek, n.v.d.r.] [3]. Volgens deze officiële richtlijnen worden studies met hypotheses en veralgemeenbare conclusies beschouwd als “onderzoek” en moeten ze ethische review ondergaan.

Dienstevaluatiestudies, die geen ethische review vereisen, zijn ontworpen om de huidige zorg te beoordelen, maar produceren geen bevindingen die geëxtrapoleerd kunnen worden naar andere populaties. Ze berusten meestal op anonieme secundaire gegevens die routinematig verzameld zijn bij patiënten in de loop van hun reguliere behandeling – niet op primaire gegevens die onderzoekers zelf uit eerste hand verzameld hebben bij besprekingen die specifiek georganiseerd werden voor de doelstellingen van een studie.

De zaak is hier meer dan duidelijk. Deze studie was geen evaluatie van de klinische diensten die verstrekt werden aan huidige patiënten. Het was ontworpen en beschreven als een testrit van een innovatieve methodologie om ongediagnosticeerde en onbekende CVS/ME-patiënten te identificeren onder de leerlingen die geregistreerd staan als veelvuldig afwezig.

We zijn specifiek bezorgd over het volgende:

Om het argument te ondersteunen dat de studie een dienstevaluatie was en daarom vrijgesteld was van ethische review, citeerden de onderzoekers een advies van de ethische onderzoekscommissie over een project dat niets te maken had met de hulpverlening en gegevensverzamelingsactiviteiten zoals beschreven in de paper in de BMJ Open. In het advies uit 2007 werd bevestigd dat de toevoeging van een paar vragenlijsten aan deze die ingevuld werden door patiënten die reeds naar de klinische dienst voor CVS/ME gingen, in aanmerking kwam als dienstevaluatie. De bewering dat men dit advies redelijkerwijs zo kan interpreteren dat het van toepassing is op de methodologie die gevolgd werd in de studie naar afwezigheid op school, kan onmogelijk als gegrond beschouwd worden.

In deze studie werd bij slechts 28 van de 146 leerlingen van wie de families werden gecontacteerd, uiteindelijk CVS/ME vastgesteld. Met andere woorden hebben meer dan 100 families van leerlingen bij wie uiteindelijk geen CVS/ME vastgesteld werd, brieven gekregen waarbij ze uitgenodigd werden voor een bijeenkomst met een arts en een schoolbeambte over een medische en juridisch gevoelig onderwerp. Het is onduidelijk hoe het contacteren van mensen die blijkbaar niet getroffen zijn door CVS/ME, als deel van een pilootprogramma om potentiële patiënten te identificeren, beschouwd kon worden als dienstevaluatie van lopende zorg voor de ziekte.

De paper in de BMJ Open bevatte een expliciete hypothese evenals conclusies die als veralgemeenbaar gepresenteerd werden, zij het met enkele beperkingen. Hypothesen en veralgemeenbare conclusies gaan verder dan het gebruikelijk begrip van wat een dienstevaluatie is en worden erkend als elementen van wat als onderzoek beschouwd wordt, zoals beschreven door de Toezichthoudende Autoriteit Voor Gezondheidsonderzoek.
BMJ Open zelf publiceerde de paper onder de titel “onderzoek.” Niettemin heeft het wetenschappelijk tijdschrift de beslissing van de onderzoekers verdedigd om de studie als een dienstevaluatie te classificeren – hoewel een reviewer vóór publicatie ernstige vragen stelde over het gebrek aan ethische review. BMJ Open heeft niet uitgelegd hoe het aanschrijven van families van leerlingen die niet bekend zijn bij de klinische dienst voor CVS/ME, beschouwd kan worden als een dienstevaluatie van lopende patiëntenzorg.
Om zijn positie te ondersteunen heeft BMJ Open verwezen naar een verklaring die vorig jaar uitgebracht werd door de University of Bristol ter verdediging van het werk van haar faculteit over chronisch vermoeidheidssyndroom [4]. Maar de verklaring van Bristol focuste op het gebruik van anonieme secundaire gegevens die werden verzameld door CVS/ME-klinieken doorheen het land. De verklaring ging niet in op de methodologie voor het rechtstreeks verzamelen van primaire gegevens van studenten, die werden gebruikt in de studie naar afwezigheid op school.

Hoe dan ook biedt de gedetailleerde beschrijving van de gegevensverzameling voor dit “proefproject klinische dienst” in de paper in de BMJ Open voldoende bewijs dat de studie geen “dienstevaluatie” was maar “onderzoek.” Het is verbijsterend dat het wetenschappelijk tijdschrift nagelaten heeft om dit onmiskenbaar feit te erkennen. Deze pediatrische studie had niet mogen worden uitgevoerd, laat staan gepubliceerd, zonder een volledige ethische review. Aangezien ze toch uitgevoerd en gepubliceerd werd, moet BMJ Open nu snel stappen nemen om te verduidelijken wat er gebeurd is en om deze ernstige zaak op een volledig transparante manier aan te pakken.

Met vriendelijke groet,

Vincent R. Racaniello, PhD

Professor of Microbiology and Immunology

Columbia University

New York, NY, USA

Ronald W. Davis, PhD

Professor of Biochemistry and Genetics

Stanford University

Stanford, CA, USA

Jonathan C.W. Edwards, MD

Emeritus Professor of Medicine

University College London

London, UK

Rebecca Goldin, PhD

Professor of Mathematics

George Mason University

Fairfax, VA, USA

Leonard A. Jason, PhD

Professor of Psychology

DePaul University

Chicago, IL, USA

Steven Lubet

Williams Memorial Professor of Law

Northwestern University Pritzker School of Law

Chicago, IL, USA

David F. Marks, PhD

Editor

Journal of Health Psychology

& Health Psychology Open

London, UK

Marlon Maus, MD, DrPH, FACS

Director, DrPH Program

School of Public Health

University of California, Berkeley

Berkeley, CA, USA

Patrick E. McKnight, PhD

Professor of Psychology

George Mason University

Fairfax, VA, USA

Zaher Nahle, PhD, MPA

Vice President for Research and Scientific Programs

Solve ME/CFS Initiative

Los Angeles, CA, USA

Philip B. Stark, PhD

Professor of Statistics

University of California, Berkeley

Berkeley, CA, USA

John Swartzberg, MD

Clinical Professor Emeritus

School of Public Health

University of California, Berkeley

Berkeley, CA, USA

Samuel Tucker, MD

Assistant Clinical Professor of Psychiatry (retired)

University of California, San Francisco

San Francisco, California, USA

David Tuller, DrPH

Senior Fellow in Public Health and Journalism

Center for Global Public Health

University of California, Berkeley

Berkeley, CA, USA

William Weir, FRCP

Infectious Disease Consultant

London, UK

**********

[1] Crawley EM, Emond AM & Sterne JA. 2011. Unidentified Chronic Fatigue Syndrome/myalgic encephalomyelitis (CFS/ME) is a major cause of school absence: surveillance outcomes from school-based clinics. BMJ Open; 1: e000252. Accessed at: http://bmjopen.bmj.com/content/bmjopen/1/2/e000252.full.pdf

[2] Tuller D. 2017. Trial by error: no ethical review of Crawley school absence study. Virology Blog; Aug 28. Accessed at: http://www.virology.ws/2017/08/28/trial-by-error-no-ethical-review-of-crawley-school-absence-study/

[3] U.K. Health Research Authority. 2017. Decision tools. Accessed at: http://www.hra-decisiontools.org.uk/research/docs/DefiningResearchTable_Oct2017-1.pdf

[4] University of Bristol. 2017. University of Bristol statement about the CFS/ME National Outcome Database (NOD). Accessed at: http://www.bristol.ac.uk/media-library/sites/red/documents/research-governance/University%20of%20Bristol%20statements%20about%20CFS_ME%20research.pdf