David Tuller, DrPH, Virology Blog, 19 februari 2018
Drie weken geleden e-mailde professor Racaniello een bezorgde brief naar Archives of Disease in Childhood over hun recente studie van het Lightning Process als behandeling voor ME/CVS bij kinderen. De redacteur van het wetenschappelijk tijdschrift, Dr. Nick Brown, antwoordde binnen het uur, en verzekerde professor Racaniello ervan dat hij de zaak serieus nam en dat het vakblad de kwestie zou beoordelen. Ik begrijp dat dit proces een tijd kan duren en kijk uit naar het antwoord.
In de tussentijd nam ik in het weekend opnieuw contact op met Dr. Brown, nadat een oplettende patiënt mij attendeerde op een interessante verklaring op de website van BMJ. Archives of Disease in Childhood, een wetenschappelijk tijdschrift van BMJ, belooft op zijn website om zich te houden aan het beleid van de organisatie en verwijst lezers naar de Auteurspost van BMJ voor verdere informatie. Deze post bevat een pagina over registratie van klinische studies.
Dit is de belangrijkste passage: “In overeenstemming met de Aanbevelingen van het ICMJE [Internationaal Comité van Redacteurs van Medische Tijdschriften], zal BMJ geen rapporten van klinische studies in overweging nemen tenzij ze prospectief geregistreerd werden vóór rekrutering van de deelnemers. Dit is van toepassing op studies die begonnen zijn na 1 juli 2005.”
In mijn e-mail aan Dr. Brown merkte ik op dat de studie naar het Lightning Process in strijd was met dit expliciete beleid over prospectieve studieregistratie. In de studie kwamen meer dan de helft deelnemers uit de haalbaarheidsstudie, waarvan de deelnemers gerekruteerd waren voor de officiële registratiedatum van de studie – in sommige gevallen bijna twee jaar eerder. Daarom was de studie duidelijk niet geregistreerd “voor rekrutering van de deelnemers”, zoals vereist volgens het beleid van BMJ.
De verklaring over prospectieve studieregistratie in het Auteurspunt van BMJ is niet dubbelzinnig. Gezien de methodologische keuzes van de studie over het Lightning Process, kan de studie redelijkerwijs niet beschreven worden als “prospectief”. Als Archives of Disease in Childhood zich gehouden had aan het vermelde beleid van BMJ voor studieregistratie, dan zou het de studie überhaupt niet gepubliceerd hebben. Onder de omstandigheden zou een terugtrekking eerder op zijn plaats zijn dan een correctie.
Verder stuurde professor Racaniello deze morgen [d.d. 19 februari 2018, n.v.d.r.] een e-mail met de volgende brief over een andere studie naar Trish Groves, hoofdredacteur bij BMJ Open. Hij zette Richard Sands, een mede-uitgever, en Fiona Godlee, hoofdredacteur van The BMJ, in cc.
**********
Geachte Dr. Groves,
In 2011 publiceerde BMJ Open een paper met de titel “Unidentified Chronic Fatigue Syndrome/myalgic encephalomyelitis (CFS/ME) is a major cause of school absence: surveillance outcomes from school-based clinics” [Ongeïdentificeerd chronisch vermoeidheidssyndroom/myalgische encefalomyelitis (CVS/ME) is een belangrijke oorzaak van afwezigheid op school: controle-uitkomsten van aan scholen verbonden klinieken] [1]. In de studie implementeerden de onderzoekers wat zij een “proefproject klinische dienst” noemden, om hun theorie te testen dat veel kinderen school missen omwille van chronisch vermoeidheidssyndroom, en dat schoolafwezigheidsregisters nuttig zouden kunnen zijn om ze te identificeren. De studie concludeerde dat deze aanpak inderdaad doeltreffend was in het identificeren van nieuwe patiënten.
De onderzoekers, allen van de University of Bristol, werkten samen met drie scholen in de regio. De scholen stuurden brieven naar de families van 146 leerlingen geregistreerd stonden met significante afwezigheid, en nodigden hen hierbij uit op een bespreking van het probleem met een pediater van de klinische CVS/ME-dienst in Bath en een schoolmedewerker. De kinderarts was de hoofdonderzoekers van de studie; in vele of de meeste gevallen, was de schoolmedewerker de leerplichtambtenaar. Meer dan 100 families antwoordden op de brieven en woonden de bespreking bij. Uiteindelijk werd bij 28 van de leerlingen chronisch vermoeidheidssyndroom geïdentificeerd.
Ouders in het VK kunnen vervolgd worden als hun kinderen te veel school missen. Het ontvangen van dergelijke schoolbrieven kon dwingend aangevoeld hebben voor de betrokken families, en het zou kunnen dat de erop volgende besprekingen nog meer angst en verdriet veroorzaakt hebben. Dit is precies het soort moeilijke situaties waarin ethische review en goedkeuring essentieel zijn. Toch stelden de onderzoekers deze studie vrij van ethische review op grond van het feit dat ze een “dienstevaluatie” uitvoerden, zoals gerapporteerd op Virology Blog door David Tuller van de University of California, Berkeley [2].
De studie die beschreven is in de paper van de BMJ Open, voldoet niet aan de geaccepteerde definities van dienstevaluatie, inclusief deze van de Britse Health Research Authority [Britse belangenverdediger van patiënten en volksgezondheid in onderzoek, n.v.d.r.] [3]. Volgens deze officiële richtlijnen worden studies met hypotheses en veralgemeenbare conclusies beschouwd als “onderzoek” en moeten ze ethische review ondergaan.
Dienstevaluatiestudies, die geen ethische review vereisen, zijn ontworpen om de huidige zorg te beoordelen, maar produceren geen bevindingen die geëxtrapoleerd kunnen worden naar andere populaties. Ze berusten meestal op anonieme secundaire gegevens die routinematig verzameld zijn bij patiënten in de loop van hun reguliere behandeling – niet op primaire gegevens die onderzoekers zelf uit eerste hand verzameld hebben bij besprekingen die specifiek georganiseerd werden voor de doelstellingen van een studie.
De zaak is hier meer dan duidelijk. Deze studie was geen evaluatie van de klinische diensten die verstrekt werden aan huidige patiënten. Het was ontworpen en beschreven als een testrit van een innovatieve methodologie om ongediagnosticeerde en onbekende CVS/ME-patiënten te identificeren onder de leerlingen die geregistreerd staan als veelvuldig afwezig.
We zijn specifiek bezorgd over het volgende:
- Om het argument te ondersteunen dat de studie een dienstevaluatie was en daarom vrijgesteld was van ethische review, citeerden de onderzoekers een advies van de ethische onderzoekscommissie over een project dat niets te maken had met de hulpverlening en gegevensverzamelingsactiviteiten zoals beschreven in de paper in de BMJ Open. In het advies uit 2007 werd bevestigd dat de toevoeging van een paar vragenlijsten aan deze die ingevuld werden door patiënten die reeds naar de klinische dienst voor CVS/ME gingen, in aanmerking kwam als dienstevaluatie. De bewering dat men dit advies redelijkerwijs zo kan interpreteren dat het van toepassing is op de methodologie die gevolgd werd in de studie naar afwezigheid op school, kan onmogelijk als gegrond beschouwd worden.
- In deze studie werd bij slechts 28 van de 146 leerlingen van wie de families werden gecontacteerd, uiteindelijk CVS/ME vastgesteld. Met andere woorden hebben meer dan 100 families van leerlingen bij wie uiteindelijk geen CVS/ME vastgesteld werd, brieven gekregen waarbij ze uitgenodigd werden voor een bijeenkomst met een arts en een schoolbeambte over een medische en juridisch gevoelig onderwerp. Het is onduidelijk hoe het contacteren van mensen die blijkbaar niet getroffen zijn door CVS/ME, als deel van een pilootprogramma om potentiële patiënten te identificeren, beschouwd kon worden als dienstevaluatie van lopende zorg voor de ziekte.
- De paper in de BMJ Open bevatte een expliciete hypothese evenals conclusies die als veralgemeenbaar gepresenteerd werden, zij het met enkele beperkingen. Hypothesen en veralgemeenbare conclusies gaan verder dan het gebruikelijk begrip van wat een dienstevaluatie is en worden erkend als elementen van wat als onderzoek beschouwd wordt, zoals beschreven door de Toezichthoudende Autoriteit Voor Gezondheidsonderzoek.
- BMJ Open zelf publiceerde de paper onder de titel “onderzoek.” Niettemin heeft het wetenschappelijk tijdschrift de beslissing van de onderzoekers verdedigd om de studie als een dienstevaluatie te classificeren – hoewel een reviewer vóór publicatie ernstige vragen stelde over het gebrek aan ethische review. BMJ Open heeft niet uitgelegd hoe het aanschrijven van families van leerlingen die niet bekend zijn bij de klinische dienst voor CVS/ME, beschouwd kan worden als een dienstevaluatie van lopende patiëntenzorg.
- Om zijn positie te ondersteunen heeft BMJ Open verwezen naar een verklaring die vorig jaar uitgebracht werd door de University of Bristol ter verdediging van het werk van haar faculteit over chronisch vermoeidheidssyndroom [4]. Maar de verklaring van Bristol focuste op het gebruik van anonieme secundaire gegevens die werden verzameld door CVS/ME-klinieken doorheen het land. De verklaring ging niet in op de methodologie voor het rechtstreeks verzamelen van primaire gegevens van studenten, die werden gebruikt in de studie naar afwezigheid op school.
Hoe dan ook biedt de gedetailleerde beschrijving van de gegevensverzameling voor dit “proefproject klinische dienst” in de paper in de BMJ Open voldoende bewijs dat de studie geen “dienstevaluatie” was maar “onderzoek.” Het is verbijsterend dat het wetenschappelijk tijdschrift nagelaten heeft om dit onmiskenbaar feit te erkennen. Deze pediatrische studie had niet mogen worden uitgevoerd, laat staan gepubliceerd, zonder een volledige ethische review. Aangezien ze toch uitgevoerd en gepubliceerd werd, moet BMJ Open nu snel stappen nemen om te verduidelijken wat er gebeurd is en om deze ernstige zaak op een volledig transparante manier aan te pakken.
Met vriendelijke groet,
Vincent R. Racaniello, PhD
Professor of Microbiology and Immunology
Columbia University
New York, NY, USA
Ronald W. Davis, PhD
Professor of Biochemistry and Genetics
Stanford University
Stanford, CA, USA
Jonathan C.W. Edwards, MD
Emeritus Professor of Medicine
University College London
London, UK
Rebecca Goldin, PhD
Professor of Mathematics
George Mason University
Fairfax, VA, USA
Leonard A. Jason, PhD
Professor of Psychology
DePaul University
Chicago, IL, USA
Steven Lubet
Williams Memorial Professor of Law
Northwestern University Pritzker School of Law
Chicago, IL, USA
David F. Marks, PhD
Editor
Journal of Health Psychology
& Health Psychology Open
London, UK
Marlon Maus, MD, DrPH, FACS
Director, DrPH Program
School of Public Health
University of California, Berkeley
Berkeley, CA, USA
Patrick E. McKnight, PhD
Professor of Psychology
George Mason University
Fairfax, VA, USA
Zaher Nahle, PhD, MPA
Vice President for Research and Scientific Programs
Solve ME/CFS Initiative
Los Angeles, CA, USA
Philip B. Stark, PhD
Professor of Statistics
University of California, Berkeley
Berkeley, CA, USA
John Swartzberg, MD
Clinical Professor Emeritus
School of Public Health
University of California, Berkeley
Berkeley, CA, USA
Samuel Tucker, MD
Assistant Clinical Professor of Psychiatry (retired)
University of California, San Francisco
San Francisco, California, USA
David Tuller, DrPH
Senior Fellow in Public Health and Journalism
Center for Global Public Health
University of California, Berkeley
Berkeley, CA, USA
William Weir, FRCP
Infectious Disease Consultant
London, UK
**********
[1] Crawley EM, Emond AM & Sterne JA. 2011. Unidentified Chronic Fatigue Syndrome/myalgic encephalomyelitis (CFS/ME) is a major cause of school absence: surveillance outcomes from school-based clinics. BMJ Open; 1: e000252. Accessed at: http://bmjopen.bmj.com/content/bmjopen/1/2/e000252.full.pdf
[2] Tuller D. 2017. Trial by error: no ethical review of Crawley school absence study. Virology Blog; Aug 28. Accessed at: http://www.virology.ws/2017/08/28/trial-by-error-no-ethical-review-of-crawley-school-absence-study/
[3] U.K. Health Research Authority. 2017. Decision tools. Accessed at: http://www.hra-decisiontools.org.uk/research/docs/DefiningResearchTable_Oct2017-1.pdf
[4] University of Bristol. 2017. University of Bristol statement about the CFS/ME National Outcome Database (NOD). Accessed at: http://www.bristol.ac.uk/media-library/sites/red/documents/research-governance/University%20of%20Bristol%20statements%20about%20CFS_ME%20research.pdf
© David Tuller voor Virology Blog. Vertaling zuiderzon, redactie abby, ME-gids.
Lees ook
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (1)
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (2)
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (3)
- Onderzoekers van de PACE-studie antwoorden David Tuller
- David Tuller reageert op de PACE-onderzoekers
- Petitie : Misleidende claims van PACE-studie moeten teruggetrokken worden
- Trial by error, vervolgd: heeft de PACE-studie echt een “strikt criterium” voor herstel toegepast?
- Trial by error, vervolg: Waarom is het “zusteronderzoek” van de PACE-studie “verdwenen” en vergeten?
- Overheid beveelt vrijgave van de gegevens van de PACE-studie
- Proffen schrijven open brief aan The Lancet en vragen herevaluatie van PACE-resultaten
- Open brief van Invest in ME over de PACE-studie aan de redacteur van The Lancet
- Trial by error, vervolgd: Het werk van het PACE-team voor verzekeringsmaatschappijen “houdt geen verband” met PACE. Echt waar?
- In het kielzog van het onderzoek van David Tuller, publiceren de PACE-onderzoekers een follow-upstudie
- ME Association: We betwisten het follow-uprapport van de PACE-studie
- Professor Jonathan Edwards: PACE-studie is “waardeloos”
- Oninterpreteerbaar: Fatale fouten in het PACE follow-uponderzoek van het chronisch vermoeidheidssyndroom
- Waarom de wetenschappelijke wereld het nodig heeft dat de PACE-gegevens worden vrijgegeven
- Reporter hekelt studie naar chronisch vermoeidheidssyndroom: ik stopte bij 14.000 woorden – genoeg was genoeg
- Een “moreel equivalent van oorlog” en de PACE-studie over chronisch vermoeidheidssyndroom
- Waarom ME-patiënten kritisch zijn over de PACE-studie
- Was onafhankelijke peerreview van de papers over de PACE-studie mogelijk?
- James Coyne over de “objectiviteit” van NHS Choices en het belachelijk maken van ME/CVS-patiënten
- Wat er voor nodig is voor Queen Mary om een verzoek om wetenschappelijke gegevens als “ergerlijk” te verklaren
- Update van mijn formeel verzoek voor het vrijgeven van de gegevens van de PACE-studie
- Formeel verzoek aan PLOS One om een Uitdrukking van Bezorgdheid uit te vaardigen voor de PACE-studie
- Waarom ik niet weet hoe PLOS zal reageren op de weigering van de auteurs om de data vrij te geven
- Antwoord van PLOS One op de bezorgdheid over de weigering van King’s College om de PACE-data te delen
- Proffen verzoeken om de gegevens van de PACE-studie
- King’s College London rekt tijd nog wat meer door weigering te herhalen om PACE-onderzoeksdata vrij te geven
- Herkennen wanneer het “beschermen van de privacy van patiënten” louter een excuus is voor het niet delen van de data
- Herzien van de economische analyse van de PACE-studie in PLoS One
- Een inkijk in de aanval op het delen van data
- Trial By Error, vervolgd: vragen voor Dr. White en zijn collega’s van de PACE-studie
- Niet-bekendgemaakte belangenconflicten in reviewprotocol van interventies voor medisch onverklaarde symptomen
- Trial by error, vervolgd: heeft de PACE-studie werkelijk bewezen dat graduele oefentherapie veilig is?
- Trial by error, vervolgd: meer nonsens van The Lancet Psychiatry
- We zijn tenminste niet ergerlijk
- Verdere inzichten in de oorlog tegen het delen van data
- Trial by error, vervolgd: een paar woorden over pesterijen
- Het heroverwegen van het beleid rond het onderzoek naar en de behandeling van ME/CVS
- Opnieuw een open brief aan de Lancet
- What About ME? Deel 1: ME-patiënten vragen patiëntenorganisaties kleur te bekennen t.a.v. PACE
- Ook België steunt in open brief de globale oproep om de PACE-data vrij te geven
- Lezing Dr. David Tuller en Prof. Frans Visser tijdens Nederlandse première Forgotten Plague
- Petitie met 12.000 handtekeningen aan The Lancet bezorgd om de PACE-studiedata vrij te geven
- Open brief Prof. Malcolm Hooper aan The Lancet
- Een half jaar gaat voorbij zonder de vrijgave van PACE-studiedata uit PLOS One
- PACE-Gate: de controverse over de grootste studie naar CGT en GET bij ME/cvs
- Proffen schrijven open brief aan PLoS One i.v.m. PACE-studie naar CGT/GET
- Correctie van PLoS verwijdert geanonimiseerde patiëntengegevens in studie naar CVS (& zet ze daarna terug)
- “Hun mond viel open van verbazing over de PACE-trial naar CGT en GET.”
- Rechtbank eist vrijgave van de gegevens van de PACE-studie naar CGT en GET voor ME/CVS
- Queen Mary University of London “bestudeert” de regelgeving om de PACE-data vrij te geven
- The Lancet struikelt opnieuw over de PACE-studie
- Trial by error, vervolgd: mijn vragen voor de hoofdredacteur van The Lancet, Richard Horton
- Vrijgave data PACE-team volgens originele protocol
- Verklaring QMUL: bekendmaking van de data van de PACE-studie onder de Wet op de Vrijheid van Informatie
- Persbericht. De vrijgave van de PACE-data is een fundamentele overwinning voor mensen met ME/cvs
- Stop studies naar graduele oefentherapie voor ME/CVS
- Prof. Van der Meer waarschuwt voor delen van data met “je vijanden”
- Geen “herstel” in de PACE-studie, blijkt uit nieuwe analyse
- Slechte wetenschap heeft miljoenen ME/cvs-patiënten misleid. Hier leest u hoe we terugvochten.
- Belangrijkste punten uit de analyse van de ruwe data voor “herstel” van de PACE-studie
- Bewijs voor aanbevolen behandelingen voor ME en CVS houdt geen stand
- Trial by error, vervolgd: de echte data van de PACE-studie
- Erger dan de ziekte
- De PACE-studie: waar “herstel” niet betekent dat je terug gezond bent
- Hoe de brief van Alem Matthees het mysterie van ME/cvs hielp oplossen
- Een open brief aan Psychological Medicine over “herstel” en de PACE-trial (Update)
- Opnieuw een open brief aan Psychological Medicine!
- De bal misslaan bij ME/cvs
- Trial by error, vervolgd: de nieuwe FITNET-studie voor kinderen
- Trial by error, vervolgd: een vervolgpost over FITNET-NHS
- Trial by error, vervolgd: de Nederlandse studies (opnieuw!), en een Esther Crawley-bonus
- Trial by error, vervolgd: mijn lasterlijk bloggen op Virology Blog
- Trial by error, vervolgd: een open brief aan het bestuur van het CFS/ME Research Collaborative (CMRC)
- Trial by error, vervolgd: CFS/ME Research Collaborative aan Virology Blog: “Rot op!”
- Trial by error, vervolgd: Het CMRC bevestigt volledige steun aan Lasterlijke Esther
- Trial by error, vervolgd: ME Research UK stapt uit het CFS/ME Research Collaborative
- Trial by error, vervolgd: mijn “scheur-het-aan-flarden”-toespraak bij Invest in ME
- David Tuller zamelt geld in voor Virology Blogs Trial by error: verslaggeving over PACE, ME/cvs en verwante onderwerpen
- Trial by error, vervolgd: mijn brief aan de University of Bristol
- Crowdfundingcampagne David Tuller in teken van ME: nog twee weken te gaan…
- David Tuller komt op voor ME: de laatste tien dagen van de campagne…
- Trial by error, vervolgd: is PACE een geval van wetenschappelijk wangedrag?
- Trial by error, vervolgd: de reis van Julie Rehmeyer “Through The Shadowlands”
- Trial by error, vervolgd: meer over graduele oefentherapie van Peter White en The Lancet
- Trial by error: De CDC schrappen cognitieve gedragstherapie (CGT) en graduele oefentherapie (GET) voor ME/cvs
- Trial by error: De NICE-richtlijnen, en meer over de CDC
- Trial by error: NICE weigert om namen van experts te onthullen
- Trial by error: NICE verwerpt mijn verzoek op basis van vrijheid van informatie
- De PACE-trial, of hoe een medisch schandaal tot stand kwam
- Waarop moet je letten in de Speciale Editie van het Journal of Health Psychology over de PACE-trial
- Deel 2: Waarop moet je letten in de Speciale Editie van het Journal of Health Psychology over de PACE-trial
- Trial by error: de wanhopige pogingen van het Science Media Center om PACE te verdedigen
- Trial by error: gepensioneerde PACE-onderzoeker Peter White en Swiss Re
- Trial by error: mijn e-mailuitwisseling met de directeur van NICE
- Trial by error: geen ethische review van de studie van Crawley over afwezigheid op school
- Trial by error: verzoek om meer details over de studie van Crawley over afwezigheid op school
- Trial by error: de rapporten van de “deskundigen ter zake” van NICE
- Trial by error: MEGA’s nieuwst mislukking
- Trial by error: NICE verwerpt huidige richtlijn, plant “volledige update”
- Trial by error: NIH geeft een subsidie van 2,1 miljoen dollar aan de Britse Biobank!
- Trial by error: nog een brief aan de directeur van NICE
- Trial by error: huidige NICE-richtlijn blijft, voorlopig toch
- Trial by error: de verrassende nieuwe gids voor beste praktijken van BMJ [voor ME/cvs]
- Trial by error: mijn korte ontmoeting met Professor Crawley
- Trial by error: Hé, Bristol! Waar is mijn ‘cease and desist’-brief*?
- Trial by error: de Crawley-kronieken (vervolg)
- Trial by error: mijn eenzijdige correspondentie met professor Crawley
- Trial by error: de niet-openbaar gemaakte uitkomstenverwisseling van de SMILE-studie
- SMILE-studie Lightning Process voor kinderen met CVS: Resultaten te mooi om waar te zijn?
- Trial by error: mijn vragen voor het Science Media Center
- Trial by error: de klacht van Bristol aan Berkeley
- David Tuller en de (s)PACEcake-eters
- Trial by error: de studie naar afwezigheid op school, tweede ronde
- Trial by error: COPE aan BMJ Open: meer details alstublieft!
- Trial by error: mijn halfjaaroverzicht
- Trial by error: de valse beweringen van professor Crawley op BuzzFeed
- Trial by error: een brief aan Archives of Disease in Childhood
- Trial by error: brief van CPET-experts aan het British Journal of Sports Medicine
- Trial by error: QMUL en FOI, Nature en Cochrane, het Pineapple Fund
- Trial by error: nieuws over mijn plannen
- Trial by error: de Nederlandse review; mijn trip; Bristols stilzwijgen
- Trial by error op Virology Blog: verslaggeving over ME/CVS. Crowdfundingscampagne voor David Tuller!