Virology Blog, 29 augustus 2016
In februari vorig jaar heeft Virology Blog een open brief aan The Lancet en zijn redacteur Dr. Richard Horton gepubliceerd, waarbij de onverdedigbare gebreken van de PACE-trial over behandelingen voor ME/CVS worden beschreven, de ziekte die ook wel bekend is als chronisch vermoeidheidssyndroom. Tweeënveertig gewaardeerde wetenschappers, academici en artsen hebben hun namen onder de brief gezet, die ronduit verklaarde dat de gebreken in PACE “geen plaats hebben in gepubliceerd onderzoek.” De brief verzocht om een volledige onafhankelijke heranalyse van de PACE-studiedata, aangezien de auteurs geweigerd hebben om de resultaten te publiceren die ze in hun oorspronkelijk protocol beschreven hebben. De brief werd ook rechtstreeks naar Dr. Horton gestuurd.
De open brief was gebaseerd op het uitgebreide onderzoeksrapport dat door David Tuller geschreven werd, de wetenschappelijk coördinator van het gezamenlijke programma journalistiek en volksgezondheid van de UC Berkeley. Het verslag werd vorig jaar in oktober op Virology Blog gepost. Dit verslag schetst zulke flagrante gebreken, zoals uitkomstdrempelwaardes die overlapten met toegangcriteria, het gedurende de studie promoten van de therapieën die onderzocht werden, het nalaten om de originele resultaten zoals in het protocol beschreven waren te presenteren, het niet naleven een specifieke belofte in het protocol om deelnemers te informeren over de belangenconflicten van de onderzoekers, en andere serieuze gebreken.
Virology Blog heeft de open brief voor het eerst in november gepost, met zes handtekeningen. Op dat moment antwoordde het kantoor van Dr. Horton dat hij zou antwoorden na terugkeer van zijn “reis”. Drie maanden later hadden wij nog altijd niet terug gehoord van Dr. Horton – misschien was hij nog steeds “aan het reizen” – dus hebben we besloten om het opnieuw te publiceren, nu met veel meer mensen die ondertekend hebben.
De dag dat de tweede open brief gepost werd, e-mailde Dr. Horton mij en vroeg om een brief van de groep. (Hij legde niet uit waar hij de laatste drie maanden “aan het reizen” was geweest.) Dit is wat hij schreef: “Hartelijk dank voor uw e-mail. In het belang van transparantie, zou ik u graag uitnodigen om een brief voor publicatie in te sturen – wil uw brief rond de 500 woorden houden. We zullen dan de auteurs van de studie uitnodigen om te antwoorden op uw zeer ernstige beschuldigingen.”
Dr. Hortons e-mail gaf duidelijk aan dat de brief gepubliceerd zou worden, met het antwoord van de PACE-auteurs op problematiek zoals door ons was geopperd; er was geen dubbelzinnigheid of mogelijkheid tot misinterpretatie. In goed vertrouwen hebben wij de volgende maand een brief ter publicatie ingediend, met 43 handtekeningen dit keer, via het online redactiesysteem van The Lancet. Na verschillende maanden zonder antwoord hebben wij pas onlangs vernomen door het online redactiesysteem te checken, dat The Lancet botweg de brief afgewezen had, zonder uitleg. Niemand contacteerde mij om de beslissing uit te leggen of waarom we gevraagd werden om tijd te besteden aan een brief waarvan The Lancet duidelijk geen intentie had om die te publiceren.
Ik schreef terug naar Dr. Horton, en wees erop dat dit gedrag uiterst onprofessioneel was en verzocht om een uitleg voor de afwijzing. Ik vroeg hem ook of hij de gewoonte had om brieven te vragen van drukke wetenschappers en onderzoekers die dit tijdschrift niet echt van plan was om te publiceren. Ik vroeg hem ook of het tijdschrift van plan was om zijn afwijzing te heroverwegen, in het licht van de beslissing van de Rechtbank van Eerste Aanleg, die brandhout maakte van de nepredenen die de PACE-auteurs aandroegen om te weigeren de data te verstrekken voor onafhankelijke analyse.
Dr. Horton excuseerde zichzelf niet of was zelfs niet welwillend om te antwoorden. In plaats daarvan antwoordde Audrey Ceschia, de corresponderend redacteur van The Lancet, die uitlegde dat de redactie van The Lancet, na de kwestie met de PACE-auteurs te hebben besproken, besloten heeft dat de brief niets wezenlijk nieuw toevoegde aan de discussie. Zij verzekerde ons dat als we nog een brief instuurden die zich focuste op de beslissing van de Rechtbank van Eerste Aanleg, het “serieus” in overweging genomen zou worden. Ik ben niet zeker waarom zij of Dr. Horton denkt dat een dergelijke toezegging van The Lancet geloofwaardig is op dit punt.
De redenen voor de afwijzing zijn duidelijk misleidend. De brief voor publicatie weerspiegelde de onderwerpen die in de open brief behandeld werden en juist reden waren voor de uitnodiging van Dr. Horton, en leefde onverkort/nauwgezet zijn richtlijn na om onze “ernstige beschuldigingen” te schetsen. Als het schetsen van deze beschuldigingen door The Lancet beschouwd werd als niet-publicatiewaardig, dan is het voor ons onbegrijpelijk waarom Dr. Horton om de brief verzocht heeft in de eerste plaats. Misschien was het gewoon een poging om enkele maanden verdere kritiek af te houden terwijl wij wachtten op de publicatie van de brief, niet op de hoogte zijnd van het voornemen van het tijdschrift om het te verwerpen. Het is zeker verrassend dat The Lancet de PACE-auteurs enige macht heeft gegeven om te bepalen welke brieven in het tijdschrift zelf verschijnen.
Dr. Tullers onderzoek, op basis van de baanbrekende analyses die door vele onderlegde patiënten en belangenbehartigers uitgevoerd werden sinds The Lancet de eerste PACE-resultaten in 2011 publiceerde, heeft daadwerkelijk de geloofwaardigheid van de bevindingen onderuitgehaald. Zo ook een follow-upanalyse van Dr. Rebecca Goldin, een professor wiskunde aan de George Mason University en directeur van Stats.org, een denktak die mede gesponsord wordt door de American Statistical Association. Kortom, de PACE-studie is bedrog, met nietszeggende resultaten. In dit geval heeft de keizer echt geen kleren Dr. Horton en zijn redactieteam aan The Lancet zijn echt poedelnaakt.
Toch blijft de PACE-studie in de literatuur. Hun aanbeveling van behandelingen die potentieel schadelijk zijn, specifiek voor patiënten, graduele oefentherapie en cognitieve gedragstherapie, beide specifiek ontworpen om de activiteitenniveaus van patiënten te verhogen – blijft zeer invloedrijk.
Bijzonder zorgwekkend is dat de PACE-bevindingen geleid hebben tot de basis voor de MAGENTA-studie, een zogenaamde “PACE voor kinderen”, dat graduele oefentherapie bij kinderen en jongeren zal testen. Een haalbaarheidsstudie gesponsord door de Royal United Hospitals Bath NHS Foundation Trust, rekruteert momenteel deelnemers. Het is natuurlijk volstrekt onaanvaardbaar dat een studie zich zou rechtvaardigen op basis van de oninterpreteerbare bevindingen van de PACE-studie. De MAGENTA-studie zou een halt toegeroepen moeten worden totdat de PACE-auteurs gedaan hebben wat de Rechtbank van Eerste Aanleg hen opgelegd heeft te doen – hun ruwe data vrijgeven en anderen toelaten om die te analyseren op basis van de uitkomsten zoals die gespecificeerd werden in het protocol van de PACE-studie.
Omwille van de urgentie van de kwestie, posten wij vandaag op PubMed Commons de brief die The Lancet afgewezen heeft. Op die manier kunnen lezers voor zichzelf uitmaken of het iets toevoegt aan het huidige debat.
NB: de meningen in deze blogpost zijn alleen van mij en niet van een van de andere ondertekenaars van de Lancet-brief, hieronder opgesomd.
Vincent R. Racaniello, PhD
Professor of Microbiology and Immunology
Columbia University
New York, New York
Ronald W. Davis, PhD
Professor of Biochemistry and Genetics
Stanford University
Stanford, California
Jonathan C.W. Edwards, MD
Emeritus Professor of Medicine
University College London
London, England, United Kingdom
Leonard A. Jason, PhD
Professor of Psychology
DePaul University
Chicago, Illinois
Bruce Levin, PhD
Professor of Biostatistics
Columbia University
New York, New York
Arthur L. Reingold, MD
Professor of Epidemiology
University of California, Berkeley
Berkeley, California
******
Dharam V. Ablashi, DVM, MS, Dip Bact
Scientific Director – HHV-6 Foundation
Former Senior Investigator
National Cancer Institute, NIH
Bethesda, Maryland
James N. Baraniuk, MD
Professor, Department of Medicine
Georgetown University
Washington, D.C.
Lisa F. Barcellos, PhD, MPH
Professor of Epidemiology
School of Public Health
California Institute for Quantitative Biosciences
University of California
Berkeley, California
Lucinda Bateman MD PC
MECFS and Fibromyalgia clinician
Salt Lake City, Utah
Alison C. Bested MD FRCPC
Clinical Associate Professor of Hematology
University of British Columbia
Vancouver, British Columbia, Canada
John Chia, MD
Clinician/Researcher
EV Med Research
Lomita, California
Lily Chu, MD, MSHS
Independent Researcher
San Francisco, California
Derek Enlander, MD, MRCS, LRCP
Attending Physician
Mount Sinai Medical Center, New York
ME CFS Center, Mount Sinai School of Medicine
New York, New York
Mary Ann Fletcher, PhD
Schemel Professor of Neuroimmune Medicine
College of Osteopathic Medicine
Nova Southeastern University
Professor Emeritus, University of Miami School of Medicine
Fort Lauderdale, Florida
Kenneth Friedman, PhD
Associate Professor of Pharmacology and Physiology (retired)
New Jersey Medical School
University of Medicine and Dentistry of NJ
Newark, New Jersey
Robert F. Garry, PhD
Professor of Microbiology and Immunology
Tulane University School of Medicine
New Orleans, Louisiana
Rebecca Goldin, PhD
Professor of Mathematics
George Mason University
Fairfax, Virginia
David L. Kaufman, MD,
Medical Director
Open Medicine Institute
Mountain View, California
Susan Levine, MD
Clinician, Private Practice
Visiting Fellow, Cornell University
New York, New York
Alan R. Light, PhD
Professor, Department of Anesthesiology
Department of Neurobiology and Anatomy
University of Utah
Salt Lake City, Utah
Patrick E. McKnight, PhD
Professor of Psychology
George Mason University
Fairfax, Virginia
Zaher Nahle, PhD, MPA
Vice President for Research and Scientific Programs
Solve ME/CFS Initiative
Los Angeles, California
James M. Oleske, MD, MPH
Francois-Xavier Bagnoud Professor of Pediatrics
Senator of RBHS Research Centers, Bureaus, and Institutes
Director, Division of Pediatrics Allergy, Immunology & Infectious Diseases
Department of Pediatrics
Rutgers – New Jersey Medical School
Newark, New Jersey
Richard N. Podell, M.D., MPH
Clinical Professor
Rutgers Robert Wood Johnson Medical School
New Brunswick, New Jersey
William Satariano, PhD
Professor of Epidemiology and Community Health
University of California, Berkeley
Berkeley, California
Paul T Seed MSc CStat CSci
Senior Lecturer in Medical Statistics
King’s College London, Division of Women’s Health
St Thomas’ Hospital
London, England, United Kingdom
Charles Shepherd, MB BS
Honorary Medical Adviser to the ME Association
London, England, United Kingdom
Christopher R. Snell, PhD
Scientific Director
WorkWell Foundation
Ripon, California
Nigel Speight, MA, MC, BChir, FRCP, FRCPCH, DCH
Pediatrician
Durham, England, United Kingdom
Philip B. Stark, PhD
Professor of Statistics
University of California, Berkeley
Berkeley, California
Eleanor Stein, MD FRCP(C)
Assistant Clinical Professor
University of Calgary
Calgary, Alberta, Canada
John Swartzberg, MD
Clinical Professor Emeritus
School of Public Health
University of California, Berkeley
Berkeley, California
Ronald G. Tompkins, MD, ScD
Summer M Redstone Professor of Surgery
Harvard University
Boston, Massachusetts
Rosemary Underhill, MB BS.
Physician, Independent Researcher
Palm Coast, Florida
Dr Rosamund Vallings MNZM, MB BS
General Practitioner
Auckland, New Zealand
Michael VanElzakker, PhD
Research Fellow, Psychiatric Neuroscience Division
Harvard Medical School and Massachusetts General Hospital
Boston, Massachusetts
Mark Vink, MD
Family Physician
Soerabaja Research Center
Amsterdam, The Netherlands
Prof Dr FC Visser
Cardiologist
Stichting CardioZorg
Hoofddorp, The Netherlands
William Weir, FRCP
Infectious Disease Consultant
London, England, United Kingdom
John Whiting, MD
Specialist Physician
Private Practice
Brisbane, Australia
Marcie Zinn, PhD
Research Consultant in Experimental Neuropsychology, qEEG/LORETA, Medical/Psychological Statistics
NeuroCognitive Research Institute, Chicago
Center for Community Research
DePaul University
Chicago, Illinois
Mark Zinn, MM
Research consultant in experimental electrophysiology
Center for Community Research
DePaul University
Chicago, Illinois
© Virology Blog. Vertaling Zuiderzon, redactie Poppetje, ME-gids.
Ingestuurde brief naar The Lancet, nu op PubMedCommons
VINCENT RACANIELLO, PubMedCommons, 29 augustus 2016
Hieronder vindt u de tekst van een brief die eerder dit jaar naar The Lancet ingestuurd werd, die vroeg om een onafhankelijke review van de PACE-trial. The Lancet had ons uitgenodigd om een brief in te sturen, en heeft het vervolgens zonder reden afgewezen. Om de tekst binnen de limieten van PubMedCommons te houden, worden alleen de eerste zes namen getoond van degene die de brief getekend hebben.
Geachte heer,
De PACE-trial rapporteerde dat oefening en psychotherapie doeltreffende behandelingen voor chronisch vermoeidheidssyndroom waren. Maar PACE was een ongeblindeerde studie met subjectieve uitkomstmaten – een ontwerp dat al kwetsbaar is voor vooringenomenheid. Zoals patiënten al lang opgemerkt hebben, leed PACE ook onder bijkomende methodologische tekortkomingen waardoor hoogstwaarschijnlijk onbetrouwbare resultaten geproduceerd worden. Een recent onderzoek door David Tuller van de University of California, Berkeley, verhoogde het publieke bewustzijn van de gebreken van PACE en leidde tot een open brief van ons aan The Lancet die om een onafhankelijke review verzochten.
Enkele ernstige misstappen van PACE:
- Paradoxaal genoeg konden deelnemers – voorafgaand aan behandeling – reeds gekwalificeerd worden als verbeterd of “binnen de normale waarden” voor vermoeidheid en fysiek functioneren, de primaire uitkomstmaten. Hoe? Omdat de “normale waarden” van de uitkomstscores van PACE in feite een slechtere gezondheidstoestand toestonden dan de toegangsscores die vereist waren bij deelname om ernstige invaliditeit aan te tonen. Bij de start scoorden 13% van de deelnemers “binnen de normaalwaarden” op een van beide uitkomstmaten – details niet gerapporteerd in de paper. Een PACE-onderzoeker beschreef deelnemers die aan deze lakse “normaalwaarden” voldeden als “terug naar normaal” – een misleidende verklaring die in de schijnwerpers werd geplaatst in de berichtgeving in de media. Een begeleidend commentaar, gereviewed voor publicatie door de PACE-onderzoekers, noemde dit “een strikt criterium voor herstel.”
- PACE claimde succes enkel op basis van subjectieve uitkomsten. Deelnemers in een groep verbeterden lichtjes op een wandeltest maar bleven ernstig geïnvalideerd. De onderzoekers verwierpen vervolgens deze test en andere objectieve metingen – die allemaal faalden om succes aan te tonen – als irrelevant of niet-objectief. Ze beschrijven hun bevindingen als robuust, maar niet-geblindeerde trials met subjectieve eindpunten, zelfs zonder de vele andere problemen van PACE, kunnen alleen maar bewijs van lage kwaliteit opleveren.
- PACE gebruikte één symptoom om deelnemers te identificeren – zes maanden van invaliderende, onverklaarde vermoeidheid. Een rapport van de National Institutes of Health uit 2015 deed de aanbeveling om deze brede definitie af te schaffen omdat ze heterogene steekproeven genereert die “vooruitgang verhindert en schade veroorzaakt.” De subgroepanalyses in PACE van twee alternatieve criteria zijn ook moeilijk te interpreteren – een onbekend aantal patiënten kan voldoen aan deze criteria maar uitgesloten zijn van de initiële definitie en dus niet geobserveerd.
- PACE heeft zijn protocolstrategie om de primaire uitkomsten en “herstel”criteria te analyseren aanzienlijk gewijzigd, maar voegde geen gevoeligheidsanalyses toe, de geaccepteerde methode van het evalueren van de impact en het wegnemen van bezorgdheid over bias. Of de onderzoekers al dan niet herzieningen hebben gedaan vooraleer de uitkomstdata te reviewen, is irrelevant: de uitkomstentrends in ongeblindeerde studies zijn vaak al in een vroeg stadium duidelijk voor de studieonderzoekers, zelfs als de beoordelaars de toebedeelde behandeling (in welke behandelingsgroep patienten zaten) niet kennen. De onderzoekers hebben geweigerd om de protocolresultaten te verstrekken en hebben verzoeken om data afgewezen als “ergerlijk”.
- Een nieuwsbrief voor deelnemers – gepubliceerd terwijl een derde nog steeds beoordeling onderging – bevatte enthousiaste getuigenissen van eerdere deelnemers over uitstekende resultaten, maar niemand die slechte resultaten rapporteerde, wat mogelijk subjectieve beoordelingen vertekende richting het positieve. Dezelfde nieuwsbrief rapporteerde dat nieuwe Britse behandelrichtlijnen, “gebaseerd op het best beschikbare bewijs” de twee PACE-interventies aanbeval die de voorkeur hadden van de onderzoekers. Adaptieve pacingtherapie, een niet-geteste interventie specifiek ontwikkeld voor PACE, werd niet vermeld.
- Ondanks de expliciete belofte in het protocol van de onderzoekers om deelnemers te informeren over “elk mogelijk belangenconflict,” vermelden de toestemmingsformulieren niet hun ME/CVS-gerelateerd werk voor zorgverzekeraars. Het is irrelevant dat ze deze conflicten in The Lancet bekend maakten en dat verzekeraars geen rol speelden in PACE. Gezien dit verzuim, zijn de getekende toestemmingsformulieren van twijfelachtige legitimiteit.
De vorige antwoorden van de onderzoekers op dergelijke bezwaren waren niet bevredigend. We zijn ervan overtuigd dat de studiedata een volledige onafhankelijke review moeten ondergaan.
Vincent R. Racaniello, PhD Professor of Microbiology and Immunology Columbia University
Ronald W. Davis, PhD Professor of Biochemistry and Genetics Stanford University
Jonathan C.W. Edwards, MD Emeritus Professor of Medicine University College London
Leonard A. Jason, PhD Professor of Psychology DePaul University
Bruce Levin, PhD Professor of Biostatistics Columbia University
Arthur L. Reingold, MD Professor of Epidemiology University of California, Berkeley
Vertaling Zuiderzon, redactie Poppetje, ME-gids.
Lees ook
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (1)
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (2)
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (3)
- Onderzoekers van de PACE-studie antwoorden David Tuller
- David Tuller reageert op de PACE-onderzoekers
- Petitie : Misleidende claims van PACE-studie moeten teruggetrokken worden
- Trial by error, vervolgd: heeft de PACE-studie echt een “strikt criterium” voor herstel toegepast?
- Trial by error, vervolg: Waarom is het “zusteronderzoek” van de PACE-studie “verdwenen” en vergeten?
- Overheid beveelt vrijgave van de gegevens van de PACE-studie
- Proffen schrijven open brief aan The Lancet en vragen herevaluatie van PACE-resultaten
- Open brief van Invest in ME over de PACE-studie aan de redacteur van The Lancet
- Trial by error, vervolgd: Het werk van het PACE-team voor verzekeringsmaatschappijen “houdt geen verband” met PACE. Echt waar?
- In het kielzog van het onderzoek van David Tuller, publiceren de PACE-onderzoekers een follow-upstudie
- ME Association: We betwisten het follow-uprapport van de PACE-studie
- Professor Jonathan Edwards: PACE-studie is “waardeloos”
- Oninterpreteerbaar: Fatale fouten in het PACE follow-uponderzoek van het chronisch vermoeidheidssyndroom
- Waarom de wetenschappelijke wereld het nodig heeft dat de PACE-gegevens worden vrijgegeven
- Reporter hekelt studie naar chronisch vermoeidheidssyndroom: ik stopte bij 14.000 woorden – genoeg was genoeg
- Een “moreel equivalent van oorlog” en de PACE-studie over chronisch vermoeidheidssyndroom
- Waarom ME-patiënten kritisch zijn over de PACE-studie
- Was onafhankelijke peerreview van de papers over de PACE-studie mogelijk?
- James Coyne over de “objectiviteit” van NHS Choices en het belachelijk maken van ME/CVS-patiënten
- Wat er voor nodig is voor Queen Mary om een verzoek om wetenschappelijke gegevens als “ergerlijk” te verklaren
- Update van mijn formeel verzoek voor het vrijgeven van de gegevens van de PACE-studie
- Formeel verzoek aan PLOS One om een Uitdrukking van Bezorgdheid uit te vaardigen voor de PACE-studie
- Waarom ik niet weet hoe PLOS zal reageren op de weigering van de auteurs om de data vrij te geven
- Antwoord van PLOS One op de bezorgdheid over de weigering van King’s College om de PACE-data te delen
- Proffen verzoeken om de gegevens van de PACE-studie
- King’s College London rekt tijd nog wat meer door weigering te herhalen om PACE-onderzoeksdata vrij te geven
- Herkennen wanneer het “beschermen van de privacy van patiënten” louter een excuus is voor het niet delen van de data
- Herzien van de economische analyse van de PACE-studie in PLoS One
- Een inkijk in de aanval op het delen van data
- Trial By Error, vervolgd: vragen voor Dr. White en zijn collega’s van de PACE-studie
- Niet-bekendgemaakte belangenconflicten in reviewprotocol van interventies voor medisch onverklaarde symptomen
- Trial by error, vervolgd: heeft de PACE-studie werkelijk bewezen dat graduele oefentherapie veilig is?
- Trial by error, vervolgd: meer nonsens van The Lancet Psychiatry
- We zijn tenminste niet ergerlijk
- Verdere inzichten in de oorlog tegen het delen van data
- Trial by error, vervolgd: een paar woorden over pesterijen
- Het heroverwegen van het beleid rond het onderzoek naar en de behandeling van ME/CVS
- Opnieuw een open brief aan de Lancet
- What About ME? Deel 1: ME-patiënten vragen patiëntenorganisaties kleur te bekennen t.a.v. PACE
- Ook België steunt in open brief de globale oproep om de PACE-data vrij te geven
- Lezing Dr. David Tuller en Prof. Frans Visser tijdens Nederlandse première Forgotten Plague
- Petitie met 12.000 handtekeningen aan The Lancet bezorgd om de PACE-studiedata vrij te geven
- Open brief Prof. Malcolm Hooper aan The Lancet
- Een half jaar gaat voorbij zonder de vrijgave van PACE-studiedata uit PLOS One
- PACE-Gate: de controverse over de grootste studie naar CGT en GET bij ME/cvs
- Proffen schrijven open brief aan PLoS One i.v.m. PACE-studie naar CGT/GET
- Correctie van PLoS verwijdert geanonimiseerde patiëntengegevens in studie naar CVS (& zet ze daarna terug)
- “Hun mond viel open van verbazing over de PACE-trial naar CGT en GET.”
- Rechtbank eist vrijgave van de gegevens van de PACE-studie naar CGT en GET voor ME/CVS
- Queen Mary University of London “bestudeert” de regelgeving om de PACE-data vrij te geven
