Home » Nieuwsartikels » David Tuller » The Lancet struikelt opnieuw over de PACE-studie

The Lancet struikelt opnieuw over de PACE-studie

Geplaatst door ME-Gids
op 29/08/2016

Laatste bijwerking op 29/08/2016

Bron:

| 10004 x gelezen

Virology Blog, 29 augustus 2016

In februari vorig jaar heeft Virology Blog een open brief aan The Lancet en zijn redacteur Dr. Richard Horton gepubliceerd, waarbij de onverdedigbare gebreken van de PACE-trial over behandelingen voor ME/CVS worden beschreven, de ziekte die ook wel bekend is als chronisch vermoeidheidssyndroom. Tweeënveertig gewaardeerde wetenschappers, academici en artsen hebben hun namen onder de brief gezet, die ronduit verklaarde dat de gebreken in PACE “geen plaats hebben in gepubliceerd onderzoek.” De brief verzocht om een volledige onafhankelijke heranalyse van de PACE-studiedata, aangezien de auteurs geweigerd hebben om de resultaten te publiceren die ze in hun oorspronkelijk protocol beschreven hebben. De brief werd ook rechtstreeks naar Dr. Horton gestuurd.

De open brief was gebaseerd op het uitgebreide onderzoeksrapport dat door David Tuller geschreven werd, de wetenschappelijk coördinator van het gezamenlijke programma journalistiek en volksgezondheid van de UC Berkeley. Het verslag werd vorig jaar in oktober op Virology Blog gepost. Dit verslag schetst zulke flagrante gebreken, zoals uitkomstdrempelwaardes die overlapten met toegangcriteria, het gedurende de studie promoten van de therapieën die onderzocht werden, het nalaten om de originele resultaten zoals in het protocol beschreven waren te presenteren, het niet naleven een specifieke belofte in het protocol om deelnemers te informeren over de belangenconflicten van de onderzoekers, en andere serieuze gebreken.

Virology Blog heeft de open brief voor het eerst in november gepost, met zes handtekeningen. Op dat moment antwoordde het kantoor van Dr. Horton dat hij zou antwoorden na terugkeer van zijn “reis”. Drie maanden later hadden wij nog altijd niet terug gehoord van Dr. Horton – misschien was hij nog steeds “aan het reizen” – dus hebben we besloten om het opnieuw te publiceren, nu met veel meer mensen die ondertekend hebben.

De dag dat de tweede open brief gepost werd, e-mailde Dr. Horton mij en vroeg om een brief van de groep. (Hij legde niet uit waar hij de laatste drie maanden “aan het reizen” was geweest.) Dit is wat hij schreef: “Hartelijk dank voor uw e-mail. In het belang van transparantie, zou ik u graag uitnodigen om een brief voor publicatie in te sturen – wil uw brief rond de 500 woorden houden. We zullen dan de auteurs van de studie uitnodigen om te antwoorden op uw zeer ernstige beschuldigingen.”

Dr. Hortons e-mail gaf duidelijk aan dat de brief gepubliceerd zou worden, met het antwoord van de PACE-auteurs op problematiek zoals door ons was geopperd; er was geen dubbelzinnigheid of mogelijkheid tot misinterpretatie. In goed vertrouwen hebben wij de volgende maand een brief ter publicatie ingediend, met 43 handtekeningen dit keer, via het online redactiesysteem van The Lancet. Na verschillende maanden zonder antwoord hebben wij pas onlangs vernomen door het online redactiesysteem te checken, dat The Lancet botweg de brief afgewezen had, zonder uitleg. Niemand contacteerde mij om de beslissing uit te leggen of waarom we gevraagd werden om tijd te besteden aan een brief waarvan The Lancet duidelijk geen intentie had om die te publiceren.

Ik schreef terug naar Dr. Horton, en wees erop dat dit gedrag uiterst onprofessioneel was en verzocht om een uitleg voor de afwijzing. Ik vroeg hem ook of hij de gewoonte had om brieven te vragen van drukke wetenschappers en onderzoekers die dit tijdschrift niet echt van plan was om te publiceren. Ik vroeg hem ook of het tijdschrift van plan was om zijn afwijzing te heroverwegen, in het licht van de beslissing van de Rechtbank van Eerste Aanleg, die brandhout maakte van de nepredenen die de PACE-auteurs aandroegen om te weigeren de data te verstrekken voor onafhankelijke analyse.

Dr. Horton excuseerde zichzelf niet of was zelfs niet welwillend om te antwoorden. In plaats daarvan antwoordde Audrey Ceschia, de corresponderend redacteur van The Lancet, die uitlegde dat de redactie van The Lancet, na de kwestie met de PACE-auteurs te hebben besproken, besloten heeft dat de brief niets wezenlijk nieuw toevoegde aan de discussie. Zij verzekerde ons dat als we nog een brief instuurden die zich focuste op de beslissing van de Rechtbank van Eerste Aanleg, het “serieus” in overweging genomen zou worden. Ik ben niet zeker waarom zij of Dr. Horton denkt dat een dergelijke toezegging van The Lancet geloofwaardig is op dit punt.

De redenen voor de afwijzing zijn duidelijk misleidend. De brief voor publicatie weerspiegelde de onderwerpen die in de open brief behandeld werden en juist reden waren voor de uitnodiging van Dr. Horton, en leefde onverkort/nauwgezet zijn richtlijn na om onze “ernstige beschuldigingen” te schetsen. Als het schetsen van deze beschuldigingen door The Lancet beschouwd werd als niet-publicatiewaardig, dan is het voor ons onbegrijpelijk waarom Dr. Horton om de brief verzocht heeft in de eerste plaats. Misschien was het gewoon een poging om enkele maanden verdere kritiek af te houden terwijl wij wachtten op de publicatie van de brief, niet op de hoogte zijnd van het voornemen van het tijdschrift om het te verwerpen. Het is zeker verrassend dat The Lancet de PACE-auteurs enige macht heeft gegeven om te bepalen welke brieven in het tijdschrift zelf verschijnen.

Dr. Tullers onderzoek, op basis van de baanbrekende analyses die door vele onderlegde patiënten en belangenbehartigers uitgevoerd werden sinds The Lancet de eerste PACE-resultaten in 2011 publiceerde, heeft daadwerkelijk de geloofwaardigheid van de bevindingen onderuitgehaald. Zo ook een follow-upanalyse van Dr. Rebecca Goldin, een professor wiskunde aan de George Mason University en directeur van Stats.org, een denktak die mede gesponsord wordt door de American Statistical Association. Kortom, de PACE-studie is bedrog, met nietszeggende resultaten. In dit geval heeft de keizer echt geen kleren Dr. Horton en zijn redactieteam aan The Lancet zijn echt poedelnaakt.

Toch blijft de PACE-studie in de literatuur. Hun aanbeveling van behandelingen die potentieel schadelijk zijn, specifiek voor patiënten, graduele oefentherapie en cognitieve gedragstherapie, beide specifiek ontworpen om de activiteitenniveaus van patiënten te verhogen – blijft zeer invloedrijk.

Bijzonder zorgwekkend is dat de PACE-bevindingen geleid hebben tot de basis voor de MAGENTA-studie, een zogenaamde “PACE voor kinderen”, dat graduele oefentherapie bij kinderen en jongeren zal testen. Een haalbaarheidsstudie gesponsord door de Royal United Hospitals Bath NHS Foundation Trust, rekruteert momenteel deelnemers. Het is natuurlijk volstrekt onaanvaardbaar dat een studie zich zou rechtvaardigen op basis van de oninterpreteerbare bevindingen van de PACE-studie. De MAGENTA-studie zou een halt toegeroepen moeten worden totdat de PACE-auteurs gedaan hebben wat de Rechtbank van Eerste Aanleg hen opgelegd heeft te doen – hun ruwe data vrijgeven en anderen toelaten om die te analyseren op basis van de uitkomsten zoals die gespecificeerd werden in het protocol van de PACE-studie.

Omwille van de urgentie van de kwestie, posten wij vandaag op PubMed Commons de brief die The Lancet afgewezen heeft. Op die manier kunnen lezers voor zichzelf uitmaken of het iets toevoegt aan het huidige debat.

NB: de meningen in deze blogpost zijn alleen van mij en niet van een van de andere ondertekenaars van de Lancet-brief, hieronder opgesomd.

Vincent R. Racaniello, PhD

Professor of Microbiology and Immunology

Columbia University

New York, New York

Ronald W. Davis, PhD

Professor of Biochemistry and Genetics

Stanford University

Stanford, California

Jonathan C.W. Edwards, MD

Emeritus Professor of Medicine

University College London

London, England, United Kingdom

Leonard A. Jason, PhD

Professor of Psychology

DePaul University

Chicago, Illinois

Bruce Levin, PhD

Professor of Biostatistics

Columbia University

New York, New York

Arthur L. Reingold, MD

Professor of Epidemiology

University of California, Berkeley

Berkeley, California

******

Dharam V. Ablashi, DVM, MS, Dip Bact

Scientific Director – HHV-6 Foundation

Former Senior Investigator

National Cancer Institute, NIH

Bethesda, Maryland

James N. Baraniuk, MD

Professor, Department of Medicine

Georgetown University

Washington, D.C.

Lisa F. Barcellos, PhD, MPH

Professor of Epidemiology

School of Public Health

California Institute for Quantitative Biosciences

University of California

Berkeley, California

Lucinda Bateman MD PC

MECFS and Fibromyalgia clinician

Salt Lake City, Utah

Alison C. Bested MD FRCPC

Clinical Associate Professor of Hematology

University of British Columbia

Vancouver, British Columbia, Canada

John Chia, MD

Clinician/Researcher

EV Med Research

Lomita, California

Lily Chu, MD, MSHS

Independent Researcher

San Francisco, California

Derek Enlander, MD, MRCS, LRCP

Attending Physician

Mount Sinai Medical Center, New York

ME CFS Center, Mount Sinai School of Medicine

New York, New York

Mary Ann Fletcher, PhD

Schemel Professor of Neuroimmune Medicine

College of Osteopathic Medicine

Nova Southeastern University

Professor Emeritus, University of Miami School of Medicine

Fort Lauderdale, Florida

Kenneth Friedman, PhD

Associate Professor of Pharmacology and Physiology (retired)

New Jersey Medical School

University of Medicine and Dentistry of NJ

Newark, New Jersey

Robert F. Garry, PhD

Professor of Microbiology and Immunology

Tulane University School of Medicine

New Orleans, Louisiana

Rebecca Goldin, PhD

Professor of Mathematics

George Mason University

Fairfax, Virginia

David L. Kaufman, MD,

Medical Director

Open Medicine Institute

Mountain View, California

Susan Levine, MD

Clinician, Private Practice

Visiting Fellow, Cornell University

New York, New York

Alan R. Light, PhD

Professor, Department of Anesthesiology

Department of Neurobiology and Anatomy

University of Utah

Salt Lake City, Utah

Patrick E. McKnight, PhD

Professor of Psychology

George Mason University

Fairfax, Virginia

Zaher Nahle, PhD, MPA

Vice President for Research and Scientific Programs

Solve ME/CFS Initiative

Los Angeles, California

James M. Oleske, MD, MPH

Francois-Xavier Bagnoud Professor of Pediatrics

Senator of RBHS Research Centers, Bureaus, and Institutes

Director, Division of Pediatrics Allergy, Immunology & Infectious Diseases

Department of Pediatrics

Rutgers – New Jersey Medical School

Newark, New Jersey

Richard N. Podell, M.D., MPH

Clinical Professor

Rutgers Robert Wood Johnson Medical School

New Brunswick, New Jersey

William Satariano, PhD

Professor of Epidemiology and Community Health

University of California, Berkeley

Berkeley, California

Paul T Seed MSc CStat CSci

Senior Lecturer in Medical Statistics

King’s College London, Division of Women’s Health

St Thomas’ Hospital

London, England, United Kingdom

Charles Shepherd, MB BS

Honorary Medical Adviser to the ME Association

London, England, United Kingdom

Christopher R. Snell, PhD

Scientific Director

WorkWell Foundation

Ripon, California

Nigel Speight, MA, MC, BChir, FRCP, FRCPCH, DCH

Pediatrician

Durham, England, United Kingdom

Philip B. Stark, PhD

Professor of Statistics

University of California, Berkeley

Berkeley, California

Eleanor Stein, MD FRCP(C)

Assistant Clinical Professor

University of Calgary

Calgary, Alberta, Canada

John Swartzberg, MD

Clinical Professor Emeritus

School of Public Health

University of California, Berkeley

Berkeley, California

Ronald G. Tompkins, MD, ScD

Summer M Redstone Professor of Surgery

Harvard University

Boston, Massachusetts

Rosemary Underhill, MB BS.

Physician, Independent Researcher

Palm Coast, Florida

Dr Rosamund Vallings MNZM, MB BS

General Practitioner

Auckland, New Zealand

Michael VanElzakker, PhD

Research Fellow, Psychiatric Neuroscience Division

Harvard Medical School and Massachusetts General Hospital

Boston, Massachusetts

Mark Vink, MD

Family Physician

Soerabaja Research Center

Amsterdam, The Netherlands

Prof Dr FC Visser

Cardiologist

Stichting CardioZorg

Hoofddorp, The Netherlands

William Weir, FRCP

Infectious Disease Consultant

London, England, United Kingdom

John Whiting, MD

Specialist Physician

Private Practice

Brisbane, Australia

Marcie Zinn, PhD

Research Consultant in Experimental Neuropsychology, qEEG/LORETA, Medical/Psychological Statistics

NeuroCognitive Research Institute, Chicago

Center for Community Research

DePaul University

Chicago, Illinois

Mark Zinn, MM

Research consultant in experimental electrophysiology

Center for Community Research

DePaul University

Chicago, Illinois

Ingestuurde brief naar The Lancet, nu op PubMedCommons

VINCENT RACANIELLO, PubMedCommons, 29 augustus 2016

Hieronder vindt u de tekst van een brief die eerder dit jaar naar The Lancet ingestuurd werd, die vroeg om een onafhankelijke review van de PACE-trial. The Lancet had ons uitgenodigd om een brief in te sturen, en heeft het vervolgens zonder reden afgewezen. Om de tekst binnen de limieten van PubMedCommons te houden, worden alleen de eerste zes namen getoond van degene die de brief getekend hebben.

Geachte heer,

De PACE-trial rapporteerde dat oefening en psychotherapie doeltreffende behandelingen voor chronisch vermoeidheidssyndroom waren. Maar PACE was een ongeblindeerde studie met subjectieve uitkomstmaten – een ontwerp dat al kwetsbaar is voor vooringenomenheid. Zoals patiënten al lang opgemerkt hebben, leed PACE ook onder bijkomende methodologische tekortkomingen waardoor hoogstwaarschijnlijk onbetrouwbare resultaten geproduceerd worden. Een recent onderzoek door David Tuller van de University of California, Berkeley, verhoogde het publieke bewustzijn van de gebreken van PACE en leidde tot een open brief van ons aan The Lancet die om een onafhankelijke review verzochten.

Enkele ernstige misstappen van PACE:

Paradoxaal genoeg konden deelnemers – voorafgaand aan behandeling – reeds gekwalificeerd worden als verbeterd of “binnen de normale waarden” voor vermoeidheid en fysiek functioneren, de primaire uitkomstmaten. Hoe? Omdat de “normale waarden” van de uitkomstscores van PACE in feite een slechtere gezondheidstoestand toestonden dan de toegangsscores die vereist waren bij deelname om ernstige invaliditeit aan te tonen. Bij de start scoorden 13% van de deelnemers “binnen de normaalwaarden” op een van beide uitkomstmaten – details niet gerapporteerd in de paper. Een PACE-onderzoeker beschreef deelnemers die aan deze lakse “normaalwaarden” voldeden als “terug naar normaal” – een misleidende verklaring die in de schijnwerpers werd geplaatst in de berichtgeving in de media. Een begeleidend commentaar, gereviewed voor publicatie door de PACE-onderzoekers, noemde dit “een strikt criterium voor herstel.”

PACE claimde succes enkel op basis van subjectieve uitkomsten. Deelnemers in een groep verbeterden lichtjes op een wandeltest maar bleven ernstig geïnvalideerd. De onderzoekers verwierpen vervolgens deze test en andere objectieve metingen – die allemaal faalden om succes aan te tonen – als irrelevant of niet-objectief. Ze beschrijven hun bevindingen als robuust, maar niet-geblindeerde trials met subjectieve eindpunten, zelfs zonder de vele andere problemen van PACE, kunnen alleen maar bewijs van lage kwaliteit opleveren.

PACE gebruikte één symptoom om deelnemers te identificeren – zes maanden van invaliderende, onverklaarde vermoeidheid. Een rapport van de National Institutes of Health uit 2015 deed de aanbeveling om deze brede definitie af te schaffen omdat ze heterogene steekproeven genereert die “vooruitgang verhindert en schade veroorzaakt.” De subgroepanalyses in PACE van twee alternatieve criteria zijn ook moeilijk te interpreteren – een onbekend aantal patiënten kan voldoen aan deze criteria maar uitgesloten zijn van de initiële definitie en dus niet geobserveerd.

PACE heeft zijn protocolstrategie om de primaire uitkomsten en “herstel”criteria te analyseren aanzienlijk gewijzigd, maar voegde geen gevoeligheidsanalyses toe, de geaccepteerde methode van het evalueren van de impact en het wegnemen van bezorgdheid over bias. Of de onderzoekers al dan niet herzieningen hebben gedaan vooraleer de uitkomstdata te reviewen, is irrelevant: de uitkomstentrends in ongeblindeerde studies zijn vaak al in een vroeg stadium duidelijk voor de studieonderzoekers, zelfs als de beoordelaars de toebedeelde behandeling (in welke behandelingsgroep patienten zaten) niet kennen. De onderzoekers hebben geweigerd om de protocolresultaten te verstrekken en hebben verzoeken om data afgewezen als “ergerlijk”.

Een nieuwsbrief voor deelnemers – gepubliceerd terwijl een derde nog steeds beoordeling onderging – bevatte enthousiaste getuigenissen van eerdere deelnemers over uitstekende resultaten, maar niemand die slechte resultaten rapporteerde, wat mogelijk subjectieve beoordelingen vertekende richting het positieve. Dezelfde nieuwsbrief rapporteerde dat nieuwe Britse behandelrichtlijnen, “gebaseerd op het best beschikbare bewijs” de twee PACE-interventies aanbeval die de voorkeur hadden van de onderzoekers. Adaptieve pacingtherapie, een niet-geteste interventie specifiek ontwikkeld voor PACE, werd niet vermeld.

Ondanks de expliciete belofte in het protocol van de onderzoekers om deelnemers te informeren over “elk mogelijk belangenconflict,” vermelden de toestemmingsformulieren niet hun ME/CVS-gerelateerd werk voor zorgverzekeraars. Het is irrelevant dat ze deze conflicten in The Lancet bekend maakten en dat verzekeraars geen rol speelden in PACE. Gezien dit verzuim, zijn de getekende toestemmingsformulieren van twijfelachtige legitimiteit.

De vorige antwoorden van de onderzoekers op dergelijke bezwaren waren niet bevredigend. We zijn ervan overtuigd dat de studiedata een volledige onafhankelijke review moeten ondergaan.

Vincent R. Racaniello, PhD Professor of Microbiology and Immunology Columbia University

Ronald W. Davis, PhD Professor of Biochemistry and Genetics Stanford University

Jonathan C.W. Edwards, MD Emeritus Professor of Medicine University College London

Leonard A. Jason, PhD Professor of Psychology DePaul University

Bruce Levin, PhD Professor of Biostatistics Columbia University

Arthur L. Reingold, MD Professor of Epidemiology University of California, Berkeley

Vertaling Zuiderzon, redactie Poppetje, ME-gids.