8 april 2024.
Vorige maand stuurde ik een brief naar Dr. Abbasi, de hoofdredacteur van The BMJ, over een flagrante en mogelijk frauduleuze claim in de REGAIN-studie – een onderzoek naar een revalidatieprogramma voor lichamelijke en geestelijke gezondheid bij langdurige Covid. Verschillende andere experts hebben de brief mee ondertekend.
Het vakblad vroeg ons om een snelle reactie. We weigerden, omdat het tijdschrift al een snelle reactie met een soortgelijk punt, die weken eerder was geplaatst, al had genegeerd. Bovendien waren we niet geïnteresseerd in een debat. De feiten waren de feiten. We vonden het de verantwoordelijkheid van het tijdschrift en de auteurs om het artikel te corrigeren.
Natuurlijk is er sindsdien niets gebeurd. Dus eerder vandaag heb ik de brief opnieuw verstuurd, dit keer met twee dozijn ondertekenaars.
Ik moet duidelijk maken dat ik helemaal niet verrast ben, gezien mijn eerdere ervaringen met Dr. Abbasi en zijn gebrekkige besluitvorming. Vóór zijn huidige functie was hij redacteur van het Journal of the Royal Society of Medicine. Tijdens zijn ambtstermijn publiceerde het tijdschrift een stuk onzin waarvan de auteurs onder meer professor Trudie Chalder en professor Sir Simon Wessely waren, een voormalig voorzitter van de Royal Society. In dat geval deed het artikel causale beweringen over klinische uitkomsten terwijl het de mogelijkheid ontkende om causale beweringen te doen op basis van de beschikbare dataset. Net als bij het REGAIN-onderzoeksrapport spraken de auteurs zichzelf tegen.
Brian Hughes, een professor in de psychologie aan de Universiteit van Galway, en ik schreven naar het tijdschrift voor een correctie. Dr. Abbasi wees ons verzoek af. Uiteindelijk publiceerden we een kritiek op het artikel in het Journal of Health Psychology. Iedereen kan domme fouten maken. Als je ze niet corrigeert, is er sprake van wangedrag op onderzoeksgebied of, in dit geval, op redactioneel gebied. Achter duidelijke onjuistheden blijven staan, zoals Dr. Abbasi in dat geval deed en nu doet met REGAIN, betekent dat de artikelen zelf alleen maar bedrieglijk en frauduleus genoemd kunnen worden.
Het is schokkend – of misschien is het nauwkeuriger om te zeggen dat het schokkend zou moeten zijn – dat dit bedrog en deze fraude plaatsvinden op de hoogste niveaus van de Britse academische geneeskunde. Op dit gebied schokt weinig mij meer. Dat maakt het gedrag niet minder griezelig. Maar op dit moment zou niemand verrast moeten zijn door iets wat Trump doet. (Oeps, ik bedoel Dr. Abbasi en andere kruiperige aanhangers van de ideologische CGT-en-oefenbrigades. Excuses aan voormalig president Trump!)
**********
Geachte Dr. Abbasi,
In februari publiceerde The BMJ “Clinical effectiveness of an online supervised group physical and mental health rehabilitation programme for adults with post-covid-19 condition (REGAIN study): multicentre randomised controlled trial,” van McGregor et al [1]. In het onderzoek kregen 585 patiënten met aanhoudende symptomen na een ziekenhuisopname voor covid-19 een acht weken durende interventie toegewezen, bestaande uit meer dan tien online sessies van een uur, of aan “gebruikelijke zorg”, bestaande uit een online consult van een half uur.
De studie was niet geblindeerd en baseerde zich uitsluitend op subjectieve uitkomsten – een studieopzet die gegarandeerd een onbekende mate van vertekening zou genereren. Het primaire resultaat, gezondheidsgerelateerde levenskwaliteit na drie maanden, werd beoordeeld met de voorkeursscore (PROPr) afgeleid van het Patient-Reported Outcomes Measurement Information System (PROMIS) [2]. Hoewel er geen biomarkers beschikbaar zijn voor “post-covid-19-aandoening”, hadden de auteurs ervoor kunnen kiezen om onder hun secundaire uitkomsten een of meer objectieve maatstaven van functioneren op te nemen, zoals de zes-minuten-looptest, stappentest voor fitheid, actigrafie om de afgelegde afstand te beoordelen, of arbeidsstatus.
Gezien de vertekening die inherent is aan de onderzoeksopzet, is het verrassend dat de bevindingen voor de primaire uitkomst toch zo slecht waren dat de auteurs zich blijkbaar genoodzaakt voelden om ze verkeerd weer te geven. In de belangrijkste intention-to-treatanalyse rapporteren de auteurs een gemiddeld verschil in PROPr-scores tussen de interventie- en gebruikelijke zorg-armen van 0,03 na zowel drie maanden als 12 maanden. (Dit laatste was een secundaire uitkomst.) In de conclusie van het abstract stellen de auteurs dat de interventie “klinisch effectief was in het verbeteren van de gezondheidsgerelateerde levenskwaliteit na drie en twaalf maanden in vergelijking met gebruikelijke zorg” bij “volwassenen met een post-covid-aandoening”.
Om te beginnen is het ongepast van de auteurs om bevindingen van patiënten die met covid-19 in het ziekenhuis werden opgenomen, te extrapoleren naar het veel grotere aantal patiënten met langdurige symptomen die niet in het ziekenhuis werden opgenomen. Afgezien van deze ernstige interpretatiefout ondersteunt het gerapporteerde verschil van 0,03 in PROPr-scores tussen de twee groepen niet de bewering dat de interventie “klinisch effectief” was.
In de beschrijving van PROPr in het methodengedeelte merken de auteurs op dat “net als bij andere op voorkeur gebaseerde metingen zoals het EuroQol 5 dimensie 5 niveau (EQ-5D-5L)-instrument, een verschil van 0,03 tot 0,05 als klinisch belangrijk wordt beschouwd.” De referentie voor deze verklaring, een officiële “veelgestelde vragen” (FAQ- pagina voor de PROMIS-maatstaven die in het onderzoek werden gebruikt, spreekt de bewering van de auteurs dat “een verschil van 0,03 tot 0,05 als klinisch belangrijk wordt beschouwd” voor PROPr [3] echter expliciet tegen.
Hier is de uitleg van de FAQ die door de auteurs wordt geciteerd:
“Het minimaal belangrijke verschil voor PROPr is niet formeel geëvalueerd, maar we raden momenteel aan om 0,04 te gebruiken. De meeste op voorkeuren gebaseerde metingen hebben drempelwaarden voor minimaal belangrijke verschillen tussen 0,03 en 0,05. De huidige ontwikkelingen suggereren dat een minimaal belangrijk verschil van 0,04 geschikt zou zijn, hoewel een conservatieve schatting van 0,08 (de helft van een standaarddeviatie in de PROPr-dataset) ook zou kunnen worden gebruikt.”
Met andere woorden, de bewering van de auteurs in het methodengedeelte dat de geaccepteerde drempel voor een “klinisch belangrijk” of “minimaal belangrijk” verschil voor PROPr hetzelfde is als voor andere op voorkeuren gebaseerde metingen, is categorisch onjuist [4, 5]. In het discussiegedeelte van het artikel erkennen de auteurs dit, maar geven vervolgens een irrelevante reden waarom ze toch klinische effectiviteit claimen.
Zoals ze schrijven: “Onderzoek dat is voltooid sinds we met deze studie zijn begonnen, suggereert een minimaal belangrijk verschil van 0,04 op de PROPr-score tussen de groepen. Onze waargenomen verschillen van 0,03 (95% betrouwbaarheidsinterval 0,01 tot 0,05) na drie maanden en 0,03 (0,01 tot 0,06) na 12 maanden zijn kleiner dan deze suggestie. De analyse van het gemiddelde causale effect liet echter een groter effect zien van 0,05 (0,01 tot 0,09) bij drie maanden en 0,06 (0,01 tot 0,10) bij 12 maanden, wat suggereert dat het werkelijke effect, bij degenen die zich volledig aan de interventie houden, deze drempel zou kunnen overschrijden.”
Dit argument is onhoudbaar. De auteurs kunnen niet met recht klinische effectiviteit claimen voor hun algehele bevindingen als deze claim alleen van toepassing is op een subgroep van hun steekproef die volledig aan de eisen voldoet en niet wordt bevestigd door de hoofdanalyse. Het artikel – en in het bijzonder de conclusie in het abstract dat de interventie “klinisch effectief” was voor gezondheidsgerelateerde levenskwaliteit – moet worden gecorrigeerd om aan te geven dat de primaire uitkomstresultaten niet voldeden aan de momenteel aanbevolen drempel voor “klinisch belangrijk” of “minimaal belangrijk” verschil voor de betreffende maat. (Ik heb de medeondertekenaars en de hoofdonderzoeker een cc gestuurd).
Hoogachtend,
David Tuller (corresponderend auteur)
Center for Global Public Health
University of California, Berkeley
Berkeley, California, USA
davetuller@berkeley.edu
Nicola Clague-Baker
School of Health Sciences
University of Liverpool
Liverpool, England, UK
Svetlana Blitshteyn
Dysautonomia Clinic
Buffalo, New York, USA
Todd Davenport
Department of Physical Therapy
University of the Pacific
Stockton, California, USA
David Davies-Payne
Department of Radiology
Starship Children’s Hospital
Auckland, New Zealand
Jonathan Edwards
Department of Medicine
University College London
London, England, UK
Andrew Ewing
Department of Chemistry and Molecular Biology
University of Gothenburg
Gothenburg, Sweden
Mark Faghy
Human Sciences Research Centre
University of Derby
Derby, England, UK
Keith Geraghty
Centre for Primary Care and Health Services Research
University of Manchester
Manchester, England, UK
Cori Hayden
Department of Anthropology
University of California, Berkeley, USA
Calliope Hollingue
Department of Mental Health
Johns Hopkins Bloomberg School of Public Health
Baltimore, Maryland, USA
Mady Hornig
Department of Epidemiology
Columbia University Mailman School of Public Health
New York, New York, USA
Brian Hughes
School of Psychology
University of Galway
Galway, Ireland
Leonard Jason
Center for Community Research
DePaul University
Chicago, Illinois, USA
David Joffe
Respiratory and Sleep Medicine
Royal North Shore Hospital
Sydney, Australia
Binita Kane
Respiratory Medicine
Manchester University NHS Foundation Trust
Manchester, England, UK
Douglas Kell
Institute of Systems, Molecular and Integrative Biology
University of Liverpool
Liverpool, England, UK
Asad Khan
North West Lung Centre
Manchester University Hospitals
Manchester, England, UK
Resia Pretorius
Department of Physiological Sciences
Stellenbosch University
Stellenbosch, South Africa
David Putrino
Department of Rehabilitation and Human Performance
Icahn School of Medicine at Mt Sinai
New York, New York, USA
Charles Shepherd
ME Association
Gawcutt, England, UK
Michael Stingl
Neurology Department
Votivpark Specialist Medical Center
Vienna, Austria
John Swartzberg
Division of Infectious Diseases and Vaccinology
School of Public Health
University of California, Berkeley
Berkeley, California, USA
Susan Taylor-Brown
Department of Pediatrics, Developmental & Behavioral Pediatrics
University of Rochester Medical Center
Rochester, New York, USA
1. McGregor G, Sandhu H, Bruce J, et al. Clinical effectiveness of an online supervised group physical and mental health rehabilitation programme for adults with post-covid-19 condition (REGAIN study): multicentre randomised controlled trial. BMJ 2024;384;e076506
2. Dewitt B, Jalal H, Hanmer J. Computing PROPr Utility Scores for PROMIS® Profile Instruments. Value Health 2020;23:370-8
3. PROPr: The PROMIS-Preference Score. What is this minimally important difference for PROPr? https://www.proprscore.com/faqs/; 2023
4. ME/CFS Skeptic. Thread: Clinical effectiveness of an online group physical & mental health rehab programme for post-covid-19 condition REGAIN study, 2024, McGregor+. Science for ME [Internet]; 9 Feb 2024; #23. Accessed at: https://www.s4me.info/threads/clinical-effectiveness-of-an-online-group-physical-mental-health-rehab-programme-for-post-covid-19-condition-regain-study-2024-mcgregor.37174/page-2#post-514588
5. Louise S. Rapid Response: Re: Clinical effectiveness of an online supervised group physical and mental health rehabilitation programme for adults with post-covid-19 condition (REGAIN study): multicentre randomised controlled trial — Conclusions are concerning. BMJ; 13 Feb 2024. Accessed at: https://www.bmj.com/content/384/bmj-2023-076506/rr
© David Tuller voor Virology Blog. Vertaling admin, redactie NAHdine, ME-gids.
