18 november 2024.
In februari publiceerde The BMJ een studie met de titel “Clinical effectiveness of an online supervised group physical and mental health rehabilitation programme for adults with post-covid-19 condition (REGAIN study): multicentre randomised controlled trial.” [Klinische doeltreffendheid van een online begeleid groepsprogramma voor volwassenen met post-covid-aandoening (REGAIN-studie): multicentrisch gerandomiseerde gecontroleerde studie). (Post-Covid-19-aandoening, of PCC, is een van de vele huidige definities voor langdurige Covid.) De studie, geleid door een team van de Universiteit van Warwick, had een aantal ernstige gebreken. De beweringen kunnen niet op hun waarde worden geschat, zoals veel waarnemers hebben opgemerkt en zoals ik hier heb uiteengezet. Ik stuurde ook een brief met mijn bezorgdheid aan de redacteur van het tijdschrift, medeondertekend door een dozijn andere experts.
Een belangrijk probleem was dat het onderzoek niet geblindeerd was en uitsluitend gebaseerd was op de succesclaims op basis van subjectieve uitkomsten – een combinatie van elementen die gegarandeerd een onbekende hoeveelheid vooringenomenheid zal genereren. Bovendien gaven de auteurs een verkeerd beeld van de bevindingen door te verklaren dat de interventie “klinisch effectief” was. In feite vielen de resultaten voor het primaire resultaat onder het momenteel aanbevolen niveau voor het “minimaal klinisch belangrijk verschil” (MCID) voor hun primaire resultaat, dus de interventie mag niet worden gezien als een interventie met “klinische effectiviteit”. De onderzoekers logen feitelijk over de MCID-kwestie in het onderdeel Methoden van het artikel en spraken zichzelf vervolgens dieper in de tekst tegen.
Een ander groot probleem betrof een ander soort verkeerde voorstelling van de bevindingen – in dit geval hoe breed de resultaten konden worden toegepast. Dit was een studie met patiënten die voor Covid-19 in het ziekenhuis waren opgenomen. De overgrote meerderheid van de PCC-, of longcovidpatiënten werden echter niet in het ziekenhuis opgenomen, waardoor de relevantie van de studie voor hen twijfelachtig is. En toch lieten de onderzoekers dit belangrijke detail weg in prominente delen van het artikel die lezers waarschijnlijk zullen zien. Het detail werd niet genoemd in de titel van het artikel. En zowel in de conclusie van de samenvatting als in het kader “Wat deze studie toevoegt”, dat de tekst vergezelde en de belangrijkste boodschappen benadrukte, werden de bevindingen geëxtrapoleerd naar alle PCC-patiënten. (Nogmaals, elke claim van klinische effectiviteit of voordeel is op zichzelf al overdreven, aangezien de resultaten van de primaire uitkomst niet voldeden aan de momenteel aanbevolen MCID-drempel voor die meting).
In het ziekenhuis opgenomen patiënten hebben vaak een andere reeks van latere medische problemen dan degenen die niet in het ziekenhuis zijn opgenomen, misschien omdat hun gevallen in eerste instantie ernstiger waren, of vanwege de impact van de ziekenhuisopname zelf, of om andere redenen. In dit geval kunnen de bevindingen van gehospitaliseerde patiënten dus niet gemakkelijk of automatisch geëxtrapoleerd worden naar diegenen die niet gehospitaliseerd werden. Of de bevindingen van toepassing zijn op niet in het ziekenhuis opgenomen populaties met PCC is een vraag die in toekomstig onderzoek kan worden onderzocht. Maar het is zeker niet gepast om aan te nemen dat het antwoord positief is – en het is ook niet gepast om deze bewering te verspreiden alsof het een accurate interpretatie van het onderzoek is.
De wanverhouding tussen de onderzoeksgroep en de grotere PCC-populatie spreekt voor zich, dus het is moeilijk te begrijpen hoe de onderzoekers hun bevindingen zo dramatisch verkeerd hebben kunnen weergeven. Deze nalatigheid kan een opzettelijke poging zijn geweest om de schijnbare relevantie van de bevindingen te overdrijven en te versterken, ofwel een teken van incompetentie en onwetendheid over de juiste rapportage van de wetenschap.
In de brief die ik samenstelde en naar de redacteur van het tijdschrift stuurde, merkten we onder andere op dat “het niet correct is van de auteurs om bevindingen van patiënten die met covid-19 in het ziekenhuis waren opgenomen te extrapoleren naar het veel grotere aantal patiënten met langdurige symptomen die niet in het ziekenhuis waren opgenomen”. Soortgelijke kritiek verscheen ook in online reacties op het artikel.
In een snelle reactie die op 11 april op de website van The BMJ werd geplaatst, weerlegden de onderzoekers de kritiek dat ze hun bevindingen ten onrechte hadden geëxtrapoleerd door op te merken dat ze de juiste informatie hadden gegeven in verschillende secties, waaronder de conclusie van het artikel – wat niet hetzelfde is als de conclusie van het abstract. Hun verdediging, hoewel technisch correct, miste het punt. Voor zover ik weet, heeft niemand beweerd dat de tekst van de studie niet de nodige informatie bevatte. De kern van de kritiek was dat het artikel, door het weglaten van details op zeer prominente plaatsen – zoals de conclusie van het abstract – de lezers misleidde over de betekenis van de bevindingen.
Blijkbaar was iemand ergens bij The BMJ het eens met deze negatieve beoordeling. Op 1 mei – minder dan drie weken na de snelle reactie van de onderzoekers – publiceerde het tijdschrift een correctie met betrekking tot deze onjuiste voorstelling van zaken. De correctie bevatte geen verklaring waarom de onderzoekers de noodzaak van dergelijke maatregelen al hadden afgewezen. Hier is de tekst van de correctie:
“Verschillende secties van dit artikel van McGregor en collega’s … zijn bijgewerkt voor duidelijkheid over de studiepopulatie. De conclusie in het abstract en het eerste en tweede punt van de subsectie ‘Wat deze studie toevoegt’ van het kader had duidelijk moeten maken dat bij volwassenen met een post-covid-19-aandoening ‘ten minste drie maanden na ontslag uit het ziekenhuis wegens covid-19’ het online, thuisgebaseerde, begeleide, groepsrevalidatieprogramma voor lichamelijke en geestelijke gezondheid (REGAIN) klinische voordelen en een gebrek aan schade toonde.”
Het is altijd prijzenswaardig als tijdschriften en onderzoekers fouten corrigeren. Maar ze verdienen niet veel krediet voor het corrigeren van onjuiste of overduidelijk valse beweringen die in eerste instantie nooit gedaan hadden mogen worden. De studie presenteerde haar bevindingen grotendeels als breed toepasbaar op alle PCC-patiënten, dus deze belangrijke correctie maakt dergelijke expansieve verklaringen zwakker. Maar het lost de problemen die door de eerste publicatie zijn ontstaan, niet op. Voor zover ik weet, hebben de mediakanalen en online influencers die de bevindingen in eerste instantie aanprezen, de publieke opinie niet gecorrigeerd. De valse indruk die door het onderzoek is gewekt, blijft dus bestaan – en zal helaas invloed hebben op het advies dat artsen geven en op de zorg die patiënten krijgen.
Het lijkt er zelfs op dat het tijdschrift de correctie niet echt serieus heeft genomen. Wat brengt me tot die conclusie? Omdat in een redactioneel artikel dat samen met het onderzoek werd gepubliceerd en dat in opdracht van The BMJ werd geschreven, dezelfde omissies staan die nu in het artikel zelf zijn gecorrigeerd. Het hoofdartikel prijst de gerapporteerde bevindingen aan, maar vermeldt alleen in de laatste alinea dat de deelnemers aan de studie in het ziekenhuis waren opgenomen, met deze zin: “De inclusiecriteria van de studie vereisten een voorgeschiedenis van ziekenhuisopname voor covid-19, en het is onbekend of de bevindingen kunnen worden gegeneraliseerd naar patiënten met een mildere infectie die geen opname nodig hebben.”
Net als bij het artikel zelf had deze opvallende beperking in de meest prominente delen van het editoriaal vermeld moeten worden – en dan vooral in de eerste verwijzing naar de studiegroep. Zoals het nu is, worden de details gepresenteerd als een soort bijzaak. Met andere woorden: het tijdschrift laat in het editoriaal hetzelfde soort uitgebreide taalgebruik intact dat nu in het artikel is gecorrigeerd. Moet het editoriaal niet ook worden gecorrigeerd, of op zijn minst bijgewerkt, zodat het in lijn ligt met de huidige versie van het artikel? Misschien moet iemand de redacteur op deze discrepantie wijzen.
© David Tuller voor Virology Blog. Vertaling admin, redactie NAHdine, ME-gids.
