Home » Nieuwsartikels » David Tuller » Trial By Error: BMJ geeft kritiek nieuw NICE-ontwerp

Trial By Error: BMJ geeft kritiek nieuw NICE-ontwerp

Geplaatst door Zuiderzon
op 23/03/2021

Laatste bijwerking op 23/03/2021

Bron:

| 11376 x gelezen

21 december 2020.

De BMJ heeft een online redactioneel artikel gepubliceerd waarin het nieuwe ontwerp van de klinische richtlijnen voor ME/cvs van het National Institute for Health and Care Excellence scherp wordt bekritiseerd. Het geuite standpunt is interessant: volgens de twee auteurs kunnen niet-farmacologische behandelingen voor “complexe aandoeningen” niet adequaat worden gemeten door gerandomiseerde studies. Het is natuurlijk opmerkelijk dat de BMJ dit argument pas bovenhaalt nadat een gedegen analyse in opdracht van NICE het bewijs voor CGT en GET voornamelijk heeft ingeschat als van “zeer lage” kwaliteit, en deels als van “lage” kwaliteit.

Jarenlang werd de PACE-studie natuurlijk alom geprezen als het ultieme bewijs dat deze interventies effectief waren. Het redactionele artikel lijkt te willen zeggen: “Laten we dat even vergeten. Kijk beter even naar de andere kant.” En met “de andere kant” bedoelen ze “holistische geïntegreerde revalidatie” – niet alleen CGT, GET, of een andere specifieke modaliteit, maar een gevarieerde mengelmoes van allerlei dingen. Blijkbaar is het recept voor elk individu anders, dus valt het moeilijk te meten. Maar de auteurs, die allebei revalidatiespecialisten zijn, wéten gewoon dat het werkt.

Kortom, het redactionele artikel is grotendeels onzin. The BMJ probeert hier op een onhandige manier te … tja, ik heb eigenlijk geen idee wat ze hiermee proberen te bereiken. Ik hoop dat dit soort slecht geïnformeerd gezeur geen indruk zal maken op de schijnbaar pientere mensen in de NICE-commissie, die besloten om niet meer mee te gaan in de vroegere beweringen over doeltreffendheid, gebaseerd op uiterst gebrekkig bewijs.

Dit redactionele artikel werd niet door buitenstaanders gepeerreviewed. Het wordt niet gepresenteerd als een “commentaar” of een “opiniestuk”. Het werd geschreven in opdracht van het vakblad en het lijkt de institutionele goedkeuring van de BMJ te hebben. Ik denk dat The BMJ een hekel heeft aan het NICE-ontwerp. Dat is begrijpelijk. Het ontwerp stelt medische vakbladen op de proef, waaronder ook een aantal bladen uit de BMJ-familie, die studies hebben gepubliceerd die ze eigenlijk hadden moeten verwerpen. In dit verband is het logisch dat de BMJ-redactie misschien wil terugvechten met kritiek.

In 2011 was BMJ één van de bladen die legitieme kritiek op PACE afwezen door patiënten af te schilderen als losgeslagen en gevaarlijk. Deze desinformatiecampagne beschermde PACE en het CGT/GET-paradigma niet tegen diepgaander onderzoek, en dat leidde dan weer onvermijdelijk tot een daling in hun geloofwaardigheid. Intussen hebben de verdedigers van deze interventies het verhaaltje over “hysterische patiënten” blijkbaar laten vallen, en kiezen ze voor een andere aanpak, nl. een aanval op de methodologie die standaard gebruikt wordt voor het beoordelen van interventies.

Het redactioneel artikel van BMJ kreeg een aantal schrandere snelle reacties te verwerken. Professor Jonathan Edwards, een reumatoloog van University College London en een prominente PACE-criticus, was zoals gewoonlijk rechtuit in zijn beoordeling van de situatie. “Het spijt me dat ik dit moet zeggen, maar ik vind het redactionele artikel over het ontwerp van de NICE-richtlijnen voor Myalgische Encefalomyelitis/chronisch vermoeidheidssyndroom (ME/cvs) slecht geïnformeerd, warrig en zinloos“, schreef hij. Hij benadrukte bondig enkele van de overduidelijke contradicties in het redactionele artikel, waarbij hij het volgende opmerkte: “Ze impliceren dat er voldoende bewijs is van doeltreffendheid van door een therapeut uitgevoerde behandelingen zoals CGT en bewegingstherapie. Maar anderzijds wijzen ze erop dat de evaluatiemethodes die beschikbaar zijn, ongeschikt zijn“.

Michiel Tack, vicevoorzitter van 12ME, een Belgische ME/cvs-patiëntenorganisatie, plaatste ook een antwoord. Hij weerlegde één van de belangrijkste argumenten van de auteurs als volgt:

“Ze vermelden dat dubbelblindering onmogelijk is in studies over interventies waar actieve deelname van de patiënt vereist is. In dergelijke gevallen raden kwaliteitscriteria echter meestal aan om objectieve resultaten te gebruiken (naast de subjectieve), omdat deze minder gevoelig zijn aan verschillende vormen van bias. Gerandomiseerde studies over revaliderende behandelingen voor ME/cvs hebben verschillende objectieve resultaten opgeleverd, zoals werkhervatting, gebruik van de gezondheidszorg, actigraafresultaten en verschillende fitnesstests. De resultaten van deze objectieve uitkomsten werden samengevat in een review door Vink & Vink-Niese. Algemeen genomen, vertoonden deze objectieve metingen geen klinisch significante verbeteringen.”

Kortom, dit redactioneel artikel is een afgang voor zowel het tijdschrift als de auteurs.

https://www.virology.ws/2020/12/21/trial-by-error-a-letter-to-bmj-from-prof-hughes-prof-racaniello-and-me/

Trial By Error: Brief aan BMJ van Prof. Hughes, Prof. Racaniello en mezelf

David Tuller, DrPH, Virology Blog; 21 december 2020

Ik heb onderstaande brief gestuurd naar Fiona Godlee, redactioneel directeur van BMJ en hoofdredacteur van The BMJ, namens professoren Brian Hughes, Vincent Racaniello en mijzelf. We reageerden op het recente redactionele artikel over het nieuwe ontwerp van de klinische richtlijnen voor ME/cvs van het National Institute for Health and Care Excellence, zoals anderen al hebben gedaan via snelle reactie aan BMJ.

**********

Beste Dr. Godlee,

Het recente redactionele artikel van de professoren Turner-Stokes en Wade over het nieuwe ontwerp van de klinische richtlijnen voor ME/cvs van het National Institute for Health and Care Excellence (NICE) is op meerdere vlakken problematisch. [1]

Drie decennia lang heeft een kleine groep medische professionals knalhard blijven beweren dat twee specifieke interventies – cognitieve gedragstherapie (CGT) en graduele oefentherapie (GET) – niet enkel kunnen leiden tot verbetering, maar ook tot herstel van wat zij liefst het chronisch vermoeidheidssyndroom noemen. In 2011 publiceerde The Lancet de belangrijkste resultaten van de grootste gerandomiseerde studie over CGT en GET voor de ziekte, de zogenaamde PACE-studie; op het eerste gezicht leek de studie deze opvattingen te ondersteunen. [2]

De PACE-onderzoekers noemden hun proef de “doorslaggevende” test van hun therapeutische aanpak van deze invaliderende ziekte. Lancet-editor Richard Horton prees het onderzoek dat in zijn tijdschrift verscheen aan als “opmerkelijk” en “volkomen onpartijdig”. [3] Niemand minder dan Professor Sir Simon Wessely, die betrokken was bij PACE maar geen coauteur was, noemde het “een pareltje”. [4]

Professor Wade zelf verklaarde het volgende over PACE in een verklaring die namens hem werd uitgebracht door het Science Media Centre, een communicatiebureau dat nauwe banden heeft met de onderzoekers van de studie: “Gerandomiseerde gecontroleerde proeven leveren het beste en enige betrouwbare bewijs voor de veiligheid en de effectiviteit van elke interventie in welke toestand dan ook. Het testopzet in deze studie was zeer goed, wat betekent dat men er in het volste vertrouwen conclusies uit kan trekken”. [5]

Zoals iedereen weet, is de PACE-studie sindsdien alom in diskrediet gebracht vanwege “onaanvaardbare methodologische fouten” [6], en professor Wade is blijkbaar van mening veranderd over de bewijskracht ervan. Het redactionele artikel waar hij aan meeschreef, stelt dat gerandomiseerde gecontroleerde proeven (RCT’s) niet als aanvaardbaar kunnen worden beschouwd bij de beoordeling van “complexe interventies voor complexe aandoeningen”. Het is opmerkelijk dat hij opeens dit standpunt inneemt, nu de befaamde studie die hij vroeger nog verdedigde, als compleet gebrekkig wordt beschouwd.

Het belangrijkste argument van het redactionele artikel is dat niet-farmacologische behandelingen met meerdere elementen niet adequaat kunnen worden beoordeeld met behulp van het standaard GRADE-systeem. Studies over deze therapieën worden volgens de auteurs onvermijdelijk belemmerd door inherente beperkingen, zoals de moeilijkheid om de interventies te blinderen en de noodzaak om subjectieve uitkomsten te gebruiken bij het ontbreken van fysiologische maatstaven. Of GRADE nu wel of niet geschikt is voor het onderzoeken van dit soort niet-farmacologische interventies, de vraag blijft of het aanvechten van de procedures en de regels achteraf vooral te maken heeft met principes, of met eigenbelang.

De argumenten die worden aangevoerd in een poging om een reeds lang bestaande evaluatiemethode voor klinisch bewijs terzijde te schuiven, kunnen immers eenvoudig worden weerlegd.

Het belangrijkste bezwaar tegen PACE en aanverwante studies gaat niet over het gebrek aan blindering op zich, of over subjectieve uitkomsten op zich. Het is de combinatie van de twee in één enkele studie die heel wat van dit soort onderzoek moeilijk te interpreteren maakt. Dit onderzoeksopzet leidt onvermijdelijk tot vooringenomenheid. Wanneer blindering onmogelijk is, moeten de subjectieve bevindingen gepaard gaan met één of andere vorm van objectieve gegevens, om te bevestigen dat de resultaten echt zijn en niet louter het gevolg van het onderzoeksopzet.

Hoewel er geen biomedische testen bestaan voor ME/cvs, namen de onderzoekers een reeks andere objectieve maatregelen op. In PACE kozen de onderzoekers er vier: een zes minuten durende looptest, eventuele tewerkstelling en of ze beroep moesten doen op een uitkering. Geen van deze maatstaven bevestigde de subjectieve verslagen over verbetering door CGT of GET. Vervolgens deden de PACE-auteurs hun eigen objectieve maatstaven af als irrelevant of achteraf bekeken toch niet objectief, en deden ze alsof de studie een succes was.

Als onderdeel van het richtlijnontwikkelingsproces gaf NICE de opdracht tot een onafhankelijke review van de bewijsbasis voor ME/cvs-behandelingen. De onafhankelijke review beoordeelde tientallen studies, waaronder PACE, die gezamenlijk 236 behandelingsresultaten bevatten die zijn gebruikt als onderbouwing van de bewering dat CGT of GET effectief zouden zijn. Van deze 236 resultaten werd het bewijs voor 205 geëvalueerd als van “zeer lage kwaliteit” en 31 werden geëvalueerd als bewijs van “lage kwaliteit”. Geen enkele uitkomst bleek onderbouwd door bewijs dat deze rampzalige drempel overschreed.

Tijdens de onafhankelijke review was het meest voorkomende methodologische probleem dat in deze bewijsbasis werd geïdentificeerd het “risico op vooringenomenheid”. Dat is niet verwonderlijk, gezien de PACE-onderzoekers en hun gelijkgestemde collega’s geneigd zijn om hun studies te baseren op ongeblindeerde interventies met subjectieve uitkomsten.

Bovendien heb je niet het recht om te eisen dat de lat voor jou lager wordt gelegd, enkel omdat je vindt dat je niet kunt voldoen aan een hoge theoretische standaard. Het feit dat je onderzoek tekortschiet, maakt de theoretische standaard niet minder belangrijk. En het geeft ook niet op magische wijze meer gewicht aan je inspanningen en het vermindert ook niet de nood aan betrouwbare gegevens om de prestatie te kunnen beoordelen.

De professoren Turner-Stokes en Wade stellen dat hun “complexe interventies” niet eenvoudig te standaardiseren zijn en daarom niet compatibel zijn met RCT’s. Voor hen is een geschikte therapie “het equivalent van een goed passend maatpak, aangepast aan de individuele patiënt”. Dit klinkt als het pleidooi dat homeopaten, kristaltherapeuten of chiropractors gebruiken om uit te leggen dat ook hun behandelingen moeilijk te onderzoeken zijn. De gebruikte logica hoort met andere woorden thuis in de pseudowetenschappelijke sfeer.

Door te stellen dat de “starre structuur” van RCT’s ongeschikt is voor het testen van de effectiviteit van revalidatiestrategieën zoals CGT en GET, zaagden de professoren Turner-Stokes en Wade de poten onder stoel weg van de eens zo gerenommeerde PACE-studie en al het daarmee samenhangende onderzoek. Ze eisen bovendien dat wij allemaal ons eigen standpunt aanpassen over het belang van het handhaven van wetenschappelijke normen. Ze stellen dat sommige patiënten beter worden, maar ze leveren ze geen betrouwbaar bewijs dat hun geïndividualiseerde revalidatie-aanpak meer heeft bijgedragen aan de gezondheid van die patiënten dan het simpele feit dat er tijd over is gegaan.

Deze lakse houding ten opzichte van wetenschappelijke bewijsnormen heeft implicaties die verder strekken dan het domein van ME/cvs. Verbijsterend genoeg halen de professoren Turner-Stokes en Wade “passende ondersteuning en revalidatie” aan als reden voor de verbeteringen die gezien worden bij mensen met langdurige symptomen na acute COVID-19. Hun bewering is ongegrond. Dat heel wat langdurige COVID-patiënten verbeterd zijn of zelfs hersteld zijn, om redenen die tot nog toe onduidelijk zijn, bewijst niets meer dan dat er heel wat langdurige COVID-patiënten verbeteren of herstellen. Eender welke definitieve uitspraak over de doeltreffendheid van behandelingen zal moeten wachten tot er goed uitgevoerd onderzoek is gepubliceerd.

Naar onze mening zijn de bedenkingen die de professoren Turner-Stokes en Wade hebben geuit over de NICE-ontwerprichtlijn voor ME/cvs misleidend. Complexe therapieën voor complexe aandoeningen moeten worden beoordeeld aan de hand van de strengste beschikbare normen, en deze normen mogen niet in het gedrang worden gebracht om iemands favoriete behandeling er beter uit te doen komen. In dit opzicht verdient NICE een pluim voor de objectiviteit en grondigheid die ze aan de dag hebben gelegd bij het evalueren van het relevante onderzoek.

De nieuwe NICE-ontwerprichtlijn voor ME/cvs is meer dan welkom en heeft veel te lang op zich laten wachten.

Met vriendelijke groeten,

Brian Hughes, PhD
Professor Psychologie
National University of Ireland, Galway
Galway, Ierland

Vincent Racaniello, PhD
Professor Microbiologie en Immunologie
Columbia University
New York, New York, VSA

David Tuller, DrPH
Senior Fellow Volksgezondheid en Journalistiek
School of Public Health
University of California, Berkeley
Berkeley, Californië, VSA

Referenties

[1] https://www.bmj.com/content/371/bmj.m4774

[2] https://pubmed.ncbi.nlm.nih.gov/21334061/

[3] https://www.abc.net.au/radionational/programs/healthreport/comparison-of-treatments-for-chronic-fatigue/2993296

[4] https://www.nationalelfservice.net/other-health-conditions/chronic-fatigue-syndrome/the-pace-trial-for-chronic-fatigue-syndrome-choppy-seas-but-a-prosperous-voyage/

[5] https://www.sciencemediacentre.org/expert-reaction-to-lancet-study-looking-at-treatments-for-chronic-fatigue-syndromeme-2-2/

[6] https://www.virology.ws/2018/08/13/trial-by-error-open-letter-to-the-lancet-version-3-0/