Trial By Error: nog een marketingdocument voor CGT/GET vermomd als onderzoek van professor Chalder
7 september 2022.
We zijn weer een maand verder en hier is opnieuw een waardeloze paper van Trudie Chalder, de feitelijk en statistisch uitgedaagde professor van King’s College London in cognitieve gedragstherapie (CGT). In haar wanhopige poging om te bewijzen dat het behandelingsparadigma voor ME/cvs, waarin CGT en graduele oefentherapie (GET) worden gecombineerd, evidence-based is, heeft ze nu een paper gepubliceerd met de titel “A systematic review of randomized controlled trials evaluating prognosis following treatment for adults with chronic fatigue syndrome” [Een systematische review van gerandomiseerde gecontroleerde studies die de prognose evalueren na een behandeling voor volwassenen met chronisch vermoeidheidssyndroom].
Het artikel werd gepubliceerd in het wetenschappelijk tijdschrift Psychological Medicine, dat lijkt te fungeren als een intern PR-orgaan voor de ideologische CGT/GET-brigades. Professor Michael Sharpe en professor Sir Simon Wessely zitten in de redactie; dat zegt genoeg. In 2013 publiceerde dit verheven tijdschrift de “herstel”paper van de PACE-studie, waarin deelnemers slechter konden worden op belangrijke metingen en toch als “hersteld” werden geteld. De redactie van Psychological Medicine weigerde de schendingen van de standaard wetenschappelijke praktijk in deze paper te erkennen. Artikelen in het wetenschappelijk tijdschrift, in ieder geval over dit onderwerp, kunnen niet op hun waarde worden geschat.
In dit laatste stuk komen professor Chalder en collega’s met gegevens over resultaten na de behandeling, op korte, middellange en lange termijn, uit 15 papers die gebaseerd zijn op gegevens uit klinische proeven. De auteurs beweren dat de collectieve resultaten voordelen laten zien na behandeling met CGT en GET. Zoals met zoveel van wat professor Chalder aanraakt, is het onzin. Ze begrijpt niet dat haar werk in wezen betekenisloos is, behalve dan dat het af en toe het tegendeel documenteert van wat ze beweert. Dat was het geval met de nu in diskrediet gebrachte PACE-studie, een van de studies die in de review zijn opgenomen. (Papers die de PACE-bevindingen weerleggen, zijn niet inbegrepen.)
Om te beginnen is het schokkend om een artikel uit 2022 te lezen dat de richtlijnen uit 2007 aanhaalt van het Britse National Institute for Health and Care Excellence (NICE) voor wat de instantie toen CVS/ME noemde – maar dat volledig voorbijgaat aan de versie uit 2021 voor ME/CVS. In feite werd het artikel afgelopen november ingediend bij Psychological Medicine, een maand na publicatie van de nieuwe ME/CVS-richtlijnen. Op dat moment waren de richtlijnen van 2007 niet meer van kracht, en door ernaar te verwijzen alsof dat wel zo is, is de paper onmiddellijk verouderd, alsof de auteurs nog steeds in een verleden leven. Deze beslissing doet ook vragen rijzen over de bekwaamheid en integriteit van de auteurs. (Aan de andere kant, dit is professor Chalder, dus in haar geval zijn dergelijke vragen over bekwaamheid en integriteit al definitief beantwoord).
Na decennia van onderzoek naar en promotie van de CGT/GET-aanpak zijn dit de lauwe conclusies van de review: “De resultaten suggereren enige ondersteuning voor de positieve effecten van CGT en GET bij follow-up op korte tot middellange termijn, hoewel dit nader onderzoek vereist, gezien de inconsistente bevindingen van eerdere reviews. De bevindingen zijn mogelijk niet generaliseerbaar naar ernstige CVS.” En die niet-indrukwekkende beschrijving is afkomstig van wie de zaken zo goed mogelijk wil voorstellen!
**********
Hoe zit het met de follow-up op lange termijn?
De bewijsbasis gepresenteerd in de review lijkt nauwelijks een solide basis om arbeidsongeschiktheidsverzekeraars te verzekeren dat deze interventies patiënten weer aan het werk kunnen krijgen – ook al is dat wat leden van de CGT/GET-kliek stelselmatig hebben beweerd. Bovendien maken de auteurs van het onderzoek in hun conclusies geen melding van de voordelen bij langdurige follow-up, dat wil zeggen na meer dan een jaar. Het is bekend dat meerdere studies op dit gebied, zoals de PACE-studie, geen significante verschillen tussen groepen hebben gerapporteerd op belangrijke uitkomsten bij langdurige follow-up. Met andere woorden, er is aangetoond dat de interventies geen voordelen op lange termijn hebben. De evaluatie bespreekt de implicaties van dit belangrijke punt niet.
Dan zijn er uitspraken als deze: “Uit de huidige literatuur blijkt dat cognitieve gedragstherapie (CGT) en graduele oefentherapie (GET) de meest veelbelovende behandelingen zijn, die allebei verbeteringen in vermoeidheid en functioneren opleveren.” Deze bewering is onhoudbaar na de meest recente gezaghebbende beoordeling, de NICE-richtlijnen van 2021, die anders werden gevonden door de aanbevelingen van 2007 voor deze interventies terug te draaien. Daarbij beoordeelde NICE het grootste deel van het bewijsmateriaal als van “zeer lage” kwaliteit, waarbij een deel slechts van “lage” kwaliteit was. Het is verbijsterend dat noch de redactie van Psychological Medicine, noch de peerreviewers deze opvallende en onaanvaardbare omissie hebben opgemerkt of zich erom bekommeren.
Het is geen verrassing dat de studies allemaal open-labelstudies waren die gebruik maakten van subjectieve resultaten – een combinatie van factoren die om verschillende redenen een maximale vertekening van de rapportering kan opleveren. Het combineren van meerdere van dergelijke studies in een systematische review vergroot de totale aantallen, maar lost een belangrijk probleem niet op, namelijk de interpretatie van bevindingen met een onbekende mate van vertekening.
Chalder en haar collega’s erkennen dat de afhankelijkheid van subjectieve resultaten een beperking is die “het risico van vertekening door waarnemers of detectie kan hebben vergroot”. Als reactie daarop bevelen zij aan dat “toekomstige onderzoeken een reeks uitkomstmaten moeten verkrijgen en mogelijke discrepanties daartussen moeten onderzoeken” en “objectieve uitkomsten moeten rapporteren, naast zelfrapportagemetingen.”
Het is ironisch en hypocriet – eigenlijk lachwekkend – dat professor Chalder deze punten aan de orde stelt. De PACE-studie omvatte vier verschillende objectieve resultaten – een 6-minuten durende wandeltest, een stappentest voor conditie, werkstatus, en of de deelnemer al dan niet een sociale uitkering ontving. Alle vier kwamen niet overeen met de positieve berichten over succes. Maar in plaats van “mogelijke discrepanties te onderzoeken” tussen hun eigen objectieve en subjectieve resultaten, verwierp het PACE-team de objectiviteit van hun mislukte objectieve metingen.
Deze nieuwe systematische review gaat niet in op de reeks slechte objectieve resultaten van de PACE-studie en ander onderzoek. De beslissing om deze gegevens uit te sluiten markeert dit document als een publicrelationsdocument, niet als een serieus onderzoek naar het algemene effect van CGT en GET. Zoals gewoonlijk heeft professor Chalder weer meer zelfdienende rotzooi geproduceerd.
(De recensie lijkt ten minste één grove onwaarheid over PACE te bevatten. Verwijzend naar tegenstrijdige rapporten over de werkstatus na de behandeling, suggereren de auteurs dat McCrone et al., een paper over de PACE-studie, een “bescheiden toename in werkgelegenheid” rapporteerde. Hier is de eigenlijke formulering van McCrone et al: “Er was geen duidelijk verschil tussen de behandelingen in termen van verloren arbeidsplaatsen.” )
© David Tuller voor Virology Blog. Vertaling Zuiderzon, redactie NAHdine, ME-gids.
Trial By Error: mijn brief aan Psychological Medicine over professor Chalders gebrekkige systematische review
David Tuller, DrPH, Virology Blog, 9 september 2022
Eerder deze week schreef ik over de valse systematische review van behandelingsstudies voor het “chronisch vermoeidheidssyndroom” die deze maand door professor Trudie Chalder werd gepubliceerd in Psychological Medicine. In veel opzichten, zoals ik opmerkte, functioneert dit wetenschappelijk tijdschrift als een interne marketing of publicrelationsorgaan voor leden van de ideologische CGT/GET-brigades, waarvan professor Chalder medeoprichter is. (Professoren Michael Sharpe en Simon Wessely zitten in de redactie van Psychological Medicine. Dat zegt genoeg.)
Naast het formeel indienen van het artikel via het online portaal van het wetenschappelijk tijdschrift heb ik het ook op een pre-printserver geplaatst en rechtstreeks naar de twee mederedacteuren van het vakblad gestuurd. Hier is het.
**********
Brief aan Psychological Medicine
Geachte Professors Kendler en Murray,
In “A systematic review of randomized controlled trials evaluating prognosis following treatment of adults with chronic fatigue syndrome” [Een systematische review van gerandomiseerde gecontroleerde studies die de prognose na behandeling van volwassenen met het chronisch vermoeidheidssyndroom evalueren] (Ingman et al., 2022) citeren de auteurs een richtlijn uit 2007 van het National Institute for Health and Care Excellence (NICE, 2007). Ze vermelden echter niet dat deze is vervangen door een nieuwe versie, die vorig jaar is gepubliceerd en waarin de aanbevelingen van het agentschap uit 2007 zijn teruggedraaid (NICE, 2021). Dit verzuim is verrassend, aangezien het manuscript werd ingediend bij Psychological Medicine in november 2021 – de maand nadat NICE de herziene richtlijn publiceerde. Met andere woorden, deze systematische review was verouderd zodra Psychological Medicine het op 5 september publiceerde.
De publicatie van de nieuwe richtlijn kwam niet als een verrassing. In november 2020 – een jaar vóór de indiening van de systematische review bij Psychological Medicine – publiceerde NICE een ontwerp van de richtlijn. Het ontwerp ging vergezeld van een analyse van de relevante gegevens, waarin de kwaliteit van het bewijs voor cognitieve gedragstherapie (CGT) en graduele oefentherapie (GET) als “zeer laag” of louter “laag” werd beoordeeld. Aangezien de hoofdauteur van de evaluatie al lang voorstander is van de CGT/GET-aanpak, is het begrijpelijk dat zij het niet eens is met de laatste NICE-beoordeling. Niettemin is het de meest recente gezaghebbende en consequente verklaring ter zake. Het besluit van de auteurs van de review om er niet naar te verwijzen, is onaanvaardbaar en onverdedigbaar.
Verder roept de review toekomstige studies op om “objectieve uitkomsten te rapporteren, naast zelfrapporteerde metingen.” Gezien die oproep, is het verbijsterend en oneerlijk dat de auteurs ervoor kozen om objectieve uitkomsten te negeren van onderzoek dat daadwerkelijk in de review is opgenomen – en met name van de PACE-trial (White et al., 2011).
Zoals beschreven in het PACE-protocol (White et al., 2007), omvatte de studie meerdere objectieve uitkomsten – een zes minuten durende looptest, een stappentest voor fitheid, en metingen van werkstatus en het ontvangen van sociale of bijstandsuitkeringen. In tegenstelling tot de rapporten over “verbetering” en “herstel” op de subjectieve metingen van PACE, leverden al deze objectieve uitkomsten geen resultaten op of – in het geval van GET en de zes minuten durende looptest – statistisch significante maar klinisch niet-significante bevindingen. Hadden de auteurs van het onderzoek deze slechte resultaten opgenomen in plaats van ze uit te sluiten, dan hadden zij hun beweringen over de voordelen van CGT en GET moeten temperen.
Ten slotte suggereert de review in het kort dat McCrone et al., een van de vele papers over de PACE-trial, een “bescheiden toename van arbeid” aantonen. Deze bewering lijkt in strijd met het feit dat de arbeidsresultaten van PACE nul waren. Hier is de relevante formulering van McCrone et al: “Er was geen duidelijk verschil tussen de behandelingen in termen van verloren arbeidsplaatsen.” Deze duidelijke onjuiste formulering rechtvaardigt een correctie.
Door deze ernstige tekortkomingen komt deze systematische review meer over als een marketing- of publicrelationsdocument dan als een legitiem wetenschappelijk werk van belangeloze onderzoekers. Het is verontrustend dat de redacteurs en peerreviewers van Psychological Medicine deze inhoudelijke tekortkomingen niet hebben opgemerkt of zich er niet om hebben bekommerd.
Met vriendelijke groeten,
David Tuller
David Tuller, DrPH
Senior Fellow in Public Health and Journalism
Center for Global Public Health
School of Public Health
University of California, Berkeley
Referenties
Ingman, T., Smakowski, A., Goldsmith, K., & Chalder, T. (2022). A systematic literature review of randomized controlled trials evaluating prognosis following treatment for adults with chronic fatigue syndrome. Psychological Medicine, 1-13.
McCrone, P., Sharpe, M., Chalder, T., Knapp, M., Johnson, A., Goldsmith, K., & White, P. (2012). Adaptive pacing, cognitive behaviour therapy, graded exercise, and specialist medical care for chronic fatigue syndrome: A cost-effectiveness analysis. PLoS ONE, 7(8), 1–9.
National Institute for Health and Care Excellence. (2007). Chronic fatigue syndrome/myalgic encephalomyelitis (or encephalopathy): Diagnosis and management of CFS/ME. (NICE Guideline No. 53).
National Institute for Health and Care Excellence. (2021). Myalgic encephalomyelitis (or encephalopathy)/chronic fatigue syndrome): Diagnosis and management. (NICE Guideline NG 206).
White, P. D., Goldsmith, K., Johnson, A. L., Chalder, T., & Sharpe, M. (2013). Recovery from chronic fatigue syndrome after treatments given in the PACE trial. Psychological Medicine, 43(10), 2227–2235.
White, P. D., Goldsmith, K. A., Johnson, A. L., Potts, L., Walwyn, R., DeCesare, J. C., … Sharpe, M. (2011). Comparison of adaptive pacing therapy, cognitive behaviour therapy, graded exercise therapy, and specialist medical care for chronic fatigue syndrome (PACE): A randomised trial. Lancet, 377(9768), 823–836.
White, P.D., Sharpe, M.C., Chalder, T., DeCesare, J.C., Walwyn, R., & the PACE trial group. (2007). Protocol for the PACE trial: A randomised controlled trial of adaptive pacing, cognitive behaviour therapy, and graded exercise as supplements to standardised specialist medical care versus standardised specialist medical care alone for patients with the chronic fatigue syndrome/myalgic encephalomyelitis or encephalopathy. BMC Neurology 7,6.
Belangenconflictverklaring: David Tullers academische positie bij het Center for Global Health van de Universiteit van Californië, Berkeley, wordt grotendeels gefinancierd door donaties aan de universiteit van leden van de ME/cvs-patiënten- en belangenorganisaties.
© David Tuller voor Virology Blog. Vertaling Zuiderzon, redactie NAHdine, ME-gids.
Trial By Error: Psychological Medicine verwerpt brief over Chalders valse review van CGT/GET-studies
David Tuller, DrPH, Virology Blog, 16 september 2022
Professor Trudie Chalder publiceerde onlangs een systematische review van CGT- en GET-studies voor “chronisch vermoeidheidssyndroom” in het wetenschappelijk tijdschrift Psychological Medicine, dat alles lijkt te publiceren van de ideologische CGT/GET-brigades, hoe slecht uitgevoerd of gerapporteerd ook. Gezien de herkomst is het niet verwonderlijk dat de recensie onzin was, zoals ik in een recente post opmerkte. Ik schreef er een brief over naar het wetenschappelijk tijdschrift. Niet verrassend dat ze het afwezen. Ook niet verrassend is dat ik reageerde. Hieronder staat onze uitwisseling.
**********
Correspondentie betreffende: “A systematic review of randomized controlled trials evaluating prognosis following treatment of adults with chronic fatigue syndrome” [Een systematische review van gerandomiseerde gecontroleerde studies die de prognose evalueren na een behandeling voor volwassenen met chronisch vermoeidheidssyndroom] (gepubliceerd 5 september 2022)
Geachte Dr. Tuller,
Bedankt voor het indienen bij Psychological Medicine. Uw manuscript werd beoordeeld door onze redactie.
Het spijt me u te moeten meedelen dat uw manuscript, hoewel interessant, niet is toegewezen aan externe peerreview…
Ik hoop dat u een geschikt publicatieforum vindt voor uw manuscript. Onze redacteurs zouden graag toekomstige rapporten van uw onderzoeksprojecten evalueren.
Zij denken niet dat de kwesties voldoende nieuw zijn om uw paper de voor publicatie noodzakelijke prioriteit te geven.
Bedankt dat u ons de kans geeft om het te zien.
Met vriendelijke groeten,
XXXXX
Kantoor UK
Namens de hoofdredacteur
******
Geachte XXXX,
(Ik heb de twee hoofdredacteurs, professors Murray en Kendler, ge-cc’d)
Dank u voor uw antwoord.
Ik ben niet verbaasd dat de redactie van Psychological Medicine de door mij aangekaarte kwesties niet als “voldoende nieuw” beschouwt om hun bezorgdheid te rechtvaardigen. Dit is immers dezelfde Psychological Medicine die in 2013 het zeer misleidende en aantoonbaar frauduleuze artikel publiceerde over “herstel” in de PACE-trial, waarin cognitieve gedragstherapie (CBT) en graduele oefentherapie (GET) werden getest als behandelingen voor het chronisch vermoeidheidssyndroom (nu vaak ME/CVS genoemd). Ter herinnering: het PACE-team – waaronder professor Chalder, de hoofdauteur van de systematische review die hier wordt besproken – heeft alle vier de “herstel”-drempels die in het protocol waren vastgesteld, afgezwakt. Deze post-hocveranderingen creëerden een onzinnige en zelfs surrealistische situatie waarin deelnemers slechter konden worden op de primaire uitkomsten van het onderzoek en toch “hersteld” werden bevonden.
De PACE-onderzoekers noemden geen goedkeuring van de toezichtscommissie van deze dramatische veranderingen in de “herstel”-drempels. Deze weglating betekent waarschijnlijk dat ze geen goedkeuring hebben gekregen en eenzijdig hebben besloten hun uitkomstmaten zo aan te passen dat ze mooiere resultaten kregen dan de nulresultaten die hun oorspronkelijke protocolstrategie opleverde. Toen ik de redactie van Psychological Medicine rechtstreeks schreef over de eigenaardige anomalieën van de paper en de schendingen van de rapportagenormen – zaken die patiënten al hadden aangekaart via standaardcorrespondentie – weigerden ze dergelijke diskwalificerende zaken te erkennen.
In plaats daarvan stelde professor Murray voor dat ik zou proberen de PACE-studie te repliceren.
Psychological Medicine gaat door met het publiceren van misleidende papers op dit gebied, met als voornaamste voorbeeld de recente systematische review waarin voordelen worden gevonden van CGT en GET. Naast andere gebreken verzuimt deze zogenaamd uitgebreide beoordeling te vermelden dat het National Institute for Health and Care Excellence (NICE) de therapeutische interventies waar professor Chalder de voorkeur aan gaf, botweg verwierp in haar meest recente richtlijn voor ME/CVS, die een maand voor het indienen van de review bij Psychological Medicine werd gepubliceerd. Professor Chalder en haar collega’s vinden het misschien niet leuk dat NiCE van koers is veranderd met betrekking tot ME/CVS, maar dat is wel zo. En dat betekent dat de systematische review verouderd was op het moment dat het wetenschappelijk tijdschrift het publiceerde.
Kortom, Psychological Medicine geeft belangrijke publicrelationssteun aan een groep methodologisch, ethisch en feitelijk gewraakte onderzoekers die hun misplaatste en onbewezen theoretische constructie willen promoten en verdedigen. De acties van het wetenschappelijk tijdschrift zijn een belediging voor de wetenschappelijke onderneming en voor eerlijke onderzoekers overal.
Met vriendelijke groeten,
David Tuller
David Tuller, DrPH
Senior Fellow in Public Health and Journalism
Center for Global Public Health
School of Public Health
University of California, Berkeley
© David Tuller voor Virology Blog. Vertaling Zuiderzon, redactie NAHdine, ME-gids.
