Home » Nieuwsartikels » David Tuller » Trial By Error: Commentaar van Hughes&Tuller over CGT-studie Wessely&Chalder afgewezen door vakblad, hier gepost

Trial By Error: Commentaar van Hughes&Tuller over CGT-studie Wessely&Chalder afgewezen door vakblad, hier gepost

Geplaatst door Zuiderzon
op 10/05/2021

Laatste bijwerking op 10/05/2021

Bron:

David Tuller, DrPH, Virology Blog

| 11960 x gelezen

15 februari 2021.

Afgelopen najaar waren professor Sir Simon Wessely en professor Trudie Chalder coauteurs van een studie die werd gepubliceerd in het Journal of the Royal Society of Medicine. De studie beweerde te bewijzen dat het jarenlang aanbieden van cognitieve gedragstherapie (CGT) aan patiënten met “chronische vermoeidheid” en het “chronisch vermoeidheidssyndroom” bewees dat de interventie een succes was. Ik wees in deze post van augustus vorig jaar al op talloze problemen.

De paper klonk alsof hij bedoeld was om de steun voor CGT te versterken tijdens het ontwikkelingsproces van de nieuwe ME/cvs-richtlijn van het National Institute for Health and Care Excellence. De ontwerprichtlijn, die de aanbeveling van CGT als genezende behandeling schrapte, werd gepubliceerd in november en de definitieve versie wordt verwacht in april. Naast andere methodologische en ethische kwesties, werden in de paper ongegronde causale verbanden gelegd en werden de enorme uitval en het gebrek aan volledig beantwoorde vragenlijsten verdoezeld. Daarom schreven professor Brian Hughes en ik samen een reactie, die we twee weken geleden formeel indienden bij het vakblad via hun online redactioneel systeem.

Vanmorgen hadden we nog steeds geen reactie op het commentaar gekregen, dus schreef professor Hughes rechtstreeks naar de redacteur van het vakblad. Terwijl hij bezig was het commentaar op een website voor preprints te plaatsen, ontving hij een kort bericht van de redacteur waarin het volgende stond: “Ik dank u voor het indienen van uw artikel bij JRSM. Ik heb het met belangstelling gelezen, maar ik vrees dat ik u deze keer geen publicatie kan aanbieden. Het spijt me u te moeten teleurstellen en ik wens u elders veel succes.”

Daarom heb ik het hieronder geplaatst. En hier is de versie op de website voor preprints. We zullen het ook naar de leden van het NICE-comité sturen, voor het geval de CGT-voorstanders deze gebrekkige studie aanhalen om hun standpunt te ondersteunen. Het zou fijn zijn een vakblad te vinden dat bereid is dit soort kritiek te publiceren, maar gelukkig betekent afwijzing tegenwoordig niet meer dat iets niet openbaar kan worden gemaakt.

**********

ANTWOORD OP ADAMSON ET AL. (2020):

“COGNITIEVE GEDRAGSTHERAPIE VOOR CHRONISCHE VERMOEIDHEID EN CHRONISCH VERMOEIDHEIDSSYNDROOM: UITKOMSTEN VAN EEN GESPECIALISEERDE KLINIEK IN HET VK”

Brian M. Hughes
National University of Ireland, Galway

David Tuller
University of California, Berkeley

Abstract

In deze bespreking bekijken we de paper van Adamson et al., gepubliceerd in de uitgave van oktober 2020 van Journal of the Royal Society of Medicine. De auteurs interpreteren hun gegevens alsof die significante verbeteringen aantonen na cognitieve gedragstherapie in een grote steekproef van patiënten met het chronisch vermoeidheidssyndroom en chronische vermoeidheid. Over het geheel genomen lijdt het onderzoek aan verschillende fundamentele methodologische beperkingen die door de auteurs niet voldoende of helemaal niet worden erkend. Deze omvatten: (a) ambiguïteit van de steekproef; (b) slechte meetmethode; (c) overlevingsbias; (d) ontbrekende gegevens; en (e) gebrek aan een controlegroep. De studie wordt in het bijzonder sterk vertekend door steekproefuitval, waardoor de in het abstract voorgestelde verklaringen misleidend zijn met betrekking tot de feiten en er dus, naar onze mening, dringend een formele gepubliceerde correctie vereist is. Gezien het feit dat de paper is goedgekeurd door meerdere peerreviewers en redacteurs, zetten wij uiteen wat de publicatie ervan ons kan leren over hedendaagse wetenschappelijke publicatiepraktijken.

Reactie op Adamson et al. (2020): “Cognitieve gedragstherapie voor chronische vermoeidheid en chronisch vermoeidheidssyndroom: uitkomsten van een gespecialiseerde kliniek in het Verenigd Koninkrijk”

In de paper van Adamson et al.¹, gepubliceerd in de uitgave van oktober 2020 van Journal of the Royal Society of Medicine, interpreteren de auteurs hun gegevens alsof die significante verbeteringen aantonen na cognitieve gedragstherapie (CGT) in een grote steekproef van patiënten met chronisch vermoeidheidssyndroom (cvs) en chronische vermoeidheid (cv). Naar onze mening zijn hun conclusies misplaatst en ongegrond. De paper en het onderzoek dat erin wordt beschreven, zijn allebei problematisch op verschillende belangrijke vlakken. Zo bevat het abstract – het deel van de paper dat waarschijnlijk het meest door clinici zal worden gelezen – een cruciale fout in de manier waarop de gegevens worden beschreven, en deze fout moet dringend worden gecorrigeerd.

In deze bespreking geven we een kort overzicht van de dringendste kwesties en bespreken we wat de publicatie van dergelijk onderzoek impliceert over de aard en de doeltreffendheid van peerreview in de klinische gedragswetenschap.

Prelude: een opvallende controverse over het hoofd gezien

In hun toelichting op de redenen achter de specifiek op cvs toegespitste versie van CGT die in hun studie werd gebruikt, schrijven Adamson et al. dat de interventie “gebaseerd is op een model dat ervan uitgaat dat bepaalde triggers, zoals een virus en/of stress, vermoeidheidssymptomen uitlokken. Vervolgens worden symptomen onbedoeld in stand gehouden door contraproductieve cognitieve en gedragsgerelateerde reacties” (p. 396). De behandeling bestaat onder andere uit het “aanpakken van contraproductieve overtuigingen die zinvolle veranderingen in de weg kunnen staan” (p. 396).

Deze theorie is in feite nog steeds dezelfde theorie die in 1989, meer dan dertig jaar geleden, werd uiteengezet in een paper door een team met twee van de auteurs van de huidige paper (namelijk de professoren Wessely en Chalder).² Het voornaamste probleem hierbij is dat er onlangs herevaluaties zijn uitgevoerd van belangrijk onderzoek op dit gebied en er steeds meer wordt gezocht naar de onderliggende pathofysiologische processen, en dat deze cognitieve-gedragsbenadering van het chronisch vermoeidheidssyndroom intussen dus heel erg omstreden is geworden.

Het feit dat de auteurs weigeren te erkennen dat hun theorie van dertig jaar geleden momenteel verwikkeld is in een zeer controversieel academisch geschil, is een nalatigheid die grenst aan selectieve verslaggeving over de onderzoeksgeschiedenis. Sinds 1989 heeft een aanzienlijke hoeveelheid empirisch onderzoek een breed scala aan lichamelijke afwijkingen bij patiënten gedocumenteerd. In 2015 citeerde een rapport³ van het Amerikaanse Institute of Medicine (nu de National Academy of Medicine) al dit onderzoek toen het de ziekte beschreef als “een ernstige, chronische, complexe en multisysteemziekte” (p. 209) en weerlegde dat de ziekte psychiatrisch of psychologisch van aard is. Adamson et al. maken echter geen melding van onderzoek dat hun eigen verhaal ondergraaft, alsof ze niet hoeven te anticiperen op, of een antwoord hoeven te voorzien op enkele voor de hand liggende punten van kritiek die hun CGT-benadering wellicht zal aantrekken.

Adamson et al. waren al even selectief in hun korte bespreking van de literatuur over interventies. Een grondige bespreking van dit onderzoek had in het beste geval vrijwel zeker moeten leiden tot een veel gematigdere conclusie over het mogelijke nut van CGT als behandeling voor cvs en aanverwante aandoeningen. Eind 2020 (weliswaar enkele maanden nadat de auteurs hun paper hadden ingediend bij de Journal of the Royal Society of Medicine), publiceerde het Britse National Institute for Health and Care Excellence (NICE) zijn eigen beoordeling van deze literatuur. Na een gedetailleerd onderzoek van 172 CGT-resultaten – bevindingen die vroeger gebruikt waren om de bewering te staven dat CGT een doeltreffende behandeling is voor cvs en aanverwante aandoeningen – classificeerde NICE al het onderzoeksbewijs als van “lage” of “zeer lage” kwaliteit. In de hele literatuur, zoals beoordeeld door NICE, werd geen enkele bewering over de werkzaamheid van CGT ondersteund door bewijs dat de drempel van “lage kwaliteit” overschreed.⁴

De tekortkomingen van de nieuwe paper van Adamson et al. gaan echter veel verder dan een twijfelachtige theoretische veronderstelling of een selectief literatuuronderzoek. In het algemeen lijdt het onderzoek aan verschillende fundamentele methodologische beperkingen die door de auteurs onvoldoende of helemaal niet worden erkend. Deze omvatten: (a) ambiguïteit bij de steekproef; (b) zwakke meting; (c) overlevingsbias; (d) ontbrekende gegevens; en (e) ontbreken van een controlegroep. Gezien deze problemen zijn de door Adamson et al. gerapporteerde bevindingen naar onze mening onbetrouwbaar, omdat ze zeer sterk zijn opgekrikt.

(a) ambiguïteit bij de steekproef: wie waren de deelnemers?

De onderzoekers lijken zelf niet goed te weten of zij onderzoek deden op patiënten met chronische vermoeidheid of patiënten met chronisch vermoeidheidssyndroom. De titel suggereert dat het antwoord beide is, maar de paper zelf verwijst in het algemeen naar cvs en naar de deelnemers als mensen die voldeden aan de cvs-criteria.

Alle 995 deelnemers voldeden aan de criteria van de NICE-richtlijn van 2007 voor wat zij toen CVS/ME noemden. Deze criteria vereisen vier maanden van vermoeidheid. Maar volgens Adamson et al. voldeed slechts 76% aan de Oxford-gevalsdefinitie, die zes maanden vermoeidheid en geen andere symptomen vereist, en slechts 52% aan de CDC-criteria, waarvoor zes maanden vermoeidheid plus vier van de acht andere symptomen vereist zijn. Dit doet de vraag rijzen of 24% van de huidige steekproef slechts tussen vier en zes maanden vermoeidheid had. Dat lijkt moeilijk te begrijpen, gezien het feit dat de deelnemers naar verluidt gemiddeld 6,64 jaar ziek waren.

Evenmin is duidelijk of de betrokken deelnemers last hadden van postexertionele malaise, waarvan algemeen wordt erkend dat het een kernsymptoom van de ziekte is.⁵ Zonder meer informatie is het moeilijk te bepalen hoeveel mensen in deze studie werkelijk cvs hadden, in tegenstelling tot idiopathische cv of een andere ziekte waarvan vermoeidheid een symptoom is.

(b) Zwakke meting: hoe betrouwbaar waren de uitkomsten?

De door Adamson et al. beschreven CGT-reeks omvatte tot 20 sessies op tweemaandelijkse basis. Patiënten vulden verschillende vragenlijsten in aan het begin van de behandeling, bij de vierde en zevende sessie, op het einde en drie maanden na het einde. De metingen omvatten de SF-36 en de Vermoeidheidsvragenlijst van Chalder (CFQ), samen met meer algemene vragenlijsten, zoals die voor werk en sociale aanpassing, depressie en angst, en algemene gezondheid.

Het is belangrijk op te merken dat al deze metingen subjectief zijn. De studie bevatte geen objectieve indicatoren die vaak worden gebruikt in onderzoek naar uitkomsten bij patiënten die worden behandeld voor invaliderende aandoeningen. De auteurs vermeldden bijvoorbeeld geen gegevens over verbetering in het fysieke uithoudingsvermogen (zoals een looptest), de fitheid (zoals een stappentest), of het beroepswelzijn (zoals de mate van terugkeer naar het werk of veranderingen in uitkeringen in verband met invaliditeit). Ook in vroeger interventieonderzoek over cvs bleken de op CGT-gebaseerde therapieën waarvan werd gerapporteerd dat ze tot zelfgerapporteerde “verbeteringen” leidden, geen enkel effect te hebben op fysiek uithoudingsvermogen, fitheid of sociaaleconomische uitkomsten. ⁶

Bovendien was deze studie niet geblindeerd, zodat alle deelnemers wisten dat zij een interventie kregen die bedoeld was om hen te helpen. Het hoeft dan ook niet te verbazen dat sommige mensen die een dergelijke interventie kregen, melding zouden maken van kortstondige voordelen van voorbijgaande aard, in overeenstemming met hun verwachtingen. Zonder objectieve uitkomstmaten is het risico op bevestigingsbias bij een dergelijke studieopzet uiterst groot.

(c) Overlevingsbias: hoe betekenisvol waren de resultaten?

Om verschillende redenen kan uit de belangrijkste resultaten niet worden afgeleid dat de behandeling effectief was. Scores op de SF-36 stegen van een gemiddelde van 47,6 bij aanvang tot 57,5 aan het einde en 58,5 bij opvolging na drie maanden. In eerder onderzoek naar cvs werden SF-36-scores van 65 of lager gebruikt om ernstige invaliditeit aan te geven en werden deze dus gebruikt als deelnamecriteria om te bepalen of deelnemers ziek genoeg waren om te worden gerekruteerd voor een behandelingsstudie. Het is opmerkelijk dat in deze paper auteurs zijn opgenomen die de SF-36 precies op deze manier hebben gebruikt.⁷ Daarom zouden deze auteurs zich er terdege van bewust moeten zijn dat een behandelingsresultaat met SF-36-score van gemiddeld 58,5 betekent dat patiënten over het geheel genomen nog steeds ernstig geïnvalideerd zijn, ondanks het feit dat zij de therapie hebben gekregen. De CFQ-scores aan het einde en bij opvolging vertellen een vergelijkbaar verhaal: hoewel er een bescheiden verbetering is ten opzichte van de uitgangssituatie, gaat het hier toch nog steeds om invaliderend hoge vermoeidheidsniveaus.

Maar zelfs deze resultaten zijn waarschijnlijk misleidend, gezien het aanzienlijke aantal deelnemers dat de behandeling stopzette. Van de 995 deelnemers die aanvankelijk werden gerekruteerd, werd ongeveer 31% beschouwd als “verloren bij opvolging” – zoals gedefinieerd door de onderzoekers, wat betekende dat ze geen gegevens verstrekten op het einde van de behandeling of bij de opvolgingsevaluatie drie maanden later, ondanks het feit dat ze op de eerdere tijdstippen wel wat gegevens hadden verschaft. Bovendien was de uitval niet willekeurig: degenen die verloren waren bij opvolging, hadden bij aanvang grotere problemen gemeld met depressie, werk, sociale aanpassing en lichamelijk functioneren dan degenen van wie de gegevens op het einde werden geanalyseerd.

Simpel gezegd, we hebben geen idee wat er met bijna een derde van de deelnemers is gebeurd, maar we weten wel dat ze er bij het begin relatief slecht aan toe waren. Misschien zijn ze uitgevallen omdat hun gezondheid verder verslechterde, al dan niet in verband met CGT, of misschien omdat ze CGT gewoon nutteloos vonden.

Het ligt voor de hand dat het aanzienlijke uitvalpercentage te maken heeft met overlevingsbias. Eventuele positieve bevindingen uit de uitgedunde dataset zijn wellicht simpelweg het inflatoire resultaat van een statistisch artefact. Diep in de tekst zinspeelden de auteurs op dit probleem door te verklaren dat “er enige vorm bias in de gegevens kan zijn geslopen, in die zin dat degenen die de behandeling voltooiden misschien niet alle patiënten weerspiegelen” (p. 401). Deze bescheiden erkenning voldoet niet aan de vereiste wetenschappelijke nauwkeurigheid. Het zou correcter geweest zijn om te stellen dat “een onbekende mate van vertekening in deze gegevens onvermijdelijk is, in die zin dat degenen die de behandeling hebben voltooid niet alle patiënten weerspiegelen”.

Adamson et al. maken in de samenvatting van hun gegevens geen melding van de deelnemers die verloren waren bij opvolging. In plaats daarvan verklaren zij dat gegevens beschikbaar waren “voor 995 patiënten” en stellen ze vervolgens dat “85% van de patiënten” na de therapie een verbetering meldden via zelfrapportage. Ze stellen de zaken uiterst misleidend voor. Ze laten een cruciale kanttekening weg, nl. dat de “85%” slechts betrekking heeft op een niet-willekeurige subgroep van deelnemers die niet verloren zijn gegaan bij opvolging. Het daaruit resulterende abstract presenteert een onduidelijke opeenvolging van punten met als bedoeling het sterk opblazen van de bevindingen, wat in feite neerkomt op een fout.

In het abstract benadrukken de auteurs overigens dat “90%” van de patiënten “tevreden waren met hun behandeling”. Vermoedelijk zijn ook in dit indrukwekkend ogende cijfer weer geen antwoorden opgenomen van de 31% die niet werden opgevolgd. Aangezien de noemer onbekend is, is dit hoge goedkeuringspercentage moeilijk te begrijpen.

(d) Ontbrekende gegevens: wat met non-respons?

Afgezien van de deelnemers die werden geclassificeerd als “verloren bij opvolging”, doet zich nog een probleem voor, doordat grote aantallen van de overblijvende deelnemers voor verscheidene belangrijke variabelen de vereiste vragenlijsten niet hebben ingevuld of relevante gegevens niet hebben ingezonden. Slechts 581 deelnemers (58% van de oorspronkelijke steekproef van 995) vulden de CFQ in aan het einde van de behandeling en slechts 503 (51%) deden dat bij de opvolging. Slechts 441 deelnemers (44%) vulden de SF-36 in op het einde, en slechts 404 (41%) deden dat bij opvolging. Desondanks worden zowel de scores van de CFQ als van de SF-36 gebruikt als maatstaven voor de resultaten van de behandeling. En weer vermelden de auteurs, bij het aanhalen van deze resultaten in hun abstract, niet dat er gegevens ontbraken voor ongeveer zes op de tien van de 995 patiënten die als studiedeelnemers werden gerekruteerd.

Kortom, het is misleidend dat de auteurs positieve bevindingen voorstellen zonder te onthullen dat er voor belangrijke uitkomstvariabelen conclusies werden getrokken op basis van een dataset met aanzienlijk hoge uitval. En dat is hier zeker het geval, omdat het massaal afhaken van deelnemers er in de meeste gevallen op wijst dat de behandeling voor de overgrote meerderheid niet werkte.

(e) Het ontbreken van een controlegroep: maakte dit de studie nutteloos?

Een elementair beginsel van een goed studieontwerp is, dat causaliteit niet kan worden vastgesteld zonder een controlegroep of controleziekte. De onderhavige studie omvatte geen controlegroep of controleziekte. Daarom kunnen de onderzoeksgegevens niet worden gebruikt om conclusies over causaliteit te onderbouwen.

Niettemin schrijven Adamson et al. in hun discussieparagraaf het volgende: “de interventie met cognitieve gedragstherapie leidde tot significante verbeteringen in de zelfgerapporteerde vermoeidheid, het lichamelijk functioneren en de sociale aanpassing van de patiënten” (p. 400). Dit is een rechtstreekse verklaring van causaliteit en is dus duidelijk ongegrond; bij gebrek aan een controlegroep is een dergelijke gevolgtrekking niet gerechtvaardigd.

Bij de verdere bespreking van hun conclusies stellen de auteurs vervolgens: “door het ontbreken van een controleziekte zijn wij beperkt in het trekken van causale conclusies, omdat we niet zeker kunnen zijn dat de waargenomen verbeteringen alleen te danken zijn aan de cognitieve gedragstherapie en niet aan andere externe variabelen” (p. 401). Hoewel dit overkomt als een zorgvuldige uitspraak, bevat deze verklaring een andere bewering van causaliteit. Bovendien is het een contradictie. Door te stellen dat verbeteringen misschien niet “alleen aan CGT te danken” zijn, stelt men in feite dat ze tenminste gedeeltelijk aan CGT te danken zijn, maar dat er misschien ook andere factoren toe hebben bijgedragen. In één adem trekken de auteurs dus een causaal gevolg, én zeggen ze tegelijkertijd dat ze dat onmogelijk kunnen doen, gezien het opzet van hun studie.

De paper van Adamson et al. levert geen bewijs dat CGT “tot iets heeft geleid”. De auteurs hebben een gedeeltelijke dataset verstrekt die suggereert dat sommige van hun deelnemers een bescheiden verbetering rapporteerden in subjectieve zelfbeoordeling van welbevinden (terwijl ze nog steeds scores hebben die wijzen op ernstige invalidering). Deze verandering in scores had sowieso kunnen gebeuren, met of zonder CGT.

Conclusie: therapieloyaliteit en de valkuilen van peerreview

Naar onze mening zijn de tekortkomingen in de paper van Adamson et al. even evident als inherent. Gezien het feit dat de paper door meerdere peerreviewers en redacteurs werd goedgekeurd, vinden wij het tijd om stil te staan bij wat de publicatie ervan ons kan leren over de huidige stand van zaken van de wetenschappelijke publicatiepraktijken.

Zelfs de meest objectieve wetenschappers kunnen last hebben van “bevestigingsbias”, vooral als zij hun professionele reputatie hebben geïnvesteerd in een bepaalde therapeutische benadering. Dit probleem, dat soms “therapieloyaliteit” wordt genoemd, blijkt een statistisch significante bron van onderzoekersbias in psychotherapie-onderzoek. Kort gezegd betekent dit, dat onderzoekers geneigd zijn om grotere effectgroottes te rapporteren in studies van therapieën waarover zij sterke professionele overtuigingen hebben.⁸ Het is ongetwijfeld zo dat enkele van de auteurs van de paper van Adamson et al. mensen zijn die veel gepubliceerd hebben over het gebruik van CGT voor cvs en verwante aandoeningen, en die het gebruik ervan al decennialang bepleiten. Op basis van de bevindingen van talrijke empirische studies over deze specifieke soort bias, sluiten wij ons aan bij andere wetenschappers die erop aandringen dat therapie-loyaliteit wordt erkend als een belangrijk risico voor de integriteit van onderzoek, en dat de details ervan altijd openbaar moeten worden gemaakt, net zoals die van elk ander belangenconflict.

Wij begrijpen dat redacteurs en peerreviewers niet allemaal dezelfde theoretische achtergrond, technische deskundigheid en redactionele filosofie hebben. Wij begrijpen ook dat het voor redacteurs steeds moeilijker wordt om peerreviewers te vinden die bereid zijn en in staat zijn om deze belangrijke rol te vervullen. Het systeem van peerreview berust in hoge mate op vrijwillige inzet, en alleen al deze eigenschap maakt het zeer waardevol. Het systeem en degenen die eraan meewerken, verdienen ons respect.

Het Journal of the Royal Society of Medicine voert een beleid waarbij voor elke paper de namen van de peerreviewers worden gepubliceerd. Vermoedelijk is dit bedoeld om de transparantie te bevorderen, door de lezers in staat te stellen om zelf de aard en de diepgang van de peerreview in elk gegeven geval te beoordelen. In dat verband moedigen wij de lezers aan om stil te staan bij de namen van de peerreviewers van de paper van Adamson et al., en om na te denken over hun vakgerelateerde en wetenschappelijke achtergrond. Wij dringen er bij de lezers op aan om zelf uit te maken of de peerreviewers in dit geval gedetailleerde ervaring hadden met kwantitatief onderzoek of specialistische kennis hadden van aanverwante methodologische kwesties (bv. of ze bekend zijn met de specifieke valkuilen die voortvloeien uit subtiele vraagkenmerken* die zo vaak de geldigheid van onderzoek in gedragsgeneeskundige context ondermijnen). [“subtiele vraagkenmerken”: de mate van subtiele suggestie of beïnvloeding van deelnemers aan een studie, n.v.d.r.]

Evenzo kan het in onderling verweven beroepen zoals de academische wereld en de geneeskunde uiterst moeilijk zijn om de anonimiteit van de auteur tijdens het peerreviewproces te waarborgen of te handhaven, of om het risico te vermijden dat belangenconflicten de peerreview zouden kunnen vertekenen.⁹ Alles moet in het werk worden gesteld om te allen tijde zelfs maar de schijn van een dergelijk conflict te vermijden. Het Journal of the Royal Society of Medicine waarborgt nog steeds zijn redactionele onafhankelijkheid van de Royal Society of Medicine, een lovenswaardig principe waarop het trots mag zijn. Dit gezegd zijnde, zal het feit dat de paper van Adamson et al. onder zijn auteurs de aftredende voorzitter van de Royal Society of Medicine vermeldt, waarschijnlijk verwarrend zijn voor lezers die niet bekend zijn met, of wantrouwig staan tegenover dergelijke waarborgen. Het verdient altijd de voorkeur dat, waar mogelijk, auteurs hun manuscripten indienen bij vakbladen waarmee zij geen banden hebben, ook al zijn die banden slechts zwak. Gezien de grote belangstelling voor het onderwerp van de paper van Adamson et al. waren er naar onze mening voor deze auteurs tal van alternatieve mogelijkheden.

Het abstract van de paper van Adamson et al. bevat onjuiste beweringen over de aard van de dataset, waardoor de bevindingen op een zeer misleidende manier worden opgeblazen. In het gepubliceerde abstract wordt gesuggereerd dat ten minste drie afzonderlijke statistische bevindingen gebaseerd waren op een steekproef van 995 gevallen. In werkelijkheid telde de steekproef, als gevolg van zowel een aanzienlijke uitval van deelnemers als het op grote schaal ontbreken van gegevens, in ieder geval honderden gevallen minder. Zo is de bewering dat “er gegevens beschikbaar waren voor 995 patiënten” en vervolgens dat “85% van de patiënten zelf verklaarden dat zij een verbetering voelden” feitelijk onjuist, omdat ongeveer een derde van de 995 patiënten uit het onderzoek was gestapt en tot de helft van de zelfrapportagegegevens ontbrak. Uitval is een fatale tekortkoming in elk behandelingsonderzoek; de uitval van een hoog aantal gevallen vertekent de resultaten, omdat statistische analyses meestal onevenredig gericht zijn op die patiënten bij wie de therapie het meeste effect had. Het feit dat dit op zo’n grote schaal is gebeurd zonder dat het wordt vermeld, schept aanzienlijke problemen en maakt de verklaringen in het abstract enorm misleidend ten aanzien van de feiten. Naar onze mening is de fout zo groot dat een formele correctie van het abstract van Adamson et al. vereist is.

Wij zijn het met Adamson et al. eens dat klinieken routinematig de behandelingsresultaten moeten beoordelen en dat ze moeten rapporteren over veranderingen in de naturalistische omgeving. We zijn het ook zeker met hen eens dat toekomstige studies moeten streven naar het gebruik van betere onderzoeksmethodologieën. Naar onze mening moet al dit onderzoek voldoen aan robuuste en strenge normen inzake betrouwbaarheid en validiteit, en moet het aan de hand van die normen worden geëvalueerd. In dat opzicht vinden wij de onlangs gepubliceerde paper van Adamson et al. bijzonder problematisch: de methodologie ervan wordt gehinderd door een waslijst aan ernstige tekortkomingen, en toch worden de conclusies ervan gepresenteerd met een mate van vertrouwen die veel hoger ligt dan gerechtvaardigd is, gelet op de theoretische veronderstelling, de dataset en het onderzoeksopzet.

Verklaring van belangenconflicten: De auteurs verklaren dat er geen belangenconflicten zijn.

Financiering: Dit onderzoek heeft geen specifieke subsidie ontvangen van financieringsinstanties in de publieke, commerciële of non-profitsector. DT is een senior fellow in volksgezondheid en journalistiek aan het Center for Global Public Health aan University of California, Berkeley; patiënten en belangenbehartigers van de ME/cvs-gemeenschap hebben gedoneerd aan crowdfundingcampagnes ter ondersteuning van DT’s functie aan Berkeley.

Bijdragen: Beide auteurs hebben bijgedragen aan het schrijven en redigeren van dit artikel en waren het eens over de definitieve versie.

Referenties

Adamson J, Ali S, Santhouse A, Wessely S, Chalder T. Cognitive behavioural therapy for chronic fatigue and chronic fatigue syndrome: Outcomes from a specialist clinic in the UK. J R Soc Med 2020; 113; 394–402. DOI: 10.1177/0141076820951545.

1.Wessely S, David A, Butler S, Chalder T. Management of chronic (post-viral) fatigue syndrome. J R Coll Gen Pract 1989; 39; 26–29.

2.Institute of Medicine. Beyond Myalgic Encephalomyelitis/Chronic Fatigue Syndrome: Redefining and illness. National Academies Press. 2015.

3.NICE. Myalgic encephalomyelitis (or encephalopathy)/chronic fatigue syndrome: Diagnosis and management – [G] Evidence reviews for the non-pharmacological management of ME/cvs. See https://www.nice.org.uk/guidance/gid-ng10091/documents/evidence-review-7 (last checked 26 January 2021).

4.CDC. Myalgic encephalomyelitis/chronic fatigue syndrome: Symptoms—Primary symptoms. See https://www.cdc.gov/me-cvs/symptoms-diagnosis/symptoms.html (last checked 26 January 2021).

5.Stouten B. PACE-GATE: An alternative view on a study with a poor trial protocol. J Health Psychol 2017; 22, 1192–1197. DOI: 10.1177/1359105317707531.

6.White PD, Sharpe MC, Chalder T, et al. Protocol for the PACE trial: A randomised controlled trial of adaptive pacing, cognitive behaviour therapy, and graded exercise as supplements to standardised specialist medical care versus standardised specialist medical care alone for patients with the chronic fatigue syndrome/myalgic encephalomyelitis or encephalopathy. BMC Neurol 2007; 7; 6. DOI: 10.1186/1471-2377-7-6.

7.Dragioti E, Dimoliatis I, Fountoulakis K N, Evangelou E. A systematic appraisal of allegiance effect in randomized controlled trials of psychotherapy. Arch Gen Psychiatry 2015; 14; 25. DOI: 10.1186/s12991-015-0063-1.

8.Hughes BM. Psychology in Crisis. Palgrave. 2016.