Home » Nieuwsartikels » David Tuller » Trial By Error: rampzalige paper van Chalder over tewerkstelling en CVS

Trial By Error: rampzalige paper van Chalder over tewerkstelling en CVS

Geplaatst door Zuiderzon
op 25/04/2022

Laatste bijwerking op 25/04/2022

Bron:

David Tuller, DrPH, Virology Blog

| 9420 x gelezen

Trial By Error: Professor Chalder slaat de bal weer mis in nieuwe paper over CVS en tewerkstellingsresultaten

7 december 2021.

Update op dag zelf: Bij het herlezen van de nieuwe paper merkte ik dat de discussiesectie ook fouten bevat met betrekking tot de percentages. Het bevat deze zin: “Ongeveer 9% van de personen die niet aan het werk waren bij aanvang, was bij de opvolging weer aan het werk.” En deze: “Verder werkte 6% van degenen die bij aanvang werkten, niet meer bij opvolging.” Beide uitspraken zijn resoluut onjuist. Dit zijn percentages van de totale steekproef, niet van de subgroepen van werkenden en niet-werkenden bij aanvang.

**********

Het in diskrediet gebrachte PACE-onderzoek naar psychologische en gedragsinterventies voor chronisch vermoeidheidssyndroom (CVS) omvatte vier objectieve uitkomsten: een zes minuten durende looptest, een stappentest om fitheid te meten, werk-/opleidingsstatus en of de persoon een uitkering ontving. Geen van de vier de uitkomsten kwam overeen met de positieve rapportage uit de subjectieve metingen van vermoeidheid en fysiek functioneren. Daarom negeerden de auteurs ze volledig bij het beoordelen van de effectiviteit van de interventies en verklaarden ze het toch als een succes.

Maar ze gingen verder dan dat – achteraf leken ze de objectiviteit en relevantie van hun eigen objectieve maatregelen af te wijzen. Op een onopvallende manier probeerden ze de slechte resultaten weg te redeneren, in hun reactie op correspondentie met betrekking tot hun paper uit 2013 over “herstel” van de ziekte, dat werd gepubliceerd in Psychological Medicine.

Dit is wat ze schreven als reactie op kritiek dat hun beoordeling van “herstel” rekening had moeten houden met de nulresultaten voor veranderingen in de tewerkstellingsstatus:

“Herstel van ziekte is een gezondheidsstatus, geen economische, en veel werkende mensen voelen zich onwel, terwijl mensen die zich gezond voelen, niet per se werken. Sommige van onze deelnemers waren ofwel de pensioengerechtigde leeftijd gepasseerd of hadden geen betaald werk toen ze ziek werden. Bovendien kan de opvolging op 6 maanden na het einde van de therapie een periode zijn die te kort is om de uitkeringen of de werkgelegenheid te beïnvloeden. We zijn het er daarom niet mee eens … dat dergelijke resultaten een nuttig onderdeel vormen van herstel in de PACE-studie.”

Maar dan mogen jullie even niet letten op die vervelende, onaantrekkelijke resultaten voor onze objectieve uitkomsten!

Intussen publiceerden professor Chalder en collega’s een nieuwe paper in het tijdschrift Occupational Medicine, met als titel: “Chronisch vermoeidheidssyndroom en beroepsstatus: een retrospectieve longitudinale studie.” En dit is wat ze schrijven: “Studies naar CVS hebben weinig nadruk gelegd op tewerkstellingsresultaten, inclusief terugkeer naar het werk na ziekte.”

De auteurs vragen om meer aandacht voor dit onderwerp, maar vermelden niet dat PACE een dergelijke uitkomst bevatte en nulresultaten had. Dat dit wordt weggelaten, is verontrustend en onverdedigbaar, aangezien de PACE-studie werd aangeprezen als het “doorslaggevende” onderzoek naar hun favoriete interventies.* [Deze zin is gecorrigeerd. Ik schreef oorspronkelijk dat de PACE-auteurs het zelf het “doorslaggevende” onderzoek hadden genoemd. Het gebruik van het woord dat ik me herinnerde, kwam in feite uit een verklaring over de studie die werd verspreid door het Science Media Centre.] Helaas zijn deze ernstige fout en de hypocrisie die ermee gemoeid gaan niet verrassend, als je weet wie de auteurs zijn van deze nieuwe paper.

**********

Gegevens verdraaid

In de nieuwe studie keken de onderzoekers naar 316 aanwezigen van een CVS-kliniek die informatie over hun tewerkstellingsstatus hadden ingevuld, zowel bij aanvang – dat wil zeggen vóór behandeling – als bij opvolging. De gemiddelde opvolgingsperiode lag rond de negen maanden.

Uit de studie bleek dat 53% van de deelnemers zowel bij aanvang als bij opvolging tewerkgesteld was, terwijl 33% van de deelnemers niet aan het werk was bij aanvang of opvolging. Bovendien werkte 6% van de totale steekproef bij aanvang, maar niet bij opvolging, terwijl 9% niet werkte bij aanvang maar wel bij opvolging.

Maar zowel de samenvatting als de sectie over “Belangrijkste Lessen” verdraaien deze gegevens door verwarring te scheppen over de noemers van de percentages. In de samenvatting schrijven de auteurs het volgende: “Patiënten werden gemiddeld 285 dagen gevolgd en gedurende deze periode bleef 53% van de patiënten die tewerkgesteld waren, aan het werk. Van de patiënten die bij aanvang niet werkten, was 9% bij opvolging teruggekeerd naar het werk. Van degenen die bij aanvang werkten, was 6% bij opvolging echter niet meer in staat om nog te blijven werken.

Evenzo zijn hier enkele uitspraken uit de sectie met als titel “Belangrijkste Lessen”: “Meer dan de helft van de patiënten die bij baseline aan het werk waren, waren tijdens de opvolgingsperiode in staat om aan het werk blijven en 9% was weer aan het werk gegaan. Van degenen die bij aanvang werkten, kon 6% bij opvolging echter niet meer werken.

Al deze verklaringen geven duidelijk een verkeerde voorstelling van de statistieken. Want als slechts 53% van degenen die bij aanvang werkten, nog steeds aan het werk waren bij opvolging, is het voor de hand liggende gevolg dat 47% van degenen die bij aanvang werkten, bij de opvolging niet meer aan het werk was. Maar een simpele blik op de tabel met resultaten onthult de fout: de auteurs lijken niet te snappen dat het cijfer van 53% verwijst naar een onderdeel van de volledige steekproef, nl. 316, en niet slechts naar het deel van degenen die bij aanvang aan het werk waren.

Bovendien was de 9% van de deelnemers die “weer aan het werk waren” nadat ze niet hadden gewerkt bij aanvang, 9% van de totale steekproef, niet 9% van “de patiënten die niet aan het werk waren bij aanvang”. En de 6% van de deelnemers die aan het werk waren bij aanvang, maar niet bij de opvolging, was 6% van de totale steekproef, niet 6% van degenen die bij aanvang “aan het werk waren”.

Het is verbijsterend dat ervaren onderzoekers zoveel moeite hebben met het uitleggen van hun eigen bevindingen. Het is ook verbijsterend dat geen enkele peerreviewer of vakbladredacteur deze inhoudelijke fouten heeft opgemerkt. Het is duidelijk dat deze uitspraken formeel moeten worden gecorrigeerd. Het vakblad moet ook duidelijk onderzoeken waarom zijn peerreviewproces zo spectaculair faalde.

Bovendien stelt de paper dat patiënten werden beoordeeld met behulp van de klinische richtlijnen van het National Institute for Health and Care Excellence (NICE). (De auteurs verwijzen vermoedelijk naar het document uit 2007, niet naar de herziening die in oktober van dit jaar is gepubliceerd.) Bij deze verklaring wordt echter niet verwezen naar de richtlijnen van NICE uit 2007, maar naar een paper uit 1991 waarin de zogenaamde “Oxford-criteria” voor CVS worden uiteengezet, waarbij slechts zes maanden onverklaarbare vermoeidheid nodig was voor diagnose.

Dus welke van de twee is het? Gebruikte de kliniek de NICE-criteria of de Oxford-criteria? En als het de NICE-criteria gebruikte, waarom werd er dan naar een document met de Oxford-criteria verwezen? Ook dit moet worden gecorrigeerd.

Interessant is dat de auteurs verwijzen naar de PACE-studie in verband met “gerandomiseerde gecontroleerde onderzoeken” in deze zin: “Het feit dat 9% van de patiënten in deze studie weer aan het werk is gegaan, is bemoedigend en suggereert dat mensen kunnen herstellen, zoals eerder gevonden in zowel gerandomiseerde gecontroleerde onderzoeken als in de routinematige klinische praktijk”. Met andere woorden, de auteurs beweren opnieuw dat de interventies in PACE hebben geleid tot “herstel”.

Zoals gewoonlijk promoten de auteurs hun standpunt, zonder te erkennen dat hun theoretische benadering en behandelingsparadigma serieus aan de kaak is gesteld en van zijn eens zo geroemde voetstuk is gevallen. Ze leggen niet uit dat de beweringen die in PACE gemaakt werden over “herstel”, weerlegd zijn in gepubliceerde heranalyses en verworpen zijn door de nieuwe NICE-richtlijnen. Ze lijken ook opnieuw te zijn vergeten dat professor Chalder en haar PACE-collega’s zelf het argument hebben verworpen dat tewerkstellingsstatus moet worden beschouwd als een aspect van “herstel” van de ziekte.

Dus professor Chalder spreekt zichzelf tegen en praat hier in rondjes. Ze heeft nog maar eens aangetoond dat ze incompetent is en weinig inzicht heeft in de wetenschap. Zielig.

Trial By Error: Meer over die rampzalige tewerkstellingspaper van professor Chalder en collega’s

David Tuller, DrPH, Virology Blog, 11 december 2021

Een paar dagen geleden schreef ik een bericht over weer een nieuwe afschuwelijke paper van professor Trudie Chalder. Deze heette “Chronisch vermoeidheidssyndroom en tewerkstellingsstatus: een retrospectief longitudinaal onderzoek.” Professor Chalder en haar collega’s lijken van nature niet in staat om iets te schrijven zonder dat er enorme fouten in staan. Naast het feit dat zij en haar collega’s hun bevindingen verkeerd voorstelden door foute noemers te gebruiken bij het oplijsten van de percentages, lieten ze in dit geval, zoals ik eerder opmerkte, elke verwijzing weg naar de nulbevindingen over tewerkstelling uit de PACE-studie – een flagrante fout.

Ze leken ook zelf niet te weten of ze patiënten gediagnosticeerd hadden met behulp van de CVS/ME-richtlijnen van 2007 van het National Institute for Health and Care Excellence, of met behulp van de CVS-criteria van Oxford uit 1991. Ze vernoemden NICE in de tekst, maar de geciteerde referentie was de paper uit 1991. Deze casusdefinities verschillen aanzienlijk, dus het is schokkend dat ze dit niet duidelijk maken.

Gezien deze fouten geeft de paper zelf een onbetrouwbaar en onaanvaardbaar verslag over de kwestie van de tewerkstellingsstatus. Het weglaten van de zeer markante PACE-gegevens roept ook ernstige vragen op over de integriteit van het onderzoeksteam.

Maar er staan ook heel wat andere methodologische problemen in de paper. Over het algemeen geven de resultaten aan dat de interventies weinig tot geen effect hebben. Volgens de krant ondervond 88% van de 316 die zowel bij het begin als bij de opvolging gegevens verstrekten, geen verandering in de tewerkstellingsstatus.

Deze cijfers zijn echter moeilijk te interpreteren, aangezien de auteurs voltijds werk en deeltijds werk op één hoop gooiden in de categorie ‘werkend’. Het kan goed zijn dat veel van degenen die antwoordden dat ze aan het werk waren, van voltijds naar slechts deeltijds waren gegaan – maar als er al een dergelijke trend zou zijn geweest, dan zou die worden gemaskeerd door de manier waarop de gegevens worden gepresenteerd.

Zoals Mark Vink op twitter aangaf, leverden veel van de uitkomsten – waaronder vermoeidheid, het vermijden van angst, catastroferen en andere domeinen – nulresultaten op. Anderen, zoals fysiek functioneren, vertoonden slechts onbeduidende veranderingen. De paper zelf vermeldt geen van deze slechte bevindingen in de tekst, maar vermeldt ze enkel in een tabel. Keith Geraghty heeft andere problemen opgemerkt in de paper en de analyses. De uiteindelijke scores na de behandeling op de Vermoeidheidsschaal van Chalder en de SF-36-vragenlijst voor fysiek functioneren, laten zien dat er nog steeds sprake is van ernstige invaliditeit.

Hieronder staan nog enkele andere problemen die moeten worden aangepakt.

De studie lijkt een groot verlies bij opvolging te hebben gehad – van de 508 deelnemers aan het begin leverde slechts 62% – of 316 – gegevens bij de opvolging. Dat is een enorme uitval, en de auteurs vertellen ons bijna niets over deze mensen, behalve dat ze mogelijk in slechtere gezondheid verkeerden dan degenen die wel gegevens hebben verstrekt bij opvolging, zoals meestal het geval is bij uitvallers.

Dat betekent op zijn beurt dat de startgemiddelden die voor alle 508 deelnemers worden gepresenteerd, waarschijnlijk blijk geven van een slechtere gezondheid dan de startgemiddelden van enkel de 316 die gegevens hebben verstrekt bij de opvolging. Om onverklaarbare redenen verstrekten de auteurs geen aparte basisgegevens voor enkel die 316. Dat zou het mogelijk hebben gemaakt om te beoordelen of hun gezondheid in de loop van de tijd, volgens verschillende variabelen, daadwerkelijk verslechterde of gewoon niet verbeterde.

Het feit dat ze beslisten om deze startgegevens niet op te nemen voor de 316 deelnemers die gegevens hebben verstrekt bij de opvolging, is nogal ongebruikelijk. Het suggereert dat de auteurs wellicht wisten dat de vergelijking van de resultaten voor en na de behandeling voor de 316 deelnemers die opvolgingsgegevens verstrekten, er niet erg aantrekkelijk uit zou zien.

De auteurs maken veel gewag van het “positieve” dat ze zien in het feit dat 9% van de 316 deelnemers die niet aan het werk waren bij baseline, bij opvolging wel terug aan het werk waren. Maar dit aantal wordt gecompenseerd door de 6% die stopte met werken tussen de start en de opvolging. En nogmaals, we hebben natuurlijk geen idee of dit voltijds of deeltijds werk is, dus het beoordelen van de veranderingen is moeilijk. Daarnaast leveren de auteurs geen significantietests voor deze resultaten – ook een slecht teken.

De auteurs blijven suggereren dat “contraproductieve overtuigingen” – dat wil zeggen het idee van patiënten dat ze een aanhoudende ziekte hebben die verergerd wordt door overmatige activiteit – een rol spelen bij het in stand houden van het syndroom. Ze kunnen niet stoppen met trekken aan een dood paard, zelfs niet na tientallen jaren van trekken.

Dit is wat ze schrijven: “Contraproductieve overtuigingen zoals angst voor activiteit en lichaamsbeweging en zorgen over het veroorzaken van schade, gecombineerd met alles-of-niets-gedrag en gedragsmatige vermijding, waren geassocieerd met het niet-werken. CGT, en tot op zekere hoogte ook GET, zijn hier specifiek op gericht.” Zij stellen voor dat de interventies meer gericht moeten zijn op tewerkstellingskwesties.

Aangezien de factoren waarvan wordt aangenomen dat ze het herstel belemmeren, al lange tijd de focus zijn van de interventies die professor Chalder al tientallen jaren bepleit, is het bewijs uit deze studie duidelijk: deze behandelingen zijn in wezen waardeloos. Over het algemeen lijken ze er grotendeels niet in te slagen de gezondheids- en tewerkstellingsuitkomsten te verbeteren. Het is verbazingwekkend dat professor Chalder en haar collega’s dit niet lijken te beseffen.

Professor Chalder en haar twee PACE-maatjes, Professor Michael Sharpe en Professor Peter White, hebben onlangs nog een paper gepubliceerd waarin zij beweren dat CGT en GET doeltreffende “evidence-based” behandelingen zijn. En ook die paper is een hoop onzin. Jammer dat ze deze rampzalige bevindingen niet in die analyse hebben verwerkt. In plaats daarvan blijven ze onzin en nonsens uitkramen. Wanneer stopt dit eindelijk?

Trial By Error: Brian Hughes en ik schrijven brief aan Occupational Medicine over rampzalige paper van prof. Chalder

David Tuller, DrPH, Virology Blog, 16 december 2021.

Leden van de ideologische CGT/GET-brigade produceren een vloedgolf aan drek, en ik doe niet de moeite om commentaar te geven op de meeste van hun papers. Daar is het leven veel te kort voor.

Zo verlies je makkelijk uit het oog hoe gebrekkig en werkelijk vreselijk elke afzonderlijke paper is. Maar zelfs in deze stroom van wetenschappelijk gebrekkig onderzoek onderscheidt een recente paper in het vakblad Occupational Medicine zich van de rest. Ik heb er hier en hier over geblogd. Dr. Mark Vink en dr. Keith Geraghty twitterden er respectievelijk hier en hier over.

De elementaire fouten die in de paper worden gemaakt over de eigen kernbevindingen, geven blijk van een verbazingwekkende incompetentie. Ik moest de paper een aantal keer lezen om mezelf ervan te overtuigen hoezeer de corresponderende auteur professor Trudie Chalder en haar collega’s de statistische basisberekeningen hadden verknoeid. Het lijkt zeer onwaarschijnlijk dat iemand de gegevens in zijn eigen tabellen rechtstreeks zou tegenspreken en opzettelijk zulke flagrante onjuistheden zou uitspreken. Het is zeker niet zo dat deze specifieke fouten de gerapporteerde bevindingen aantrekkelijker maakten.

Het was ook moeilijk te begrijpen waarom niemand die betrokken was bij het produceren en publiceren van deze puinhoop, heeft gemerkt dat er iets niet klopte.

Methodologische en ontwerpfouten in papers kunnen echter ook voortkomen uit de wens en de intentie om problematische of onaantrekkelijke resultaten te verdoezelen. Deze paper in Occupational Medicine van professorChalder en haar collega’s bevatte ook dergelijke gebreken. De paper had nooit in deze vorm mogen worden ingediend, en had ook niet voor publicatie mogen worden geaccepteerd.

Samen met Professor Brian Hughes, een psycholoog aan de National University of Ireland, Galway, schreef ik aan Occupational Medicine een bericht, waarin we onze grootste zorgen uiteenzetten en oproepen tot intrekking van de paper. Je kan onze brief hieronder lezen, of hier.

**********

Beste redacteur,

Occupational Medicine heeft onlangs een paper gepubliceerd van Stevelink et al. (2021) met als titel “Chronisch vermoeidheidssyndroom en tewerkstellingsstatus: een retrospectief longitudinaal onderzoek.” Helaas bevat de paper belangrijke technische en methodologische fouten die dringend redactionele aandacht verdienen.

Om samen te vatten: de studie begon met 508 deelnemers en had opvolgingsgegevens voor 316 van hen. De primaire uitkomstmaat was de tewerkstellingsstatus. Veel deelnemers waren bij opvolging uitgevallen – slechts 316, of 62%, verstrekte opvolgingsgegevens. Van die 316, meldde 88% geen verandering in tewerkstellingsstatus. Als groep ervoeren de deelnemers geen of slechts onbeduidende veranderingen in een reeks secundaire uitkomsten, waaronder vermoeidheid en fysiek functioneren. Alleen al de slechte opvolgingsscores op vermoeidheid en fysiek functioneren wijzen erop dat de volledige groep na de behandeling nog steeds ernstig geïnvalideerd was.

In verschillende secties van de paper is de beschrijving die de auteurs maken over hun eigen statistische bevindingen, onjuist. Ze maken steeds opnieuw een elementaire fout in hun presentatie van de percentages. De auteurs gebruiken herhaaldelijk de constructie “X% van de patiënten die Y deden bij aanvang” terwijl ze de constructie “X% van alle 316 patiënten (d.w.z. degenen die opvolgingsgegevens hebben verstrekt)” hadden moeten gebruiken. Deze terugkerende fout met betrekking tot de kernbevindingen ondermijnt de waarde en integriteit van de hele paper.

In het Abstract stellen de auteurs bijvoorbeeld: “53% van de patiënten die [bij aanvang] aan het werk waren, waren [bij opvolging] nog steeds aan het werk”. Dat is niet correct. Hun eigen gegevens (Tabel 2) laten zien dat 185 patiënten (d.w.z. 167 + 18) aan het werk waren bij aanvang, en dat 167 patiënten op beide tijdstippen aan het werk waren. Met andere woorden, het aandeel continu werkenden was in feite 90% (d.w.z. 167 van de 185). De “53%” waarnaar de auteurs verwijzen, is het percentage van de steekproef dat op beide tijdstippen aan het werk was (d.w.z. 167 van de 316), wat een geheel andere subgroep is. Ze hebben ofwel het percentage waarover ze schreven verkeerd begrepen, of ze hebben hun eigen bevinding verkeerd weergegeven door ze te koppelen aan het verkeerde percentage.

Deze fout wordt overgenomen in de sectie “Belangrijkste Lessen”, waar de auteurs stellen dat “meer dan de helft van de patiënten die bij aanvang aan het werk waren, in staat bleven om te werken tijdens de opvolgingsperiode”. Terwijl 90% zeker “meer dan de helft” is, lijkt het duidelijk dat deze formulering opnieuw ten onrechte verwijst naar de subgroep van 53%.

Dezelfde fout wordt gemaakt bij de andere belangrijke bevindingen. De samenvatting stelt bijvoorbeeld: “van de patiënten die niet aan het werk waren bij aanvang, was 9% bij de opvolging weer aan het werk”. Maar net als hierboven, klopt dit niet. Een totaal van 131 patiënten (d.w.z. 104 + 27) werden geregistreerd als “niet-tewerkgesteld” bij aanvang en 27 werden geregistreerd als niet-werkend bij aanvang maar als werkend bij de opvolging. Dat is 21%, niet 9%. En weer lijken de auteurs hun eigen bevindingen verkeerd te begrijpen. De “9%” waarnaar ze verwijzen is een percentage van de steekproef van 316; het is niet, zoals zij denken, een percentage van die subgroep van de steekproef die aanvankelijk niet aan het werk was. Deze foutieve “9%”-conclusie staat ook in de “Belangrijkste Lessen” en in de Bespreking.

En weer stellen de auteurs in de samenvatting dat “van degenen die bij aanvang aan het werk waren, 6% bij de opvolging niet in staat was om te blijven werken”, een bewering die ze herhalen in de sectie over “Belangrijkste Lessen” en in de Bespreking. Ook deze stelling is fout. Want de auteurs interpreteren weer een percentage van de steekproef van 316 ten onrechte alsof het een percentage van een gerichte subgroep betreft. In dit geval denken ze dat ze verwijzen naar een percentage van de patiënten die bij aanvang aan het werk waren, maar in werkelijkheid verwijzen ze naar een percentage van de volledige groep die opvolgingsgegevens heeft verstrekt.

De auteurs presenteren de ruwe frequentiegegevens in Tabel 2. Lezers kunnen zelf zien hoe hun steekproef van 316 patiënten is opgedeeld in vier subgroepen (d.w.z. “aan het werk bij aanvang en opvolging”; “niet aan het werk bij aanvang en opvolging”; “niet meer aan het werk bij opvolging”; “weer aan het werk bij opvolging”). Uit Tabel 2 blijkt duidelijk dat de verwoordingen in de hoofdtekst van de paper haaks staan op de feitelijke gegevens.

Het valt niet te ontkennen dat de tekst van deze paper vol staat met elementaire technische fouten, zoals beschreven. Omdat de auteurs hun eigen bevindingen niet begrijpen of correct uitleggen, krijg je onvermijdelijk een vervormd verhaal. Het is ons niet duidelijk hoe deze fundamentele en voor de hand liggende fouten niet zijn opgepikt tijdens peerreview. We kennen de identiteit van de peerreviewers niet, maar we kunnen wel raden dat groepsdenken en bevestigingsbias een rol kunnen hebben gespeeld. Het is immers niet onredelijk dat peerreviewers ervan uitgaan dat auteurs hun eigen berekeningen snappen.

Er zijn verschillende andere kenmerken van dit document die bedenkelijk zijn. Het gaat onder andere om volgende punten:

• De auteurs stellen dat ze de deelnemers hebben geëvalueerd met behulp van richtlijnen van het Britse National Institute for Health and Care Excellence (NICE). (Ik veronderstel dat ze verwijzen naar de NICE-richtlijnen van 2007, niet naar de herziening die in oktober 2021 werd gepubliceerd.) Maar de referentie voor deze verklaring is een paper uit 1991 die de zogenaamde “Oxford-criteria” schetst, een gevalsdefinitie die aanzienlijk verschilt van de NICE-richtlijn uit 2007. Bovendien stellen de auteurs in een paper over hetzelfde cohort van deelnemers dat eerder is gepubliceerd door Occupational Medicine (“Factoren die verband houden met werkstatus bij chronisch vermoeidheidssyndroom“) expliciet dat deze patiënten werden gediagnosticeerd met behulp van de Oxford-criteria. Deze inconsistentie is niet onbelangrijk, omdat de verschillen tussen deze twee diagnostische benaderingen substantiële gevolgen hebben voor de manier waarop de bevindingen moeten worden geïnterpreteerd. Dat de auteurs verward lijken over de kwestie is moeilijk te begrijpen en het roept fundamentele vragen op over de validiteit van hun onderzoek.

• Volgens Tabel 1 waren er geen veranderingen of geen significante veranderingen in de gemiddelde scores voor vermoeidheid, fysiek functioneren en meerdere andere secundaire uitkomsten tussen de voorlopige steekproef van 508 en de uiteindelijke opvolgingssteekproef van 316. De auteurs zelf erkennen dat de patiënten die voor de opvolging uitvielen, waarschijnlijk een slechtere gezondheidstoestand hadden dan degenen die gebleven waren. Er ontstaat onduidelijkheid doordat Tabel 1 gecombineerde gemiddelden presenteert voor de gehele preliminaire steekproef – d.w.z. gecombineerde gemiddelden voor patiënten die uitvielen en degenen die niet uitvielen. Het presenteren van gecombineerde startscores voor alle patiënten maskeert eventuele dalingen die zijn opgetreden voor deze variabelen in de subgroep die werd opgevolgd. Het zou veel passender zijn geweest om enkel de startgegevens voor de 316 opvolgingspatiënten te isoleren en te presenteren. Dit zou de onderzoeksvraag van de auteurs correcter hebben weergegeven en het zou lezers niet dwingen om appelen met peren te vergelijken.

• Ten slotte stellen de auteurs dat “Studies naar CVS weinig nadruk hebben gelegd op tewerkstellingsuitkomsten, inclusief terugkeer naar het werk na ziekte.” Opvallend genoeg reppen ze hier met geen woord over de PACE-studie, een spraakmakende grootschalige Britse studie van interventies voor CVS. De PACE-studie omvatte de tewerkstellingsstatus als een van de vier objectieve resultaten, waarbij de gegevens aantonen dat de gebruikte interventies – dezelfde als in de studie in Occupational Medicine – geen effect hebben op de tewerkstellingsuitkomsten. Deze eerdere bevinding is zo relevant voor deze paper dat het zeer merkwaardig is dat de auteurs ervoor hebben gekozen om ze niet te vermelden. En de weglating is extra verontrustend omdat de corresponderende auteur van de paper zelf hoofdonderzoeker was van de PACE-studie.

Auteurs van onderzoekspapers hebben de plicht om baanbrekende bevindingen uit eerdere studies te citeren, als die directe implicaties hebben op de beoogde onderzoeksvraag. Doen zij dit niet, en zeker als er sprake is van overlappend auteurschap, dan halen zij een dikke onvoldoende voor wetenschappelijke rapportage.

De rapportage van percentages in deze paper zit zo vol technische fouten dat de belangrijkste conclusies geen betekenis meer hebben, zelfs zonder bovengenoemde aanvullende zaken in rekening te nemen. De zinnen die worden gebruikt om de bevindingen te beschrijven zijn eenvoudigweg onjuist, en de hele strekking van het verhaal van de paper wordt erdoor bezoedeld. Wij zijn van mening dat het publiceren van een correctie van deze zinnen door de auteurs alleen maar tot verdere verwarring zou leiden.

Wij vragen daarom aan uw vakblad om de paper in te trekken.

Hoogachtend,
Brian M. Hughes
School of Psychology
National University of Ireland, Galway

David Tuller
University of California, Berkeley

Referenties

Stevelink, S. A. M., Mark, K. M., Fear, N. T., Hotopf, M., & Chalder, T. (2021). Chronic fatigue syndrome and occupational status: a retrospective longitudinal study. Occupational Medicine. Online pre-print. doi: 10.1093/occmed/kqab170.

Belangenconflicten

David Tuller is een senior fellow in volksgezondheid en journalistiek aan het Center for Global Public Health van University of California, Berkeley; ME/cvs-patiënten en -belangenbehartigers hebben gedoneerd aan crowdfundingcampagnes ter ondersteuning van zijn positie aan Berkeley.

Trial by error: briefwisseling over professor Chalders nieuwste rampzalige paper

David Tuller, DrPH, Virology Blog, 22 december 2021.

Vorige week hebben Brian Hughes en ik een brief gestuurd naar Occupational Medicine, dat onlangs weer een van de vreselijke papers van professor Trudie Chalder publiceerde. Naast andere problemen hebben professor Chalder en haar vier coauteurs hun eigen bevindingen helemaal verkeerd weergegeven in de papertekst. We hebben opgeroepen tot intrekking van de paper.

In het verleden stuurde ik dergelijke brieven liever rechtstreeks naar de redacteur of redacteuren van een vakblad, omdat dat meer de aandacht trekt en misschien meer actie uitlokt. Mijn bedoeling was vooral om redacteuren aan te sporen om belangrijke problemen aan te pakken, eerder dan mijn brieven officieel gepubliceerd te zien. In dit geval bevatte het colofon van Occupational Medicine geen e-mailadressen van specifieke redacteuren, dus hebben we onze brief naar het vakblad gestuurd via het formele indieningsproces. We hebben hem ook gepost op een pre-print server.

Maandag kregen we een e-mail van een assistent-redacteur bij Occupational Medicine. Deze persoon stuurde het verzoek van de hoofdredacteur door om onze brief in te korten van 1326 woorden tot het strikte maximum van 500 woorden en hem opnieuw in te dienen. De hoofdredacteur stelde ook voor dat we de volledige, onbewerkte versie van onze brief naar de corresponderende auteur van de paper sturen, namelijk professor Chalder.

Dit antwoord leek niet in overeenstemming te zijn met de ernst van de bedenkingen die professor Hughes en ik naar voren hadden gebracht. De verdraaide percentages van dit artikel zijn ingediend door een ervaren team van onderzoekers van King’s College London, waaronder drie professoren. Het artikel doorstond de peerreview en werd gepubliceerd door het vakblad, dat wordt gesponsord door de Society of Occupational Medicine. Zou een hoofdredacteur niet verbijsterd moeten zijn dat dit onder hun toeziend oog is kunnen gebeuren?

In plaats van te beloven om de zaak te onderzoeken, bood het vakblad ons de kans om een summiere brief te publiceren. De reactie die we ontvingen, gaf geen enkele indicatie dat verdere stappen zouden worden ondernomen. Het vakblad legde de verantwoordelijkheid ook bij ons om de auteurs te informeren dat ze een manuscript hadden ingediend met fatale gebreken. Het is echter niet aan ons, maar wel aan het vakblad om het slechte nieuws aan professor Chalder over te brengen en haar voor te stellen om haar kennis statistiek bij te schaven. Daarom stuurden Professor Hughes en ik volgende reactie naar Occupational Medicine.

**********

Beste [naam onleesbaar gemaakt],

Bedankt voor uw bericht. Wij begrijpen het verzoek van de hoofdredacteur, maar we wijzen dat voorstel af.

Het gaat ons niet om het publiceren van een ‘Brief aan de Redacteur’ in Occupational Medicine. Het is eerder onze bedoeling om de hoofdredacteur formeel op de hoogte te stellen van belangrijke technische problemen in de paper van Stevelink et al. dat onlangs door uw vakblad werd gepubliceerd.

Zoals uiteengezet in onze brief, bevat het document fundamentele technische fouten op vlak van statistiek, onnauwkeurig vermelde resultaten en andere grove fouten. Het belangrijkste doel van ons schrijven was om er bij de hoofdredacteur op aan te dringen de kwestie te onderzoeken en uiteindelijk het artikel in te trekken, en niet om met de oorspronkelijke auteurs van gedachten te wisselen over de reden waarom ze een problematisch manuscript hebben ingediend.

Wij zijn van mening dat het de rol is van het vakblad, en niet de onze, om deze kwesties uit te klaren met de auteurs (en mogelijk met de peerreviewers die de paper voor publicatie hebben aanbevolen). Het is aan het vakblad om te bepalen hoe dit artikel tot stand is gekomen en om de lezers te informeren over wat er wordt gedaan om de kwestie aan te pakken.

Nogmaals, het gaat ons niet om het al dan niet publiceren van onze brief in het vakblad. Dit is een formele correspondentie met de Hoofdredacteur over onze oproep tot intrekking van de paper van Stevelink et al. We vragen u daarom de brief nogmaals door te sturen naar de Hoofdredacteur zodat hij hier zo snel mogelijk aandacht aan kan besteden.

We kijken uit naar snelle actie omtrent de door ons geuite bedenkingen.

Hoogachtend,

Brian Hughes
National Universtiy of Ireland, Galway

David Tuller
University of California, Berkeley