Home » Nieuwsartikels » David Tuller » Trial By Error: GETSET-studie rapporteert nulresultaat voor zelfhulp-GET, maar claimt toch succes. Na brieven volgt correctie en excuses.

Trial By Error: GETSET-studie rapporteert nulresultaat voor zelfhulp-GET, maar claimt toch succes. Na brieven volgt correctie en excuses.

Geplaatst door Zuiderzon
op 09/09/2021

Laatste bijwerking op 09/09/2021

Bron:

David Tuller, DrPH, Virology Blog

| 12328 x gelezen

Trial By Error: GETSET-studie rapporteert nulresultaat voor zelfhulp-GET, maar claimt toch succes

6 april 2021.

Het Journal of Psychosomatic Research (JSR), een invloedrijke vakblad, publiceerde onlangs een artikel dat een cruciaal punt aanhaalde: in klinische onderzoeken lopen subjectieve uitkomsten “een groter risico op vooringenomenheid als gevolg van eventuele deblindering”. Het artikel, dat ik hier besprak, werd geschreven door de huidige redacteur van het vakblad en de twee eerdere redacteuren, die allebei nog steeds in de adviesraad van het vakblad zetelen.

Het artikel ging over de vraag of een goed geblindeerde klinische studie over homeopathie, die het vakblad jaren eerder had gepubliceerd, al dan niet moest worden ingetrokken. De details waren ingewikkeld en hier van weinig belang, behalve dit punt: het vakblad besloot om de studie niet in te trekken, omdat ze vonden dat de blindering robuust gebleven was, ondanks de pogingen van een onderzoeker om die te ondermijnen. Gezien het artikel van de redactie zelf kwam, mogen we er denk ik van uit gaan dat de volgende passage het standpunt van het vakblad weergeeft:

“Rapportage over de integriteit van de blindering is waardevol en is vooral belangrijk wanneer het gaat om subjectieve uitkomsten waarbij er een groter risico is op vertekening in het geval van deblindering… Subjectieve uitkomsten worden vaak gebruikt in studies die binnen het bereik van dit vakblad vallen, op het raakvlak van de psychologie en de geneeskunde. Wij raden aan om de integriteit van de blindering te beoordelen voor elk klinisch onderzoek, in het bijzonder voor studies die subjectieve uitkomsten gebruiken.”

Een voor de hand liggend gevolg van dit punt is dat extra voorzichtigheid moet worden betracht bij het interpreteren van subjectieve uitkomsten wanneer de toewijzing van de interventie niet geblindeerd is. Een ander punt is dat objectieve uitkomsten, wanneer blindering niet gewaarborgd is, niet hetzelfde risico van vertekening inhouden als subjectieve uitkomsten.

Ten minste twee leden van de adviesraad van het JSR – Professor Michael Sharpe en Professor Peter White, twee van de drie hoofdonderzoekers van PACE – delen dit voorzichtige standpunt helaas niet, althans niet als je kijkt naar hun vroegere onderzoekswerk. En nu geeft JSR Professor White en verscheidene collega’s opnieuw de gelegenheid om de resultaten van hun onderzoek verkeerd te interpreteren.

De nieuwe studie heet “Guided graded exercise self-help for chronic fatigue syndrome: Long term follow up and cost-effectiveness following the GETSET trial.” [Graduele Oefentherapie via begeleide zelfhulp voor chronisch vermoeidheidssyndroom: opvolging op lange termijn en kosteneffectiviteit na de GETSET-studie]. Dit was in wezen een zelfhulpversie van de GET-interventie die werd getest in PACE. De primaire uitkomsten waren zelfgerapporteerde vermoeidheid en fysiek functioneren. In 2017 rapporteerden de onderzoekers in The Lancet dat degenen in de arm die zelfhulp-GET (GES) kregen, bescheiden maar positieve resultaten rapporteerden op 12 weken na de randomisatie, vergeleken met degenen die alleen de zogenaamde standaard medische zorg (SMC) kregen. (De GES-arm ontving ook SMC.) Professor White was de hoofdauteur.

De studie werd gehypet door het Britse Science Media Center, een bolwerk van steun voor de biopsychosociale ideologische brigade. Voor de samenvatting van de “expertreactie” van het SMC gaven enkele van de oude getrouwen enthousiaste opmerkingen. “Deze studie draagt bij aan het bewijs dat graduele oefentherapie kan helpen om het functioneren te verbeteren en de vermoeidheid te verminderen bij mensen met chronisch vermoeidheidssyndroom”, verklaarde professor Trudie Chalder, de andere hoofdonderzoeker van PACE samen met Professor Sharpe en Professor White.

Het SMC had ook Professor Chris Ponting, geneticus aan de Universiteit van Edinburgh, om commentaar gevraagd. Hij zei het volgende: “Het gunstige effect [van GES] gold voor minder dan 1 op de 5 deelnemers, in een niet-geblindeerde studie, en er werd helemaal niet gekeken naar voordeel op lange termijn of iets dergelijks. De studie had ook gebruik kunnen maken van actometers die een nauwkeurigere meting zou hebben gegeven van de activiteit van de deelnemers.”

Zoals Ponting opmerkte, waren de gerapporteerde voordelen niet indrukwekkend. Hij leek te suggereren dat het feit dat de studie niet geblindeerd was, vragen deed rijzen over de geloofwaardigheid van zelfs die schamele resultaten. Door aan te halen dat men beter actometers had gebruikt, wees hij ook op het risico van vertekening dat inherent is aan studies die vertrouwen op subjectieve uitkomsten in de context van niet-geblindeerd onderzoek. In feite vestigde hij dus vier jaar geleden al de aandacht op een belangrijk probleem dat de huidige en voormalige redacteuren van het vakblad pas vorige maand hebben aangepakt.

**********

Opvolgingsstudie GETSET verkoop mislukking als succes

Volgens de nieuwe studie, die op 2 april werd gepubliceerd met opnieuw Professor White als hoofdauteur, bood de GES-interventie geen voordelen bij opvolging na één jaar in vergelijking met SMC. Toch is dit hoe de bevindingen werden beschreven in het onderdeel “hoogtepunten” die het artikel beschrijft op de website ScienceDirect: “Graduele Oefentherapie via Begeleide Zelfhulp (GES) kan leiden tot een blijvende verbetering bij patiënten met het chronisch vermoeidheidssyndroom.”

Gezien de nulresultaten was dit bedrieglijk. In de samenvatting was de conclusie iets minder oneerlijk, maar nog steeds onaanvaardbaar: “De verbeteringen op korte termijn na GES bleven behouden bij de opvolging op lange termijn, met verdere verbetering in de SMC-groep, zodanig dat de groepen niet langer verschilden bij de opvolging op lange termijn.” (Ik heb nog geen toegang kunnen krijgen tot de volledige studie via de bibliotheek van Berkeley; ik weet niet goed waarom. Het is mij ook niet duidelijk of het onderdeel “Hoogtepunten” werd geschreven door de onderzoekers of anderen die bij het publicatieproces betrokken waren).

Kortom, de bevindingen werden gepresenteerd alsof de studie had bewezen dat de interventie op lange termijn doeltreffend was – hoewel de bevindingen precies het tegenovergestelde aantoonden. Het feit dat de niet-interventiegroep een inhaalslag maakte, wordt behandeld als een bijkomstigheid, en wordt compleet genegeerd in de “Hoogtepunten” en gebagatelliseerd in de conclusie van het abstract. (Er was nog een ander van de vier “Hoogtepunten” belangrijk, maar het wordt om de een of andere reden nergens in het abstract vermeld: “De meeste patiënten waren nog steeds in slechte gezondheidstoestand bij de opvolging; er is nood aan doeltreffendere behandelingen”).

Zoals we gewend zijn van deze mensen, is dit niet de correcte of meest transparante manier om de resultaten van een klinische proef te rapporteren. Het belangrijkste resultaat van een klinische studie – en het eerste dat moet worden gerapporteerd, zelfs in een opvolgingsstudie – is de vergelijking tussen de interventiegroep en de niet-interventiegroep. Dus laten we duidelijk zijn: na één jaar leverde de GETSET-studie geen resultaten op voor de enige belangrijke vergelijking, die tussen de groep die GES kreeg en de groep die alleen SMC kreeg. De enige conclusie die uit deze studie kan worden getrokken, is dat GES geen gedocumenteerde voordelen heeft op lange termijn.

Dat is de enige juiste manier om de bevindingen voor te stellen – maar toch gaven de onderzoekers er een draai aan. En dan nog op zo’n opvallende manier. Slecht nieuws op deze onhandige en onwetenschappelijke manier proberen te verdoezelen, dat doen enkel onderzoekers die beseffen en wellicht ook vrezen dat hun bevindingen een bom kunnen leggen onder hun hele behandelingstheorie.

Overigens hebben Professor White en zijn PACE-collega’s hetzelfde domme goocheltrucje toegepast toen zij enkele jaren geleden voor een soortgelijk dilemma stonden. De langetermijnsresultaten van PACE, in 2015 gepubliceerd in Lancet Psychiatry, toonden geen voordelen aan van de CGT- en GET-interventies ten opzichte van de twee vergelijkingsgroepen. Net als bij GETSET en andere vervolgstudies van deze psycho-gedragsbehandelingen, hadden de deelnemers in de niet-interventiearm een inhaalslag gemaakt. En wat deden de PACE-onderzoekers? Net als bij GETSET verklaarden zij het als een succes op basis van de bevindingen binnen de groep. Vervolgens probeerden zij het rampzalige feit dat zij zelf aan het licht hadden gebracht, goed te praten, nl. dat hun geliefkoosde interventie geen voordelen had op lange termijn.

In dit geval leek de rooskleurige voorstelling van de nulresultaten van de opvolging van GETSET haaks te staan op de waarschuwing die het vakblad onlangs nog verspreidde over subjectieve bevindingen en “een groter risico op vertekening in het geval van van deblindering”. Elk nuchter mens weet dat, maar dat weerhoudt de meest toegewijde biopsychosociale brigadiers – waaronder ook Professor White – er blijkbaar niet van om zonder enig bewijs, toch vol vuur succes te claimen.

Naast het fake news over de GETSET-resultaten, beweert de studie ook dat de interventie “kosteneffectief” zou zijn. Hè? Hoe kan een interventie die geen resultaten oplevert kosteneffectief zijn? Kosteneffectief op welk vlak? Die specifieke bewering ontleden laat ik aan anderen over.

Trial By Error: mijn brieven aan Psychosomatics Journal over misleidende GETSET-paper van Prof White

David Tuller, DrPH, Virology Blog, 6 mei 2021.

Begin april schreef ik over een studie gepubliceerd in het Journal of Psychosomatic Research – opvolging één jaar na de GETSET-studie over zelfhulp-GET voor ME/cvs. De onderzoekers hadden eerder voordelen op korte termijn gerapporteerd voor de interventie. In dit nieuwe artikel stelde het team de studie voor als een succes, ondanks het feit dat er geen voordelen aan de interventie waren ten opzichte van de standaard medische zorg, want de interventiearm scoorde niet slechter dan na 12 weken. Ik hoef niet uit te leggen dat dit niet de juiste manier is om de resultaten van klinische proeven te rapporteren.

Op 24 april stuurde ik een brief naar Professor Jess Fiedorowicz, hoofdredacteur van het Journal of Psychosomatic Research. Hij reageerde snel en beloofde de zaak te bespreken met collega’s van het vakblad. Gezien het National Institute for Health and Care Excellence een deadline voor augustus vooropstelt voor de publicatie van zijn herziene versie van de nieuwe ME/cvs-richtlijn [publicatie is intussen door NICE voor onbepaalde duur “gepauzeerd”, n.v.d.r.], stuurde ik vandaag een opvolgbrief om te proberen het vakblad ertoe te bewegen liever vroeger dan later te reageren.

Hieronder staat onze briefwisseling.

**********

Geachte Dr. Fiedorowicz,

Het Journal of Psychosomatic Research heeft onlangs een studie gepubliceerd met als titel “Guided graded exercise self-help for chronic fatigue syndrome: Long term follow up and cost-effectiveness following the GETSET trial [Begeleide zelfhulp-GET voor chronisch vermoeidheidssyndroom: langetermijnsopvolging en kosteneffectiviteit van de GETSET-studie].” Professor Peter White, lid van de adviesraad van het tijdschrift, is de senior-auteur.

In deze klinische studie testten de onderzoekers een zelfhulp-oefenprogramma, waarvan zij meldden dat het op korte termijn enkele voordelen had opgeleverd. Volgens de nieuwe studie van Clark e.a. bood de interventie na één jaar geen voordelen ten opzichte van standaard medische zorg (SMC). Toch is dit hoe de bevindingen werden beschreven in het onderdeel “Hoogtepunten”: “Begeleide zelfhulpoefentherapie (GES) kan leiden tot blijvende verbetering bij patiënten met het chronisch vermoeidheidssyndroom.”

Gezien de nulresultaten is deze beschrijving verontrustend. In de samenvatting van de studie is de conclusie iets beter, maar nog steeds onaanvaardbaar: “De verbeteringen op korte termijn na GES bleven behouden bij de opvolging op lange termijn, met verdere verbetering in de SMC-groep, zodanig dat de groepen niet langer verschilden bij de opvolging op lange termijn.”

Kortom, de resultaten werden gepresenteerd alsof de studie had aangetoond dat de interventie doeltreffend was – ook al hadden de bevindingen na één jaar redelijkerwijs tot het tegenovergestelde oordeel moeten leiden. Het feit dat de niet-interventiegroep aan het eind dezelfde score haalde, wordt gepresenteerd als een kwestie van ondergeschikt belang: er wordt met geen woord over gerept in het gedeelte “Hoogtepunten” en het wordt volledig terzijde behandeld in de conclusie van het abstract.

(Ik schreef eerder al over de problemen met Clark et al. in een bericht op Virology Blog, een wetenschappelijke site die wordt gehost door Vincent Racaniello, Higgins-hoogleraar Microbiologie aan Columbia University. Ik heb hem bij dit bericht in CC gezet.)

De belangrijkste uitkomsten van een klinische proef zijn de vergelijkingen tussen de interventie- en de niet-interventiegroep, niet de vergelijkingen binnen de groep. Het belangrijkste punt dat zowel in de hoogtepunten als in de conclusie had moeten worden gemaakt, is het volgende: na een jaar waren er geen voordelen in de groep die de zelfhulp-GET plus SMC had gekregen ten opzichte van de groep die alleen SMC had gekregen. Kortom, de studie kende een nulresultaat.

Dat is de enige gepaste manier om deze bevindingen te interpreteren. De formulering van Clark e.a. is een onhandige poging om het feit te verdoezelen dat de interventie na één jaar geen voordelen liet zien volgens de standaard normen voor klinisch onderzoek.

Dit is dezelfde problematische strategie die professor White en collega’s gebruikten voor de opvolging op lange termijn van de in diskrediet gebrachte PACE-studie, die op dat moment ook geen voordelen liet zien voor de interventies ten opzichte van SMC. In Lancet Psychiatry claimden de auteurs succes vanwege de vergelijkingen “binnenin de groep” en presenteerden ze de nulresultaten voor de vergelijking tussen de groepen als een bijkomstigheid. Dat is bedrog. Het is geen echte wetenschap.

Afgezien van deze kwestie, lijkt de voorstelling die Clark et al. maken van de resultaten, in tegenspraak te zijn met een bewonderenswaardig recent commentaar in uw vakblad, waarin u en twee van uw voorganger-redacteurs opmerkten dat subjectieve uitkomsten “een groter risico hebben op vertekening, in het geval van deblindering”. (Ik schreef over dit commentaar op Virology Blog.)

GETSET was een niet-geblindeerde studie die gebaseerd was op subjectieve uitkomsten – precies het soort studie waarbij het risico op vertekening het grootst is, volgens uw overtuigende commentaar. Het is daarom verbijsterend dat het Journal of Psychosomatic Research geen rigoureuzere aanpak heeft toegepast bij de evaluatie van Clark e.a. dan nu het geval lijkt te zijn.

Het als een succes voorstellen van wat duidelijk nulresultaten zijn, doet vermoeden dat de peerreview niet erg rigoureus was. De opzet van de proef zelf is kennelijk ook in strijd met het eigen standpunt van het vakblad over subjectieve uitkomsten en het belang van blindering. Of zijn de procedures voor peerreview misschien anders voor artikelen die zijn geschreven door leden van de adviesraad van het tijdschrift?

Zoals u wellicht weet, ontwikkelt het Britse National Institute for Health and Care Excellence momenteel een nieuwe klinische richtlijn voor ME/cvs. De definitieve versie zal in augustus worden gepubliceerd [publicatie is intussen door NICE voor onbepaalde duur “gepauzeerd”, n.v.d.r.]. Dat betekent dat Clark et al. nog steeds de onfortuinlijke mogelijkheid heeft om de beraadslagingen te beïnvloeden. Ik zet daarom in CC verschillende clinici en patiënten die lid zijn van het NICE ME/cvs-comité, om hen te wijzen op mijn bezorgdheid over de studie.

Eigenlijk zou het Journal of Psychosomatic Research nu alle uitspraken in Clark et al. moeten corrigeren die impliceren dat de belangrijkste bevindingen de vergelijkingen binnen de interventie-arm zijn, in plaats van de nulresultaten voor de vergelijkingen tussen de groepen. Dank u voor uw aandacht voor deze kwestie.

Vriendelijke groet,

David

David Tuller, DrPH
Senior Fellow Volksgezondheid en Journalistiek
Center for Global Public Health
School of Public Health
University of California, Berkeley

**********

Dank u dat u deze kwestie onder onze aandacht brengt. Ik heb dit doorgestuurd en zal het bespreken met onze uitgever, geassocieerde redacteuren en vorige redacteuren en reageren na bespreking met de bredere groep.

Al het beste voor u in uw leven, werk en pleitbezorging,

Jess-

Jess G. Fiedorowicz, M.D., Ph.D.

Hoofdredacteur, Journal of Psychosomatic Research
Adjunct Faculty, Departmenten Psychiatrie, Epidemiologie en Interne Geneeskunde
The University of Iowa

**********

Beste Jess-

Het is bijna twee weken geleden dat ik het vakblad attent maakte op de problemen met de rapportage van de GETSET-resultaten van opvolging na een jaar. Door de vergelijking binnen de groep voor de interventiearm te promoten in plaats van de nulresultaten van de vergelijking tussen de groepen – een vorm van uitkomstenverwisseling – hebben Professor White en zijn collega’s een misleidende presentatie van hun gegevens gegeven. Zoals ik al heb aangegeven, was Professor White al bekend met deze strategie, aangezien in het vervolgdocument over de PACE-studie de nulresultaten van de vergelijkingen tussen de groepen op vergelijkbare wijze werden gebagatelliseerd door vooral de vergelijkingen binnen de groepen te benadrukken. Misschien zijn Professor White en zijn collega’s zich er niet van bewust dat dit geen aanvaardbare manier is om de resultaten van klinische proeven te rapporteren, zelfs niet bij de opvolging.

Zoals u weet, zitten we met een harde deadline – het National Institute for Health and Care Excellence is van plan om de definitieve versie van zijn herziene klinische richtlijn voor ME/cvs in augustus vrij te geven [publicatie intussen “gepauzeerd”, n.v.d.r.] en de beraadslagingen zijn aan de gang. Ik denk dat we mogen veronderstellen dat dit document door sommige commissieleden naar voren zal worden gebracht om aan te dringen op het opnieuw bekrachtigen van GET, aangezien die behandeling werd afgeraden in de ontwerpversie die in november werd vrijgegeven. De opvolging van GETSET leest als een document dat is ontworpen om het NICE-debat te beïnvloeden, hoewel ik niet weet of dat in feite het doel was.

Door de hoogdringendheid in deze kwestie is de gewoonlijke academische neiging om zaken weken en maanden te onderzoeken en te bespreken in dit geval niet op zijn plaats. Een paar leden van het NICE-comité in CC zetten, zoals ik in mijn eerste brief aan u heb gedaan en nu opnieuw doe, is ook niet voldoende om het mogelijk rampzalige resultaat te voorkomen dat deze studie als geloofwaardig zou worden ingeschat. Het Journal of Psychosomatic Research heeft de plicht om zo snel mogelijk duidelijk te maken dat dit opvolgingsrapport geen voordelen voor GET aantoonde na één jaar en dat het niet opgevat had mogen worden als bewijs voor de effectiviteit van de interventie.

Bovendien zou het vakblad moeten onderzoeken – en aan het publiek uitleggen – hoe en waarom een artikel met zo’n elementaire fout überhaupt door de peerreview is gekomen. Mijn epidemiologiecollega’s aan Berkeley zouden ontsteld zijn als hun studenten op zo’n oneerlijke manier zouden rapporteren over studieresultaten.

In de toekomst moet bij de peerreview zeker rekening worden gehouden met wat uw vakblad onlangs zelf bevestigde, over vertekening die inherent is aan subjectieve uitkomsten wanneer de blindering niet strikt genoeg is. Als uw lovenswaardige redactionele artikel over deze belangrijke kwestie meer is dan holle frasen, dan zou uw vakblad zich vanaf nu wellicht beter onthouden van het accepteren van ongeblindeerde studies die uitsluitend gebaseerd zijn op subjectieve uitkomsten – ook al is dit het soort studieopzet waar Professor White en andere leden van uw redactionele adviesraad de voorkeur aan geven.

Naar uw eigen maatstaven zitten de gerapporteerde resultaten van dergelijk onderzoek onvermijdelijk vol van bias, waardoor ze van twijfelachtige waarde zijn. Gezien het feit dat deze studies toch van invloed kunnen zijn op zowel het gezondheidsbeleid als de klinische besluitvorming, lijkt het routinematig peerreviewen en publiceren van deze studies niet alleen wetenschappelijk ongegrond, maar ook in strijd met de belangen van de patiënt.

Ik hoor graag van u hoe het vakblad van plan is deze kritieke kwesties aan te pakken, zowel met betrekking tot de GETSET-opvolging als tot de ruimere kwestie van niet-geblindeerde studies die voortgaan op subjectieve uitkomsten. Bedankt!

Vriendelijke groet,

David

Trial By Error: meer desinformatie van Professor White in Journal of Psychosomatic Research

David Tuller, DrPH, Virology Blog, 10 juni 2021.

Het Journal of Psychosomatic Research lijkt in een soort identiteitscrisis te zitten. Eerder dit jaar publiceerden de redacteur en zijn twee directe voorgangers een bewonderenswaardig redactioneel commentaar, waarin ze wezen op het ernstige risico van vertekening bij subjectieve uitkomsten in studies die niet rigoureus geblindeerd zijn. Toch is de redactionele adviesraad van het vakblad bezaaid met onderzoekers die gespecialiseerd zijn in niet-geblindeerde onderzoeken die uitsluitend op subjectieve uitkomsten vertrouwen – in het bijzonder Professoren Peter White en Michael Sharpe, twee van de hoofdonderzoekers van PACE, en professor Per Fink, hun Deense collega.

En het vakblad blijft studies publiceren die gebaseerd zijn op dergelijk gebrekkig onderzoek, waarbij het zijn eigen geloofwaardigheid ondermijnt en men zich de vraag kan stellen of de redactie daadwerkelijk iets te zeggen heeft in het beleid van de redactie. Hoe verklaar je anders de recente paper van professor White en collega’s, over de opvolgingsresultaten na een jaar van GETSET, een onderzoek naar graduele oefentherapie (GET) via zelfhulp voor de ziekte die ze chronisch vermoeidheidssyndroom (cvs) noemen? Deze opvolgingsstudie speelde het klaar om nulresultaten na een jaar als een succes te presenteren door schaamteloos resultaten om te wisselen.

Hoe hebben de auteurs deze prestatie precies geklaard? Ze gaven prioriteit aan de vergelijking “binnen de groep” voor de GETSET-arm als het belangrijkste resultaat, in plaats van de vergelijking “tussen de groepen”, die de voornaamste uitkomst is in elke klinische studie. Met andere woorden, ze benadrukten eerst en vooral het feit dat de vermeende vroege voordelen van GETSET gehandhaafd bleven bij opvolging, in plaats van het opvallendste detail, nl. dat er uiteindelijk geen aantoonbare verschillen waren tussen de interventie- en de vergelijkingsarm.

Ik heb er bij de huidige redacteur van het vakblad op aangedrongen om die paper te corrigeren. Hij lijkt te zijn geschreven om invloed uit te oefenen op de beraadslagingen van een commissie die zich buigt over herzieningen van een ontwerp van klinische richtlijnen voor ME/cvs, uitgevoerd door het Britse National Institute for Health and Care Excellence (NICE). Tot dusver blijven de bevindingen staan zoals ze voor het eerst werden gemeld. Het is verontrustend dat men zo traag reageert op een duidelijke fout. Als Professor White en zijn collega’s niet bereid zijn of niet in staat zijn om met een aanvaardbare oplossing voor hun eigen fouten te komen, dan is het vakblad verplicht om dit eenzijdig te doen.

En nu heeft JPR het probleem nog erger gemaakt door meer van Professor Whites “fake news” te publiceren – weer een nieuw hoofdstuk in zijn desinformatiecampagne over GET. Het vakblad negeert dus nog steeds de bedenkingen van zijn eigen redacteurs over ongeblindeerde studies die gebaseerd zijn op subjectieve uitkomsten.

**********

Meer nonsens van Professor White

Professor Whites nieuwe paper, die hij samen met een collega schreef, heet “Ongewenste bijwerkingen in proeven met graduele oefentherapie voor volwassen patiënten met chronisch vermoeidheidssyndroom.” De eerste zin van het abstract merkt op dat “graduele oefentherapie (GET) een effectieve behandeling is voor chronisch vermoeidheidssyndroom (cvs), maar er zijn zorgen geuit over de veiligheid ervan.”

Het probleem met deze uitspraak is duidelijk. Professor White doet alsof de doeltreffendheid van GET een vaststaand feit is en dat alleen de veiligheid nog ter discussie staat. Deze opvatting is categorisch onjuist. Iedereen die deze kwestie heeft gevolgd, weet dat deze verklaring over GET de persoonlijke mening van Professor White weergeeft, gebaseerd op het soort onderzoek waarvan de redacteurs van het vakblad uitdrukkelijk hebben gesteld dat het een hoog risico op bias inhoudt. Aangezien alle papers die hij aanhaalt, gebaseerd zijn op niet-geblindeerde studies met subjectieve uitkomsten, is de bewering automatisch verdacht. Uit een lezing van de huidige literatuur blijkt dat het best mogelijke argument voor GET is, dat de doeltreffendheid ervan sterk wordt betwist. Geen enkel gerenommeerd vakblad zou Professor White mogen toestaan om te doen alsof zo’n bewering feitelijk is.

De inleiding zelf ondermijnt de bewering onmiddellijk. Ze begint met de opmerking dat het ontwerp van nieuwe klinische richtlijnen voor ME/cvs van NICE deze conclusie over de doeltreffendheid van GET niet ondersteunt en al het bewijsmateriaal als van “lage” of “zeer lage” kwaliteit beoordeelt. Men citeert ook de sterke waarschuwing van het NICE-ontwerp: “Aan mensen met ME/cvs mag niet worden aangeboden: eender welke therapie gebaseerd op fysieke activiteit of inspanning als een behandeling of genezing voor ME/cvs.” Met andere woorden, Professor Whites ondubbelzinnige eerste zin over de effectiviteit van GET is een onverdedigbare interpretatie van de beschikbare gegevens.

In feite zaten er vier objectieve resultaten in de PACE-studie – hier aangeprezen door Professor White, één van de hoofdonderzoekers, als “de grootste ooit gepubliceerd” op dit gebied, alsof grootschaligheid op de één of andere manier automatisch kwaliteit impliceert. Geen van die resultaten kwam overeen met de subjectieve beweringen van verbetering. Hoewel de GET-groep een statistisch significante verbetering liet zien in één van de metingen – de wandeltest van zes minuten – waren de geringe gerapporteerde voordelen klinisch niet significant. Aan het einde van PACE presteerden GET-deelnemers nog steeds veel slechter op deze maatstaf dan gezonde vrouwen van 70 tot 79 jaar oud, evenals patiënten met pacemakers, hartfalen klasse-II, cystische fibrose en andere ernstige gezondheidsaandoeningen. Ze hadden ook niet meer kans op tewerkstelling, hadden niet meer kans om geen sociale uitkeringen meer te ontvangen en waren niet fitter dan voorheen, zoals gemeten met een stappentest. Professor White vermeldt deze slechte objectieve resultaten niet in het nieuwe artikel – een veelzeggende weglating.

Bovendien vermeldde Professor White niets over Wilshire et al, een heranalyse van PACE-gegevens uit 2018 die definitief ontkrachtte wat PACE beweerde over de gerapporteerde resultaten de effectiviteit van GET of cognitieve gedragstherapie – zijn andere favoriete interventie. (Ik was een coauteur van Wilshire et al.) Ik begrijp dat Professor White en andere leden van de ideologische brigades van GET/CGT het niet eens zijn met de conclusies van Wilshire et al. Maar het is ongepast dat zij bewijs uit de gepubliceerde literatuur negeren, alleen maar omdat ze het niet leuk vinden of ongemakkelijk vinden. En het is onaanvaardbaar dat het peerreviewproces van het vakblad Professor White toelaat om bevindingen te verwerpen die niet aan zijn behoeften voldoen. Dat heet verdraaiing en is onwetenschappelijk. Lezers van JPR verdienen beter.

Professor White citeert zijn eigen GETSET-proef van zelfhulp-GET als verder bewijs ter ondersteuning van zijn beweringen over doeltreffendheid. Toch was het beweerde succes van dat onderzoek gebaseerd op subjectieve uitkomsten die direct na het einde van de interventie werden beoordeeld, wanneer dergelijke reacties het grootste risico lopen op vertekening. Professor White zegt niets over de nulresultaten van GETSET-opvolging na 12 maanden – misschien omdat hij schijnt te geloven, volgens het nog steeds ongecorrigeerde artikel in JPR, dat ook deze resultaten een succes waren.

Professor White citeert verder de meest recente Cochrane-bewegingsreview, die acht onderzoeken omvatte en twee jaar geleden werd gepubliceerd. Toch vertoont deze bijgewerkte review nog steeds zoveel gebreken dat de conclusies niet zomaar kunnen worden aanvaard. Een van de vele problemen is dat de reviewers hebben nagelaten om objectieve resultaten van PACE en ander onderzoek op te nemen, ook al waren deze uitkomsten over het algemeen in tegenspraak met het bewijs van de subjectieve uitkomsten. Cochrane zelf heeft besloten om geen definitieve uitspraken te doen over het bewijsmateriaal, door het volgende advies uit te brengen ter begeleiding van de review van 2019:

“Vandaag publiceert Cochrane een gewijzigde versie van de Review, ‘Oefentherapie voor chronisch vermoeidheidssyndroom’. In de afgelopen negen maanden is deze Cochranereview aangepast door de auteurs van de review en geëvalueerd door onafhankelijke peerreviewers en redacteuren. Het legt nu meer nadruk op de beperkte toepasbaarheid van het bewijsmateriaal op definities van myalgische encefalomyelitis/chronisch vermoeidheidssyndroom (ME/cvs) die in de meegenomen studies worden gebruikt, de langetermijneffecten van lichaamsbeweging op vermoeidheidssymptomen en erkent het de beperkingen van het bewijsmateriaal over schade die kan optreden.

Cochranes hoofdredacteur, Dr Karla Soares-Weiser, zei over de publicatie van de review: “Cochrane erkent het belang van het leveren van het best beschikbare bewijs over interventies voor ME/cvs om patiënten en clinici over de hele wereld in staat te stellen goed geïnformeerde behandelingsbeslissingen te nemen. Deze gewijzigde review is nog steeds gebaseerd op een onderzoeksvraag en een set van methoden uit 2002, en weerspiegelt bewijs uit studies die definities van ME/cvs uit de jaren 1990 toepasten. [Deze definities vereisten geen aanwezigheid van postexertionele malaise, zoals latere definities wel doen.] Na verschillende meningen te hebben gehoord over de bewijsbasis voor deze aandoening, erkennen wij dat de publicatie van deze gewijzigde review niet alle huidige vragen over dit wereldwijd belangrijke gezondheidsthema zal oplossen.””

Daarom is Cochrane bezig met het ontwikkelen van een geheel nieuwe lichaamsbewegingsreview met een geheel nieuwe groep auteurs. Desalniettemin lijkt Professor White voor zichzelf de “huidige vraag” over de effectiviteit van GET te hebben beantwoord. Hij zegt dat het effectief is. Punt uit. En blijkbaar vindt JPR de mening van Professor White goed genoeg om als feit te worden voorgesteld.

Een peerreviewproces dat Professor White in staat stelt om in de eerste zin van zijn abstract te goochelen met woorden, kan niet door de beugel. Misschien krijgen artikelen van leden van de redactie van JPR slechts een vluchtige peerreview, of misschien mogen ze al hun eigen recensenten selecteren. Dat is zeker een mogelijkheid, gezien het feit dat men besloot om deze twee recente artikelen van Professor White te publiceren. Of misschien loopt het hele peerreviewproces van het vakblad in het algemeen mank.

Ik heb me hier niet geconcentreerd op de argumenten van professor White met betrekking tot de mogelijke schade die voortvloeit uit GET. Maar we hoeven die kwesties niet te bespreken om te snappen dat de onderliggende premisse van het artikel ongegrond is – nl. dat GET ‘effectief’ zou zijn. Het is verontrustend dat JSR hem opnieuw een platform geeft om dingen te publiceren waarvan hij graag zou willen dat ze waar zijn, terwijl ze dat niet zijn.

Trial By Error: vakblad corrigeert “hoogtepunten” van GETSET-paper; brief over Prof. Whites paper over veiligheid GET

David Tuller, DrPH, Virology Blog, 30 juni 2021.

Ik heb er bij het Journal of Psychosomatic Research op aangedrongen om een correctie uit te voeren op een recent artikel: “Graduele oefentherapie via begeleide zelfhulp voor chronisch vermoeidheidssyndroom: langetermijnsopvolging en kosteneffectiviteit na de GETSET-studie”. De senior auteur is Professor Peter White. Intussen heeft het vakblad een herziene sectie “Hoogtepunten” van het artikel gepubliceerd waarin de nulresultaten van het onderzoek voor de interventie nauwkeurig worden weergegeven, in plaats van onrechtmatig succes te claimen. Maar er wordt nergens vermeld dat deze lovenswaardige verandering werd doorgevoerd.

De sectie “Hoogtepunten” somt vier belangrijke punten op uit de studie. Ze verschijnt in de webversie op het platform ScienceDirect, maar niet in het PDF-bestand, dus ik denk dat het niet duidelijk is of het in werkelijkheid een integraal onderdeel is van het artikel. Moeten wijzigingen in “Hoogtepunten” worden genoteerd als correcties, zoals bij andere secties? Ik zou zeggen van wel. Maar anderen beschouwen het misschien meer als aanvullend materiaal dat zonder voorafgaande kennisgeving kan worden gewijzigd, zoals dat vaak gebeurt bij krantenartikels. (Misschien is deze kwestie al beoordeeld door de mensen die over dit soort dingen oordelen, of misschien is het nog niet vaak aan de orde geweest).

Helaas blijft de conclusie van het abstract hetzelfde, en die is nog steeds misleidend. Het Journal of Psychosomatic Research zou een volgende stap moeten zetten en ook dit gedeelte moeten corrigeren.

Alvorens de details toe te lichten, wil ik de hoofdredacteur van het tijdschrift, Professor Jess Fiedorowicz, bedanken dat hij mijn uitingen van bezorgdheid serieus nam. Ik waardeer dat hij en zijn redactieteam de zaak hebben bekeken en er iets aan hebben gedaan. Iedereen die het artikel nu vanaf de ScienceDirect-site bekijkt, zal op een prominente plaats op het scherm een nauwkeurige weergave van de resultaten zien, in plaats van valse beweringen over succes. Dat is een overwinning voor de wetenschap en een verlies voor bedriegerij, hoe bescheiden dan ook.

(Bij wijze van achtergrond, het Journal of Psychosomatic Research is het officiële vakblad van de European Association of Psychosomatic Medicine (EAPM). Professor Michael Sharpe is de huidige vicepresident van de uitvoerende raad van de vereniging. Professoren Per Fink en Judith Rosmalen zetelen in de raad, net als Professor Fiedorowicz.)

**********

Meer details…

In een klinische studie is de belangrijkste vergelijking die tussen de onderzoeksarmen. In deze studie waren er, buiten enkele gerapporteerde voordelen op korte termijn, geen duidelijke verschillen bij de opvolging op 12 maanden. Deze nulbevinding is de belangrijkste boodschap van het onderzoek. In plaats daarvan presenteerden Professor White en zijn collega’s de bevindingen ‘binnen de groep’ als de belangrijkste maatstaf – dat wil zeggen, ze keken of degenen die de interventie kregen, zich langere tijd beter bleven voelen.

Maar dat is niet wat ze hadden vooropgesteld. Dit was een klinische proef. Focussen op de vergelijking “binnen de groep” in plaats van de vergelijking tussen de groepen was een vorm van ongeoorloofde en onaanvaardbare uitkomstenomwisseling.

Ik schreef hier over dit artikel en postte hier mijn brief aan Dr. Fiedorowicz, hoofdredacteur van het vakblad. Deze paragrafen uit de brief leggen het probleem uit:

In deze klinische proef testten de onderzoekers een zelfhulpprogramma met graduele oefeningen, waarvan ze meldden dat het op korte termijn voordelen had opgeleverd. Volgens de nieuwe studie, Clark et al., leverde de interventie geen voordelen op ten opzichte van medisch specialistische zorg (SMC), bij opvolging na een jaar. Maar dit is hoe de bevindingen werden beschreven in de sectie “hoogtepunten”: “Graduele oefentherapie via begeleide zelfhulp (GES) kan leiden tot aanhoudende verbetering bij patiënten met chronisch vermoeidheidssyndroom”.

Gezien de nulresultaten is deze beschrijving verontrustend. In het abstract van de studie is de conclusie ietwat beter, maar nog steeds onaanvaardbaar: “De verbeteringen op korte termijn na GES bleven behouden bij opvolging op lange termijn, met verdere verbetering in de SMC-groep zodat de groepen niet langer van elkaar verschilden bij opvolging op lange termijn”.

Kortom, de resultaten werden gepresenteerd alsof de studie had aangetoond dat de interventie effectief was, hoewel de bevindingen na een jaar redelijkerwijs tot de tegenovergestelde beoordeling hadden moeten leiden. Men doet alsof het geen belang heeft dat de niet-interventiegroep aan het eind hetzelfde scoorde – het wordt volledig genegeerd in de sectie ‘hoogtepunten’ en beschouwd als secundair in de conclusie van de samenvatting.

Op een bepaald moment in de afgelopen weken is de vorige eerste zin van de sectie “Hoogtepunten” verwijderd en vervangen door dit meer nauwkeurige verslag: “Er waren geen verschillen tussen interventies in primaire uitkomsten bij opvolging op lange termijn.” (De overige drie punten in het gedeelte “Hoogtepunten” zijn hetzelfde als voorheen.)

Helaas betekent het ontbreken van een correctie dat niemand die de krant nu leest, te weten komt dat Professor White en zijn collega’s een problematische versie van de gebeurtenissen presenteerden, en dat het vakblad toestond dat die versie de peerreview doorstond en werd gepubliceerd. Aangezien Professor White herhaaldelijk betrokken is geweest bij dit soort verkeerde voorstelling van zaken, is het belangrijk dat dergelijke details te boek staan. Maar in dit geval zijn ze er officieel uit geschrapt.

Afgezien van de sectie “Hoogtepunten”, is de conclusie van het abstract nog steeds onaanvaardbaar. Het blijft prioriteit geven aan de vergelijking binnen de groep boven de resultaten tussen de groepen. Het herschrijven van de conclusie zou ongetwijfeld een formele correctie vereisen. Misschien komt er ooit nog een.

**********

Andere problematische studie van Professor White

Naast de kwestie van de GETSET-vervolgstudie, heb ik Professor Fiedorowicz ook aangeschreven over een tweede paper van Professor White. Deze heeft betrekking op de kwestie van mogelijke schade van GET. In een bericht eerder deze maand beschreef ik in de eerste zin van het abstract hoe dit artikel de stand van de wetenschap over de interventie verkeerd voorstelde.

Na het plaatsen van de blog stuurde ik de volgende brief. Ik heb nog geen reactie ontvangen over deze kwestie.

**********

Geachte Professor Fiedorowicz,

Zoals u weet, gaf ik u en uw collega’s eerder dit jaar een compliment voor uw opmerking dat onderzoeken die niet strikt geblindeerd zijn, maar die toch op subjectieve uitkomsten vertrouwen, een hoog risico lopen op vertekening. Ik heb er ook op gewezen dat de adviesraad van het vakblad een aantal bekende onderzoekers omvat die gespecialiseerd zijn in precies dat soort onderzoek. Helaas blijft het vakblad dergelijke onderzoeken publiceren, wat de geloofwaardigheid lijkt te ondermijnen en de vraag doet rijzen of de redactie daadwerkelijk verantwoordelijk is voor het redactionele beleid.

In eerdere bericht heb ik met name gewezen op het recente artikel van Professor White en collega’s over de resultaten van de opvolging na een jaar van GETSET, een onderzoek naar graduele oefentherapie (GET) via zelfhulp voor de ziekte die ze chronisch vermoeidheidssyndroom (cvs) noemen. De eerste studie was natuurlijk niet geblindeerd en ging voort op subjectieve uitkomsten, dus de bevindingen waren volgens uw eigen normen al inherent verdacht.

Afgezien van dat probleem slaagde de vervolgstudie in JPR erin om nulresultaten na een jaar als een succes te presenteren door schaamteloze uitkomstveranderingen door te voeren. De auteurs gaven prioriteit aan de resultaten binnen de groep en merkten eerst op dat de beweerde vroege voordelen van GETSET bij de opvolging werden gehandhaafd, in plaats van de vergelijking tussen groepen, wat voor elke klinische proef het belangrijkste resultaat is. In dit geval waren er geen aantoonbare verschillen tussen de interventie- en de vergelijkingsarm.

De paper leek te zijn geschreven om de beraadslagingen te beïnvloeden van een commissie die herzieningen overweegt van een ontwerp van klinische richtlijnen voor ME/cvs, uitgevoerd door het Britse National Institute for Health and Care Excellence (NICE). Zoals ik heb opgemerkt, verdient dit document een aanzienlijke correctie.

Nu heeft JPR het probleem nog erger gemaakt, door nog een ander artikel van Professor White op GET te publiceren. Het nieuwe artikel, dat hij samen met een collega schreef, heet “Negatieve bijwerkingen in proeven met graduele oefentherapie voor volwassen patiënten met chronisch vermoeidheidssyndroom.” De eerste zin van de samenvatting stelt dat “graduele oefentherapie (GET) een effectieve behandeling is voor chronisch vermoeidheidssyndroom (cvs), maar er zijn zorgen geuit over de veiligheid ervan.”

Het probleem in deze verklaring had duidelijk moeten zijn voor deskundige en onpartijdige peerreviewers. Professor White presenteert de effectiviteit van GET als een opgeloste kwestie en suggereert dat alleen veiligheidskwesties ter discussie staan. Dit idee is categorisch onjuist. Deze bewering over GET vertegenwoordigt de persoonlijke mening van Professor White, gebaseerd op het soort onderzoek waarover u en uw collega’s expliciet hebben benadrukt dat het een hoog risico op vooringenomenheid in zich houdt. Aangezien alle artikelen die hij ter ondersteuning aanhaalt, voortgaan op ongeblindeerde onderzoeken met subjectieve uitkomsten, is het ongepast dat hij zich zo zeker uitlaat. Zoals een overzicht van de huidige literatuur zou onthullen, is het best mogelijke argument voor GET dat de effectiviteit ervan zeer omstreden is. Men mag niet toelaten dat Professor White een dergelijke bewering doet alsof het een vaststaand en geaccepteerd feit is.

De inleiding van de paper zelf ondermijnt de bewering meteen. Het merkt op dat het NICE-ontwerp van nieuwe klinische richtlijnen voor ME/cvs al het bewijs voor GET beoordeelde als van “lage” of “zeer lage” kwaliteit. De inleiding citeert ook de grimmige waarschuwing van het NICE-ontwerp: “Bied mensen met ME/cvs geen therapie aan die gebaseerd is op fysieke activiteit of lichaamsbeweging als behandeling of genezing van ME/cvs.” Met andere woorden, de ondubbelzinnige eerste zin van Professor White over de effectiviteit van GET strookt niet met de beschikbare gegevens.

In feite omvatte de PACE-studie – hier aangeprezen door Professor White, een van de hoofdonderzoekers – vier objectieve uitkomsten. Geen van hen kwam overeen met de subjectieve uitkomsten. Hoewel de GET-groep een statistisch significante verbetering liet zien op een van de metingen – de wandeltest van zes minuten – waren de marginale gerapporteerde voordelen klinisch niet significant. Aan het einde van PACE presteerden de GET-deelnemers nog steeds veel slechter op deze maatstaf dan gezonde vrouwen van 70 tot 79 jaar, evenals patiënten met pacemakers, hartfalen klasse-II, cystische fibrose en andere ernstige gezondheidsaandoeningen. De deelnemers aan de GET-arm hadden ook niet meer kans op werk, niet meer kans op een uitkering en niet meer fysieke fitheid dan die in de vergelijkingsarmen. Deze rampzalige objectieve resultaten van Professor Whites eigen onderzoek worden niet vermeld in de nieuwe JPR-paper – een veelzeggende omissie van saillante informatie die onweerlegbaar haaks staat op zijn bewering over de effectiviteit van GET.

Bovendien maakt Professor White geen melding van Wilshire et al, een heranalyse van PACE-gegevens uit 2018, die op gezaghebbende wijze de beweringen ontkrachtte dat de gerapporteerde resultaten zouden wijzen op de effectiviteit van ofwel GET ofwel cognitieve gedragstherapie – zijn andere favoriete interventie. (Ik was een coauteur van Wilshire et al.) Ik begrijp dat Professor White het niet eens is met de conclusies van Wilshire et al. Maar het is ongepast dat hij bewijs uit de gepubliceerde literatuur negeert, alleen maar omdat hij het niet leuk vindt of ongemakkelijk vindt. En het is onaanvaardbaar dat het peerreviewproces van het vakblad Professor White toelaat om bevindingen te verwerpen die niet passen bij zijn behoeften of zijn theoretisch kader.

Professor White citeert zijn eigen GETSET-proef van zelfhulp-GET als verder bewijs ter ondersteuning van zijn beweringen over effectiviteit. Maar het beweerde succes van die niet-geblindeerde studie was gebaseerd op subjectieve uitkomsten die direct na het einde van de interventie werden beoordeeld, wanneer dergelijke reacties het grootste risico op vooringenomenheid in zich hebben. Professor White citeert niet de nulresultaten van de 12 maanden durende GETSET-opvolging – misschien omdat hij blijkbaar gelooft, volgens het nog steeds ongecorrigeerde artikel in JPR, dat deze resultaten ook een succes waren.

“Vandaag publiceert Cochrane een gewijzigde versie van de Review, ‘Oefentherapie voor chronisch vermoeidheidssyndroom’. In de afgelopen negen maanden is deze Cochranereview aangepast door de auteurs van de review en geëvalueerd door onafhankelijke peerreviewers en redacteuren. Het legt nu meer nadruk op de beperkte toepasbaarheid van het bewijsmateriaal op definities van myalgische encefalomyelitis/chronisch vermoeidheidssyndroom (ME/cvs) die in de meegenomen studies worden gebruikt, de langetermijneffecten van lichaamsbeweging op vermoeidheidssymptomen en erkent het de beperkingen van het bewijsmateriaal over schade die kan optreden.

Cochranes hoofdredacteur, Dr Karla Soares-Weiser, zei over de publicatie van de review: “Cochrane erkent het belang van het leveren van het best beschikbare bewijs over interventies voor ME/cvs om patiënten en clinici over de hele wereld in staat te stellen goed geïnformeerde behandelingsbeslissingen te nemen. Deze gewijzigde review is nog steeds gebaseerd op een onderzoeksvraag en een set van methoden uit 2002, en weerspiegelt bewijs uit studies die definities van ME/cvs uit de jaren 1990 toepasten. (Deze definities vereisten geen aanwezigheid van postexertionele malaise, zoals latere definities wel doen.) Na verschillende meningen te hebben gehoord over de bewijsbasis voor deze aandoening, erkennen wij dat de publicatie van deze gewijzigde review niet alle huidige vragen over dit wereldwijd belangrijke gezondheidsthema zal oplossen.””

Vanwege deze problemen is Cochrane bezig met het ontwikkelen van een geheel nieuwe lichaamsbewegingsreview met een geheel nieuwe groep auteurs. Desalniettemin lijkt Professor White voor zichzelf de “huidige vraag” over de effectiviteit van GET te hebben beantwoord. Hij zegt dat het effectief is. Punt uit. En JPR heeft deze onterechte verklaring nu blijkbaar onderschreven.

Ik heb me hier niet bezig gehouden met Professor Whites argumenten wat betreft de mogelijke schade van GET. Maar we hoeven die kwesties niet te bespreken om te snappen dat de onderliggende premisse van de paper – nl. dat GET effectief is – niet gerechtvaardigd kan worden op basis van de huidige wetenschap. Het is verontrustend dat JSR Professor White opnieuw een platform biedt om zijn persoonlijke opvattingen te presenteren als feiten. Deze verklaring moet worden gecorrigeerd en op de juiste wijze worden gekwalificeerd.

In CC staat Professor Vincent Racaniello, een viroloog aan Columbia en beheerder van Virology Blog, waar ik heb geblogd over dit probleem. Ik heb ook leden van de NICE-commissie voor de ME/cvs-richtlijn in CC gezet, voor het geval dit problematische document ter sprake komt tijdens de beraadslagingen over de ontwerpherzieningen. Ik heb Professor White niet CC gezet, omdat ik me niet van de indruk kan ontdoen dat hij en zijn collega’s niet graag berichten van mij krijgen.

Vriendelijke groet,

David

David Tuller, DrPH
Center for Global Public Health
School of Public Health
University of California, Berkeley

**********

Ik volgde dit bericht even later op om een foutje op te helderen :

Beste Professor Fiedorowicz,

ik heb zojuist gemerkt dat ik in de voorlaatste alinea naar het vakblad verwees als JSR in plaats van JPR. Mijn excuses voor deze fout.

Vriendelijke groet,

David

Trial by error: Professor White en collega’s zeggen ‘sorry’ voor negeren nulresultaten in opvolgstudie GETSET

David Tuller, DrPH, Virology Blog, 5 juli 2021.

Vorige week schreef ik over de correctie die is aangebracht in het gedeelte “Hoogtepunten” van de paper waarin de resultaten van de opvolging op lange termijn van de GETSET-studie worden gerapporteerd. (De studie werd uitgevoerd door Professor Peter White, een van de drie hoofdonderzoekers van PACE, en collega’s.) Ik merkte op dat deze correctie niet werd aangegeven of geïdentificeerd – een feit dat ik toeschreef aan de dubbelzinnige status van de secties “Hoogtepunten”, die eerder als nieuwskoppen beschouwd kunnen worden dan als onderdeel van de kerntekst van een paper.

Maar ik had het mis – de officiële kennisgeving van een correctie, een corrigendum genaamd, is intussen verschenen. Om welke reden dan ook werd de correctie zelf aangebracht voordat de rectificatie werd geplaatst. En in tegenstelling tot corrigendi die alleen aangeven wat er is gecorrigeerd, gaf deze iets van een verklaring. Hier is de volledige tekst:

De auteurs betreuren dat zij bij het opnieuw indienen van hun artikel geen herziene verklaring over de hoogtepunten hebben ingediend, in het licht van de herzieningen die in het definitieve artikel zijn aangebracht. De herziene hoogtepunten omvatten een nieuwe verklaring, die luidt als volgt: “Er waren geen verschillen tussen interventies in primaire uitkomsten bij opvolging op lange termijn”. Dit is een vervanging voor: “Graduele oefentherapie via begeleide zelfhulp (GES) kan leiden tot blijvende verbetering van vermoeidheid.” De auteurs brachten ook een kleine correctie aan in een ander hoogtepunt, dat nu luidt: “De studie toonde aan dat GES waarschijnlijk kosteneffectief was”.

De herziene hoogtepunten luiden als volgt:

Er waren geen verschillen tussen interventies in primaire uitkomsten bij opvolging op lange termijn.
Er waren geen aanwijzingen voor grotere schade na GES in vergelijking met medisch specialistische zorg bij opvolging op lange termijn.
Uit het onderzoek bleek dat GES waarschijnlijk kosteneffectief was.
De meeste patiënten waren nog steeds in slechte gezondheidstoestand bij opvolging; effectievere behandelingen zijn nodig.

De auteurs willen zich graag verontschuldigen voor het eventuele ongemak.

**********

In de eerste plaats wil ik het Journal of Psychosomatic Research en zijn redactie bedanken voor het feit dat zij zich met deze belangrijke kwestie hebben beziggehouden. Professor White, die in de adviesraad van het tijdschrift zetelt, was vast niet blij met zo’n correctie – vooral niet op basis van een klacht van mijn kant, gezien mijn actieve rol in het in diskrediet brengen van de PACE-studie. Desondanks heeft het tijdschrift kennelijk besloten dat de door mij geuite bezorgdheid gegrond was. Voor Professor White moet dat pijnlijk zijn geweest.

Niemand corrigeert graag een artikel – net zoals niemand graag een nieuwsartikel corrigeert. In de meeste gevallen ondermijnen correcties echter niet de hele boodschap die de auteurs hoopten over te brengen. In dit geval is dat juist wel het geval. In de eerste zin van de nieuwe sectie “Hoogtepunten” staat nu duidelijk dat de studie geen resultaten opleverde. De oude eerste zin negeerde het slechte nieuws en presenteerde de resultaten ten onrechte als positief.

Een veelzeggend aspect van het corrigendum was de suggestie dat de bedrieglijke formulering in de gepubliceerde “Hoogtepunten”-sectie bedoeld was voor een eerdere versie van het artikel. Professor White en zijn collega’s stelden hun vergissing dus voor alsof ze vergeten waren om die rubriek te herzien op het moment dat ze het artikel zelf herzagen. Het probleem met deze verklaring is dat een eerste versie van het artikel waarin de resultaten werden weergegeven zoals in de intussen verdwenen “Hoogtepunten”-zin, een ernstige verkeerde voorstelling van de bevindingen van de proef zou hebben gegeven. Gezien de nulresultaten is het verontrustend dat iemand het een goed idee vond of ethisch verantwoord vond om een concept – of een “Hoogtepunten”-sectie – in te dienen waarin de resultaten in zulke mate werden afgezwakt.

In het corrigendum wordt ook een kleine wijziging in de zin van de “Hoogtepunten”-sectie over kosteneffectiviteit erkend. (Deze wijziging was mij niet eerder opgevallen, en ik ben er niet helemaal zeker van wat de wijziging inhoudt, aangezien het corrigendum dit detail helaas niet bevatte.) In ieder geval lijkt de huidige versie van de verklaring onzinnig, gezien de nulresultaten. Hoe kan men zeggen dat een behandeling “kosteneffectief” is als ze geen gunstige effecten oplevert? Kosteneffectief in welk opzicht precies?

Professor White en zijn collega’s moeten op dat punt met een betere logica voor de dag komen. Zoals het er nu staat, is de bewering dat de behandeling “waarschijnlijk kosteneffectief” was, in wezen betekenisloos, en de onderzoekers slaan er een modderfiguur mee.

Het Journal of Psychosomatic Research heeft niet bekendgemaakt of de “Hoogtepunten”-sectie al dan niet gepeerreviewed werd. Het spreekt voor zich dat de oorspronkelijke versie van de “Hoogtepunten”-sectie nooit het redactionele proces had mogen passeren zonder door redacteuren en peerreviewers te zijn aangevochten – vooral niet als het artikel zelf was herzien om daarmee samenhangende tekortkomingen aan te pakken, zoals het corrigendum aangeeft.

Het tijdschrift moet duidelijk maken of het normaal gesproken “Hoogtepunten”-secties onderwerpt aan peerreview. Zo ja, wat is er in dit geval dan fout gegaan en wat zal het tijdschrift doen om ervoor te zorgen dat dit soort fouten zich niet meer voordoen? En zo niet, zal het tijdschrift er dan vanaf nu op aandringen dat de “Hoogtepunten”-secties aan peerreview worden onderworpen, net als andere delen van het manuscript? Ik neem aan van wel, maar volledige transparantie zou welkom zijn.