Home » Nieuwsartikels » David Tuller » Trial By Error: Vakblad psychosomatiek gelinkt aan PACE-auteurs wijst op vooringenomenheid uit subjectieve resultaten

Trial By Error: Vakblad psychosomatiek gelinkt aan PACE-auteurs wijst op vooringenomenheid uit subjectieve resultaten

Geplaatst door Zuiderzon
op 08/06/2021

Laatste bijwerking op 08/06/2021

Bron:

David Tuller, DrPH, Virology Blog

| 9951 x gelezen

7 maart 2021.

Het Journal of Pyschosomatic Research, een veel gelezen blad van Elsevier, heeft onlangs een artikel gepubliceerd dat relevant is voor het al jaren gaande debat over ongeblindeerde studies die voortgaan op subjectieve uitkomsten, zoals bijvoorbeeld de PACE-studie en aanverwant onderzoek naar psycho-gedragsmatige behandelingen voor ME/cvs. De specifieke vraag “hoe kan men de kwaliteit van onderzoek beoordelen als er subjectieve uitkomsten in het spel zijn?”, is de kern van het lopende debat over zowel de ontwerprichtlijn voor ME/cvs van het Britse National Institute for Health and Care Excellence als over Cochranes betwiste review over graduele oefentherapie voor chronisch vermoeidheidssyndroom.

De auteurs van het artikel in het Journal of Psychosomatic Research zijn de huidige redacteur (Jess Fiedorowicz van Ottawa University) en twee voormalige redacteuren (James L. Levenson van Virginia Commonwealth University en Albert Leentjens van Maastricht Universitair Medisch Centrum). De twee voormalige redacteuren zetelen momenteel in de adviesraad van het vakblad. Ik neem aan dat het artikel dus het standpunt van het vakblad zelf weergeeft. En dat standpunt lijkt in tegenspraak te zijn met beweringen van enkele prominente leden van de adviesraad van het vakblad, waaronder twee van de belangrijkste PACE-onderzoekers.

Het artikel, dat begin maart voor het eerst online stond, heet “Wanneer is een gebrek aan wetenschappelijke integriteit een reden tot intrekking van een paper? Een gevalstudie”. Het bespreekt een paper uit 2004 dat door het vakblad werd gepubliceerd – een onderzoek naar een homeopathische behandeling voor wat de onderzoekers het chronisch vermoeidheidssyndroom noemden. De toewijzing tot een behandeling – een homeopathisch preparaat of een placebo – werd geblindeerd voor zowel de deelnemers als hun behandelaars. Het is niet verrassend dat de bevindingen geen ondersteuning boden voor het idee dat homeopathie een effectieve behandeling zou zijn voor het chronisch vermoeidheidssyndroom.

In 2019 ontving het Journal of Psychosomatic Research een verzoek om de studie uit 2004 in te trekken. Het verzoek kwam er na een openlijke bekentenis van één van de betrokken homeopaten over het feit dat zij bepaalde handelingen had gesteld met de bedoeling om de blindering van de behandelingstoewijzing te ondermijnen. In het recente artikel leggen de drie redacteuren uit waarom zij van mening zijn dat intrekking in dit geval niet gerechtvaardigd is, ondanks het feit dat er duidelijk sprake is van een gebrek aan wetenschappelijke integriteit. De redacteuren melden dat zij, na de zaak te hebben onderzocht, tot het besluit zijn gekomen dat de bevindingen van de studie robuust blijven en dat eventuele pogingen om de uitkomsten te beïnvloeden niet hebben gewerkt. Zij schrijven dit succes toe aan het feit dat iedereen die bij de studie betrokken was, zeer nauwkeurig werd geblindeerd.

Dus… de bedoeling van dit alles was niet om te melden dat homeopathie geen effectieve aanpak is voor het chronisch vermoeidheidssyndroom (en vermoedelijk ook voor de andere klinische toestanden die gegroepeerd zijn onder die term, de naam myalgische encefalomyelitis of ME/cvs). De bedoeling was om aan te tonen dat dit team van topredacteuren van een belangrijk psychosomatisch vakblad veel waarde hecht aan de rol van blindering om de integriteit van onderzoeksresultaten te verzekeren. Hun “gevalstudie” bevat deze veelzeggende passage:

“Rapportage over de integriteit van de blindering heeft waarde en is vooral waardevol wanneer het gaat om subjectieve uitkomsten waarvoor een groter risico op vertekening bestaat als er geen blindering gebeurt…. Ongeblindeerde beoordelaars van subjectieve binaire uitkomsten kunnen de odds ratios met gemiddeld 36% de hoogte in drijven. Subjectieve uitkomsten worden vaak gebruikt in studies die binnen het bestek van dit vakblad vallen, op het raakvlak van de psychologie en de geneeskunde. Wij adviseren om de integriteit van de blindering te beoordelen voor elk klinisch onderzoek, in het bijzonder voor die onderzoeken die subjectieve uitkomsten gebruiken die verwant zijn aan de primaire uitkomsten van het onderzoek in kwestie”.

Deze passage gaat niet direct in op het probleem van ongeblindeerd onderzoek met subjectieve uitkomsten. Maar de redactie maakt heel duidelijk dat subjectieve uitkomsten zonder blindering “een groter risico op vertekening” inhouden. En zij adviseren dat het controleren van de “integriteit van de blindering” van bijzonder belang is voor studies “die gebruik maken van subjectieve uitkomsten” – zoals de verschillende vragenlijsten die voor de homeopathiestudie in kwestie werden gebruikt. Het is begrijpelijk dat deze kwesties belangrijk zijn voor deze redacteuren, gezien het feit dat, zoals zij opmerken, “subjectieve uitkomsten vaak worden gebruikt in studies die binnen het bereik van dit vakblad vallen”.

**********

Wie zit er in de adviesraad van het vakblad?

Een uitvloeisel van de boodschap in de geciteerde paragraaf is dat studies “die gebruik maken van subjectieve uitkomsten” die helemaal niet geblindeerd zijn, een nog groter risico op bias in zich hebben. Het is daarom vreemd dat professor Michael Sharpe en professor Peter White op de lijst van leden van de adviesraad van het Journal of Psychosomatic Research staan – het zijn allebei bekende voorstanders van het standpunt dat subjectieve uitkomsten in ongeblindeerde trials geen probleem vormen voor de interpretatie, althans als het gaat om hun eigen onderzoek.

Collega’s van professor Sharpe en professor White die er soortgelijke opvattingen op na houden, maken eveneens deel uit van de adviesraad van dit vakblad: de professoren Per Fink uit Denemarken, Judith Rosmalen uit Nederland en Jon Stone uit het Verenigd Koninkrijk. Deze professionals zijn allemaal deskundigen op het gebied van zogenaamde “somatisch onverklaarde lichamelijke klachten” of SOLK, waaronder zij ME/cvs plaatsen, maar ook prikkelbaredarmsyndroom en andere entiteiten van onbekende etiologie. En toch staat het onderzoeksgebied van SOLK bol van de ongeblindeerde studies die voortgaan op zelfgerapporteerde resultaten.

Ondanks het gebrek aan objectieve ondersteuning voor veel van hun bevindingen, negeren onderzoekers uit dit veld routinematig de rol die bias speelt in onderzoek dat voortgaat op subjectieve uitkomsten uit ongeblindeerde studies. Die rol is nu op een zeer prominente manier benadrukt door een vakblad met een redactionele adviesraad waarin diezelfde onderzoekers zetelen. Vreemd.

Een toonaangevend voorbeeld van deze combinatie van niet-blindering en subjectieve uitkomsten is de PACE-studie, waarvan professoren Sharpe en White twee van de drie hoofdonderzoekers waren. PACE omvatte vier objectieve metingen: een wandeltest van zes minuten, een stappentest om fitheid te meten, de vraag of mensen aan het werk waren, en of ze sociale uitkeringen ontvingen. Geen van de vier kwam overeen met de subjectieve meldingen van verbetering op de vragenlijsten over fysieke functie en vermoeidheid. In plaats van dit feit openlijk te erkennen en iets te zeggen over de gevolgen van de slechte resultaten op de geldigheid en betrouwbaarheid van hun subjectieve metingen, verspreidden de PACE-auteurs deze bevindingen over meerdere artikelen, waardoor het minder opviel dat het hier ging om een mislukking over de hele lijn.

De PACE-onderzoekers trokken ook de objectiviteit van hun eigen zelfgekozen objectieve uitkomsten in twijfel. Ze beweerden dat zij de wandeltest van zes minuten anders hadden uitgevoerd dan andere onderzoekers, zodat de rampzalige resultaten niet konden worden vergeleken met die uit studies van mensen met een reeks andere aandoeningen. Ze beweerden dat onafhankelijke economische factoren en veranderingen tijdens de periode van het onderzoek ervoor zorgden dat de vraag of mensen weer aan het werk gingen of geen uitkering meer kregen geen objectieve meting zou zijn van het al dan niet slagen van de behandeling.

Ze hadden ook een belangrijke objectieve meting laten vallen, nl. het dragen van een bewegingsmonitor, een zogenaamde actimeter, gedurende een week aan het eind van het onderzoek. Ze hielden het echter wel aan als een beginmeting, dus de deelnemers droegen de monitor aan het begin een week lang. Publiekelijk verklaarden de onderzoekers dat ze deze meting als resultaat hadden laten vallen omdat ze van mening waren dat de monitor een week lang dragen een te grote belasting zou zijn voor de deelnemers aan het einde van het onderzoek. Ze legden niet uit waarom dit aan het eind van de proef een grotere belasting zou zijn dan bij het begin.

Toen de notulen van de studie via een verzoek om vrijheid van informatie werden vrijgegeven, bleek dat het PACE-team de actimeters als uitkomst had laten vallen nadat het had vernomen dat Nederlandse collega’s hadden vastgesteld dat hun eigen resultaten van deze meting niet overeenkwam met de positieve subjectieve rapportage. Met andere woorden, het handhaven van de maatregel leek geen goede manier om te bereiken wat ze wilden bereiken: “bewijzen” dat hun therapieën werkten. Dus schrapten ze de meting.

En nu doen de huidige en voormalige redacteuren van het Journal of Psychosomatic Research opeens declaratieve uitspraken over blindering en subjectieve uitkomsten. Dus nu vraag ik me af wat hun mening is over de PACE-studie? Weten Fiedorowicz, Levenson en Leentjens dat dit debacle ongeblindeerd was en voortging op subjectieve uitkomsten, én dat de onderzoekers hun objectieve bevindingen als irrelevant beschouwden? Vinden ze het niet tegenstrijdig dat ze zelf uitspraken doen over onderzoekintegriteit, terwijl leden van hun adviesraad blijkbaar vinden dat dat je mag beweren dat een behandeling succesvol is, ook al is die bewering gebaseerd op ongeblindeerde studies met subjectieve uitkomsten?