Home » Nieuwsartikels » David Tuller » Trial by error: hoe staat het eigenlijk met de MAGENTA-studie?

Trial by error: hoe staat het eigenlijk met de MAGENTA-studie?

Geplaatst door ME-Gids
op 21/09/2018

Laatste bijwerking op 21/09/2018

Bron:

| 6952 x gelezen

David Tuller, DrPH, Virology Blog, 17 september 2018

Ik ga later deze week in Bristol zijn voor de jaarlijkse conferentie van de CFS/ME Research Collaborative. Vorig jaar was ik niet welkom, aangezien ik toen volop harde kritiek leverde op de organisatie omdat ze niet wilde erkennen dat haar vicevoorzitter mij valselijk beschuldigd had van smaad. Dit jaar staan de zaken anders en zijn zowel de voorzitter als de nieuwe vicevoorzitter zo vriendelijk geweest om me uit te nodigen.

In ieder geval, aangezien de conferentie dicht bij de University of Bristol plaatsvindt, leek dit mij een geschikt moment om nog eens te gaan kijken naar het problematische onderzoek op kinderen dat gevoerd wordt aan dat doorluchtige instituut. In mijn eerdere onderzoek van dit werk, focuste ik op een studie over afwezigheid op school, een studie over het Lightning Process, de lopende studie over online CGT die FITNET-NHS heet, en verschillende prevalentiestudies – allemaal uiterst gebrekkige studies.

Ik heb niet veel of helemaal geen aandacht besteed aan de lopende MAGENTA-studie. (Volledige naam: Managed Activity Graded Exercise in Teenagers and Pre-Adolescents [Activiteitenbeheer en graduele oefeningen voor tieners en jongvolwassenen, n.v.d.r.]). Maar commentatoren op het forum Science for ME merkten onlangs op dat de MAGENTA-onderzoekers een haalbaarheidsstudie hebben omgevormd tot een volledige studie – een strategie die lijkt op wat de onderzoekers deden bij de studie over het Lightning Process. Dat bracht me ertoe eens een kijkje te nemen.

De MAGENTA-studie werd ontworpen om graduele oefentherapie te vergelijken met activiteitenbeheer, als behandeling voor kinderen. (Eerlijk gezegd klinken beide behandelingen mij niet echt verschillend, buiten dan dat de eerste focust op het opdrijven van lichaamsbeweging en de tweede op het opdrijven van algemene activiteiten tot een gelijkaardig niveau.) Het spreekt vanzelf dat MAGENTA lijdt aan dezelfde enorme ontwerpfout als zo vele andere studies in dit veld – het is een studie met open onderzoeksopzet die uitsluitend terugvalt op subjectieve of zelfgerapporteerde uitkomsten, dus alle resultaten lopen zo’n hoog risico op vooringenomenheid dat het geheel oninterpreteerbaar wordt.

Voordat een studie op volledige schaal werd uitgevoerd, besloten de MAGENTA-onderzoekers een zogenaamde haalbaarheidsstudie uit te voeren. Zoals gerapporteerd in het protocol van de haalbaarheidsstudie, waren dit enkele van de doelstellingen: “Verifiëren van de haalbaarheid en aanvaardbaarheid van het voeren van een gerandomiseerde klinische studie over de doeltreffendheid en rentabiliteit van GET in vergelijking met activiteitenbeheer voor de behandeling van CVS/ME bij kinderen. We zullen de informatie gebruiken als inspiratie voor het ontwerp van een volledige, voldoende grote studie.”

Volgens dit protocol begon de haalbaarheidsstudie in september 2015. (Het protocol werd gepubliceerd in 2016.) Maar toen de haalbaarheidsstudie beëindigd was, ontwierpen de onderzoekers geen nieuwe studie. In plaats daarvan vroegen ze (en kregen ze) in maart 2017 goedkeuring van het comité voor onderzoeksethiek om deze haalbaarheidsstudie uit te breiden tot een volledige studie. Daarna werd de initiële studieregistratie geüpdatet met informatie over de volledige studie. De haalbaarheidsstudie omvatte 100 deelnemers; de onderzoekers zochten er nog 122 bij, wat het totaal van de volledige studie op 222 bracht.

In het protocol van de haalbaarheidsstudie was de primaire uitkomstmaat een evaluatie van de haalbaarheid en aanvaardbaarheid van een volledige studie. Het protocol omvatte lijsten met gegevens en vragenlijsten die de onderzoekers planden te verzamelen, maar het wees geen ervan aan als primaire of secundair uitkomstmaten voor de evaluatie van doeltreffendheid van de behandeling. Bijna alle uitkomsten waren zelfgerapporteerd. Aanwezigheid op school stond opgelijst, maar het ging om zelfgerapporteerde aanwezigheid, die onderhevig is aan vooringenomenheid, in tegenstelling tot officiële schoolaanwezigheidsregisters.

Pas nadat ze de gegevens voor de haalbaarheidsstudie verzameld hadden, duidden de onderzoekers aan welke maatstaven de primaire en secundaire uitkomstmaten zouden worden voor de volledige studie. Omdat ze de deelnemers van hun haalbaarheidsstudie doorsluisden naar de grotere steekproef, konden ze aldus prioriteit geven aan uitkomstmaten op basis van bestaande gegevens van de studiesteekproef – een uitstekende manier om de gerapporteerde bevindingen te beïnvloeden. In dit geval markeerden de onderzoekers fysiek functioneren op zes maanden als primaire uitkomstmaat nadat bijna de helft van de volledige steekproef al gegevens had verstrekt.

Fysiek functioneren lijkt misschien een vanzelfsprekende keuze als primaire uitkomstmaat, aangezien het ook in andere studies over deze ziekte de primaire uitkomstmaat was. Toch was het in dit geval niet de enige optie. Men had bijvoorbeeld vermoeidheid kunnen kiezen, of een van de andere metingen. In de haalbaarheidsstudie over het Lightning Process was aanwezigheid op school op zes maanden de primaire uitkomstmaat, hoewel ze gedegradeerd werd tot secundaire uitkomstmaat nadat de onderzoekers de gegevens van de haalbaarheidsstudie hadden bekeken. Het is zeker mogelijk of misschien zelfs waarschijnlijk dat fysiek functioneren, conform de bevindingen van de haalbaarheidsstudie, geselecteerd werd omdat het de positiefste resultaten genereerde van alle verschillende mogelijke opties.

Bovendien lijkt het erop dat de onderzoekers, ergens tussen de haalbaarheidsstudie en de volledige studie, MAGENTA’s enige objectieve maatstaf hebben laten vallen, nl. niveau van fysieke activiteit, getoetst via versnellingsmeters die een week lang gedragen zouden worden. In het protocol van de haalbaarheidsstudie merkten de onderzoekers op dat versnellingsmeters hadden “aangetoond dat ze een betrouwbare indicatie geven van fysieke activiteit bij kinderen en volwassenen”. En toch vermeldt de studieregistratie de versnellingsmeters niet, dus de reden waarom ze niet opgenomen werden in de volledige studie, valt moeilijk te begrijpen.

Vermoedelijk vonden de onderzoekers het gebruik ervan als uitkomstmaat ofwel onuitvoerbaar, ofwel onaanvaardbaar. En dus blijft MAGENTA achter zonder enige vorm van objectieve uitkomstmaat. Het is opmerkenswaardig dat, in vorige studies over deze ziekte, objectieve metingen van fysieke activiteit de positieve uitkomsten op zelfgerapporteerde maatstaven niet konden bevestigen. Bovendien hebben onderzoekers in dit veld telkens opnieuw deze objectieve bevindingen genegeerd, en hebben ze in plaats daarvan de mooiere subjectieve resultaten in de verf gezet. Meer nog: PACE zelf zag af van het gebruik van gelijkaardige apparatuur nadat Nederlandse onderzoekers ontdekten dat de resultaten de beweringen over verbetering niet onderbouwden. Dus de beslissing van de MAGENTA-onderzoekers om hun enige objectieve maatstaf te laten “verdwijnen” is niet echt verrassend, wat hun beweegredenen ook zijn.

In de studieregistratie wordt de studie nu verkeerdelijk aangeduid als “prospectief”. Misschien was ze in 2015 “prospectief”, toen de studie oorspronkelijk werd geregistreerd. Maar als je je primaire en secundaire uitkomstmaten hebt aangeduid, of uitkomstmaten hebt laten vallen pas nadat bijna de helft van je steekproef gegevens heeft verschaft, dan is het niet gerechtvaardigd om heel je studie “prospectief” te noemen. Een belangrijk aspect van een “prospectieve” studie is dat primaire en secundaire uitkomstmaten vooraf zijn aangeduid. Dat gebeurde in de MAGENTA-studie niet.

Wat is er aan de hand met het Comité voor Onderzoeksethiek? Hoe komt het dat de leden van het Comité zo verschrikkelijk tekort schieten in hun toezichtsfunctie? Dit is wellicht hetzelfde Comité voor Onderzoeksethiek dat betrokken was bij andere schandalige studies van de universiteit. Het is schokkend hoe overduidelijk incompetent het Comité is, en hoe weinig professioneel begrip ze hebben van wat nodig is om onderzoek uit te voeren op een ethische en gepaste manier.

In de paper over het Lightning Process kregen de onderzoekers, zoals ik heb gedocumenteerd, op een gelijkaardige manier toestemming van het Comité voor Onderzoeksethiek om een haalbaarheidsstudie uit te breiden, terwijl ze primaire en secundaire uitkomstmaten omwisselden. De gepubliceerde paper in Archives of Disease in Childhood vermeldde niet dat de uitkomstmaten omgewisseld waren nadat meer dan de helft van de steekproef gegevens had verschaft. Het vakblad heeft een vage noot gepost over deze misstappen, en ik heb de ongepastheid daarvan vroeger reeds besproken. Maar de redacteur van het vakblad, en ook BMJ’s redactioneel directeur Fiona Godlee, hebben de kwestie tot nog toe niet volledig opgelost en hebben geen verantwoordelijkheid opgenomen voor het feit dat ze deze duidelijk gebrekkige paper überhaupt gepubliceerd hebben.

Daarenboven merkten commentatoren van het forum Science for ME ook iets raars op over MAGENTA: vorige maand werd de studieregistratie opnieuw geüpdatet. Dit keer werd de startdatum van de studie op een datum gezet die twee jaar vroeger lag, nl. van september 2015 tot januari 2013. Euh… wat? De wijziging wordt niet uitgelegd, dus de betekenis of het belang ervan zijn niet duidelijk. Maar raar is het zeker. Zou het kunnen dat de onderzoekers op het moment van de oorspronkelijke registratie niet doorhadden dat hun studie eigenlijk twee jaar eerder gestart was?

Het einde van de MAGENTA-studie wordt ergens volgend jaar verwacht, en publicaties zullen ongetwijfeld volgen. Maar we weten nu al dat wat de resultaten ook zullen zijn, ze zullen doordrongen zijn van vooringenomenheid en zullen ons niks nuttigs vertellen over behandelingsopties. Dat dit soort nonsens financiering krijgt via Britse belastinggelden en voorgesteld mag worden als legitiem onderzoek, betekent een ernstige normvervaging op academisch, ethisch en financieel vlak.