Home » Nieuwsartikels » David Tuller » Trial by error: de wanhopige pogingen van het Science Media Center om PACE te verdedigen

Trial by error: de wanhopige pogingen van het Science Media Center om PACE te verdedigen

Geplaatst door ME-Gids
op 27/08/2017

Laatste bijwerking op 27/08/2017

Bron:

David Tuller, Virology Blog

| 22262 x gelezen

Discussie

David Tuller, PhD, Virology Blog, 2 augustus 2017

Onlangs heeft het Journal of Health Psychology een speciale uitgave gepubliceerd die een lange reeks commentaren over de PACE-trial bevatte. De meeste daarvan maakten de studie met de grond gelijk voor zijn vele, vele onaanvaardbare fouten. Niet verrassend postten Sir Simon Wessely’s lakeien op het Science Media Centre onmiddellijk drie commentaren van “experts” die de studie loofden en de commentaren van het JHP bekritiseerden. Ik dacht dat het nuttig zou zijn om deze eerder pathetische inspanningen om het onverdedigbare te verdedigen, te deconstrueren.

Ik heb alle drie de verklaringen hieronder gepost, gevolgd door mijn commentaren. Ik heb besloten om ze relatief kort te houden, hoewel ik ze veel langer had kunnen maken.

**********

Prof. Malcolm Macleod, Professor Neurologie en Translationele Neurowetenschap, University of Edinburgh, zei:

“De PACE-trial, hoewel niet perfect, biedt veruit het beste bewijs voor de effectiviteit van eender welke interventie voor chronische vermoeidheid; en is zeker robuuster dan eender welk ander geciteerd onderzoek. Bij het lezen van de kritieken, was ik geraakt door hoe weinig ze werkelijk om het lijf hebben; en ik vroeg me af waar sommige van de auteurs vandaan kwamen. In feite liet een van hen een instituut als onderzoekerscentrum (Soerabaja Research Center) noteren, dat slechts lijkt te bestaan in connectie met papers die hij schreef met kritiek op de PACE-studie.

“Hun belangrijkste kritiek leek te draaien rond het feit dat de primaire uitkomstmaat halverwege de studie veranderd was: er zijn veel redenen waarom dit kan gebeuren, sommige gerechtvaardigd en andere niet; het belangrijkste is of het gedaan is zonder kennis te hebben van de uitkomstmaten die al in de studie verzameld waren en vóór de gegevensafsluiting – wat hier is gedaan.

“Dus ik denk niet dat er hier een echt iets te vertellen valt, behalve dan dat een groep auteurs, een aantal van twijfelachtige herkomst, stof doen opwaaien over een studie die een paar kleine kreukjes vertoont (net als alle studies), maar nog steeds genoeg betrouwbare informatie biedt om de praktijk vorm te geven. Als je ‘CVS’ vervangt door ‘autisme’ en ‘PACE-studie’ door ‘vaccinatie’, zie je een bekend patroon…”

Professor Macleods opmerkingen weerspiegelen een gebrek aan inzicht in zowel de ziekte zelf als in de fatale gebreken van de PACE-studie. In zijn eerst zin verwijst hij naar “chronisch vermoeidheid.” Zoals en ik en anderen ongeveer 7 miljoen keer opgemerkt hebben, is “chronische vermoeidheid” een symptoom van veel ziekten; “chronisch vermoeidheidssyndroom,” of “myalgische encefalomyelitis,” of ME/CVS of CVS/ME, of “systemische inspanningsintolerantieziekte”, is een specifieke ziekte-entiteit.

Hoewel er nog steeds geen universeel aanvaarde casedefinitie bestaat, toont het feit dat Professor Macleod het “chronische vermoeidheid” noemt, duidelijk aan dat hij niet zo goed begrijpt waarover hij spreekt. Hetzelfde kan gezegd worden van het feit dat het Science Media Center nalaat om deze verwoording te corrigeren. Als ze nog niet eens de ziekte in kwestie goed kunnen citeren, hoe kan dan alles wat ze erover beweren, gezien worden als betrouwbaar?

Professor Macleod gaat geen enkele grondige discussie aan over de kritiek die in de commentaren in het JHP uiteengezet worden. In plaats daarvan kiest hij er, net als andere PACE-verdedigers, voor om de auteurs te beledigen. Hij merkt op dat hij “zich afvraagt waar sommige auteurs vandaan kwamen,” en suggereert dat er een aantal van “twijfelachtige herkomst” zijn wat dat ook moge betekenen. Als hij zich nog steeds afvraagt wie de auteurs van de commentaren zijn, kan ik hem een aanwijzing geven: ze bestaan uit experts van University College London, Northwestern University, DePaul University, de University of Hertfordshire, Victoria University of Wellington in Nieuw-Zeeland, UC Berkeley (dat ben ik), en de ME Association. Anderen zijn van patiënten en onafhankelijke academici die zichzelf keer op keer bewezen hebben expertonderzoekers te zijn met meer integriteit en eerlijkheid dan de hele kliek van PACE-verdedigers.

Professor Macleod zegt ook het volgende over het bandeloos veranderen van uitkomstmaten in PACE: “het belangrijkste is of het gedaan is zonder kennis te hebben van de uitkomstmaten die al in de studie verzameld waren en voordat gegevens versleuteld werden – wat hier is gedaan.” Dit toont verder aan dat hij niet begrijpt wat er in PACE gebeurd is. Er zijn in sommige gevallen gerechtvaardigde redenen om beoordelingsmethoden voor resultaten van een klinische studie te veranderen. Het is echter geen legitieme reden om simpelweg midden in de studie te beslissen dat je andere beoordelingsmethoden beter vindt, vooral wanneer elke verandering ervoor zorgt dat de onderzoekers indrukwekkendere resultaten rapporteren.

Bovendien zouden onderzoekers in een studie met open onderzoeksopzet met subjectieve uitkomstmaten zoals PACE, een vrij goed idee moeten hebben van wat de trend is van de resultaten vooraleer ze de werkelijke resultaten zien. Het is misleidend om te veronderstellen dat de PACE-onderzoekers “geen kennis van de reeds verzamelde resultaten” hadden – ze zouden gemakkelijk kunnen weten hebben dat de dingen niet goed gingen en als gevolg daarvan al hun uitkomstmaten opgerekt hebben.

Bovendien, terwijl ze de goedkeuring van de toezichtscommissie verkregen voor het veranderen van de primaire uitkomsten in de Lancet-paper van 2011, ontvingen ze blijkbaar geen goedkeuring voor hun revisie van de definitie van “herstel” – althans, er is geen zo’n goedkeuring vermeld in de paper in Psychology Medicine van 2013. En twee van de vier “herstel”-criteria – de resultaten van fysiek functioneren en vermoeidheid – waren van post hoc analyses, dus ze waren duidelijk niet gegenereerd voordat “data versleuteld” waren. Professor Macleod vermeldt dit probleem niet; zoals de PACE-auteurs zelf zou hij liever het schandelijke feit negeren dat 13% van de deelnemers reeds bij de start “hersteld” waren wat betreft fysiek functioneren.

En wat een klucht dat hij de analogie van antivaccinatieactivisten aanbrengt. Het was The Lancet die deze beweging aanspoorde met haar publicatie van de intussen in diskrediet gebrachte paper uit 1998 van Andrew Wakefield die autisme aan vaccinaties linkt. Professor Macleod lijkt met zijn verklaring geen flauw benul te hebben van het flagrante gedrag van The Lancet in beide gevallen. Ik hoop dat iemand hem laat weten, liever eerder dan later, dat hij zich belachelijk heeft gemaakt.

De hoofdredacteur van de Lancet, Richard Horton, heeft jarenlang de studie van Wakefield fel verdedigd, net zoals hij PACE verdedigd heeft. En net zoals The Lancet uiteindelijk die paper teruggetrokken heeft, zal het uiteindelijk ook PACE moeten terugtrekken.

**********

Dr. Neha Issar Brown, Programmamanager, Population and Systems Medicine aan het Medical Research Council (medefinancier, samen met het National Institute for Health Research, van de PACE trial), zei:

“Het Medical Research Council heeft de PACE-studie gefinancierd en ondersteund nadat het onderzoeksvoorstel een robuust peerreviewproces met experts op dit gebied heeft ondergaan, net als in het geval is bij al onze financieringsbeslissingen. Dit omvatte de garantie van naleving van gestandaardiseerde methodologische principes voor studies en ontwerp. De bevindingen van de onderzoekers waren dan peergereviewd voorafgaand aan publicatie in tijdschriften. Alle onderzoek wordt ontwikkeld door continue herevaluatie van het bestaande bewijs en op zoek naar kennis en we zouden altijd onderzoekstoepassingen van hoge kwaliteit verwelkomen om de onderliggende ziektemechanismen, oorzaken, preventie en behandelingen voor deze uiterst invaliderende aandoening te begrijpen;”

Deze verklaring van het Medical Research Council is in feite geen verdediging van PACE of een antwoord op een van de kritieken. Het is gewoon een verklaring van de rol van MRC en een uitleg van het publicatieproces. Toch is het gewoon onjuist dat de PACE-studie uitgevoerd werd volgens de “gestandaardiseerde methodologische principes van studies en ontwerp,” zoals de commentaren overvloedig duidelijk maken. Deze bewering herhalen zonder critici erbij te betrekken, verandert niks aan de feiten.

Bovendien zitten de gepubliceerde studies zo vol van gebreken dat het absurd is om het feit aan te halen dat ze gepeerreviewd waren als bewijs van hun validiteit en betrouwbaarheid. Elke studie waarin deelnemers de uitkomsdrempelwaardes bij de start konden halen – en dat omvat zowel de papers uit 2011 als 2013 – zouden uiteraard nooit door peerreview mogen gekomen zijn. Wat we weten over de publicatie in het bijzonder, is dat de paper door “eindeloze rondes van peerreview” ging, in de bewoording van Horton, maar dat het tegelijkertijd toch versneld werd gepubliceerd. Ondanks mijn vele pogingen om Dr. Horton een verklaring te ontfutselen, heeft hij nooit de moeite gedaan om uit te leggen hoeveel “eindeloze ronden van peerreview” men mogelijk kan doorlopen tijdens een versneld peerreviewproces.

**********

Een woordvoerder voor de University of Oxford zei:

“De PACE-trial naar behandelingen voor Chronisch Vermoeidheidssyndroom werd uitgevoerd volgens de hoogste wetenschappelijke standaarden en toezicht. Dit omvatte uitgebreide peerreview van het Medical Research Council, ethische goedkeuring van een Research Ethics Committee (ethische commissie onderzoek , n.v.d.r.), onafhankelijk toezicht door een Trial Steering Committee (stuurgroep van de studie, n.v.d.r.) en verdere peerreview voorafgaand aan publicatie in tijdschriften met een hoge impact zoals The Lancet.”

“De bewering dat de criteria voor verbetering en herstel van de patiënten veranderd waren om de gerapporteerde voordelen van sommige behandelingen te verhogen, is volledig ongegrond. Zoals de auteurs herhaaldelijk duidelijk hebben gemaakt, werden de criteria gewijzigd op advies van experts en met goedkeuring van de toezichtscommissie voordat de resultaten geanalyseerd waren.

“De Oxford University beschouwt Professor Sharpe en zijn collega’s als gerenommeerde wetenschappers, wiens enige doel was om de levenskwaliteit van patiënten met ME/CVS te verbeteren. Terwijl wetenschappelijk onderzoek altijd open zou moeten zijn voor discussie en debat, rechtvaardigt dit niet de onrechtvaardige aanvallen op professionalisme en persoonlijke integriteit die het PACE-studieteam heeft moeten ondergaan.

Ten slotte is deze verklaring van Oxfords naamloze “woordvoerder” gewoon een ineengeflanste hoop PR-nonsens. Het is altijd verdacht wanneer een instelling weigert een naam op een verklaring te zetten – het betekent vaak dat er geen enkel individu bereid is verantwoordelijkheid op te nemen voor wat er gezegd wordt. In geval van deze volstrekt betekenisloze verklaring is het logisch dat slimme communicatieprofessionals hun naam hier niet onder willen zien staan.

Laten we deze paragraaf in het bijzonder nemen: “De bewering dat de criteria voor verbetering en herstel van de patiënten veranderd waren om de gerapporteerde voordelen van sommige behandelingen te verhogen, is volledig ongegrond. Zoals de auteurs herhaaldelijk duidelijk hebben gemaakt, werden de criteria gewijzigd op advies van experts en met goedkeuring van de toezichtscommissie voordat de resultaten geanalyseerd waren.”

De bewering dat de PACE-onderzoekers “goedkeuring van de toezichtcommissie” verkregen voor de grootschalige herdefinitie van “herstel” is een leugen. Ze kregen daar helemaal geen goedkeuring voor van een commissie; althans dat is de enige conclusie die getrokken kan worden uit het feit dat er geen dergelijke goedkeuring vermeld was in de paper in Psychological Medicine. Het is verbijsterend om een officiële verklaring van Oxford te zien – waarschijnlijk gekeurd door Professor Sharpe en het SMC (of misschien niet) – die zo’n schaamteloze valse claim bevat.

Bovendien is het dom om te betogen dat het opkrikken van de resultaten niet het doel was van de PACE-onderzoekers. Dat was het natuurlijk wel. De PACE-onderzoekers zelf hebben herhaaldelijk geargumenteerd dat ze de uitkomstmaten opgerekt hebben, in het bijzonder voor “herstel”, omdat ze te midden van de studie besloten hebben dat de originele maatstaven te streng waren. Dus ze wisten duidelijk dat de veranderingen die ze maakten de gerapporteerde bevindingen zouden verbeteren. In die zin maakt het niet echt uit of ze de gegevens vooraf onder de loep hebben genomen; als je het gemakkelijker maakt om te voldoen aan de uitkomstmaten door je standaarden te verlagen, dan weet je natuurlijk dat je betere resultaten zal bereiken.

Dus deze verklaring van Oxford is lachwekkend. Als dit de beste verdedigingen zijn die het Science Media Centre in dit stadium van de controverse kan brouwen, dan zit PACE echt heel diep in de nesten.