David Tuller, PhD, Virology Blog, 2 augustus 2017
Onlangs heeft het Journal of Health Psychology een speciale uitgave gepubliceerd die een lange reeks commentaren over de PACE-trial bevatte. De meeste daarvan maakten de studie met de grond gelijk voor zijn vele, vele onaanvaardbare fouten. Niet verrassend postten Sir Simon Wessely’s lakeien op het Science Media Centre onmiddellijk drie commentaren van “experts” die de studie loofden en de commentaren van het JHP bekritiseerden. Ik dacht dat het nuttig zou zijn om deze eerder pathetische inspanningen om het onverdedigbare te verdedigen, te deconstrueren.
Ik heb alle drie de verklaringen hieronder gepost, gevolgd door mijn commentaren. Ik heb besloten om ze relatief kort te houden, hoewel ik ze veel langer had kunnen maken.
**********
Prof. Malcolm Macleod, Professor Neurologie en Translationele Neurowetenschap, University of Edinburgh, zei:
“De PACE-trial, hoewel niet perfect, biedt veruit het beste bewijs voor de effectiviteit van eender welke interventie voor chronische vermoeidheid; en is zeker robuuster dan eender welk ander geciteerd onderzoek. Bij het lezen van de kritieken, was ik geraakt door hoe weinig ze werkelijk om het lijf hebben; en ik vroeg me af waar sommige van de auteurs vandaan kwamen. In feite liet een van hen een instituut als onderzoekerscentrum (Soerabaja Research Center) noteren, dat slechts lijkt te bestaan in connectie met papers die hij schreef met kritiek op de PACE-studie.
“Hun belangrijkste kritiek leek te draaien rond het feit dat de primaire uitkomstmaat halverwege de studie veranderd was: er zijn veel redenen waarom dit kan gebeuren, sommige gerechtvaardigd en andere niet; het belangrijkste is of het gedaan is zonder kennis te hebben van de uitkomstmaten die al in de studie verzameld waren en vóór de gegevensafsluiting – wat hier is gedaan.
“Dus ik denk niet dat er hier een echt iets te vertellen valt, behalve dan dat een groep auteurs, een aantal van twijfelachtige herkomst, stof doen opwaaien over een studie die een paar kleine kreukjes vertoont (net als alle studies), maar nog steeds genoeg betrouwbare informatie biedt om de praktijk vorm te geven. Als je ‘CVS’ vervangt door ‘autisme’ en ‘PACE-studie’ door ‘vaccinatie’, zie je een bekend patroon…”
Professor Macleods opmerkingen weerspiegelen een gebrek aan inzicht in zowel de ziekte zelf als in de fatale gebreken van de PACE-studie. In zijn eerst zin verwijst hij naar “chronisch vermoeidheid.” Zoals en ik en anderen ongeveer 7 miljoen keer opgemerkt hebben, is “chronische vermoeidheid” een symptoom van veel ziekten; “chronisch vermoeidheidssyndroom,” of “myalgische encefalomyelitis,” of ME/CVS of CVS/ME, of “systemische inspanningsintolerantieziekte”, is een specifieke ziekte-entiteit.
Hoewel er nog steeds geen universeel aanvaarde casedefinitie bestaat, toont het feit dat Professor Macleod het “chronische vermoeidheid” noemt, duidelijk aan dat hij niet zo goed begrijpt waarover hij spreekt. Hetzelfde kan gezegd worden van het feit dat het Science Media Center nalaat om deze verwoording te corrigeren. Als ze nog niet eens de ziekte in kwestie goed kunnen citeren, hoe kan dan alles wat ze erover beweren, gezien worden als betrouwbaar?
Professor Macleod gaat geen enkele grondige discussie aan over de kritiek die in de commentaren in het JHP uiteengezet worden. In plaats daarvan kiest hij er, net als andere PACE-verdedigers, voor om de auteurs te beledigen. Hij merkt op dat hij “zich afvraagt waar sommige auteurs vandaan kwamen,” en suggereert dat er een aantal van “twijfelachtige herkomst” zijn wat dat ook moge betekenen. Als hij zich nog steeds afvraagt wie de auteurs van de commentaren zijn, kan ik hem een aanwijzing geven: ze bestaan uit experts van University College London, Northwestern University, DePaul University, de University of Hertfordshire, Victoria University of Wellington in Nieuw-Zeeland, UC Berkeley (dat ben ik), en de ME Association. Anderen zijn van patiënten en onafhankelijke academici die zichzelf keer op keer bewezen hebben expertonderzoekers te zijn met meer integriteit en eerlijkheid dan de hele kliek van PACE-verdedigers.
Professor Macleod zegt ook het volgende over het bandeloos veranderen van uitkomstmaten in PACE: “het belangrijkste is of het gedaan is zonder kennis te hebben van de uitkomstmaten die al in de studie verzameld waren en voordat gegevens versleuteld werden – wat hier is gedaan.” Dit toont verder aan dat hij niet begrijpt wat er in PACE gebeurd is. Er zijn in sommige gevallen gerechtvaardigde redenen om beoordelingsmethoden voor resultaten van een klinische studie te veranderen. Het is echter geen legitieme reden om simpelweg midden in de studie te beslissen dat je andere beoordelingsmethoden beter vindt, vooral wanneer elke verandering ervoor zorgt dat de onderzoekers indrukwekkendere resultaten rapporteren.
Bovendien zouden onderzoekers in een studie met open onderzoeksopzet met subjectieve uitkomstmaten zoals PACE, een vrij goed idee moeten hebben van wat de trend is van de resultaten vooraleer ze de werkelijke resultaten zien. Het is misleidend om te veronderstellen dat de PACE-onderzoekers “geen kennis van de reeds verzamelde resultaten” hadden – ze zouden gemakkelijk kunnen weten hebben dat de dingen niet goed gingen en als gevolg daarvan al hun uitkomstmaten opgerekt hebben.
Bovendien, terwijl ze de goedkeuring van de toezichtscommissie verkregen voor het veranderen van de primaire uitkomsten in de Lancet-paper van 2011, ontvingen ze blijkbaar geen goedkeuring voor hun revisie van de definitie van “herstel” – althans, er is geen zo’n goedkeuring vermeld in de paper in Psychology Medicine van 2013. En twee van de vier “herstel”-criteria – de resultaten van fysiek functioneren en vermoeidheid – waren van post hoc analyses, dus ze waren duidelijk niet gegenereerd voordat “data versleuteld” waren. Professor Macleod vermeldt dit probleem niet; zoals de PACE-auteurs zelf zou hij liever het schandelijke feit negeren dat 13% van de deelnemers reeds bij de start “hersteld” waren wat betreft fysiek functioneren.
En wat een klucht dat hij de analogie van antivaccinatieactivisten aanbrengt. Het was The Lancet die deze beweging aanspoorde met haar publicatie van de intussen in diskrediet gebrachte paper uit 1998 van Andrew Wakefield die autisme aan vaccinaties linkt. Professor Macleod lijkt met zijn verklaring geen flauw benul te hebben van het flagrante gedrag van The Lancet in beide gevallen. Ik hoop dat iemand hem laat weten, liever eerder dan later, dat hij zich belachelijk heeft gemaakt.
De hoofdredacteur van de Lancet, Richard Horton, heeft jarenlang de studie van Wakefield fel verdedigd, net zoals hij PACE verdedigd heeft. En net zoals The Lancet uiteindelijk die paper teruggetrokken heeft, zal het uiteindelijk ook PACE moeten terugtrekken.
**********
Dr. Neha Issar Brown, Programmamanager, Population and Systems Medicine aan het Medical Research Council (medefinancier, samen met het National Institute for Health Research, van de PACE trial), zei:
“Het Medical Research Council heeft de PACE-studie gefinancierd en ondersteund nadat het onderzoeksvoorstel een robuust peerreviewproces met experts op dit gebied heeft ondergaan, net als in het geval is bij al onze financieringsbeslissingen. Dit omvatte de garantie van naleving van gestandaardiseerde methodologische principes voor studies en ontwerp. De bevindingen van de onderzoekers waren dan peergereviewd voorafgaand aan publicatie in tijdschriften. Alle onderzoek wordt ontwikkeld door continue herevaluatie van het bestaande bewijs en op zoek naar kennis en we zouden altijd onderzoekstoepassingen van hoge kwaliteit verwelkomen om de onderliggende ziektemechanismen, oorzaken, preventie en behandelingen voor deze uiterst invaliderende aandoening te begrijpen;”
Deze verklaring van het Medical Research Council is in feite geen verdediging van PACE of een antwoord op een van de kritieken. Het is gewoon een verklaring van de rol van MRC en een uitleg van het publicatieproces. Toch is het gewoon onjuist dat de PACE-studie uitgevoerd werd volgens de “gestandaardiseerde methodologische principes van studies en ontwerp,” zoals de commentaren overvloedig duidelijk maken. Deze bewering herhalen zonder critici erbij te betrekken, verandert niks aan de feiten.
Bovendien zitten de gepubliceerde studies zo vol van gebreken dat het absurd is om het feit aan te halen dat ze gepeerreviewd waren als bewijs van hun validiteit en betrouwbaarheid. Elke studie waarin deelnemers de uitkomsdrempelwaardes bij de start konden halen – en dat omvat zowel de papers uit 2011 als 2013 – zouden uiteraard nooit door peerreview mogen gekomen zijn. Wat we weten over de publicatie in het bijzonder, is dat de paper door “eindeloze rondes van peerreview” ging, in de bewoording van Horton, maar dat het tegelijkertijd toch versneld werd gepubliceerd. Ondanks mijn vele pogingen om Dr. Horton een verklaring te ontfutselen, heeft hij nooit de moeite gedaan om uit te leggen hoeveel “eindeloze ronden van peerreview” men mogelijk kan doorlopen tijdens een versneld peerreviewproces.
**********
Een woordvoerder voor de University of Oxford zei:
“De PACE-trial naar behandelingen voor Chronisch Vermoeidheidssyndroom werd uitgevoerd volgens de hoogste wetenschappelijke standaarden en toezicht. Dit omvatte uitgebreide peerreview van het Medical Research Council, ethische goedkeuring van een Research Ethics Committee (ethische commissie onderzoek , n.v.d.r.), onafhankelijk toezicht door een Trial Steering Committee (stuurgroep van de studie, n.v.d.r.) en verdere peerreview voorafgaand aan publicatie in tijdschriften met een hoge impact zoals The Lancet.”
“De bewering dat de criteria voor verbetering en herstel van de patiënten veranderd waren om de gerapporteerde voordelen van sommige behandelingen te verhogen, is volledig ongegrond. Zoals de auteurs herhaaldelijk duidelijk hebben gemaakt, werden de criteria gewijzigd op advies van experts en met goedkeuring van de toezichtscommissie voordat de resultaten geanalyseerd waren.
“De Oxford University beschouwt Professor Sharpe en zijn collega’s als gerenommeerde wetenschappers, wiens enige doel was om de levenskwaliteit van patiënten met ME/CVS te verbeteren. Terwijl wetenschappelijk onderzoek altijd open zou moeten zijn voor discussie en debat, rechtvaardigt dit niet de onrechtvaardige aanvallen op professionalisme en persoonlijke integriteit die het PACE-studieteam heeft moeten ondergaan.
Ten slotte is deze verklaring van Oxfords naamloze “woordvoerder” gewoon een ineengeflanste hoop PR-nonsens. Het is altijd verdacht wanneer een instelling weigert een naam op een verklaring te zetten – het betekent vaak dat er geen enkel individu bereid is verantwoordelijkheid op te nemen voor wat er gezegd wordt. In geval van deze volstrekt betekenisloze verklaring is het logisch dat slimme communicatieprofessionals hun naam hier niet onder willen zien staan.
Laten we deze paragraaf in het bijzonder nemen: “De bewering dat de criteria voor verbetering en herstel van de patiënten veranderd waren om de gerapporteerde voordelen van sommige behandelingen te verhogen, is volledig ongegrond. Zoals de auteurs herhaaldelijk duidelijk hebben gemaakt, werden de criteria gewijzigd op advies van experts en met goedkeuring van de toezichtscommissie voordat de resultaten geanalyseerd waren.”
De bewering dat de PACE-onderzoekers “goedkeuring van de toezichtcommissie” verkregen voor de grootschalige herdefinitie van “herstel” is een leugen. Ze kregen daar helemaal geen goedkeuring voor van een commissie; althans dat is de enige conclusie die getrokken kan worden uit het feit dat er geen dergelijke goedkeuring vermeld was in de paper in Psychological Medicine. Het is verbijsterend om een officiële verklaring van Oxford te zien – waarschijnlijk gekeurd door Professor Sharpe en het SMC (of misschien niet) – die zo’n schaamteloze valse claim bevat.
Bovendien is het dom om te betogen dat het opkrikken van de resultaten niet het doel was van de PACE-onderzoekers. Dat was het natuurlijk wel. De PACE-onderzoekers zelf hebben herhaaldelijk geargumenteerd dat ze de uitkomstmaten opgerekt hebben, in het bijzonder voor “herstel”, omdat ze te midden van de studie besloten hebben dat de originele maatstaven te streng waren. Dus ze wisten duidelijk dat de veranderingen die ze maakten de gerapporteerde bevindingen zouden verbeteren. In die zin maakt het niet echt uit of ze de gegevens vooraf onder de loep hebben genomen; als je het gemakkelijker maakt om te voldoen aan de uitkomstmaten door je standaarden te verlagen, dan weet je natuurlijk dat je betere resultaten zal bereiken.
Dus deze verklaring van Oxford is lachwekkend. Als dit de beste verdedigingen zijn die het Science Media Centre in dit stadium van de controverse kan brouwen, dan zit PACE echt heel diep in de nesten.
© David Tuller voor Virology Blog. Vertaling Zuiderzon, redactie Abby, ME-gids.
Lees ook
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (1)
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (2)
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (3)
- Onderzoekers van de PACE-studie antwoorden David Tuller
- David Tuller reageert op de PACE-onderzoekers
- Petitie : Misleidende claims van PACE-studie moeten teruggetrokken worden
- Trial by error, vervolgd: heeft de PACE-studie echt een “strikt criterium” voor herstel toegepast?
- Trial by error, vervolg: Waarom is het “zusteronderzoek” van de PACE-studie “verdwenen” en vergeten?
- Overheid beveelt vrijgave van de gegevens van de PACE-studie
- Proffen schrijven open brief aan The Lancet en vragen herevaluatie van PACE-resultaten
- Open brief van Invest in ME over de PACE-studie aan de redacteur van The Lancet
- Trial by error, vervolgd: Het werk van het PACE-team voor verzekeringsmaatschappijen “houdt geen verband” met PACE. Echt waar?
- In het kielzog van het onderzoek van David Tuller, publiceren de PACE-onderzoekers een follow-upstudie
- ME Association: We betwisten het follow-uprapport van de PACE-studie
- Professor Jonathan Edwards: PACE-studie is “waardeloos”
- Oninterpreteerbaar: Fatale fouten in het PACE follow-uponderzoek van het chronisch vermoeidheidssyndroom
- Waarom de wetenschappelijke wereld het nodig heeft dat de PACE-gegevens worden vrijgegeven
- Reporter hekelt studie naar chronisch vermoeidheidssyndroom: ik stopte bij 14.000 woorden – genoeg was genoeg
- Een “moreel equivalent van oorlog” en de PACE-studie over chronisch vermoeidheidssyndroom
- Waarom ME-patiënten kritisch zijn over de PACE-studie
- Was onafhankelijke peerreview van de papers over de PACE-studie mogelijk?
- James Coyne over de “objectiviteit” van NHS Choices en het belachelijk maken van ME/CVS-patiënten
- Wat er voor nodig is voor Queen Mary om een verzoek om wetenschappelijke gegevens als “ergerlijk” te verklaren
- Update van mijn formeel verzoek voor het vrijgeven van de gegevens van de PACE-studie
- Formeel verzoek aan PLOS One om een Uitdrukking van Bezorgdheid uit te vaardigen voor de PACE-studie
- Waarom ik niet weet hoe PLOS zal reageren op de weigering van de auteurs om de data vrij te geven
- Antwoord van PLOS One op de bezorgdheid over de weigering van King’s College om de PACE-data te delen
- Proffen verzoeken om de gegevens van de PACE-studie
- King’s College London rekt tijd nog wat meer door weigering te herhalen om PACE-onderzoeksdata vrij te geven
- Herkennen wanneer het “beschermen van de privacy van patiënten” louter een excuus is voor het niet delen van de data
- Herzien van de economische analyse van de PACE-studie in PLoS One
- Een inkijk in de aanval op het delen van data
- Trial By Error, vervolgd: vragen voor Dr. White en zijn collega’s van de PACE-studie
- Niet-bekendgemaakte belangenconflicten in reviewprotocol van interventies voor medisch onverklaarde symptomen
- Trial by error, vervolgd: heeft de PACE-studie werkelijk bewezen dat graduele oefentherapie veilig is?
- Trial by error, vervolgd: meer nonsens van The Lancet Psychiatry
- We zijn tenminste niet ergerlijk
- Verdere inzichten in de oorlog tegen het delen van data
- Trial by error, vervolgd: een paar woorden over pesterijen
- Het heroverwegen van het beleid rond het onderzoek naar en de behandeling van ME/CVS
- Opnieuw een open brief aan de Lancet
- What About ME? Deel 1: ME-patiënten vragen patiëntenorganisaties kleur te bekennen t.a.v. PACE
- Ook België steunt in open brief de globale oproep om de PACE-data vrij te geven
- Lezing Dr. David Tuller en Prof. Frans Visser tijdens Nederlandse première Forgotten Plague
- Petitie met 12.000 handtekeningen aan The Lancet bezorgd om de PACE-studiedata vrij te geven
- Open brief Prof. Malcolm Hooper aan The Lancet
- Een half jaar gaat voorbij zonder de vrijgave van PACE-studiedata uit PLOS One
- PACE-Gate: de controverse over de grootste studie naar CGT en GET bij ME/cvs
- Proffen schrijven open brief aan PLoS One i.v.m. PACE-studie naar CGT/GET
- Correctie van PLoS verwijdert geanonimiseerde patiëntengegevens in studie naar CVS (& zet ze daarna terug)
- “Hun mond viel open van verbazing over de PACE-trial naar CGT en GET.”
- Rechtbank eist vrijgave van de gegevens van de PACE-studie naar CGT en GET voor ME/CVS
- Queen Mary University of London “bestudeert” de regelgeving om de PACE-data vrij te geven
- The Lancet struikelt opnieuw over de PACE-studie
- Trial by error, vervolgd: mijn vragen voor de hoofdredacteur van The Lancet, Richard Horton
- Vrijgave data PACE-team volgens originele protocol
- Verklaring QMUL: bekendmaking van de data van de PACE-studie onder de Wet op de Vrijheid van Informatie
- Persbericht. De vrijgave van de PACE-data is een fundamentele overwinning voor mensen met ME/cvs
- Stop studies naar graduele oefentherapie voor ME/CVS
- Prof. Van der Meer waarschuwt voor delen van data met “je vijanden”
- Geen “herstel” in de PACE-studie, blijkt uit nieuwe analyse
- Slechte wetenschap heeft miljoenen ME/cvs-patiënten misleid. Hier leest u hoe we terugvochten.
- Belangrijkste punten uit de analyse van de ruwe data voor “herstel” van de PACE-studie
- Bewijs voor aanbevolen behandelingen voor ME en CVS houdt geen stand
- Trial by error, vervolgd: de echte data van de PACE-studie
- Erger dan de ziekte
- De PACE-studie: waar “herstel” niet betekent dat je terug gezond bent
- Hoe de brief van Alem Matthees het mysterie van ME/cvs hielp oplossen
- Een open brief aan Psychological Medicine over “herstel” en de PACE-trial (Update)
- Opnieuw een open brief aan Psychological Medicine!
- De bal misslaan bij ME/cvs
- Trial by error, vervolgd: de nieuwe FITNET-studie voor kinderen
- Trial by error, vervolgd: een vervolgpost over FITNET-NHS
- Trial by error, vervolgd: de Nederlandse studies (opnieuw!), en een Esther Crawley-bonus
- Trial by error, vervolgd: mijn lasterlijk bloggen op Virology Blog
- Trial by error, vervolgd: een open brief aan het bestuur van het CFS/ME Research Collaborative (CMRC)
- Trial by error, vervolgd: CFS/ME Research Collaborative aan Virology Blog: “Rot op!”
- Trial by error, vervolgd: Het CMRC bevestigt volledige steun aan Lasterlijke Esther
- Trial by error, vervolgd: ME Research UK stapt uit het CFS/ME Research Collaborative
- Trial by error, vervolgd: mijn “scheur-het-aan-flarden”-toespraak bij Invest in ME
- David Tuller zamelt geld in voor Virology Blogs Trial by error: verslaggeving over PACE, ME/cvs en verwante onderwerpen
- Crowdfundingcampagne David Tuller in teken van ME: nog twee weken te gaan…
- David Tuller komt op voor ME: de laatste tien dagen van de campagne…
- Trial by error, vervolgd: is PACE een geval van wetenschappelijk wangedrag?
- Trial by error, vervolgd: de reis van Julie Rehmeyer “Through The Shadowlands”
- Trial by error, vervolgd: meer over graduele oefentherapie van Peter White en The Lancet
- De PACE-trial, of hoe een medisch schandaal tot stand kwam
- Waarop moet je letten in de Speciale Editie van het Journal of Health Psychology over de PACE-trial
- Deel 2: Waarop moet je letten in de Speciale Editie van het Journal of Health Psychology over de PACE-trial
