Prof. Vincent Racaniello, Virology Blog, 22 december 2015
Op 23 oktober [2015] publiceerde Virology blog het derde deel van David Tullers onderzoeksrapport over de PACE-studie naar behandelingen voor ME/CVS. In de post toonde Dr. Tuller aan dat de belangrijkste conclusie van een economische analyse van de PACE-studie, in 2012 gepubliceerd in PLoS One, bijna zeker fout was. De bevinding – dat cognitieve gedragstherapie en graduele oefentherapie kostenefficiënte behandelingen waren – berustte op een onnauwkeurigheid in de paper over de vraag of de resultaten van de gevoeligheidsanalyses “robuust” waren.
Sinds de publicatie van de serie op Virology Blog, ligt de PACE-studie onder voortdurende en pijnlijke openbare kritiek vanwege haar vele fouten. De paper in PLoS One vormt momenteel het middelpunt van de belangstelling als gevolg van het beledigende antwoord van de onderzoekers aan Dr. James Coyne, een welbekende psycholoog en blogger voor PLoS. Dr Coyne verzocht om data om de resultaten te verifiëren van de paper in PLoS One en werd verteld dat dit verzoek “ergerlijk” was. De onderzoekers hebben patiënten jarenlang “ergerlijk” genoemd, natuurlijk, maar de poging om deze strategie te gebruiken tegen een gerespecteerde onderzoeker heeft een opschudding veroorzaakt. Ik en verschillende collega’s, waaronder Dr. Tuller, haalden deze afwijzing recentelijk in ons eigen verzoek om een andere set van PACE-gerelateerde data aan.
Vanwege het open beleid inzake gegevensverstrekking van de wetenschappelijke tijdschriften van PLoS, was het verzoek om data op grond daarvan een slimme zet van Dr. Coyne, en hij heeft geweldig werk verricht met het aanwakkeren van steun voor de algemene kwestie van toegang tot data in wetenschappelijk onderzoek. De PACE-auteurs moeten nu toch wel erkennen dat zij op een bepaald moment al hun data zullen moeten vrijgeven.
De studie in PLoS One rapporteerde dat cognitieve gedragstherapie en graduele oefentherapie, de twee behandelingen die al lange tijd de voorkeur genieten van de hoofdonderzoekers, kostenefficiënter waren dan andere benaderingen. De onderzoekers hebben stelselmatig deze bevindingen aangehaald bij het promoten van het gebruik van de twee behandelingen. De waarheid of onwaarheid van deze claims uit de studie in PLoS One vormen de kern van de huidige controverse.
Eigenlijk is het nu al duidelijk dat de claim zeer waarschijnlijk niet overeind blijft bij nauwkeurige bestudering, gebaseerd op wat algemeen bekend is. In de post van 23 oktober liet Dr. Tuller zien dat achtereenvolgende publieke commentaren van de hoofdauteur een kritische stelling in de paper over de gevoeligheidsanalyses van de studie in PLoS One tegenspraken.
Het relevante uittreksel uit Virology Blog staat hieronder:
In een andere bevinding argumenteerde de publicatie in PLoS One dat de graduele oefentherapie en cognitieve gedragstherapie de meest goedkope behandelingen waren vanuit een maatschappelijk perspectief. Bij het komen tot deze conclusie taxeerden de onderzoekers de zogenaamde “informele zorg” – onbetaalde zorg die door familie en vrienden wordt geleverd – op de vervangende kosten van een thuiszorgmedewerker. Het PACE statistische analyseplan (goedgekeurd in 2010 maar niet gepubliceerd tot 2013) bevatte twee toegevoegde, goedkopere aannames. De eerste taxeerde informele zorg op een minimumloon, de tweede op geen enkele compensatie.
Het PLoS One-artikel zelf leverde deze twee aanvullende bevindingen niet aan, maar merkte alleen op dat “gevoeligheidsanalyses onthulden dat de resultaten robuust waren voor alternatieve hypothesen.” Mensen die commentaar instuurden op de website van PLoS One , waaronder Tom Kindlon, betwistten de claim dat de resultaten “robuust” zouden zijn onder de alternatieve aannames voor informele zorg. Feitelijk, maakten zij duidelijk dat de goedkopere hypothesen de gerapporteerde maatschappelijke kosten-batenvoordelen van de cognitieve gedragstherapie en graduele oefentherapie zouden reduceren of volledig elimineren.
De hoofdauteur van de publicatie, Paul McCrone, gaf in een geposte reactie toe dat de commentatoren gelijk hadden over de impact die de goedkopere, alternatieve aannames zouden hebben op de uitkomsten. McCrone legde echter niet uit of noemde zelfs niet de klaarblijkelijke foutieve gevoeligheidsanalyses die hij in de paper had geciteerd, die de maatschappelijke kosten-batenvoordelen voor graduele oefentherapie en cognitieve gedragstherapie “robuust” hadden gevonden onder alle aannames. In plaats daarvan argumenteerde hij dat de twee goedkopere benaderingen oneerlijk waren tegenover zorgverleners omdat families meer economische waardering verdienden voor hun werk.
“Naar onze mening heeft de tijd, die de gezinnen spenderen om te zorgen voor mensen met CVS/ME, een werkelijke waarde en dus is het controversieel om het geen enkele waarde te geven,” schreef McCrone. “Evenzo, om aan te nemen dat het alleen maar de waarde heeft van het minimumloon, is ook erg beperkend.”
In een daaropvolgend commentaar wijst Kindlon McCrone terecht en maakt daarbij duidelijk dat hij nog steeds niet de claim van de krant had uitgelegd die de gevoeligheidsanalyses lieten zien dat de bevindingen “robuust” waren voor alle aannames. Kindlon stelde ook dat de alternatieve, goedkopere aannames werden toegevoegd aan het statistische plan van PACE zelf.
“Onthoud dat het de onderzoekers zelf waren die de alternatieve aannames uitkozen,” schreef Kindlon. “Als het nu ‘controversieel’ is om informele zorg te taxeren op geen enkele waarde, was het net zo ‘controversieel’ toen zij besloten om de gegevens op deze manier te analyseren, voordat er naar de gegevens was gekeken. Het heeft weinig zin om een statistisch plan te publiceren als er niet over hinderlijke resultaten wordt gerapporteerd en/of bevindingen voor hen verkeerd worden voorgesteld.”
© Prof. Racaniello, Virology Blog. Vertaling Meintje, redactie Zuiderzon en Abby, ME-gids.
Lees ook
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (1)
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (2)
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (3)
- Onderzoekers van de PACE-studie antwoorden David Tuller
- David Tuller reageert op de PACE-onderzoekers
- Trial by error, vervolgd: heeft de PACE-studie echt een “strikt criterium” voor herstel toegepast?
- Trial by error, vervolg: Waarom is het “zusteronderzoek” van de PACE-studie “verdwenen” en vergeten?
- Overheid beveelt vrijgave van de gegevens van de PACE-studie
- Proffen schrijven open brief aan The Lancet en vragen herevaluatie van PACE-resultaten
- Open brief van Invest in ME over de PACE-studie aan de redacteur van The Lancet
- Trial by error, vervolgd: Het werk van het PACE-team voor verzekeringsmaatschappijen “houdt geen verband” met PACE. Echt waar?
- In het kielzog van het onderzoek van David Tuller, publiceren de PACE-onderzoekers een follow-upstudie
- ME Association: We betwisten het follow-uprapport van de PACE-studie
- Professor Jonathan Edwards: PACE-studie is “waardeloos”
- Oninterpreteerbaar: Fatale fouten in het PACE follow-uponderzoek van het chronisch vermoeidheidssyndroom
- Waarom de wetenschappelijke wereld het nodig heeft dat de PACE-gegevens worden vrijgegeven
- Reporter hekelt studie naar chronisch vermoeidheidssyndroom: ik stopte bij 14.000 woorden – genoeg was genoeg
- Een “moreel equivalent van oorlog” en de PACE-studie over chronisch vermoeidheidssyndroom
- Waarom ME-patiënten kritisch zijn over de PACE-studie
- Was onafhankelijke peerreview van de papers over de PACE-studie mogelijk?
- James Coyne over de “objectiviteit” van NHS Choices en het belachelijk maken van ME/CVS-patiënten
- Wat er voor nodig is voor Queen Mary om een verzoek om wetenschappelijke gegevens als “ergerlijk” te verklaren
- Update van mijn formeel verzoek voor het vrijgeven van de gegevens van de PACE-studie
- Formeel verzoek aan PLOS One om een Uitdrukking van Bezorgdheid uit te vaardigen voor de PACE-studie
- Waarom ik niet weet hoe PLOS zal reageren op de weigering van de auteurs om de data vrij te geven
- Antwoord van PLOS One op de bezorgdheid over de weigering van King’s College om de PACE-data te delen
- Proffen verzoeken om de gegevens van de PACE-studie
- King’s College London rekt nog wat meer tijd door weigering te herhalen om PACE-onderzoeksdata vrij te geven
- Herkennen wanneer het “beschermen van de privacy van patiënten” louter een excuus is voor het niet delen van de data
