David Tuller, DrPH, Virology Blog, 24 juni 2017
[25 juni 2017: het laatste gedeelte van deze post over de PLoS One-studie is herzien en gecorrigeerd.]
Ik ben sinds de start van mijn PACE-onderzoek het onderwerp van wetenschappelijk wangedrag uit de weg gegaan. In mijn lange Virology Blog-serie in oktober 2015 besloot ik om te rapporteren over de uitvoerige lijst met fouten van de studie – of zoveel als pasten binnen 15.000 woorden, en dat deden ze niet allemaal – zonder aan te voeren dat dit wetenschappelijk wangedrag vormde. Mijn doel was simpelweg om de sterkst mogelijke argumenten te verzamelen dat dit zeer slechte wetenschap was en dat het bewijs de beweringen niet ondersteunde dat cognitieve gedragstherapie en graduele oefentherapie effectieve behandelingen waren voor de ziekte.
Sindsdien heb ik PACE “volkomen nonsens” genoemd, “complete onzin,” “lariekoek,” en “deze verd**** studie.” Mijn collega en de gastheer van Virology Blog, professor Racaniello, heeft het een “schijnvertoning” genoemd. Inderdaad de achtereenvolgende gebeurtenissen hebben de argumenten tegen PACE alleen nog maar versterkt, ondanks de niet-overtuigende pogingen van de onderzoekers en Sir Simon Wessely om dat te bestrijden wat zij hoogst waarschijnlijk zien als mijn respectloos en “ergerlijk” gedrag.
De open brieven van Virology Blog aan The Lancet en Psychological Medicine hebben aangetoond dat gerespecteerde experts uit de VS, het Verenigd Koninkrijk en vele andere landen de methodologische fouten in PACE zulke ongehoorde overtredingen vinden van de standaard wetenschappelijke praktijk, dat de gerapporteerde resultaten niet serieus genomen kunnen worden. In de laatste paar maanden hebben meer dan twaalf peergereviewde commentaren in het Journal of Health Psychology, een gerespecteerde academische publicatie uit het Verenigd Koninkrijk, de internationale ontzetting in de schijnwerpers gezet over de overduidelijke en onbetwistbare fouten van de studie in beoordelingsvermogen, logica en gezond verstand.
En hier is een belangrijk stuk bewijs dat de studie alle geloofwaardigheid verloren heeft onder degenen buiten de ideologische brigades van CGT en GET: de Centers for Disease Control in de VS bevelen de therapieën nog steeds aan*, maar blijven nu volhouden dat zij slechts “algemene” managementstrategieën zijn voor de ziekte. In feite ontkent de instantie expliciet dat de aanbevelingen verband houden met PACE. Voor zover ik weet, citeert de instantie sinds afgelopen jaar niet langer de PACE-studie als bewijs op haar huidige pagina’s die aan de ziekte gewijd zijn. (Als er daar ergens een verwijzing verstopt is, ben ik er zeker van dat een oplettende speurneus mij dat snel zal laten weten.)
*Ondertussen, d.d. 15/7/17, beveelt de CDC niet meer CGT en GET aan. Zie een volgende post: Trial By Error: The CDC Drops CBT/GET (Virology Blog, 10 juli 2017)
Het moet gezegd worden dat de geschiedenis van de CDC met deze ziekte afschuwelijk is – een andere saga van “slechte wetenschap” die ik in 2011 op Virology Blog documenteerde. In de afgelopen jaren heeft de instantie prominent geciteerd en nauw samengewerkt met Britse leden van de biopsychosociale denkrichting. Dus is het belachelijk en – laten we eerlijk zijn – regelrecht oneerlijk, dat volksgezondheidsambtenaren in de VS tot op heden volhouden dat de behandelingen met het merk PACE die zij aanbevelen, niets te maken hebben met PACE en simpelweg “algemene” managementstrategieën zijn. Desondanks is het opmerkelijk dat de instantie besloten heeft om PACE van haar site te laten “verdwijnen”, vermoedelijk als reactie op de wijdverspreide veroordeling van de studie.
Vele van het scala aan fouten in de PACE-studie staan voor slechte wetenschap, maar bereiken het niveau van wetenschappelijk wangedrag duidelijk niet. Op andere terreinen van de geneeskunde is men bijvoorbeeld gestopt met het gebruik van open-label-studies met subjectieve uitkomsten, omdat die neiging geven tot bevooroordeelde resultaten; Jonathan Edwards, een emeritus professor in de geneeskunde van de University College Londen heeft dit punt herhaaldelijk naar voren gebracht. Maar klaarblijkelijk delen grote gedeelten van het psychologische en psychiatrische veld dit perspectief niet en geloven dat dergelijke studies betrouwbaar en gezaghebbend bewijs kunnen verschaffen.
Bovendien is de beslissing om de zeer ruime Oxford-criteria te gebruiken om patiënten te identificeren slechte wetenschap, omdat het de symptomen van “chronische vermoeidheid” verwart met de specifieke ziekte die vaak bekend staat als “chronisch vermoeidheidssyndroom” maar passender “myalgische encefalomyelitis” wordt genoemd. Deze casusdefinitie genereert heterogene groepen proefpersonen die het nagenoeg onmogelijk maken voor dergelijke studies om accurate informatie te identificeren over oorzaken, diagnostische testen en behandelingen. Hoewel een rapport uit 2015 van de National Institutes of Health aanbevolen heeft dat deze [definitie] zou moeten worden “teruggetrokken” uit het gebruik, blijft de Oxford-definitie in de gepubliceerde literatuur. Studies die zich er op baseren zouden in diskrediet gebracht moeten worden en hun bevindingen genegeerd of afgewezen. Maar veel meer zal er wellicht niet uitkomen.
Er bestaan veel definities van “wetenschappelijk wangedrag”, maar zij delen in het algemeen gemeenschappelijke elementen. In Groot-Brittannië onderschrijft de Medical Research Council, de belangrijkste financier van PACE, de definitie van de Research Councils U.K., een organisatie die haar principes schetst in een verklaring getiteld “Policy and Guidelines of Good Research Conduct.” Bij het onderzoeken van deze kwestie zal ik mij hier richten op slechts twee van de onderdelen van de definitie die worden aangehaald door de MRC: “verkeerde voorstelling van belangen” en “verkeerde voorstelling van data.”
Laat mij duidelijk zijn: Ik ben niet opgeleid als bio-ethicus. Ik ben nooit betrokken geweest in het bepalen of een bepaalde studie de wetenschappelijke gedragscode schendt. En dat beweer ik hier ook niet. Echter als een klinische studie zoveel gedocumenteerde fouten heeft, dat meer dan 100 experts van over de hele wereld bereid zijn en er zelfs op gebrand zijn om een brief te ondertekenen die de onmiddellijke intrekking eist van de belangrijkste bevindingen, zal de vraag of er sprake is van wetenschappelijk wangedrag onvermijdelijk gesteld worden. Hoewel mensen met verschillende perspectieven het duidelijk oneens kunnen zijn over het antwoord, zal de uiteindelijke en gezaghebbende vaststelling waarschijnlijk niet boven water komen, totdat de PACE-studie en de details die betrokken waren bij haar uitvoering en de publicatie van de resultaten, onderworpen zijn aan een volledig onafhankelijk onderzoek.
Laten we in de tussentijd eens bekijken hoe wetenschappelijk wangedrag wordt gedefinieerd en een studie maken van het mogelijke bewijs dat beoordeeld zou kunnen worden. Om te beginnen, de aangehaalde definitie van “verkeerde voorstelling van belangen” omvat “het verzuimen om materiële belangen te verklaren ofwel van de onderzoeker ofwel van degenen die het onderzoek financieren.”
Ik heb herhaaldelijk duidelijk gemaakt dat de onderzoekers deelnemers hebben misleid over hun “materiële belangen” in of de studie tot bepaalde conclusies zou komen – namelijk dat CGT en GET effectieve behandelingen zijn. De drie hoofdonderzoekers hebben langdurige banden gehad met verzekeringsmaatschappijen, waarbij ze adviseerden dat revaliderende benaderingen, zoals de interventies die bestudeerd werden, de aanvragers met ME/cvs uit de uitkering en weer aan het werk zouden kunnen krijgen. In werkelijkheid is er geen betrouwbaar bewijs dat deze bewering ondersteunt – de PACE-resultaten slaagden er zeker niet in om dit te bewijzen. En toch maakten de onderzoekers deze adviserende en/of financiële banden niet openbaar in de informatiefolders en toestemmingsformulieren die aan de deelnemers werden verstrekt.
Waarom is dat een probleem? Wel, de onderzoekers beloofden in hun protocol om zich te houden aan de Verklaring van Helsinki, naast andere ethische richtlijnen. De verklaring, een internationaal document betreffende mensenrechten dat na de tweede wereldoorlog werd uitgevaardigd om menselijke proefpersonen in onderzoek te beschermen, is erg specifiek over wat de onderzoekers moeten doen om informed consent [vert.: geïnformeerde toestemming] te verkrijgen: Zij moeten toekomstige deelnemers vertellen over “mogelijke belangenconflicten” en “institutionele banden.”
Zonder dergelijke bekendmakingen is in feite elke toestemming die wordt verkregen niet geïnformeerd maar, volgens de richtlijnen van Helsinki, niet-geïnformeerd. Onderzoekers kunnen niet eenvoudigweg beloften uit hun protocol naar believen uitkiezen en besluiten welke zij zullen toepassen en welke niet. Zij kunnen niet zomaar besluiten om niet “alle mogelijke belangenconflicten” bekend te maken wanneer zij eenmaal hebben beloofd om dat wel te doen, zelfs als het lastig of onaangenaam is of dat het mensen terughoudend maakt om aan een studie mee te gaan doen. Ik heb vier PACE-deelnemers geïnterviewd. Twee zeiden dat zij waarschijnlijk niet of zeker niet zouden hebben toegestemd om aan de studie mee te doen als hen was verteld over deze belangenconflicten; in feite trok één deelneemster zelfs haar toestemming in om haar data te gebruiken, nadat zij reeds alle onderzoeken van de studie had voltooid omdat zij later deze banden met verzekeraars ontdekte en woedend was dat dit haar nooit van in het begin was verteld.
De PACE-onderzoekers hebben gereageerd op deze bezorgdheid, maar hun antwoorden gaan niet echt over de kritiek, zoals ik al eerder duidelijk heb gemaakt. Het is irrelevant dat zij de juiste informatie openbaar maakten in de tijdschriften die hun werk publiceerden; de Verklaring van Helsinki houdt zich niet bezig met het beschermen van redacteurs van tijdschriften en lezers van tijdschriften, maar met het beschermen van menselijke proefpersonen. De onderzoekers hebben ook betoogd dat verzekeringsmaatschappijen niet direct betrokken waren bij de studie, daarmee implicerend dat er in feite geen belangenconflict bestond. Dit is eveneens een drogreden, steunend op een extreem ingeperkte interpretatie van waar een belangenconflict uit bestaat.
Schokkend genoeg keurde de ethische beoordelingscommissie van de PACE-studie de toestemmingsformulieren goed, zelfs zonder de bekendmakingen die duidelijk verordend waren door de Verklaring van Helsinki. The Lancet en Psychological Medicine zijn op het probleem gewezen maar hebben geen kennelijk probleem met deze schending van onderzoeksethiek. Niettegenstaande dergelijke morele stompzinnigheid, blijft het feit dat de PACE-onderzoekers een belofte deden om “mogelijke belangenconflicten” bekend te maken aan de studiedeelnemers, en slaagden er niet in dit na te komen. Zaak gesloten. In de afwezigheid van legitiemeinformed consent (geïnformeerde toestemming) zouden ze geen van de gegevens die zij verzamelden van hun 641 deelnemers, mogen gepubliceerd hebben.
Kan dit beschouwd worden als “verkeerde voorstelling van materiële belangen” binnen de context van de toepasbare definitie van wetenschappelijk wangedrag? Ik zal het overlaten aan anderen om dit te bepalen. De PACE-auteurs en hun cheerleaders – waaronder Sir Simon, Esther Crawley, hoofdredacteur van The Lancet Richard Horton en hoofdredacteurs van Psychological Medicine Robin Murray en Kenneth Kendler – zouden een dergelijke interpretatie zeker verwerpen.
Wat betreft de categorie van “verkeerde voorstelling van data,” citeert de MRC/RCUK-definitie de “onderdrukking van relevante bevindingen en/of data, of opzettelijk, roekeloos of door grove verwaarlozing een foutieve interpretatie van data presenteren.” Een van de meest opvallende problemen van de PACE-studie is natuurlijk het vreemde feit dat 13% van de deelnemers voldeed aan de uitkomstdrempel voor fysiek functioneren bij de start. (Een kleiner aantal, net iets meer dan een procent, voldeed aan de uitkomstdrempel voor vermoeidheid bij de start.) In de studie in de Lancet werd aan de deelnemers die voldeden aan deze zeer slechte uitkomstdrempels gerefereerd als “binnen normale waarden” zijnde voor deze indicatoren. In de paper in Psychological Medicine werd aan diezelfde deelnemers gerefereerd als zijnde “hersteld” op deze indicatoren.
Natuurlijk was het overduidelijk uit de papers zelf dat sommige deelnemers konden hebben voldaan aan deze drempels bij de start. Maar het aantal deelnemers dat in werkelijkheid voldeed aan deze drempels bij de start werd pas openbaar toen de informatie werd vrijgegeven overeenkomstig een verzoek volgens vrijheid-van-informatie. (Dit was een eerder verzoek om data dan hetgeen uiteindelijk leidde tot de vrijgave van alle ruwe data van de studie voor een aantal van de belangrijkste resultaten.)
De besluitvorming achter deze eerdere vrijgave blijft een mysterie voor mij, omdat de data duidelijk maken dat de studie onzin is. Terwijl de bizarre aard van de overlap in afkapwaarden voor toelating en resultaat al serieuze vragen opriep over de geloofwaardigheid van de studie, voegt het feit dat een significante minderheid van deelnemers in werkelijkheid voldeed aan zowel de drempelwaardes voor “invaliditeit” als voor “normale waarden”/”herstel” van fysiek functioneren bij de start, zeker belangrijke en kritieke informatie toe. Elke interpretatie van de studie, die werd gedaan zonder het voordeel van die belangrijke informatie, is per definitie onvolledig en ontoereikend.
Gezien het logisch onmogelijk is om bij de start te voldoen aan een drempelwaarde voor resultaat, is het onbegrijpelijk waarom de auteurs geen melding maakten van het feit dat zo veel deelnemers tegelijkertijd “geïnvalideerd” werden gevonden en “binnen normale waarden”/”hersteld” voor fysiek functioneren. Elke paper over borstkanker of multiple sclerose of welke andere ziekte dan ook die wordt erkend als een medische ziekte, zou zeker afgekeurd zijn als het een dergelijke anomalie zou laten zien.
Het PACE-team maakte deze fout nog erger door deze bevindingen te benadrukken als bewijs voor het succes van de studie. Op de persconferentie die de Lancet-paper promootte, bejubelde Trudie Chalder, een van de drie hoofdonderzoekers, deze resultaten voor “normale waarden” door te verklaren dat tweemaal zoveel mensen in de groepen CGT en GET als in de andere groepen “terug naar normaal waren” – zelfs ondanks dat sommige van deze “terug-naar-normaal”-deelnemers nog steeds gekwalificeerd waren als “geïnvalideerd” onder de toelatingscriteria voor de studie. Bovendien mochten de PACE-auteurs zelf een review voorafgaand aan de publicatie inkijken van een begeleidende commentaar in de Lancet over de PACE-studie door twee Nederlandse collega’s. Het commentaar argumenteerde dat de analyses van de “normale waarden” een “strikt criterium” voor herstel vertegenwoordigden en verklaarden dat 30 procent van de deelnemers had voldaan aan deze standaard voor herstel.
Toch is deze verklaring duidelijk absurd, gezien het feit dat deelnemers die aan dit “strikte criterium” voldeden, scores zouden kunnen hebben gehad die wezen op een slechtere gezondheid dan de scores die vereist waren om invaliditeit aan te tonen bij de start van de studie. De daaropvolgende krantenkoppen en nieuwsberichten benadrukten zowel de verklaring van Professor Chalder dat CGT en GET effectief waren in het “terug naar normaal” brengen van mensen en dat 30 procent “hersteld” was volgens een “strikte definitie.” Deze verkeerde informatie heeft sindsdien invloed gehad op behandelingsrichtlijnen over de hele wereld.
Ik heb eerder kritiek gegeven op de pogingen van de auteurs om deze kwestie goed te praten. Zij hebben in wezen verklaard dat het geen verschil maakt of sommige deelnemers “hersteld” waren op een drempelwaarde voor “herstel” bij de start omdat de studie ook andere criteria voor “herstel” bevatte. Bovendien maken zij duidelijk dat de analyses van “normale waarden” in The Lancet niet de belangrijkste bevindingen waren – in plaats daarvan, zo betoogden zij, was de vergelijking van gemiddelden tussen de groepen onderling, de gereviseerde primaire uitkomst van de studie, het uiteindelijke bewijs dat de behandelingen werken.
Sorry. Die excuses houden simpelweg geen stand. De insluiting van deze overlappende drempelwaardes voor toelating en resultaten, en het falen om in de papers zelf te melden of uit te leggen hoe iemand “binnen normale waarden” of “hersteld” kon zijn, terwijl deze tegelijkertijd ziek genoeg kon zijn om toegelaten te worden tot de studie, trekt de hele onderneming in twijfel. Een studie die een dergelijke onzinnige analyse bevatte had nooit door peerreview mogen komen en gepubliceerd worden, al helemaal niet in wetenschappelijke tijdschriften die worden verondersteld papers aan een strenge wetenschappelijke toetsing te onderwerpen. Dat The Lancet en Psychological Medicine de oproepen van internationale experts om het probleem aan te pakken, hebben afgewezen, is een schande.
Maar kan dit beschouwd worden als “verkeerde voorstelling van de data” binnen de context van de toepasbare definitie van wetenschappelijk wangedrag? Ik laat het opnieuw aan anderen over om die beslissing te nemen. Ik weet dat een aantal mensen – met name de krachtige groep PACE-supporters – dezelfde set feiten onderzocht heeft en weinig of geen bezorgdheid hebben uitgesproken over dit ongebruikelijke aspect van de studie.
[Dit gedeelte over de PLoS One-studie is gereviseerd en gecorrigeerd. Aan het eind van deze post heb ik de veranderingen uitgelegd. Voor volledige transparantie heb ik ook de originele paragrafen opnieuw gepost voor een ieder die de veranderingen wil volgen.]
Laten we ons nu richten op de PLoS One -paper die in 2012 werd gepubliceerd, en die het onderwerp is geweest van veel discussie over toegang tot data. En toch is die discussie een afleidingsmanoeuvre. We hebben de data niet nodig om te bepalen dat de paper een klaarblijkelijk valse verklaring bevatte die de onderzoekers in staat stelde om te beweren dat CGT en GET de meest “kostenefficiënte” behandelingen zijn vanuit een maatschappelijk perspectief – een concept dat andere kosten verrekent met directe kosten voor gezondheidszorg.
PLoS One is, evenals de andere wetenschappelijke tijdschriften, er niet in geslaagd om deze zorgen aan te pakken. (Het tijdschrift postte onlangs een “uitdrukking van bezorgdheid” met betrekking tot de weigering van de auteurs om de data van de studie te delen overeenkomstig het beleid van het wetenschappelijk tijdschrift.)
Het statistisch analyseplan van PACE bevatte drie aparte aannames voor de manier van kostenmeting van wat zij “informele zorg” noemden – de zorg die werd geleverd door familie en vrienden – in het beoordelen van kostenefficiëntie uit een maatschappelijk perspectief. De onderzoekers beloofden de data te analyseren op basis van een inschatting van deze informele zorg op basis van: 1) de kost van een thuiszorgmedewerker, 2) het minimumloon, en 3) geen kosten. Het laatste is natuurlijk wat in de echte wereld gebeurt – families zorgen voor hun naasten zonder dat zij daar door iemand voor betaald worden.
In PLoS One presenteerde de belangrijkste analyse voor het beoordelen van informele zorg alleen de resultaten onder een vierde aanname die niet in het statistische analyseplan werd genoemd – het schatten van deze zorg op basis van het nationaal gemiddelde loon. De paper legde de redenen voor deze omslag niet uit. Onder deze nieuwe aanname, zo rapporteerden de auteurs, bewezen CGT en GET kostenefficiënter te zijn dan de andere twee behandelingsgroepen in PACE. De paper voegde niet de resultaten toe op basis van de drie manieren om informele zorg te meten, die werden beloofd in het statistische analyseplan. Maar de auteurs merkten op dat gevoeligheidsanalyses gebruikmakend van alternatieve benaderingen “geen substantieel verschil maakten met de resultaten” en dat de bevindingen “robuust” waren onder andere aannames voor informele zorg.
Gevoeligheidsanalyses zijn statistische testen die gebruikt worden om te bepalen of, en in welke mate, verschillende aannames leiden tot veranderingen in resultaten. De “alternatieve benaderingen” die in de studie worden genoemd als opgenomen in de gevoeligheidsanalyses, waren de eerste twee benaderingen die in het statistische analyseplan werden geciteerd – het berekenen van de waarde van informele zorg volgens de kosten van een thuiszorgmedewerker en volgens het minimumloon. De paper legde niet uit waarom het met geen woord meer repte over de derde beloofde methode, de waardering van informele zorg,– de aanname van nul kosten.
In de commentaren maakte een patiënt-onderzoeker, Simon McGrath, duidelijk dat deze bewering van “robuuste” resultaten onder andere aannames met geen mogelijkheid accuraat kon zijn, aangezien dat het minimumloon veel lager was dan het gemiddelde nationale loon en daarom de resultaten en de gevoeligheidsanalyses zou veranderen. In reactie daarop, gaf Paul McCrone, de expert in gezondheidseconomie van King’s College Londen die hoofdauteur van de studie was, dit punt toe.
“Het klopt inderdaad dat het waarderen van informele zorg aan een lager tarief de besparingen nogal substantieel reduceert en dat dit zelfs zou kunnen resulteren in hogere maatschappelijke kosten voor CGT en GET,” schreef Professor McCrone. Tot zover de claim van de paper dat gevoeligheidsanalyses lieten zien dat alternatieve aannames “geen substantieel verschil maakten in de resultaten” en “robuust” waren ongeacht hoe informele zorg werd gewaardeerd.
Verrassend genoeg, gezien deze erkenning, verklaarde Professor Mc Crone niet waarom de paper een tegenstrijdige verklaring bevatte over de gevoeligheidsanalyses onder alternatieve aannames. Noch bood hij aan om de paper te corrigeren om deze herziene interpretatie die hij in zijn commentaren presenteerde, mee op te nemen. In plaats daarvan presenteerde hij een nieuwe redenering voor het benadrukken van de resultaten op basis van zijn aanname dat onbetaalde informele zorg werd geschat op het gemiddelde nationale loon, in plaats van het gebruiken van de andere aannames die in het protocol werden opgesomd.
“Naar onze mening heeft de tijd die wordt besteed door families die zorgen voor mensen met ME/cvs, een werkelijke waarde, en dus is het controversieel om er een waarde van nul aan toe te kennen,” schreef Professor Mc Crone. “Net als om aan te nemen dat het slechts de waarde heeft van het minimumloon is ook erg beperkend. In andere studies hebben wij informele zorg berekend volgens het hoge tarief van een thuiszorgmedewerker. Als we dit doen, dan zou dit toegenomen besparingen laten zien die aangetoond werden voor [sic] voor CGT en GET.”
Deze bezorgdheid om de families van patiënten is zeker pakkend en, in algemene zin, prijzenswaardig. Maar het moet duidelijk zijn dat wat zij in eerdere studies deden, irrelevant is voor PACE, aangezien dat zij de aannames hadden toegevoegd die zij van plan waren te gebruiken in hun statistische analyseplan. Bovendien verklaart het niet waarom Professor Mc Crone en zijn collega’s toen besloten om een klaarblijkelijk valse verklaring af te leggen over de gevoeligheidsanalyses in de paper.
Een andere patiënt-onderzoeker, Tom Kindlon, wees er in een vervolgcommentaar op dat de onderzoekers zelf de alternatieve aannames kozen, die zij nu van de hand wezen als oneerlijk tegenover zorgverleners. “Als het nu ‘controversieel’ is om informele zorg te waarderen op een waarde nul, was het even ‘controversieel’ toen zij besloten voordat zij naar de data gekeken hadden, om de data op deze manier te analyseren,” schreef Kindlon. “Het heeft niet zoveel zin om een statistisch plan te publiceren als ongemakkelijke resultaten niet worden gerapporteerd en/of de bevindingen voor hen verkeerd worden voorgesteld.”
Wat hun redenen ook mogen zijn, vertegenwoordigt de toevoeging van de PACE-onderzoekers in de paper van de klaarblijkelijk valse verklaring over de gevoeligheidsanalyses een ernstige overtreding van professionele ethiek en beoordelingsvermogen. Evenals de onwilligheid om de paper zelf te corrigeren, gezien de uitwisselingen in de commentaren. Kan dit beschouwd worden als “verkeerde voorstelling van data” binnen de context van de MRC/RCUK-definitie van wetenschappelijk wangedrag?
Zoals ik al zei, laat ik het over aan anderen om dat te bepalen. Ik kijk uit naar de dag wanneer een internationale groep experts uiteindelijk een grondig onderzoek uitvoert naar hoe en waarom alles zo verschrikkelijk verkeerd ging met deze zeer invloedrijke studie van 5 miljoen pond.
Een postscriptum: ik zocht geen contact met de PACE-auteurs voordat ik deze blog postte. Nadat mijn aanvankelijke serie in oktober 2015 werd gepubliceerd, postte Virology Blog hun volledige antwoord op mijn bezorgdheden. Sindsdien heb ik herhaaldelijk geprobeerd om te vragen om hun commentaren voor volgende blogposts, en zij hebben herhaaldelijk geweigerd te reageren. Ik zag er het nut niet van in om die oefening deze keer te herhalen. Ik heb ook niet geprobeerd een reactie te vragen aan Professor McCrone, omdat hij niet gereageerd heeft op meerdere eerdere verzoeken die vroegen om een verklaring waarom de PLoS One-paper de klaarblijkelijk valse verklaring bevat over de gevoeligheidsanalyses.
Ik zou echter graag op Virology Blog een reactie van om het even welke lengte van elk van de onderzoekers willen plaatsen, als zij zouden beslissen om er mij een te sturen. Ik zou uiteraard ook elke gedocumenteerde feitelijke fout corrigeren in wat ik heb geschreven, hetgeen iets is dat ik mijn gehele journalistieke carrière heb gedaan wanneer nodig. (25 juni 2017: Natuurlijk heb ik intussen dergelijke correcties gemaakt, geheel volgens mijn professionele verplichtingen.)
**********
Volgende post: De verschrikkelijke nieuwe GET-studie van de Lancet.
**********
* Verklaring voor de wijzigingen: in de originele versie zou ik duidelijk hebben moeten maken dat mijn bedenkingen betrekking hebben op een analyse van wat de onderzoekers kostenefficiëntie noemden vanuit een maatschappelijk perspectief, dat niet alleen de directe kosten voor gezondheidszorg omvatte maar ook andere overwegingen, waaronder de informele kosten. Ik schreef ook foutief dat de paper alleen de resultaten presenteerde onder de aanname dat informele zorg werd gewaardeerd volgens de kosten van een thuiszorgmedewerker. In werkelijkheid was de hoofdanalyse van de paper gebaseerd op geen van de drie aannames die werden genoemd in het statistische analyseplan, maar op een vierde aanname gebaseerd op het nationale gemiddelde loon.
Daarnaast nam ik ten onrechte aan, op basis van het statistische analyseplan, dat de gevoeligheidsanalyses, die werden uitgevoerd om de invloed van verschillende benaderingen te onderzoeken, zowel de aannames van minimumloon als nul-kosten bevatten. In feite waren de gevoeligheidsanalyses die in de paper werden geciteerd, gericht op de aannames dat informele zorg werd gewaardeerd op de kosten van een thuiszorgmedewerker en het minimumloon. De aanname van nul-kosten die ook werd beloofd in dit protocol, werd helemaal niet opgenomen. Ik maak mijn excuses aan Professor McCrone en zijn collega’s voor de fouten en corrigeer deze graag.
Dit verandert echter het feit niet dat Professor McCrones achtereenvolgende commentaren de claim van det paper tegenspraken dat, volgens de gevoeligheidsanalyses, veranderingen in de manier waarop informele zorg werd gewaardeerd “geen substantieel verschil maken voor de resultaten” en dat de bevindingen “robuust” waren voor de alternatieve aannames. Deze klaarblijkelijk valse claim in de paper zelf moet nog steeds worden uitgelegd of gecorrigeerd. De paper verklaart ook niet waarom de onderzoekers de aanname van nul-kosten aan het gedetailleerde statistische plan toevoegden en vervolgens besloten om die volledig te laten vallen in de paper zelf.
**********
Hier is de originele versie van het gedeelte over de PLoS One -paper, voor iedereen die deze twee wil vergelijken en de veranderingen wil volgen:
Laten we ons nu richten op de PLoS One -paper die in 2012 werd gepubliceerd, die het onderwerp is geweest van veel discussie over toegang tot data. En toch is die discussie een afleidingsmanoeuvre – we hebben de data niet nodig om te bepalen dat de paper een klaarblijkelijk valse verklaring bevatte die de onderzoekers in staat stelde om te beweren dat CGT en GET de meest “kostenefficiënte” behandelingen zijn. PLoS One is, evenals de andere wetenschappelijke tijdschriften, er niet in geslaagd om deze zorgen aan te pakken, ondanks een open brief hierover die vorig jaar op Virology Blog gepost werd. (Het tijdschrift postte onlangs een “uitdrukking van bezorgdheid” met betrekking tot de weigering van de auteurs om de data van de studie te delen overeenkomstig het beleid van het wetenschappelijk tijdschrift.)
Het statistisch analyseplan van PACE bevatte drie aparte aannames voor de manier waarop de kosten van “informele zorg” gemeten moeten worden, nl. de zorg die wordt geleverd door familie en vrienden. De onderzoekers beloofden resultaten te verschaffen op basis van het berekenen van de waarde van deze informele zorg volgens: 1) een gemiddeld loon betaald aan thuiszorgmedewerkers; 2) het minimumloon; en 3) geen kosten. Het laatste is natuurlijk wat in de echte wereld gebeurt – families zorgen voor hun geliefden zonder dat zij daar door iemand voor betaald worden.
In PLoS One presenteerde de belangrijkste analyse alleen de resultaten onder de eerste aanname – de kostenberekening van deze zorg volgens het nationaal gemiddelde loon van een gezondheidswerker. Onder deze aanname, zo rapporteerden de auteurs, bewezen CGT en GET kostenefficiënter te zijn dan de andere twee behandelingsgroepen in PACE. De paper voegde niet de resultaten toe op basis van de andere twee manieren om “informele zorg” te meten, maar verklaarden dat “alternatieve benaderingen gebruikt werden in de gevoeligheidsanalyses en deze maakten geen substantieel verschil met de resultaten.” (Gevoeligheidsanalyses zijn statistische testen die gebruikt worden om te bepalen of, en in welke mate, verschillende aannames leiden tot veranderingen in resultaten.)
Toch spraken twee patiënt-onderzoekers deze verklaring tegen in de commentaren, en wezen erop dat de bewering dat alle drie de aannames in essentie dezelfde resultaten zouden opleveren, op geen enkele manier accuraat kon zijn. In reactie daarop, gaf Paul McCrone, de expert in gezondheidseconomie van King’s College Londen die hoofdauteur van de studie was, dit toe. Laat me dit herhalen: Professor McCrone was het erover eens dat de kostenbesparingen inderdaad lager zouden zijn onder de aanname van het minimumloon, en dat onder de derde aanname elk kostenvoordeel voor CGT en GET zou verdwijnen.
“Als een kleinere eenheidsprijs voor informele zorg gebruikt wordt, zoals het minimumloon, dan zou er een besparing zijn in informele kosten ten voordele van CGT en GET maar dit zou duidelijk minder zijn dan in het basisscenario dat in de paper gebruikt wordt,” schreef Professor McCrone. “Als een nulwaarde voor informele zorg gebruikt wordt, dan zijn de kosten volledig gebaseerd op gezondheids-/maatschappelijke zorg (die het hoogst waren voor CGT, GET en APT) en verloren werkgelegenheid die niet veel verschilde tussen de groepen.” Tot zover de bewering van de paper dat gevoeligheidsanalyses aantoonden dat alternatieve aannames “geen substantieel verschil maakten op de resultaten.”
Verrassend genoeg, gezien deze erkenning, verklaarde Professor Mc Crone niet waarom de paper een tegenstrijdige verklaring bevatte. Noch bood hij aan om de paper te corrigeren om te voldoen aan deze herziene interpretatie van de resultaten van de gevoeligheidsanalyses. In plaats daarvan presenteerde hij een nieuwe redenering voor het benadrukken van enkel de resultaten op basis van zijn aanname dat onbetaalde informele zorg vergoed werd volgens het gemiddelde loon van een zorgverlener.
“Naar onze mening heeft de tijd die wordt besteed door families die zorgen voor mensen met ME/cvs, een werkelijke waarde, en dus is het controversieel om er een waarde van nul aan toe te kennen,” schreef Professor Mc Crone. “Net als om aan te nemen dat het slechts de waarde heeft van het minimumloon is ook erg beperkend. In andere studies hebben wij informele zorg berekend volgens het hoge tarief van een thuiszorgmedewerker. Als we dit doen, dan zou dit toegenomen besparingen laten zien die aangetoond werden [sic] voor CGT en GET.”
Deze bezorgdheid om de families van patiënten is zeker pakkend en, in algemene zin, prijzenswaardig. Maar het moet duidelijk zijn dat wat zij in eerdere studies deden, irrelevant is voor PACE, aangezien dat zij de aannames hadden toegevoegd die zij van plan waren te gebruiken in hun statistische analyseplan. Bovendien verklaart het niet waarom Professor Mc Crone en zijn collega’s toen besloten om een klaarblijkelijk valse verklaring af te leggen over de gevoeligheidsanalyses in de paper.
Een van de commentatoren, patiënt-onderzoeker, Tom Kindlon uit Dublin, wees er in een vervolgcommentaar op dat de onderzoekers zelf de alternatieve aannames kozen, die zij nu van de hand wezen als oneerlijk tegenover zorgverleners. “Als het nu ‘controversieel’ is om informele zorg te waarderen op een waarde van nul , was het even ‘controversieel’ toen zij besloten voordat zij naar de data gekeken hadden, om de data op deze manier te analyseren,” schreef hij. “Het heeft niet zoveel zin om een statistisch plan te publiceren als ongemakkelijke resultaten niet worden gerapporteerd en/of de bevindingen voor hen verkeerd worden voorgesteld.”
Wat hun redenen ook mogen zijn, vertegenwoordigt de toevoeging van de PACE-onderzoekers in de paper van de klaarblijkelijk valse verklaring over de gevoeligheidsanalyses een ernstige overtreding van professionele ethiek en beoordelingsvermogen. Evenals de onwilligheid om de paper zelf te corrigeren, om Professor McCrones late bevestiging van de eigenlijke resultaten van de gevoeligheidsanalyses te weerspiegelen, in plaats van de onjuiste resultaten die in de paper gerapporteerd zijn. Kan dit beschouwd worden als “verkeerde voorstelling van data” binnen de context van de MRC/RCUK-definitie van wetenschappelijk wangedrag?
© David Tuller voor Virology Blog. Vertaling Meintje, redactie Zuiderzon en Abby, ME-gids.
Lees ook
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (1)
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (2)
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (3)
- Onderzoekers van de PACE-studie antwoorden David Tuller
- David Tuller reageert op de PACE-onderzoekers
- Petitie : Misleidende claims van PACE-studie moeten teruggetrokken worden
- Trial by error, vervolgd: heeft de PACE-studie echt een “strikt criterium” voor herstel toegepast?
- Trial by error, vervolg: Waarom is het “zusteronderzoek” van de PACE-studie “verdwenen” en vergeten?
- Overheid beveelt vrijgave van de gegevens van de PACE-studie
- Proffen schrijven open brief aan The Lancet en vragen herevaluatie van PACE-resultaten
- Open brief van Invest in ME over de PACE-studie aan de redacteur van The Lancet
- Trial by error, vervolgd: Het werk van het PACE-team voor verzekeringsmaatschappijen “houdt geen verband” met PACE. Echt waar?
- In het kielzog van het onderzoek van David Tuller, publiceren de PACE-onderzoekers een follow-upstudie
- ME Association: We betwisten het follow-uprapport van de PACE-studie
- Professor Jonathan Edwards: PACE-studie is “waardeloos”
- Oninterpreteerbaar: Fatale fouten in het PACE follow-uponderzoek van het chronisch vermoeidheidssyndroom
- Waarom de wetenschappelijke wereld het nodig heeft dat de PACE-gegevens worden vrijgegeven
- Reporter hekelt studie naar chronisch vermoeidheidssyndroom: ik stopte bij 14.000 woorden – genoeg was genoeg
- Een “moreel equivalent van oorlog” en de PACE-studie over chronisch vermoeidheidssyndroom
- Waarom ME-patiënten kritisch zijn over de PACE-studie
- Was onafhankelijke peerreview van de papers over de PACE-studie mogelijk?
- James Coyne over de “objectiviteit” van NHS Choices en het belachelijk maken van ME/CVS-patiënten
- Wat er voor nodig is voor Queen Mary om een verzoek om wetenschappelijke gegevens als “ergerlijk” te verklaren
- Update van mijn formeel verzoek voor het vrijgeven van de gegevens van de PACE-studie
- Formeel verzoek aan PLOS One om een Uitdrukking van Bezorgdheid uit te vaardigen voor de PACE-studie
- Waarom ik niet weet hoe PLOS zal reageren op de weigering van de auteurs om de data vrij te geven
- Antwoord van PLOS One op de bezorgdheid over de weigering van King’s College om de PACE-data te delen
- Proffen verzoeken om de gegevens van de PACE-studie
- King’s College London rekt tijd nog wat meer door weigering te herhalen om PACE-onderzoeksdata vrij te geven
- Herkennen wanneer het “beschermen van de privacy van patiënten” louter een excuus is voor het niet delen van de data
- Herzien van de economische analyse van de PACE-studie in PLoS One
- Een inkijk in de aanval op het delen van data
- Trial By Error, vervolgd: vragen voor Dr. White en zijn collega’s van de PACE-studie
- Niet-bekendgemaakte belangenconflicten in reviewprotocol van interventies voor medisch onverklaarde symptomen
- Trial by error, vervolgd: heeft de PACE-studie werkelijk bewezen dat graduele oefentherapie veilig is?
- Trial by error, vervolgd: meer nonsens van The Lancet Psychiatry
- We zijn tenminste niet ergerlijk
- Verdere inzichten in de oorlog tegen het delen van data
- Trial by error, vervolgd: een paar woorden over pesterijen
- Het heroverwegen van het beleid rond het onderzoek naar en de behandeling van ME/CVS
- Opnieuw een open brief aan de Lancet
- What About ME? Deel 1: ME-patiënten vragen patiëntenorganisaties kleur te bekennen t.a.v. PACE
- Ook België steunt in open brief de globale oproep om de PACE-data vrij te geven
- Lezing Dr. David Tuller en Prof. Frans Visser tijdens Nederlandse première Forgotten Plague
- Petitie met 12.000 handtekeningen aan The Lancet bezorgd om de PACE-studiedata vrij te geven
- Open brief Prof. Malcolm Hooper aan The Lancet
- Een half jaar gaat voorbij zonder de vrijgave van PACE-studiedata uit PLOS One
- PACE-Gate: de controverse over de grootste studie naar CGT en GET bij ME/cvs
- Proffen schrijven open brief aan PLoS One i.v.m. PACE-studie naar CGT/GET
- Correctie van PLoS verwijdert geanonimiseerde patiëntengegevens in studie naar CVS (& zet ze daarna terug)
- “Hun mond viel open van verbazing over de PACE-trial naar CGT en GET.”
- Rechtbank eist vrijgave van de gegevens van de PACE-studie naar CGT en GET voor ME/CVS
- Queen Mary University of London “bestudeert” de regelgeving om de PACE-data vrij te geven
- The Lancet struikelt opnieuw over de PACE-studie
- Trial by error, vervolgd: mijn vragen voor de hoofdredacteur van The Lancet, Richard Horton
- Vrijgave data PACE-team volgens originele protocol
- Verklaring QMUL: bekendmaking van de data van de PACE-studie onder de Wet op de Vrijheid van Informatie
- Persbericht. De vrijgave van de PACE-data is een fundamentele overwinning voor mensen met ME/cvs
- Stop studies naar graduele oefentherapie voor ME/CVS
- Prof. Van der Meer waarschuwt voor delen van data met “je vijanden”
- Geen “herstel” in de PACE-studie, blijkt uit nieuwe analyse
- Slechte wetenschap heeft miljoenen ME/cvs-patiënten misleid. Hier leest u hoe we terugvochten.
- Belangrijkste punten uit de analyse van de ruwe data voor “herstel” van de PACE-studie
- Bewijs voor aanbevolen behandelingen voor ME en CVS houdt geen stand
- Trial by error, vervolgd: de echte data van de PACE-studie
- Erger dan de ziekte
- De PACE-studie: waar “herstel” niet betekent dat je terug gezond bent
- Hoe de brief van Alem Matthees het mysterie van ME/cvs hielp oplossen
- Een open brief aan Psychological Medicine over “herstel” en de PACE-trial (Update)
- Opnieuw een open brief aan Psychological Medicine!
- De bal misslaan bij ME/cvs
- Trial by error, vervolgd: de nieuwe FITNET-studie voor kinderen
- Trial by error, vervolgd: een vervolgpost over FITNET-NHS
- Trial by error, vervolgd: de Nederlandse studies (opnieuw!), en een Esther Crawley-bonus
- Trial by error, vervolgd: mijn lasterlijk bloggen op Virology Blog
- Trial by error, vervolgd: een open brief aan het bestuur van het CFS/ME Research Collaborative (CMRC)
- Trial by error, vervolgd: CFS/ME Research Collaborative aan Virology Blog: “Rot op!”
- Trial by error, vervolgd: Het CMRC bevestigt volledige steun aan Lasterlijke Esther
- Trial by error, vervolgd: ME Research UK stapt uit het CFS/ME Research Collaborative
- Trial by error, vervolgd: mijn “scheur-het-aan-flarden”-toespraak bij Invest in ME
- David Tuller zamelt geld in voor Virology Blogs Trial by error: verslaggeving over PACE, ME/cvs en verwante onderwerpen
- Crowdfundingcampagne David Tuller in teken van ME: nog twee weken te gaan…
- David Tuller komt op voor ME: de laatste tien dagen van de campagne…
