Home » Nieuwsartikels » David Tuller » Trial by error, vervolgd: de echte data van de PACE-studie

Trial by error, vervolgd: de echte data van de PACE-studie

Geplaatst door ME-Gids
op 16/10/2016

Laatste bijwerking op 16/10/2016

Bron:

| 14622 x gelezen

David Tuller, DrPH, Virology Blog, 22 september 2016

David Tuller is academisch coördinator van de gecombineerde masteropleidingen volksgezondheid en journalistiek aan de Universiteit van Californië, Berkeley.

‘De PACE-trial is fraude.’ Als sinds Virology Blog mijn onderzoek van 14.000 woorden over de PACE-studie vorig jaar in oktober postte, heb ik die zin willen schrijven. (Ik moet erop wijzen dat Dr. Racaniello de PACE-trial reeds “bedrog” noemde, en ik heb er al naar verwezen als “hondenstront”. Ik ben er niet zeker van dat “fraude” erger is. Wat voor een woord je ook gebruikt, de studie stinkt.)

Laat me duidelijk zijn: ik bedoel niet “fraude” in de juridische zin – ik ben geen advocaat – maar in de zin dat het een misleidend en moreel verwerpelijk
stuk onderzoek is. De onderzoekers maakten dramatische veranderingen van de methodologie die ze in het protocol beschreven hebben, wat hen toeliet om
vermeende resultaten te rapporteren die veel, veel beter waren dan dat ze hadden kunnen claimen onder hun oorspronkelijk geplande methodes. Dan
rapporteerden ze alleen de beter ogende “resultaten”, zonder gevoeligheidsanalyses om de impact van de veranderingen te analyseren – de standaard
statistische benadering in dergelijke omstandigheden.

Dit is gewoon niet toegestaan in wetenschap. Het betekent dat de gerapporteerde voordelen voor cognitieve gedragstherapie en graduele oefentherapie
grotendeels een illusie waren – een artefact van de enorme verschuivingen in de evaluatie van de resultaten die de auteurs halverwege de studie
geïntroduceerd hebben. (Dat is dan nog naast al de andere gebreken, zoals het opsmukken van responsen met een nieuwsbrief te midden de studie die de
interventies van het onderzoek promoot, waardoor men verzaakt aan het verkrijgen van gelegitimeerde geïnformeerde toestemming van de patiënten etc.)

Dat PACE aan ernstige methodologische tekortkomingen leed, zou voor iedereen die de studies leest, duidelijk moeten zijn. Dat geldt ook voor de reviewers
voor The Lancet, die de PACE-resultaten voor “verbetering” in 2011 gepubliceerd hebben na wat hoofdredacteur Richard Horton “eindeloze rondes van
peerreview” genoemd heeft, en het tijdschrift Psychological Medicine, die de resultaten voor “herstel” in 2013 publiceerde. De tekortkomingen
zouden zeker duidelijk moeten zijn voor iedereen die de scherpe brieven las en de commentaren die patiënten regelmatig gepubliceerd hebben in antwoord op
de flagrante fouten die door het PACE-team begaan zijn. Toch weigerden de ganse Britse medische, academische en openbare gezondheidsinstellingen om te
erkennen wat recht voor hun neus stond, en het gemakkelijker vonden om in plaats daarvan de patiënten te brandmerken als onstabiel, anti-wetenschap, en
mogelijk gevaarlijk.

Dankzij de inspanningen van de ongelooflijke Alem Matthees, een patiënt uit Perth, Australië, heeft de Britse Rechtbank van Eerste Aanleg de vrijgave van
de data van de PACE-studie gelast die hij verzocht heeft via een Vrijheid-van-Informatie-aanvraag. (Het officieel document dat hij schreef voor de
hoorzitting in april, waarin de zaak tegen PACE tot in detail geschetst werd, was een meesterwerk.) In plaats van in beroep te gaan heeft Queen Mary
University of London, de thuisbasis van de hoofdonderzoeker van de PACE-studie, Peter White, de juiste beslissing gemaakt. Op vrijdag 9 september 2016
heeft de universiteit haar voornemen aangekondigd om de uitspraak van de rechtbank na te leven, en heeft het databestand aan Mr. Matthees gestuurd. De
universiteit heeft een kort tijdsbestek voor het de data publiek moet vrijgeven.

Ik gok dat QMUL het PACE-team gedwongen heeft door te weigeren om een beroep tegen de uitspraak van de rechtbank toe te staan. Ik twijfel of Dr. White en
zijn collega’s ooit vrijwillig de data overhandigd zouden hebben, zeker nu we de werkelijke resultaten gezien hebben. Misschien waren de administrators de
PACE-geintjes uiteindelijk beu, erkenden ze dat de studie het niet waard was te verdedigen, en begrepen ze dat blijven vechten verder de reputatie van QMUL
zou schaden. Het moet nu duidelijk zijn voor de universiteit dat hun eigen imagobelangen sterk verschillen van die van Dr. White en het PACE-team. Ik
voorspel dat de splitsing duidelijker zal worden als de reputatie en de geloofwaardigheid van de trial afbrokkelt; ik verwacht niet dat de woordvoerders
van QMUL het onaanvaardbaar gedrag van de PACE-onderzoekers zullen verdedigen.

In het weekend van half september hebben een aantal slimme, onderlegde patiënten Mr. Matthees geholpen om de pas beschikbare gemaakte data te analyseren,
in samenwerking met twee bekende academische statistici, Bruce Levin van Columbia en Philip Stark van Berkeley. Op 21 september publiceerde Virology Blog de bevindingen van de groep van de enkelcijferige, niet-statistisch
significante “herstel”percentages die de trial gerapporteerd zou kunnen hebben als de onderzoekers zich aan de methoden hadden gehouden die in het protocol
beschreven waren. Dat is een opmerkelijke daling van de originele paper in Psychological Medicine, die claimde dat 22 procent van deze in de
begunstigde interventiegroepen “herstel” bereikten, in vergelijking met zeven procent voor de groep zonder behandeling.

Nu is het duidelijk: de PACE-auteurs zelf zijn de anti-wetenschapgroepering. Ze martelden hun data en gingen sexyer resultaten produceren. Dan claimden ze
dat ze niet hun data konden delen omwille van vermeende zorgen over patiëntenvertrouwelijkheid en sociopathische anti-PACE burgerwachten. De rechtbank
heeft deze argumenten als ongegrond afgedaan, in vernietigende termen. (Er moet opgemerkt worden dat hun ethische bezwaren voor patiënten zich niet
uitstrekten tot het nakomen van een cruciale belofte die ze in hun protocol gedaan hebben – om potentiële deelnemers op de hoogte te brengen van “alle
mogelijke belangenconflicten” bij het verkrijgen van geïnformeerde toestemming. Gezien deze weglating hebben ze geen gelegitimeerde geïnformeerde
toestemming voor een van hun 641 deelnemers en daarom zouden ze helemaal geen toestemming mogen krijgen om welke van hun gegevens dan ook te publiceren.)

De dag voordat QMUL de gevangen gehouden data vrijgegeven heeft aan Mr. Matthees, hebben de PACE-auteurs zelf een preventieve heranalyse gepost van de
resultaten voor de twee primaire uitkomstmaten van fysiek functioneren en vermoeidheid, volgens de protocolmethodes. In de paper in The Lancet
hebben ze hun eigen definitie herzien van wat “verbetering” voorstelde en ze verzwakt. Met deze gereviseerde definitie konden ze in The Lancet
rapporteren dat ongeveer 60% van de groepen cognitieve gedragstherapie en graduele oefentherapie “verbeterden” naar een klinische significante mate voor
zowel vermoeidheid als fysiek functioneren.

De heranalyse die de PACE-auteurs begin september gepost hebben, streefden ernaar om het mooist mogelijke masker te zetten op de povere data die ze
verplicht werden vrij te geven. Maar patiënten die de nieuwe cijfers onderzochten, merkten al snel op dat onder de meer strikte definitie van “verbetering”
die in het protocol beschreven werd, slechts ongeveer 20 procent in de twee groepen “algehele verbeteraars” genoemd konden worden. Alleen door het
introduceren van een meer opgerekte definitie van “verbetering”, was het PACE-team – mogelijk gemaakt door de nalatigheid van The Lancet en een
kennelijk ongeschikt “eindeloos” reviewproces – in staat om het gerapporteerde succespercentage te verdrievoudigen..

Dus nu is het tijd om te vragen wat er met de papers gebeurt die al gepubliceerd zijn. De redacteurs hebben hun gevoelens duidelijk gemaakt. Ik heb
meerdere e-mails geschreven aan de hoofdredacteur van The Lancet, Richard Horton, sinds ik hem voor het eerst gecontacteerd heb over mijn
PACE-onderzoek, bijna een jaar voordat het uitkwam. Hij heeft nooit geantwoord tot 9 september, de dag dat QMUL de PACE-data vrijgegeven heeft. Gezien het
feit dat de PACE-auteurs hun eigen analyse aantoonde dat de nieuwe data significant minder indrukwekkende resultaten liet zien dan deze die in The Lancet gepubliceerd werden, heb ik Dr. Horton een korte e-mail gestuurd met de vraag wanneer we een soort addendum of correctie konden
verwachten voor de paper uit 2011. Hij antwoordde kort: “Mr. Tuller – we hebben geen dergelijke plannen.”

De redacteurs van Psychological Medicine zijn Kenneth Kendler van de Virginia Commonwealth University en Robin Murray van Kings College London (KCL). Nadat ik vorig jaar in december het
tijdschrift aanschreef en op de problemen wees, ontving ik het volgende van Dr. Murray, wiens thuisbasis KCL’s Departement van Studies over Psychoses is:
“Uiteraard is de beste manier om te bepalen of de bevindingen waar zijn of niet deze te proberen te repliceren. Ik zou u daarom willen aanmoedigen om een
poging tot replicatie van de studie aan te vatten. Dit zou de beste manier zijn voor u om bij te dragen aan het debat…Als u dit doet, dan zal Psychological Medicine zeer geïnteresseerd zijn in de bevindingen hetzij positief of negatief.”

Dit antwoord was ongepast. Ik vertelde Dr. Murray dat het “een schande” was, gezien het feit dat de paper zo’n duidelijke gebreken vertoonde. Deze week
schreef ik Dr. Murray en Dr. Kendler opnieuw met de vraag of zij van plan waren de problemen van de paper aan te pakken, gezien de heranalyse door Matthees
et al. Als antwoord suggereerde Dr. Murray dat ik een heranalyse instuur, op basis van de vrijgegeven data, en Psychological Medicine zou het
graag in overweging te nemen. “We zouden het natuurlijk uitzenden naar experts voor nauwkeurig wetenschappelijk onderzoek op dezelfde manier als we gedaan
hebben voor de originele paper”, schreef hij.

Ik legde uit dat het zijn verantwoordelijkheid was en die van het tijdschrift om de problemen aan te pakken, of er nu iemand een heranalyse instuurde of
niet. Ik merkte ook op dat ik niets kon verbeteren aan de heranalyse van Matthees, die de resultaten die gerapporteerd werden in de paper in Psychological Medicine volledig ontkrachtte. Ik drong er bij Dr. Murray op aan om ofwel Dr. Racaniello of Mr. Matthees te contacteren om te
bespreken om het te herpubliceren, als hij echt wilde bijdragen aan het debat. Tot slot merkte ik op dat de peerreviewers voor de originele paper een
studie goedgekeurd hadden waarin deelnemers tegelijkertijd geïnvalideerd en hersteld konden zijn, dus ik was niet zeker of het beoordelingsproces van het
tijdschrift vertrouwd kon worden.

(Trouwens, Kings College London, waar Dr. Murray zijn thuisbasis heeft, is ook de thuisbasis van PACE-onderzoeker Trudie Chalder evenals Simon Wessely, een
naaste collega van de PACE-auteurs en voorzitter van de Royal Society of Psychiatrist. Dat zou kunnen verklaren waarom Dr. Murray niet kon of wou erkennen
dat de “herstel”paper die zijn tijdschrift gepeerreviewed en gepubliceerd heeft, betekenisloos is.)

Eerder vandaag (22 september, n.v.d.r.)

hebben de PACE-auteurs een blog op de BMJ-website gepost, hun laatste inspanning om hun beschadigde reputatie te redden. Ze maken geen melding van hun enorme onderzoeksfouten en focussen alleen op hun
veronderstelde vrees dat vrijgeven van zelfs anonieme data toekomstige studiedeelnemers zal afschrikken. Ze hebben geen bewijs verstrekt om deze
ongefundeerde claim te ondersteunen, en de rechtbank heeft het volledig afgewezen. Ze stelden ook dat alleen onderzoekers die “vooraf gespecificeerde”
analyseplannen presenteren, studiedata zouden moeten kunnen verkrijgen. Dit is belachelijk, aangezien Dr. White en zijn collega’s hun eigen vooraf
gespecificeerde analyses hebben laten varen ten gunste van analyses waarvan ze veel later besloten dat ze ze beter vonden, lang nadat de studie gestart
was.

Ze bleven verder verwijzen naar hun gerapporteerde analyses, misleidend/bedrieglijk genoeg, als “vooraf gespecificeerd”, al waren deze methoden herzien in
het midden van de studie. Het volgende punt is al vele malen eerder gezegd, maar mag gerust herhaald worden: in een studie met open onderzoeksopzet zoals
PACE, zullen onderzoekers waarschijnlijk heel goed weten wat de uitkomstentrends zijn nog voordat ze feitelijke data beoordeeld hebben. Dus de claim van
het PACE-team dat de veranderingen die ze gedaan hebben “vooraf gespecificeerd” waren omdat ze gedaan werden voordat ze de uitkomstgegevens beoordeeld
hebben, is misleidend. Ik heb meerdere malen geprobeerd om hen over deze kwestie te bevragen, en heb nooit een antwoord ontvangen.

Dr. White, zijn collega’s, en hun verdedigers lijken nog niet te vatten dat de intellectuele constructie die ze uitgevonden hebben en waarin ze zijn gaan
geloven – het PACE-paradigma of de PACE-onderneming of de PACE-cultus, kies zelf maar – op instorten staat. Ze zijn het gewoon om te zeggen wat ze willen
over patiënten – Internetmisbruik! Messengezwaai! Doodsbedreigingen!! – en dat men hen gelooft. In antwoord op legitieme zorgen en vragen hebben zij hun
misbruik van het wetenschappelijk proces bedekt door non-antwoorden, uitvluchten en verkeerde voorstellingen te geven – het academische
publicatie-equivalent van “de hond at mijn huiswerk op”. Ongelooflijk, redacteurs van tijdschriften, gezondheidsambtenaren, journalisten en anderen hebben
deze non-antwoorden geaccepteerd als redelijk en voldoende. Ik niet.

Nu wordt hun werk eindelijk nauwkeurig onderzocht op de manier waarop het sowieso had moeten gebeuren door peerreviewers voordat dit schadelijke onderzoek
ooit gepubliceerd was geweest. De gevolgen zullen er niet om liegen. Op zijn minst hebben zij een groot plezier gedaan aan de academische wereld met hun
ramp van 8 miljoen dollar – de komende jaren zullen universiteitsstudenten in de VS, het VK en elders PACE ontleden als een klassiek voorbeeld van slecht
onderzoek en massaal bedrog.