Home » Nieuwsartikels » David Tuller » Trial by error, vervolgd: De Nederlandse studies (opnieuw!), en een Esther Crawley-bonus

Trial by error, vervolgd: De Nederlandse studies (opnieuw!), en een Esther Crawley-bonus

Geplaatst door ME-Gids
op 23/05/2017

Laatste bijwerking op 23/05/2017

Bron:

David Tuller, Virology Blog

| 9838 x gelezen

David Tuller, Virology Blog, 2 december 2016

David Tuller is academisch coördinator van de gecombineerde masteropleiding volksgezondheid en journalistiek aan de Universiteit van Californië, Berkeley.

Wow, het onderzoek van de CGT/GET-schare in Nederland houdt nooit op te verbazen. Zoals bij het werk van hun vrienden in het Verenigd Koninkrijk, verschijnen bij iedere studie nieuwe manieren om ondeugdelijk te zijn. Het is bijna te gemakkelijk om gaten te prikken in die dingen. En toch lijken de onderzoekers niet in staat te zijn om zichzelf in bedwang te houden om extreem gunstige overinterpretaties van hun bevindingen te doen – interpretaties die geen weerstand kunnen bieden aan serieus en diepgaand onderzoek. De onderzoekers concluderen altijd, wat er ook gebeurt, dat cognitieve en/of gedragsmatige therapieën effectief zijn voor het behandelen van de ziekte die ze gewoonlijk chronisch vermoeidheidssyndroom noemen.

Dat deze zogenaamde wetenschap erin slaagt om door peerreview heen te komen, is verbazingwekkend. Dat wil zeggen, tenzij we aannemen dat de studies allemaal gepeerreviewed zijn door andere onderzoekers die de auteurs’ “niet-helpende gedachten” en “disfunctionele cognities” en de genezende krachten van cognitieve gedragstherapie en graduele oefentherapie bij ME/cvs delen.

Laten we een snelle blik werpen op nog een andere Nederlandse studie naar CGT voor adolescenten, een studie uit 2004, gepubliceerd in de BMJ. Deze biedt een prachtig voorbeeld van overinterpretatie. De kleine studie, met 71 deelnemers, had twee groepen. Eén groep ontving tien sessies van CGT gedurende 5 maanden. De andere ontving … een plaats op de wachtlijst voor behandeling. Dat klopt – ze kregen niets. En wat denk je? Degenen die iets kregen, deden het beter op de subjectieve metingen na 5 maanden dan degenen die niets kregen. De definitieve conclusie van de onderzoekers: CGT is een effectieve behandeling voor zieke tieners.

Ik bedoel, WTF? Het is niet moeilijk om uit te puzzelen, weet je, dat mensen enige vorm van behandeling aanbieden meer kans geeft om positieve antwoorden te genereren op subjectieve vragen, dan hen een plaats aanbieden op een wachtlijst. Dat banale inzicht moet meteen in het eerste hoofdstuk van Psychologisch Onderzoek voor Dummies komen. Presenteren deze onderzoekers zich niet als autoriteiten in menselijk gedrag? Hebben ze gehoord van zoiets als het placebo-effect?

Dit is wat de BMJ-studie heeft bewezen: tien sessies van iets leiden tot meer rapportages van voordelen op korte termijn dan geen sessies van wat dan ook. Maar tien sessies van wat? Misschien tien sessies van poker spelen of tien sessies van kijken naar herhalingen van Seinfeld terwijl je hand in hand zit met de therapeut en “The Girl From Ipanema” in kopstem zingt, zou dezelfde resultaten hebben opgeleverd. Wie zal het weten? Om botweg te verklaren dat hun bevindingen bewijzen dat CGT een effectieve behandeling is – zonder kanttekeningen of een waarschuwing van voorzichtigheid – is een enorme en onaanvaardbare interpretatieve sprong. De paper zou nooit gepubliceerd moeten zijn in deze vorm. Het is belachelijk om deze studie te gebruiken als een soort van solide “bewijs” voor CGT.

Maar vanuit het perspectief van de Nederlandse onderzoeksgroep, werkte deze wachtlijststrategie blijkbaar zo goed, dat ze die weer gebruikten voor een studie uit 2015 naar groeps-CGT voor chronisch vermoeidheidssyndroom. In deze studie werkte het aanbieden van CGT in groepen van vier of acht patiënten significant beter dan patiënten op een wachtlijst te plaatsen en hun absoluut niets bieden. Natuurlijk dacht niemand dat deze bevindingen betekenen dat CGT in groep specifiek een effectieve behandeling is – behalve zij.

Als ik dit lees, denk ik soms dat ik gek word. Moet ik me nu echt door elk van deze papers heen werken om te wijzen op fouten die een eerstejaarsstudent epidemiologie zouden kunnen herkennen?

Een groot probleem hier is hoe deze mensen de ene slechte studie bovenop de andere stapelen, om te bouwen aan wat een robuuste hoeveelheid onderzoek lijkt te zijn, maar, in feite, een kaartenhuis is. Als je de barsten in de fundamentele studies blootlegt, stort het hele gebouw in. Een voorbeeld: een Nederlandse studie uit 2007, die het effect van CGT onderzocht op “zelfgerapporteerde cognitieve beperkingen en prestaties op neuropsychologische testen.” Met behulp van de data van twee eerdere studies concludeerden de onderzoekers dat CGT zelfgerapporteerde cognitieve beperkingen verminderde, maar niet de prestatie op neuropsychologische testen verbeterde.

Op welke studies was deze studie uit 2007 gebaseerd? Wel, een van deze was de zeer problematische studie uit 2004 die ik net besproken heb – deze die CGT effectief vond wanneer deze werd vergeleken met niets. De andere was de studie uit 2001 in The Lancet, waar ik in mijn vorige post over schreef. Zoals ik schreef, claimde deze Lancet-studie dat ze de CDC-criteria voor chronisch vermoeidheidssyndroom gebruikten, maar zag toen af van de vereiste dat patiënten vier andere symptomen hebben naast vermoeidheid. Dus was het in werkelijkheid een studie naar een heterogene groep mensen, die aan tenminste zes maanden vermoeidheid lijden.

Deze casusdefinitie – zes maanden vermoeidheid, zonder de andere noodzakelijke symptomen – werd in de PACE-studie gebruikt en is bekend als de Oxford-criteria. Deze studie is in diskrediet gebracht omdat het heterogene populaties oplevert van mensen die lijden aan een scala aan vermoeidheidsziekten. De resultaten van de Oxford-criteria kunnen niet geëxtrapoleerd worden naar mensen met ME/cvs.

De studie uit 2007 vertrouwt op de juistheid en validiteit van de twee studies van welke het data bevat. Omdat die eerdere studies de basisbegrippen van wetenschappelijke analyse geweld aandoen, is de nieuwe studie ook bedrog en kan deze niet serieus genomen worden.

De PACE-auteurs zelf hebben deze strategie van het voortbrengen van nieuwe, slechte papers geperfectioneerd, door eerdere slechte papers op te stapelen. In november [2016] liet Trudie Chalder haar persoonlijke flair voor deze techniek zien als coauteur een systematische review van “aandachts- en interpretatieve bevooroordeeldheid (bias) met betrekking tot ziektegerelateerde informatie bij chronisch vermoeidheidssyndroom.” De conclusie van de auteur: “Cognitieve verwerkingsvooroordelen kunnen ziekteovertuigingen en symptomen in stand houden bij mensen met CVS.” De voorgestelde oplossing daarvoor zou uiteraard een aantal sessies van CGT zijn om die vervelende cognitieve verwerkingsvooroordelen te corrigeren.

Naast andere problemen voegden Dr. Chalder en haar coauteurs data toe van studies o.b.v. Oxford-criteria. Door aan de mix deze heterogene steekproeven toe te voegen van mensen die lijden aan chronische vermoeidheid, hebben Dr. Chalder en haar collega’s hun claim ongeldig gemaakt dat het een studie is van de ziekte die bekend staat als chronisch vermoeidheidssyndroom. Natuurlijk is Psychological Medicine, die dit juweeltje van nieuw onderzoek presenteerde, het tijdschrift dat de “herstel”-paper van PACE publiceerde – en consistent geweigerd heeft dit te corrigeren –, waarbij deelnemers slechter konden worden maar nog steeds konden voldoen aan drempels voor “herstel”.

De Nederlandse tak van de ideologische CGT/GET-brigade is gecentreerd in de Radboud Universiteit Nijmegen, de thuisbasis sinds vele jaren van twee van de kopstukken van de beweging: Dr. Gijs Bleijenberg en Dr. Hans Knoop. Dr. Knoop verhuisde recentelijk naar de Universiteit van Amsterdam en is momenteel een co-onderzoeker van FITNET-NHS samen met Esther Crawley. Dr. Bleijenberg had ter gelegenheid van zijn eigen pensionering een paar jaar geleden, dit te zeggen over zijn oude vriend en collega, PACE-onderzoeker Michael Sharpe: “Beste Mike, we kennen elkaar bijna 20 jaar. Je hebt mij erg geïnspireerd door de manier waarop je CVS behandelde. Heel erg bedankt!”

Inderdaad. Dr. Bleijenberg en zijn Nederlandse collega’s lijken erg veel te hebben geleerd van hun PACE-maatjes. Dr. Bleijenberg en Dr. Knoop toonden hun eigen handige taalgebruik in het commentaar uit 2011 in The Lancet, dat de publicatie van de eerste PACE-resultaten vergezelde. Ik besprak dit misleidende commentaar uitgebreid in een post afgelopen jaar [2015], dus zal ik de hele ellendige discussie niet opnieuw oprakelen. Maar de Nederlandse onderzoekers zelf zijn zich er wel van bewust dat hun claim dat dertig procent van de deelnemers van PACE voldeden aan een “strikt criterium” voor herstel absurd is.

Hoe weet ik dat Dr. Bleijenberg en Dr. Knoop dit weten? Omdat, zoals ik documenteerde in de post van afgelopen jaar, claims in het commentaar uit 2011 uitspraken tegenspreken en negeren die ze zelf hebben gedaan in een paper uit 2007 die deze vraag stelde: “Is een volledig herstel mogelijk na cognitieve gedragstherapie voor chronisch vermoeidheidssyndroom?” (Het antwoord was natuurlijk ja. Peter White, de hoofdonderzoeker van PACE, was coauteur van de paper uit 2007.) Daarnaast weten Dr. Bleijenberg en Dr. Knoop zeker dat het “strikte criterium” dat ze propagandeerden, drempels bevatte waaraan sommige deelnemers al aan het begin van de therapie hadden voldaan – toch hebben ze nog steeds geweigerd om deze uitspraak te corrigeren.

Gezien al deze studies ernstige methodologische problemen laten zien, zou de Nederlandse Gezondheidsraad die de wetenschap van ME/cvs beoordeelt, zeer, zeer behoedzaam moeten zijn om deze te gebruiken om aanbevelingen te formuleren. Het panel zou moeten inzien dat er binnen de komende paar maanden waarschijnlijk door peerreview beoordeelde analyses van de originele PACE-data gepubliceerd zullen worden. (Twee van dergelijke analyses – een door de PACE-auteurs zelf, en een door een onafhankelijke groep van patiënten en academische statistici – zijn al online gepubliceerd, zonder peerreview.) De aankomende papers zullen afdoende aantonen dat de “voordelen” die door het PACE-team zijn gerapporteerd, grotendeels of volledig denkbeeldig waren – en slechts werden verkregen door methodologische afwijkingen zoals dramatische en onacceptabele veranderingen in uitkomstmetingen.

In een een open brief aan The Lancet , die afgelopen februari [2016] werd gepubliceerd, veroordeelden tientallen wetenschappers en artsen de PACE-studie en de conclusies ervan in harde termen. In het Verenigd Koninkrijk haalde de Rechtbank van Eerste Aanleg de wereldwijde ontsteltenis aan over de flagrante fouten, terwijl het de uitvluchten van de PACE-auteurs voor het achterhouden van hun data met de grond gelijk maakte. De studies van de mensen van de Radboud Universiteit en hun landgenoten berusten allemaal op dezelfde stupide, onbewezen hypotheses van disfunctioneel denken, angst voor activiteit en deconditionering, en zijn net zo intellectueel onsamenhangend en oneerlijk.

Mocht de Gezondheidsraad een rapport produceren dat cognitieve en gedragsmatige behandelingen aanbeveelt, op basis van deze lachwekkende hoeveelheid “onderzoek,” dan zou de organisatie een internationale grap worden en enorme langetermijnreputatieschade lijden. Het hele PACE-paradigma wordt op een zeer openbare manier ontrafeld. Iedereen kan nu zien wat patiënten al jarenlang zien. Intussen komen biomedische onderzoekers in de VS, Noorwegen en elders steeds dichter op het spoor van de werkelijke pathofysiologie die ten grondslag ligt aan ME/cvs.

Het zou spijtig zijn om te zien dat de Nederlanders op hun schreden terugkeren om wetenschappelijke ongeletterdheid te omarmen en een “de-aarde-is-plat”-benadering aan te nemen ten opzichte van de realiteit.

*****

En laten we als speciale bonus nu nogmaals eens een snelle blik werpen op het werk van Dr. Crawley. Iemand e-mailde mij onlangs een foto van een posterpresentatie van Dr. Crawley en drie collega’s. Deze poster werd getoond op de openingsconferentie van de CFS/ME Research Collaborative, of CMRC, in het Verenigd Koninkrijk, gehouden in 2014. De poster was gebaseerd op informatie uit dezelfde set data die werd gebruikt voor de recente studie in Pediatrics van Dr. Crawley. Zoals ik twee posts geleden heb uitgelegd, claimde deze gebrekkige studie een verrassende prevalentie van 2% onder adolescenten – een cijfer dat wijdverbreide aandacht kreeg in de media.

Dr. Crawley heeft hoge prevalentieschattingen aangehaald om te pleiten voor meer onderzoek naar en behandeling met CGT en GET. En als deze percentages van de mate van voorkomen reëel waren, zou dat logisch zijn. Echter, zoals ik opmerkte, haar methode om de ziekte te identificeren was misleidend- zonder rechtvaardiging of uitleg besloot zij dat zij chronisch vermoeidheidssyndroom kon diagnosticeren door rapportages van ouders en kind over chronische vermoeidheid, en zonder informatie uit klinische onderzoeken. Nadat degenen die een hoge mate van depressie leken te hebben waren verwijderd, daalde In feite de prevalentie naar 0,6% – hoewel dit lagere cijfer niet is wat Dr. Crawley heeft benadrukt.

Ondanks de hoge prevalentie liet dezelfde set data echter zien dat adolescenten die aan de ziekte leden, over het algemeen beter werden zonder enige behandeling, volgens de posterpresentatie uit 2014. Hier is de conclusie van de poster: “Aanhoudende CVS/ME is zeldzaam bij tieners en de meeste tieners die niet worden gezien in een klinische setting, zullen spontaan herstellen.”

Is dat niet geweldig? Waarom heb ik deze hoopvolle data niet eerder gezien? Hoewel de poster voorafging aan de paper in Pediatrics dit jaar, bereikten de zeer hoge percentages van spontaan herstel die prevalentiestudie studie niet. Bovendien benadrukken het FITNET-NHS-protocol en de wervingsfolder de claim dat weinig adolescenten zullen herstellen na 6 maanden zonder “specialistische behandeling,” maar de meesten zullen herstellen als ze die krijgen. Niet genoemd is het zeer opvallende feit dat deze “specialistische behandeling” blijkbaar geen verschil maakt op de lange termijn.

In werkelijkheid leden de adolescenten die spontaan herstelden, zeer waarschijnlijk in de eerste plaats niet aan ME/cvs. Dr. Crawley heeft zeker geen voldoende bewijs geleverd dat de kinderen in de database die zij gebruikte het echt hadden, ondanks haar aandringen op het gebruik van de term. Zeer waarschijnlijk had een onbekend aantal van degenen die in de Pediatrics-paper en in de posterpresentatie werden geïdentificeerd als lijdend aan chronisch vermoeidheidssyndroom, wel ME/cvs. Maar velen of de meesten ervoeren dat wat alleen een periode van chronische vermoeidheid genoemd kan worden, door onbekende redenen.

Het is teleurstellend dat Dr. Crawley het spontane herstelpercentage niet toevoegde aan de paper in Pediatrics of in het FITNET-NHS-protocol. In feite zijn deze optimistische bevindingen nergens gepubliceerd, voor zover ik kan zien. Ik ken de beweegreden niet voor deze beslissing om substantiële informatie achter te houden in plaats van te publiceren. Misschien is de rekensom dat publieke rapporten met hoge percentages van spontaan herstel de argumenten zouden ondermijnen om steeds weer financiering te stoppen in het bestuderen van CGT en GET? Het is maar een gok natuurlijk.

(Esther, vergeef me als ik het verkeerd heb over of deze data ergens zijn gepubliceerd. Ik heb alleen de informatie gezien op jouw poster voor de CMRC-openingsconferentie in 2014. Als de data door peerreview zijn beoordeeld en gepubliceerd, neem ik mijn woorden terug op dat punt en juich jouw integriteit toe.)