Home » Nieuwsartikels » David Tuller » Trial by error, vervolgd: een vervolgpost over FITNET-NHS

Trial by error, vervolgd: een vervolgpost over FITNET-NHS

Geplaatst door ME-Gids
op 15/05/2017

Laatste bijwerking op 15/05/2017

Bron:

| 17062 x gelezen

David Tuller, DrPH, Virology Blog, 28 november 2016

David Tuller is academisch coördinator van de gecombineerde masteropleiding volksgezondheid en journalistiek aan de Universiteit van Californië, Berkeley.

De post van vorige keer over FITNET-NHS en Esther Crawley heeft veel belangstelling gewekt. Ik denk dat mensen boos worden als onderzoekers slordig “bewijs” uit slecht ontworpen studies aanhalen om het opdringen van psychologische behandelingen aan kinderen met een fysiologische ziekte te rechtvaardigen. Ik wilde nog een aantal aanvullende feiten posten, die verband houden met het onderwerp.

Ik stuurde Dr. Crawley een link naar de post van afgelopen week en bood haar een kans om haar reactie naar Dr. Racaniello te sturen om op Virology Blog te posten, samen met mijn reactie op haar reactie. Tot nu toe hebben Dr. Racaniello en ik nog niets terug gehoord – ik betwijfel of dit zal gebeuren. Misschien voelt ze zich comfortabeler bij het verkeerd weergeven van feiten in studieprotocollen en radio-interviews, dan in het aanpakken van de legitieme zorgen die door patiënten geuit worden en haar confronteren met de methodologische fouten in haar studie. Ik hoop dat Dr. Crawley weet dat ze altijd een plaats heeft op Virology Blog om haar perspectief te presenteren, als ze ervoor zou kiezen om die mogelijkheid te benutten. (Esther, lees je dit?)

*****

Door het onderzoek van de CGT/GET/PACE-kliek te lezen, krijg ik de indruk dat ze allemaal de gewoonte hebben om elkaars werk te peerreviewen en te steunen. Ik maak die veronderstelling omdat het moeilijk is om je voor te stellen dat onafhankelijke wetenschappers die geen banden hebben met deze groep, alle overduidelijke problemen over het hoofd zouden zien, die hun studies besmetten – zoals uitkomstmetingen die een slechtere gezondheid vertegenwoordigen dan de toelatingscriteria, zoals bij de PACE-studie zelf. Dus is het niet verrassend om te ontdekken dat een van de drie hoofdonderzoekers van PACE, psychiater Michael Sharpe, in de commissie zat die Dr. Crawleys één miljoen pond kostende FITNET-NHS-studie beoordeelde – en goedkeurde.

FITNET-NHS wordt gefinancierd door het Britse National Institute for Health Research. Ik heb geen idee welke rol, als die er al was, Michael Sharpe heeft gespeeld in het doordrukken van de subsidie van Dr. Crawley, maar het deed waarschijnlijk geen pijn dat het FITNET-NHS-protocol PACE in gunstige zin aanhaalde, terwijl het er niet in slaagde om duidelijk te maken dat het afgewezen is als totaal ondeugdelijk door tientallen vooraanstaande wetenschappers en artsen. Natuurlijk slaagde het protocol er ook niet in om duidelijk te maken dat de heranalyses van de studiedata aangetoond hebben dat de bevindingen die door de PACE-auteurs werden gepubliceerd, veel beter waren dan de resultaten, waarbij gebruik werd gemaakt van de methodes die ze in hun protocol beloofden. (Meer over de heranalyses hieronder.) En zoals ik in mijn voorgaande post opmerkte, gaf het FITNET-NHS-protocol ook de NICE-richtlijnen voor chronisch vermoeidheidssyndroom verkeerd weer, en maakte van postexertionele malaise een optioneel symptoom in plaats van een vereist onderdeel – waardoor chronische vermoeidheid en chronisch vermoeidheidssyndroom met elkaar vermengd raakten, net zoals de PACE-auteurs deden door de veel te brede Oxford-criteria te gebruiken.

Het voorstel voor FITNET-NHS maakte ook geen melding van enkele overeenkomsten tussen PACE en de Nederlandse FITNET-studie waarop het is gebaseerd. Net zoals de PACE-studie baseerden de Nederlanders zich op een post-hocdefinitie van “herstel.” De drempels die de FITNET-onderzoekers selecteerden, nadat ze de resultaten zagen, waren nogal ruim, wat het zeker makkelijker maakte om te vinden dat de deelnemers “herstel” hadden bereikt. Ook net als in de PACE-studie, eindigden de Nederlandse deelnemers in de vergelijkingsgroep op dezelfde plaats als de interventiegroep bij de follow-up op lange termijn. Net zoals de CGT en GET bij PACE geen langdurige voordelen boden, was hetzelfde waar voor de online CGT die in FITNET werd gegeven.

En wederom net als bij PACE, bagatelliseerden de FITNET-onderzoekers deze lege bevindingen, in hun follow-uppaper. In een klinische studie worden de primaire resultaten verondersteld om vergelijkingen te zijn tussen de groepen. Echter in de artikelen van de follow-up van PACE en FITNET benadrukten beide teams de vergelijkingen binnen de groepen. Dat wil zeggen, ze behandelden het feit dat er geen langetermijnverschillen waren tussen de groepen als een bijzaak, en schepten er in plaats daarvan over op dat de interventiegroepen de vooruitgang die ze in eerste instantie hadden gemaakt, vasthielden. Dat zou een interessante subbevinding kunnen zijn, maar om de resultaten binnen de groep onderling te presenteren als de belangrijkste uitkomst van een studie, is erg oneerlijk.

*****

Als onderdeel van haar mediacampagne voor de lancering van FITNET-NHS werd Dr. Crawley geïnterviewd voor een radioprogramma voor de BBC door een collega, Dr. Phil Hammond. In dit interview deed ze een aantal uitspraken die een paar dingen aantonen: ofwel weet ze niet waarover ze praat en zijn haar verkeerde voorstellingen echte vergissingen, ofwel liegt ze. Dus ofwel is ze incompetent ofwel ontbreekt het haar aan integriteit. Geen geweldige keuze.

Laten we eens ontleden wat ze gezegd heeft over het feit dat bij de follow-up op lange termijn er geen duidelijke verschillen waren tussen de interventie- en de vergelijkingsgroepen in de Nederlandse FITNET-studie. Hier is haar commentaar:

“Oh, mensen hebben zich hier echt in vergist,” zei Dr. Crawley. “Dus, in de FITNET-studie werd hen FITNET aangeboden of gebruikelijke zorg gedurende zes maanden, en daarna, als ze geen herstel bereikten in de gebruikelijke zorg, werd hen FITNET opnieuw aangeboden, en ze werden daarna 2 tot 3 jaar gevolgd, dus wat er natuurlijk gebeurde, is dat veel van de kinderen die in de originele controlegroep zaten, daarna ook FITNET kregen, dus is het niet verrassend dat na 2 of 3 jaar de resultaten vergelijkbaar waren.”

Dit is simpelweg geen accurate beschrijving. Zoals Dr. Crawley zou moeten weten, kregen sommige van de FITNET-deelnemers in de vergelijkingsgroep die “gebruikelijke zorg” kregen daarna FITNET, en anderen niet. Beide sets van deelnemers aan gebruikelijke zorg – niet alleen degenen die FITNET kregen – haalden de originele FITNET-groep in. Dat Dr. Crawley suggereert dat de reden dat de anderen hen inhaalden was dat zij FITNET kregen, is, misschien, een ongelukkige vergissing. Of anders is het een bewuste onwaarheid.

*****

Een ander voorbeeld uit het BBC radio-interview: Dr. Crawleys onjuiste beschrijving van de twee heranalyses van de ruwe data uit de PACE-studie. Dit is wat ze zei:

“Ten eerste deden ze een heranalyse van herstel op basis van wat de auteurs in het begin zeiden dat ze zouden gaan doen, en die heranalyse, die door de auteurs is uitgevoerd, is volledig consistent met hun originele resultaten. [In werkelijkheid heeft Dr. Crawley het hier verkeerd; de PACE-auteurs deden een heranalyse van “verbetering,” en niet van “herstel”]… Daarna deden de mensen die de heranalyse hadden gedaan dit opnieuw, en maakten hierbij gebruik van een nieuwe definitie van herstel, die veel veel moeilijker te bereiken was – en de studie was gewoon niet groot genoeg om een verschil te laten zien, en ze lieten geen verschil zien. [Hier praat Dr. Crawley over de heranalyse die door patiënten en academische statistici werd gedaan.] Nu, weet je, je kunt kiezen hoe je herstel definieert, en dat is allemaal erg belangrijk onderzoek, maar de boodschap van de PACE-studie wordt niet betwist; de boodschap is dat als je beter wilt worden, je een veel grotere kans maakt om beter te worden als je specialistische behandeling krijgt.”

Deze verklaring is ernstig in tegenspraak met de feiten. Laten we het kort samenvatten: bij het rapporteren van hun bevindingen in The Lancet in 2011, presenteerden de PACE-auteurs de resultaten voor “verbetering” voor de twee primaire uitkomsten van vermoeidheid en fysiek functioneren. Ze rapporteerden dat ongeveer 60% van de deelnemers in de CGT- en GET-groepen de geselecteerde drempels behaalden voor “verbetering” op beide metingen. In een paper uit 2013 in het tijdschrift Psychological Medicine, presenteerden ze resultaten voor “herstel” op basis van een samengevoegde definitie voor “herstel”, die de twee primaire uitkomsten en twee aanvullende metingen omvatten. In deze paper rapporteerden ze “herstel”percentages voor de interventiegroepen van hun voorkeur van 22 procent.

Met behulp van de ruwe data waarvan de rechtbank eerder dit jaar geëist had dat deze gepubliceerd zouden worden, deden de PACE-auteurs zelf een nieuwe analyse van de bevindingen omtrent “verbetering” in The Lancet, op basis van hun eigen aanvankelijke, strengere definitie van “verbetering” in het protocol. In deze analyse rapporteerde de auteurs dat slechts ongeveer 20 procent “verbeterde” op beide metingen, waarbij gebruik gemaakt wordt van de methoden voor het bepalen van “verbetering” dat in het protocol beschreven werd. Met andere woorden, slechts driemaal zo weinig patiënten “verbeterden” volgens de eigen originele definitie van de auteurs, in vergelijking met de 60% die ze in The Lancet rapporteerden. Verder “verbeterde” in de heranalyse 10 % in de “vergelijkingsgroep, wat betekent dat CGT en GET tot “verbeteringen” leidden bij slechts één op de tien deelnemers – een vrij triest resultaat voor een studie van vijf miljoen Britse pond.

Echter, omdat deze magere bevindingen statistisch significant waren, hebben de PACE-auteurs en hun volgelingen deze, verbazingwekkend genoeg, opgevoerd als bevestiging van hun initiële claims. In werkelijkheid tonen de nieuwe bevindingen met betrekking tot “verbetering” aan, dat “voordelen” die door CGT en GET werden geboden, marginaal zijn. Het is belachelijk en beledigend om te verkondigen, zoals de PACE-auteurs en Dr. Crawley dat hebben gedaan, dat dit een bevestiging vertegenwoordigt van de resultaten die in The Lancet zijn gerapporteerd. Dr. Crawleys uitspraak dat “de boodschap van de PACE-studie niet wordt betwist” is natuurlijk onzin. De “boodschap” van PACE is ontmaskerd als lariekoek – en iedereen weet het.

De PACE-auteurs presenteerden niet hun eigen heranalyse van de bevindingen met betrekking tot “herstel” – mogelijk omdat bleek dat deze betekenisloos bleken te zijn, zoals werd aangetoond in een heranalyse van die data door patiënten en academische statistici, gepubliceerd op Virology Blog. Die heranalyse vond “herstel”percentages minder dan 10 procent voor alle groepen van de studie en geen statistisch significante verschillen tussen de groepen onderling. Dr. Crawley verklaarde in het radio-interview dat deze heranalyse gebruikmaakte van “een andere definitie van herstel, die veel moeilijker te bereiken was.” En ze erkende dat de heranalyse “geen verschil liet zien” – maar ze gaf het feit dat de PACE-studie niet groot genoeg was daarvan de schuld, zelfs ondanks dat dit de grootste studie ooit was naar behandelingen voor ME/cvs.

Deze redenering is bedrieglijk. Dr. Crawley negeert het centrale punt: De heranalyse van “herstel” was gebaseerd op de protocoldefinitie van “herstel” van de auteurs zelf, niet op willekeurige strenge criteria die door externe onruststokers die tegen de studie waren, waren gecreëerd. De PACE-auteurs zelf hadden een verplichting om de bevindingen die ze in hun protocol beloofden, te laten zien; per slot van rekening is dat de basis waarop ze financiering hebben ontvangen en ethische permissie om met de studie verder te gaan.

Het is zeker begrijpelijk waarom zij en Dr. Crawley de voorkeur geven aan de gemanipuleerde en valse data voor “herstel” die in Psychological Medicine gepubliceerd zijn. Maar post hoc besluiten om zwakkere uitkomstmetingen te gebruiken en dan weigeren om je originele resultaten te verstrekken is geen wetenschap. Dat is datamanipulatie. En als dit wisselen van uitkomsten met de intentie gedaan is om slechte resultaten te verbergen ten gunste van betere, wordt dit beschouwd als wetenschappelijk wangedrag.

*****

Ik wil ook een paar woorden zeggen over de promotiefolder van FITNET-NHS . De folder stelt dat de meeste patiënten “herstellen” met “specialistische behandeling” en minder dan tien procent “herstelt” door standaardzorg. Daarna kondigt de folder aan dat deze “specialistische behandeling” beschikbaar is door de studie – waarbij impliciet beloofd wordt dat de meesten van degenen die de therapie krijgen, zullen genezen.

Dit is problematisch voor tal van redenen. Zoals ik reeds in mijn vorige post heb uitgelegd, moeten claims dat de Nederlandse FITNET-studie, de basis voor de studie van Dr. Crawley, tot “herstel” leidde met grote voorzichtigheid en kanttekeningen worden gepresenteerd. In plaats daarvan presenteert de folder dit “herstel” als een onbetwist feit. Ook is het hele punt van deze klinische studies om te ontdekken of behandelingen werken – in dit geval, of de online CGT-aanpak effectief is, evenals kostenefficiënt. Maar de folder kondigt in wezen het resultaat– “herstel”- al aan voordat de studie zelfs maar is begonnen. Als Dr. Crawley er zo zeker van is dat deze behandeling effectief is in het leiden naar “herstel,” waarom doet zij dan de studie in de eerste plaats? En als ze er niet zeker van is wat de resultaten zullen zijn, waarom belooft ze dan “herstel”?

Ten slotte, zoals al herhaaldelijk is aangegeven, lijken de PACE-onderzoekers, Dr. Crawley en hun Nederlandse collega’s allemaal te geloven dat zij “herstel” kunnen claimen uitsluitend op basis van subjectieve metingen. Elke definitie van “herstel” zou vereisen dat de deelnemers fysiek kunnen presteren op hun niveau van voor de ziekte. Echter, de Nederlandse onderzoekers weigerden om die ene set data vrij te geven – hoeveel de deelnemers hebben bewogen, zoals werd bepaald door enkelmonitors, zogenaamde “actometers” – die zouden hebben bewezen dat de kinderen in FITNET “hersteld” waren op een objectieve meting van fysieke prestatie. De weigering om deze data te publiceren is tekenend, en laat ruimte voor slechts één interpretatie: De Nederlandse data toonden aan dat de deelnemers het niet beter deden dan vóór de studie, of misschien zelfs slechter, volgens deze meting van fysieke beweging.

Deze folder van FITNET-NHS zou moeten worden teruggetrokken vanwege zijn misleidende gezichtspunt, om de kansen op “herstel” in de studie van Dr. Crawley te promoten. Ik hoop dat de regelgevende instanties op het gebied van reclame in het Verenigd Koninkrijk deze folder bekijken en onderzoeken of deze de feiten accuraat weergeeft.

*****

Nu we het toch hebben over de Nederlandse leden van de ideologische stroming rond CGT/GET, laten we dan ook kort kijken naar een ander onderdeel van gebrekkig onderzoek van die groep. Net zoals de PACE-auteurs en Dr. Crawley hebben deze auteurs manieren gevonden om mensen met chronische vermoeidheid te vermengen met mensen met chronisch vermoeidheidssyndroom. Een goed voorbeeld hiervan is een studie uit 2001 , die in verschillende systematische reviews werd geciteerd als bewijs voor doeltreffendheid van CGT bij deze populatie patiënten. (Dr. Bleijenberg, een co-onderzoeker in de FITNET-NHS-studie, was ook een coauteur van deze studie.)

In deze studie uit 2001, gepubliceerd in The Lancet (natuurlijk!), beschreven de Nederlandse onderzoekers hun casusdefinitie voor het identificeren van deelnemers als volgt: “Patiënten kwamen in aanmerking voor de studie als ze voldeden aan de criteria van de Centers for Disease Control and Prevention in de Verenigde Staten, met uitzondering van het criterium dat vereist dat vier van de acht bijkomende symptomen aanwezig moet zijn.”

Deze uitspraak is incoherent. (Waarom blijf ik woorden gebruiken als “incoherent” en “absurd” als ik al dit onderzoek beschrijf?) De CDC-definitie heeft twee hoofdcomponenten: 1) zes maanden onverklaarde vermoeidheid, en 2) vier van de acht andere symptomen. Als je de tweede component laat vallen, kun je er niet langer naar verwijzen als voldoen aan de CDC-definitie. Alles wat je overhoudt is de eis dat deelnemers aan zes maanden vermoeidheid hebben geleden.

En dat is, natuurlijk, de casusdefinitie die bekend staat als de Oxford-criteria, ontwikkeld door PACE-onderzoeker Michael Sharpe in de jaren 1990. En zoals het baanbrekende rapport van vorig jaar [2015] van de National Institutes of Health in de VS suggereerde, is deze casusdefinitie zo breed dat het veel mensen met vermoeidheidsziekten oplepelt die niet de ziekte hebben die bekend is als ME/cvs. Volgens het NIH-rapport kunnen de Oxford-criteria “vooruitgang hinderen en schade veroorzaken,” en zouden daarom “teruggetrokken” moeten worden uit het gebruik. De reden is dat resultaten niet accuraat geëxtrapoleerd kunnen worden naar mensen met specifiek ME/cvs. Dit is met name het geval voor behandelingen zoals CGT en GET, die waarschijnlijk effectief zijn voor veel mensen die lijden aan andere vermoeidheidsziekten.

Kortom, om bevindingen van dergelijke studies aan te halen als bewijs voor behandelingen voor ME/cvs is onwetenschappelijk en compleet ongerechtvaardigd. De Nederlandse studie uit 2001 zou een uitstekende manier zijn om te kijken naar het gebruik van CGT voor chronische vermoeidheid*. Maar zoals FITNET-NHS is het geen legitieme studie naar mensen met chronisch vermoeidheidssyndroom en de Nederlandse Gezondheidsraad zou dit feit moeten erkennen in zijn huidige beschouwing van de ziekte.

*In de originele formulering refereerde ik ten onrechte aan de interventie als ‘online CGT.’