Home » Nieuwsartikels » David Tuller » Trial By Error: FITNET-NHS vindt niet genoeg deelnemers

Trial By Error: FITNET-NHS vindt niet genoeg deelnemers

Geplaatst door admin
op 08/10/2020

Laatste bijwerking op 08/10/2020

Bron:

| 9905 x gelezen

David Tuller, DrPH, Virology Blog, 18 augustus 2020

Professor Esther Crawley, de pediater met een methodologische en ethische beperking en befaamd onderzoeker van Bristol University, heeft een tussentijdse analyse gepubliceerd van FITNET-NHS, haar studie over online cognitieve gedragstherapie voor adolescenten die lijden aan wat zij CVS/ME noemt. Arme professor Crawley! Ondanks haar ambitieuze doelstelling om maar liefst 734 deelnemers in te schrijven, viel de eerste rekrutering dik tegen. Dus nu gaat ze voor een kleinschalige, ingekrompen versie. MINI-FITNET-NHS, misschien?

De tussentijdse analyse – Rekrutering van adolescenten met Chronisch Vermoeidheidssyndroom / Myalgische Encefalomyelitis voor online therapie: interne pilootstudie binnen een gerandomiseerde gecontroleerde studie – werd vorige week gepubliceerd in het Journal of Medical Internet Research. Zoals het rapport duidelijk maakt, had Professor Crawley veel te hoog gemikt. Zij en haar team slaagden er niet in om het doel te bereiken dat ze in hun testprotocol vooropgesteld hadden en dat de basis vormde voor hun goedkeuring en financiering.

De onderzoekers voorspelden dat FITNET-NHS in de eerste 12 maanden van de rekrutering 286 transregionale doorverwijzingen zou ontvangen, en dat 156 patiënten, oftewel 55%, zich uiteindelijk zouden inschrijven. (Ik vind de betreffende zin erg verwarrend, maar ik denk dat ik het ongeveer goed heb uitgelegd. Dit is de zin in kwestie: “Voordat de studie gelanceerd werd, stond de rekruteringsprognose geschat op 286 transregionale doorverwijzingen tegen het einde van de eerste 12 maanden, met de verwachting dat 19,9% (57/286) hiervan niet in aanmerking zou komen en dat 67,8% (194/286) van de mogelijk in aanmerking komende doorverwijzingen gerekruteerd zou worden, wat zou neerkomen op 156 gerekruteerde deelnemers.”)

In plaats daarvan ontving de studie voor het jaar dat begint in november 2016, 193 van dergelijke doorverwijzingen, waarvan slechts 89, of 46%, zich inschreef. Van de ingeschrevenen hebben er slechts 76 gegevens op zes maanden verstrekt. Dit dramatische tekort aan gegevens slaat de vooropgestelde analyses aan diggelen.

Het nieuwe document kwam er na de publicatie van een aanpassing aan het FITNET-NHS-protocol in december vorig jaar. In de aanpassing werd uitgelegd dat de rekruteringssituatie teleurstellend was en er werd een verkleind voorstel gepresenteerd met herberekende cijfers. Als de onderzoekers 314 deelnemers zouden kunnen rekruteren – een doelstelling die ze haalbaar achtten op basis van de ervaring tot dan toe – zou de analyse nog steeds statistisch significante, zij het afgezwakte bevindingen opleveren, aldus het aangepaste protocol.

De aanvankelijk voorgestelde steekproefomvang van 734 deelnemers zou volgens de aanpassing zorgen voor “97% kracht en 1% significantie om een verschil te detecteren van 0,35-SD” tussen de groepen op het gebied van de fysieke functie, wat de primaire uitkomst zou worden via de SF-36-vragenlijst. In plaats daarvan zou de herziene omvang leiden tot “90% kracht en 5% significantie om een 0,4-SD verschil te detecteren”.

Een verwante vraag gaat over het aantal deelnemers dat nodig is om een subgroepanalyse te doen van patiënten met comorbiditeiten. De oorspronkelijke steekproefgrootte zou geleid hebben tot “80% kracht om een 0,4-SD verschil met 5% significantie te detecteren” tussen behandelingsgroepen binnen deze subgroep. De herziene versie zou geleid hebben tot “53% kracht en 5% significantie om een 0,4-SD verschil te detecteren”.

Overheidsfinancierders hebben ongeveer een miljoen pond toegezegd voor FITNET-NHS. Ondanks de verminderde kwaliteit en precisie van de analyses die zullen worden uitgevoerd, lijkt het niet waarschijnlijk dat de Britse belastingbetaler enige vorm van terugbetaling zal ontvangen voor het bedrag dat in deze enorme misstap werd geïnvesteerd.

********

Wat was er mis met FITNET-NHS?

Wat ging er mis?

Toen ik vier jaar geleden voor het eerst over FITNET-NHS schreef, heb ik het protocol bestudeerd en kwam ik tot de constatatie dat het onderzoek zo goed als nutteloos was. Het was het laatste in een lange rij studies met open onderzoeksopzet die gebaseerd zijn op subjectieve resultaten – een onderzoeksontwerp met enorm veel risico op bias. Dat Professor Crawley besloot om geen stappentellers te gebruiken om te komen tot een objectieve beoordeling van verbeterde beweging en functie, is vanuit een wetenschappelijk perspectief onbegrijpelijk. Nu blijkt dat ze ook fout heeft ingeschat hoe enthousiast het publiek is over wat zij aanbiedt.

In de nieuwe studie merken professor Crawley en haar collega’s op dat een eerste golf van belangstelling, aangewakkerd door de berichten in de media, “ver boven de geprojecteerde cijfers” lag, maar na zes maanden weer afnam. Dit patroon van stijgende en dalende belangstelling kwam niet overeen met hun verwachting, nl. dat er eerst een vertraging zou zijn in de doorverwijzingen, maar dat die in de loop van de tijd weer zouden aantrekken. Maar het is onduidelijk hoe de onverwacht wisselende doorstroom een verklaring kan zijn voor de algemeen lage aanwervingsgraad over de volledige periode van 12 maanden. De onderzoekers lijken daarnaast ook de schuld te geven aan bureaucratische obstakels die de financiering van patiënten uit provincies onder het lokaal bestuur van Wales, Schotland en Noord-Ierland in de weg zouden staan.

Dit is wat ze schrijven:

“Projecties omvatten een eerste vertragingsfase die leidde tot 35 verwijzingen per maand. Nationale media-aandacht bij de lancering van de studie resulteerde in een golf van doorverwijzingen (ver boven de verwachte cijfers), die 6 maanden later afnam tot minder dan de helft van de vooropgestelde doorverwijzingen per maand. Dit zorgde voor een domino-effect in de rekrutering, die een vertraging van 6 maanden opliep.

Zoals vermeld, waren er financieringsproblemen die de toegang van patiënten uit Wales tot de studie verhinderden. Soortgelijke financieringskwesties bestonden ook in andere delen van het land onder lokaal bestuur (Schotland en Noord-Ierland). Door de afstand tot het centrum, waren deze landen niet geneigd om patiënten door te verwijzen voor routinematige (face-to-face) klinische behandeling bij de dienst, en vanwege problemen in de financieringsdoorstroming, konden de plannen niet doorgaan om de behandeling in deze regio’s te organiseren om zo meer deelnemers te kunnen rekruteren, wat het totale aantal potentiële doorverwijzingen verminderde.”

Ondanks deze rationaliseringen bewijzen de tegenvallende cijfers dat het publiek weinig vertrouwen heeft in de steeds terugkerende uitspraken van Professor Crawley over de effectiviteit van de FITNET-interventie. En toch concluderen zij en haar medeonderzoekers dat “het rekruteren van jongeren (en hun ouders of verzorgers) voor een RCT over online behandeling via methodes op afstand haalbaar en aanvaardbaar is”.

*****

Een grootse lancering voor FITNET-NHS

FITNET-NHS en het rekruteringsinitiatief van Professor Crawley kregen een groots lanceerplatform dat maar weinig studies krijgen – een persconferentie in het Britse Science Media Centre. Stephen Holgate, een prominente professor in de immunofarmacologie aan de Universiteit van Southampton en de voorzitter (toen en nu nog) van CFS/ME Research Collaborative, prees FITNET-NHS tijdens de persconferentie als “onderzoek van hoge kwaliteit”. Aangezien je het onderzoek maar even in detail moet bekijken om de zorgwekkende tekortkomingen ervan te zien, deden de opmerkingen van professor Holgate vermoeden dat hij zich had laten meeslepen in de hype en de heisa rond het onderzoeksproject.

Bij de voorstelling van de studie aan de pers verklaarde professor Crawley dat twee derde van de kinderen die de FITNET-interventie kregen, hersteld was. Deze beweringen waren gebaseerd op de opgekrikte rapportage over succescijfers van de Nederlandse FITNET-studie die als model had gediend; The Lancet publiceerde deze eerste resultaten in 2012. Professor Crawley vermeldde niet dat de Nederlandse onderzoekers een post-hoc definitie van “herstel” hadden gebruikt – het dus niet moeilijk geweest voor hen om losse criteria te selecteren die zouden zorgen voor een hoog percentage van zogenaamd “herstelde” deelnemers. Ze vermeldde niet dat de vermeende voordelen van de interventie onzichtbaar waren geworden bij de opvolging op lange termijn.

Professor Crawley vermeldde ook niet dat degenen die “herstel” bereikten in het Nederlandse onderzoek, geen betere fysieke functie vertoonden aan het eind van de proef, volgens de objectieve beoordeling van hun activiteit, gemeten via een stappenteller. Deze gegevens zijn niet opgenomen in het rapport van de studieresultaten, maar in een ander document jaren later. Nulresultaten op een objectieve maatstaf niet rapporteren, maar positieve resultaten voor subjectieve beoordelingen wél, is een schending van belangrijke wetenschappelijke normen en kan gezien worden als wetenschappelijk wangedrag. The Lancet had het Nederlandse onderzoek nooit mogen publiceren zonder erop aan te dringen dat de ontbrekende objectieve gegevens toegevoegd zouden worden.

Twee belangrijke Nederlandse onderzoekers, waarvan er één betrokken was bij de eerste FITNET-studie, werken ook samen met professor Crawley aan FITNET-NHS. Aangezien de metingen via de stappenteller niet gunstig uitpakten voor het Nederlandse team, hoeft het niet te verbazen dat professor Crawley ze voor haar studie helemaal heeft laten vallen. Waarom slecht nieuws riskeren door een objectieve meting, als die misschien aantrekkelijke subjectieve uitkomsten zou tegenspreken?

Toen professor Crawley FITNET-NHS voorstelde, nam de nieuwsmedia haar overmatig positieve beweringen over de online CGT-interventie klakkeloos over. In een online rapport verklaarde de BBC dat de interventie “twee derde van de kinderen met het chronisch vermoeidheidssyndroom met succes behandelt”. In een latere correctie merkte de nieuwsorganisatie op dat “dit verhaal is aangepast om te verduidelijken dat de therapie eerder een potentiële dan een definitieve hulp is voor kinderen.” De correctie vermeldde niet dat de BBC-verslaggever die schreef over het door het Science Media Centre gepromote nieuws, tegelijkertijd dienst deed als adviseur van het Science Media Centre.

Het feit dat FITNET-NHS er niet in slaagt om de rekruteringsdoelstellingen te halen, om welke reden dan ook, suggereert dat patiënten en hun familie wellicht sceptisch staan tegenover de beweringen van professor Crawley en haar manier van onderzoekvoering. Het is mogelijk dat sommigen onraad roken toen ze rond diezelfde tijd in een interview verklaarde dat de PACE-studie “echt een fantastisch goed” onderzoek was. Aangezien de flagrante gebreken van de PACE-studie op dat moment al goed bekend waren geworden bij de patiënten, zou het best kunnen dat Professor Crawleys totaal absurde lofzang haar integriteit en geloofwaardigheid in de ogen van sommige patiënten niet ten goede kwam.

Als de patiënten dit inderdaad zo aanvoelden, dan zijn hun bedenkingen wellicht bevestigd door de onderzoeksfouten die Professor Crawley recent nog maakte. Ik heb het dan onder meer over de 3,000 woorden tellende correctie van vorig jaar, bij een papier die door BMJ werd gepubliceerd hoewel Professor Crawley en haar collega’s zeer belangrijke wetenschappelijke basisprincipes hadden geschonden. Verder kreeg Professor Crawley ook de opdracht om de ethische verklaringen in elf andere papers te corrigeren, waarvan de helft in BMJ-bladen.

In ieder geval kregen Professor Crawley en haar FITNET-NHS-team, na bijstelling van hun cijfers en aanzienlijke afzwakking van de soliditeit van hun vooropgestelde resultaten, van de verschillende toezichtcommissies vol hoge piefen de goedkeuring om de studie op kleinere schaal uit te voeren. De rekrutering is ook verlengd tot oktober van dit jaar om ervoor te zorgen dat ze hun sterk verlaagde doelstelling bereiken. Aan het einde van hun protocolwijziging, probeerden ze nog een positieve draai te geven aan deze vernederende rekruteringsflop:

“Met onze herziene rekruteringsdoelstelling van 314 deelnemers is FITNET-NHS nog steeds de grootste pediatrische CVS/ME-behandelingsstudie in het Verenigd Koninkrijk en wereldwijd, waarvan de resultaten de toekomst van de aflevering van CVS/ME-behandeling bij kinderen zouden bepalen [sic].”

En als reactie daarop: 1) Een studie kan “de grootste” zijn en tegelijkertijd onzin zijn. 2) Professor Crawley en haar team hebben dit belangrijke studiedocument niet eens goed genoeg nagelezen om ervoor te zorgen dat het niet eindigt met een raar geconstrueerde zin. We kunnen ons afvragen wat de voorspelde impact van de studieresultaten zal zijn op ” de toekomst van de aflevering van CVS/ME-behandeling bij kinderen “. Het is geen goed teken dat dit soort slordigheid sinds december jl. door niemand van de betrokkenen bij de studie is opgemerkt of gecorrigeerd.