Home » Nieuwsartikels » David Tuller » Trial by error: rekruteringsadvertentie voor FITNET-NHS maakt reclame voor “herstel”; mijn brief aan Red Whale/GP Update

Trial by error: rekruteringsadvertentie voor FITNET-NHS maakt reclame voor “herstel”; mijn brief aan Red Whale/GP Update

Geplaatst door ME-Gids
op 08/09/2018

Laatste bijwerking op 08/09/2018

Bron:

David Tuller, Virology Blog

| 7751 x gelezen

Tuller berichtte een tijdje geleden over FITNET-NHS, een Britse vervolgstudie van de Nederlandse FITNET-studie, over online CGT voor kinderen met ME. Intussen is gebleken dat FITNET-NHS kinderen probeert te rekruteren via een advertentie die op zijn minst misleidend te noemen is. Tuller zet de feiten voor ons op een rijtje, en schrijft het bedrijf aan dat de advertentie onder Britse huisartsen verspreidde.

Trial by error: rekruteringsadvertentie voor FITNET-NHS maakt reclame voor “herstel”

David Tuller, DrPH, Virology Blog, 20 augustus 2018

Een Brits bedrijf voor medische bijscholing verspreidde onlangs een rekruteringsadvertentie voor een prominente pediatrische studie over een behandeling voor wat het CVS/ME noemt. De kop van de rekruteringsadvertentie beschrijft de interventie die onderzocht zal worden als “doeltreffend”, zonder kanttekening of voorbehoud. (Volledige kop: “Chronisch vermoeidheidssyndroom (CVS/ME): doeltreffende thuisbehandeling voor tieners”)

Als onderbouwing voor deze bewering, stelt de rekruteringsadvertentie dat een vroegere Nederlandse studie van de behandeling “indrukwekkende” resultaten rapporteerde, waarbij 65% in die arm “herstel” bereikte, in vergelijking met slechts 8% onder de andere deelnemers. De advertentie verklaart dat deze resultaten jarenlang behouden bleven. [In feite rapporteerde de Nederlandse studie deze graad van “herstel” als 66%.]

Deze per e-mail verstuurde rekruteringsadvertentie gaat over FITNET-NHS, een studie van online CGT voor kinderen. Het Britse National Institute for Health Research, een afdeling van de National Health Service, financierde deze grote studie, die meer dan 700 kinderen wil rekruteren. De rekruteringsadvertentie was blijkbaar verzonden naar huisartsen – of tenminste toch naar één, die ze doorstuurde. Het bedrijf dat ze verzond, Red Whale, of wellicht Red Whale/GP Update, zegt dat jaarlijks 15.000 eerstelijnsartsen hun cursussen volgen. Dus misschien werd de advertentie wijd verspreid, misschien ook niet.

In ieder geval is de kans groot dat het taalgebruik in de rekruteringsadvertentie huisartsen ervan zal overtuigen dat hun patiënten een uitstekende kans op genezing hebben als ze toegewezen worden aan de behandelingsarm. En als de huisartsen doordrongen zijn van dat geloof, zullen de patiënten die ze rekruteren voor de studie, dat waarschijnlijk ook zijn. Maar als patiënten gerekruteerd worden via deze huisartsen en toegewezen worden aan de vergelijkingsarm van de studie, dan zullen ze waarschijnlijk niet zo’n hoge verwachtingen koesteren.

Zulke vooringenomen ideeën uitlokken of promoten onder prospectieve studiedeelnemers zou in andere omstandigheden misschien niet zo’n probleem zijn. Als dit bijvoorbeeld een dubbelblinde geneesmiddelenstudie was met biomarkers als de aangegeven uitkomstmaat, dan zou een gelijkaardige rekruteringsadvertentie geen invloed hebben op de vergelijking tussen de twee studiearmen. (Het zou waarschijnlijk wel van invloed zijn op de samenstelling van de volledige steekproef van de studie.) Maar FITNET-NHS is opgesteld op zo’n manier dat de kans op vooringenomenheid enorm groot is. Aangezien deelnemers en behandelaars natuurlijk sowieso weten aan welke behandeling ze zijn toegewezen, is dit een studie met open onderzoeksopzet. Ze valt ook terug op subjectieve uitkomsten.

Deze twee kenmerken combineren in één enkele studie kan zo veel vooringenomenheid veroorzaken dat de gerapporteerde bevindingen oninterpreteerbaar worden, en dat is waarom andere geneeskundige velden dit soort bewijs niet aanvaarden. Met zijn problematische open opzet en subjectieve uitkomstontwerp, had men FITNET-NHS waarschijnlijk beter niet goedgekeurd en gefinancierd. (Het is daarentegen wel mogelijk om rendabele data te verkrijgen uit een studie met open onderzoeksopzet en objectieve uitkomsten, of van geblindeerde studies met subjectieve uitkomsten.)

*****

Ondanks deze gebreken is de studie van start gegaan, dus het zou zinvol geweest zijn om het probleem niet nog groter te maken door nog meer vooringenomenheid te veroorzaken. En toch is het net dat wat de rekruteringsadvertentie doet, nog voordat deelnemers aan een behandeling zijn toegewezen. De advertentie lijkt niet enkel een ondubbelzinnige kans op “herstel” te beloven, het doet ook misleidende en overdreven beweringen over de Nederlandse studie, nog zo’n studie met open onderzoeksopzet en zelfgerapporteerde uitkomsten.

Waren de Nederlandse resultaten van “herstel” echt “indrukwekkend”, zoals beweerd wordt in de rekruteringsadvertentie voor FITNET-NHS? Niet als je rekening houdt met het feit dat de onderzoekers de definitie van “herstel” niet op voorhand hadden gespecificeerd. Die creëerden ze nadat ze de resultaten gezien hadden, dus dit waren post-hoc-bevindingen. Post-hoc-bevindingen wegen veel minder door dan voorafbepaalde bevindingen en het is ongepast om ze te citeren zonder te vermelden dat ze post hoc waren. En toch vermeldt de rekruteringsadvertentie dit belangrijke feit niet. [Een rekruteringsvideo over de website van FITNET-NHS bevat ook de bewering over “herstel”.]

De Nederlandse FITNET-onderzoekers zijn jarenlange medestanders van leden van het PACE-team. Maar zelfs twee van de PACE-auteurs lieten zich in een Lancetcommentaar sceptisch uit over deze cijfers van “herstel”. Ze merkten scherp op dat dit post-hoc-resultaten waren en dat “de criteria gebruikt om herstel te definiëren, niet strikt waren”. Als dat het geval is, waarom prees de rekruteringsadvertentie voor FITNET-NHS deze zelfde resultaten dan bij huisartsen aan als “indrukwekkend”?

En wat dan met de beweringen dat bevindingen van de Nederlandse online CGT-groep behouden werden bij opvolging op lange termijn? Op zich klopt dat. Maar de rekruteringsadvertentie maakt geen melding van het saillante detail dat andere studiedeelnemers dezelfde score hadden bij opvolging op lange termijn als diegenen die toegewezen waren aan de online CGT-arm. Met andere woorden, de behandeling gaf geen voordeel op lange termijn volgens de bevindingen van de studie. Een klinische studie is bedoeld om resultaten te meten tussen behandelingsgroepen. Bevindingen van binnen één groep uitlichten, in plaats van bevindingen tussen verschillende groepen, is een misleidende manier om klinische studieresultaten te rapporteren, of het nu in een gepeerreviewde paper is of in een rekruteringsadvertentie.

Ik besprak de problemen met FITNET-NHS en zijn Nederlandse voorloper in blogposts in het najaar van 2016 – hier en hier. (Ik bood het team van FITNET-NHS herhaaldelijk de kans om op Virology Blog uitgebreid te antwoorden op mijn kritiek, maar ik kreeg geen reactie. Mijn eerste post over FITNET-NHS werd echter tijdens een lezing publiekelijk aangehaald in een slide als voorbeeld van “lasterlijke blogs”. Mijn pogingen om een verklaring of een verontschuldiging te krijgen voor deze valse beschuldiging werden door de betreffende partijen genegeerd. Ik sta nog steeds open voor zo’n verklaring of verontschuldiging. Zoals ik herhaaldelijk duidelijk heb gemaakt, zou ik ook met plezier documentatie op Virology Blog posten die bewijst dat mijn kritiek op FITNET-NHS, of op andere studies, onjuist is.)

Dr Keith Geraghty on Twitter

@davidtuller1 blog listed under fake anti science slide – disgraceful

Van onderzoekers wordt verwacht dat ze redelijke alternatieve verklaringen voor hun bevindingen in overweging nemen. Buiten de vooringenomenheid in het ontwerp zelf van de Nederlandse FITNET-studie, is er een erg redelijke alternatieve verklaring voor waarom diegenen die online CGT kregen, wellicht verbetering hebben gemeld: deze patiënten konden thuisblijven in plaats van persoonlijke behandelingssessies te moeten bijwonen. Wellicht waren ze beter in staat om te pacen, waardoor ze hun energiedrempels minder overschreden, en ze dus minder terugvallen hadden. De Nederlandse onderzoekers namen deze vanzelfsprekende mogelijkheid niet in beschouwing. Soms zijn mensen zo gehecht aan hun eigen perspectief dat andere logische interpretaties niet eens in hen opkomen.

Nog een problematische kwestie is die lage graad van “herstel” van 8% bij diegenen die “gewone zorg” kregen. In de Nederlandse studie bestond “gewone zorg” meestal uit persoonlijke sessies CGT en GET. Net als hun Britse collega’s, hebben de Nederlandse onderzoekers deze twee therapieën lange tijd gepromoot als de behandeling bij uitstek, dus het is verbijsterend dat deelnemers die die behandeling kregen, het zo slecht deden. Aangezien de onderzoekers weinig details gaven over de kwantiteit of de kwaliteit van deze “gewone zorg”, kennen we de oorzaak hiervan niet. Maar de slechte resultaten doen vragen rijzen over de betrouwbaarheid en de geldigheid van de beweringen over doeltreffendheid van de behandeling in eerdere studies van leden van dezelfde onderzoeksgroep.

En wie is eigenlijk Red Whale/GP Update, en waarom geven zij onbetrouwbare en overroepen informatie aan dokters zodat die kwetsbare kinderen zouden rekruteren voor de klinische studie? Hun bezigheden lijken zich vooral toe te spitsen op cursussen die huisartsen updaten over de klinische praktijk. Dit is de bedrijfsomschrijving op hun website:

“Wij zijn een van de toonaangevende aanbieders van medische bijscholing voor eerstelijnsartsen in het VK – jaarlijks volgen ongeveer 15.000 eerstelijnsartsen onze cursussen. Wij zijn gespecialiseerd in cursussen die gebaseerd zijn op bewijs, erg relevant voor de dagelijkse praktijk en met tal van actiepunten waar deelnemers meteen mee aan de slag kunnen.” De firma verkondigt ook nog dat ze zelf niet gebonden is aan farmaceutische financiering.

Ik kan niks vinden op de website dat de rol van het bedrijf beschrijft in het verlenen van rekruteringsservices voor klinische studies, hoewel het feit dat ik het niet kan vinden, niet wil zeggen dat het er niet ergens staat. Maar deze rekruteringsadvertentie geeft een vals beeld van eerste bevindingen, waardoor waarschijnlijk een steekproef van vooringenomen studiedeelnemers wordt gegenereerd. Het ondermijnt de zelfvoldane beweringen van Red Whale/GP Update zelf, dat het materiaal dat ze voortbrengen “gebaseerd is op bewijs”. Misschien is Red Whale/GP Update zo gefocust op het vermijden van invloed van farmabedrijven, dat het blind is voor slechte wetenschap vanwege machtige niet-farmaceutische belanghebbenden, waaronder door overheden gefinancierde onderzoekers.

Trial by error: mijn brief aan Red Whale/GP Update

David Tuller, DrPH, Virology Blog, 22 augustus 2018

Eerder vandaag verstuurde ik volgende brief naar het e-mailadres dat ik vond op de website van Red Whale/GP Update, dat onlangs een rekruteringsadvertentie verspreidde voor FITNET-NHS. Op maandag [ cf. supra] had ik daarover geblogd. In CC zette ik de Health Research Authority, het agentschap dat onderzoeksethiek reguleert.

**********

Geachte Red Whale/GP Update,

Ik ben senior fellow volksgezondheid en journalistiek aan het Center for Global Public Health aan UC Berkeley, en mijn interesse gaat o.a. uit naar onderzoek over de ziekte die tegenwoordig ME/CVS (of vaak CVS/ME) wordt genoemd.

Uw organisatie verspreidde onlangs een rekruteringsadvertentie voor FITNET-NHS, een klinische studie van online CGT voor kinderen. De rekruteringsadvertentie promoot de behandeling als “doeltreffend” voor deze ziekte, zonder enige nuance. De rekruteringsadvertentie prees ook de hoge mate van “herstel” aan van de behandeling, gebaseerd op zogenaamde “indrukwekkende” resultaten van een eerdere Nederlandse studie.

Ik postte hier een blog over deze rekruteringsadvertentie:

Trial By Error: FITNET-NHS Rekruteringsadvertentie maakt reclame voor “herstel” [cf. supra]

De rekruteringsadvertentie bevat verschillende knelpunten. FITNET-NHS is een studie met open onderzoeksopzet met subjectieve uitkomsten. Dat is een studieontwerp dat de kans op vooringenomen antwoorden groot maakt. De rekruteringsadvertentie zou de vooringenomenheid in de toekomstige steekproef in de hand kunnen werken door bij de deelnemers een verwachting te scheppen over “herstel” door een zogenaamd “doeltreffende” behandeling. Een behandeling promoten alsof ze “doeltreffend” is en leidt tot “herstel”, is een onaanvaardbare rekruteringsstrategie voor een klinische studie over die behandeling. *[de laatste zin werd gecorrigeerd – zie opmerking aan het einde van deze post]

Bovendien is het onjuist om de resultaten van de Nederlandse studie “indrukwekkend” te noemen. De data over “herstel” waren gebaseerd op een post-hoc-definitie van “herstel”. Dat betekent dat de Nederlandse onderzoekers de definitie opstelden nadat ze hun resultaten gezien hadden. Het was waarschijnlijk niet erg moeilijk om een definitie te vervaardigen die de gewenste graad van “herstel” zou opleveren – en dat is waarom post-hoc-bevindingen redelijk weinig gewicht in de wetenschappelijk bewijsschaal leggen.

Post-hoc-bevindingen promoten als “indrukwekkend”, en daarbij het saillante detail weglaten dat het gaat om post-hoc-bevindingen, is ongepast en kan beschouwd worden als bedrog. Het is aan anderen om te bepalen of het ook voldoet aan de definitie van misleidende reclame.

De website van uw organisatie vermeldt nergens uw rekruteringsdiensten voor klinische studies. (Het is mogelijk dat ik een vermelding over het hoofd heb gezien.) Maar toch promoot de website uw cursussen voor huisartsen als “gebaseerd op bewijs”. Dat zijn niet de woorden die ik zou gebruiken om deze rekruteringsadvertentie te omschrijven.

Dit zijn enkele van mijn vragen:

*Hoe bent u gekomen tot het versturen van deze rekruteringsadvertentie?

*Waarom besefte niemand bij uw organisatie dat deze rekruteringsadvertentie vooringenomenheid zou kunnen veroorzaken onder toekomstige studiedeelnemers?

*Hoeveel huisartsen hebben deze rekruteringsadvertentie ontvangen?

*Hoeveel vraagt uw organisatie voor het verspreiden van dit soort rekruteringsadvertentie?

*Hoe hebt u de informatie in de rekruteringsadvertentie nagecheckt?

*Wie maakte de finale inschatting dat de beweringen klopten?

*Wat is de regeling tussen uw organisatie en de sponsors van dit soort rekruteringsadvertentie?

*Werd deze rekruteringsadvertentie goedgekeurd door het comité voor onderzoeksethiek dat toezicht heeft over de studie?

Ik post graag uw antwoorden op deze vragen op Virology Blog: http://www.virology.ws

Ik heb beambten van de Britse Health Research Authority in CC gezet in deze e-mail. De HRA houdt toezicht over onderzoeksethiek en is mogelijk geïnteresseerd in deze rekruteringsadvertentie, omdat ze wellicht vooringenomenheid creëert bij de toekomstige deelnemers, nog voor zij toegewezen zijn aan een behandeling.

Vriendelijke groet, David Tuller

David Tuller, DrPH

Senior Fellow Volksgezondheid en Journalistiek

Center for Global Public Health

School of Public Health

University of California, Berkeley

*****

*Ik schreef per ongeluk eerst “aanvaardbaar” in plaats van “onaanvaardbaar” en corrigeerde het kort nadat ik het gepost had. Ik stuurde ook een vervolgbericht aan Red Whale/GP Update om dit punt toe te lichten. Maar ik ga ervan uit dat de oorspronkelijke bedoeling duidelijk was.