Home » Nieuwsartikels » David Tuller » Trial by error: de valse beweringen van professor Crawley op BuzzFeed

Trial by error: de valse beweringen van professor Crawley op BuzzFeed

Geplaatst door ME-Gids
op 11/03/2018

Laatste bijwerking op 11/03/2018

Bron:

| 8424 x gelezen

David Tuller, DrPH, Virology Blog, 17 januari 2018.

Het fantastische artikel van Tom Chivers over het Lightning Process en de SMILE-studie van professor Esther Crawley in de Archives of Disease in Childhood hebben veel aandacht en commentaar gekregen. Ik wilde reageren op de korte paragrafen waarin professor Crawley haar methodologische keuzes probeert te rechtvaardigen. Hier zijn de relevante passages:

In medische studies van de hoogste kwaliteit zijn proefpersonen “geblindeerd” – ze weten niet of ze de behandeling krijgen die getest wordt, of waaraan het zal worden getoetst. Het helpt voorkomen dat de resultaten bias vertonen ten gunste van de behandeling. Als je de studie niet kan blinderen, zei [professor Jonathan] Edwards, dan is het belangrijk dat je iets meet dat niet beïnvloed kan worden door de percepties van de patiënt. “Je kan een ongeblindeerde studie doen en iemands natriumgehalte meten op het eind,” zei hij. “Ze kunnen niks doen aan hun natriumconcentraties, dus het maakt niet uit of ze weten of ze de behandeling krijgen of niet.”

“En omgekeerd is ook prima: als je alles blindeert zodat patiënten niet weten of ze de behandeling gehad hebben, dan kan je een subjectieve meting gebruiken. Maar je kan geen ongeblindeerde studie hebben en een subjectieve uitkomst.” Maar de SMILE-studie was ongeblindeerd, en Edwards wees er ook op dat de primaire uitkomst die gemeten werd, veranderd was van een objectieve meting, aanwezigheid op school, naar een vragenlijst. Edwards zei dat dergelijke zelfgerapporteerde metingen vaak gevoelig zijn aan bias, omdat proefpersonen de antwoorden geven waarvan ze denken dat die van hen verwacht worden. Om die reden is hij van mening dat de studie “nutteloos” is.

Als reactie hierop zei Crawley dat “alle uitkomsten verzameld werden zoals gepland, maar dat de kinderen onze aanbevolen primaire uitkomst, aanwezigheid op school, niet leuk vonden, dus we hebben invaliditeit gebruikt.” Ze voegde eraan toe dat de verandering van de primaire uitkomst doorgevoerd en gerapporteerd was, voordat de resultaten verzameld werden.

De problemen werden, volgens sommigen, nog erger gemaakt door het feit dat de methoden van het Lightning Process erin bestaan om mensen te doen zeggen dat ze zich beter voelen. “Het enige wat deze studie aantoont, is dat als je mensen zegt dat ze beter zijn, en hen dan vraagt of ze beter zijn, ze zullen zeggen dat ze beter zijn,” zei Edwards. “Het is een schoolvoorbeeld van hoe je een studie niet moet ontwerpen.”

Hij beweert dat de resultaten van de SMILE-studie ook de PACE-studie ondermijnen – ook een ongeblindeerde studie met subjectieve uitkomsten – door te laten zien dat “dezelfde technieken je hetzelfde antwoord kunnen geven voor een totale kwakzalverstherapie gebaseerd op complete nonsens zoals staan op stukjes papier en tegen je ziekte zeggen dat ze moet stoppen”…

Dorothy Bishop, een professor in de ontwikkelingsneuropsychologie aan University of Oxford, vertelde BuzzFeed News dat ze zich afvroeg “hoe wijs het is om een studie uit te voeren [naar iets] dat niet veel wetenschappelijke basis lijkt te hebben en commercieel is, want als je een resultaat vindt, prijs je uiteindelijk iets aan dat het misschien niet verdient”.

“Niet dat ik Esther Crawley wil omverhalen, want ik denk dat ze haar best doet,” zei ze, maar ze was bezorgd over een “megaplacebo-effect”.

Crawley vertelde BuzzFeed News dat het mogelijk was dat er enig placebo-effect bij betrokken was, maar dat de vragenlijsten die ze gebruikte in de studie vragen stelden over hoe ver je kan stappen en hoe vaak je op school aanwezig was, in plaats van simpelweg de vraag of mensen zich beter voelden. Ze voegde toe dat zelfgerapporteerde aanwezigheid op school heel goed overeenkwam met de schoolaanwezigheidsregisters.

**********

De bedenkingen van professor Jonathan Edward zijn een perfect voorbeeld van veel van de kritiek over studies van de biopsychosociale groep – het zijn studies met een open onderzoeksopzet die steunen op subjectieve bevindingen. Dit leidt regelrecht naar bias , zoals Dr. Edwards uitlegt, of een “megaplacebo-effect”, om het met de woorden van professor Bishop te zeggen – vooral omdat het Lightning Process zelf inhoudt dat deelnemers te horen krijgen dat ze beter kunnen worden als ze de voorschriften van het programma volgen.

Dat Professor Dorothy Bishops verschijnt in het BuzzFeed-artikel is een interessante ontwikkeling. Ze liet zich strikken voor de inspanningen van het Science Media Centre om de studie te hypen, waarbij ze zich voorzichtig lovend over de studie uitliet samen met andere experts. Misschien vertegenwoordigen haar verklaringen aan BuzzFeed een erkenning dat ze een deel van haar reputatiekapitaal verspild heeft aan het promoten van iets dat duidelijk bedrieglijk onderzoek is. Ze zou zich zeker moeten schamen voor haar deelname aan de SMC-parade, die nooit een kans lijkt te missen om nieuw onderzoek van leden van de biopsychosociale ideologische brigades in de schijnwerpers te zetten.

In haar reactie aan BuzzFeed bagatelliseert professor Crawley het enorme placeboprobleem. Ze erkent alleen dat “het mogelijk was” dat er “enig” placebo-effect kon zijn geweest. Ze lijkt vervolgens te suggereren dat ze het probleem aangepakt heeft omdat de vragenlijsten de mensen vroegen om een schatting te geven in cijfers, niet alleen gevoelskwaliteiten. Dit is een onnozel en niet overtuigend antwoord. (Voor de duidelijkheid: dit is professor Crawleys antwoord zoals door de verslaggever is overgebracht, en mijn aanname is dat het een accurate weergave is van wat ze zei. Maar ik heb niet zelf met professor Crawley gesproken.)

Zoals ervaren onderzoekers weten, kunnen mensen heel onbetrouwbaar zijn in het schatten en rapporteren van persoonlijke ervaring a.d.h.v. cijfers – dingen zoals hoe ver ze stappen, hoe veel ze eten, hoe vaak ze condooms gebruiken, hoeveel tijd ze spenderen om aan hun kinderen voor te lezen. Het is niet alleen dat ze het vergeten, ze worden ook beïnvloed door andere factoren, zoals het verlangen om verbeteringen te rapporteren, een verlangen om de onderzoekers te behagen, of een verlangen om niet toe te geven dat ze nóg een chocoladereep aten of nóg een dag afwezig waren van school.

Dus in tegenstelling tot wat professor Crawley impliceert, maakt de vraag hoe ver ze kunnen wandelen van een vragenlijst geen objectieve meting. Dat is waarom objectieve metingen, wanneer beschikbaar, een cruciaal middel zijn om de accuraatheid van zelfgerapporteerde metingen te beoordelen.

In sommige eerdere studies van gedrags- en psychologische interventies voor ME/CVS droegen deelnemers zelfs enkelmonitors om de beweging in de loop van dagen of een week te meten. In deze studies hebben deelnemers subjectieve verbeteringen gerapporteerd zelfs als de enkelmonitors geen bewijs van toegenomen beweging aantoonden. In de nu ontkrachte PACE-studie kwamen geen van de objectieve metingen – hoe ver mensen konden wandelen, hoe fit ze waren, of ze terug aan het werk zijn, en of ze uitkeringen ontvingen – overeen met de subjectieve rapporteringen van succes.

Gezien deze context was ik geïnteresseerd in professor Crawleys bewering in BuzzFeed dat de officiële aanwezigheidsregistraties van school overeenkwamen met de zelfgerapporteerde aanwezigheidsmetingen. In de protocols voor zowel de haalbaarheidsstudie en de volledige studie beloofden de onderzoekers om toegang tot deze gegevens aan te vragen. Maar de paper in Archives maakte om onverklaarbare redenen helemaal geen melding van deze gegevens.

Uit de verklaring van professor Crawley blijkt nu dat de onderzoekers inderdaad toegang hebben gekregen tot dergelijke gegevens. Als dat waar is, waarom werden ze dan niet in de paper bijgevoegd? Door publiekelijk naar deze gegevens te verwijzen als bekrachtiging van de legitimiteit van de zelfgerapporteerde bevindingen, en ze tegelijkertijd niet bij te voegen in de paper in Archives, doet professor Crawley verder vragen rijzen over de beweringen van de studie en haar methodologische fouten.

Professor Crawley stelt ook dat de verandering in primaire uitkomstmaat doorgevoerd werd voordat de resultaten verzameld werden. Dat is waar. Maar het is ook waar dat de verandering doorgevoerd werd nadat er resultaten verzameld waren. Patiënten in de haalbaarheidsstudie werden gerekruteerd vanaf begin september 2010 wat betekent dat de resultaten na de eerste twaalf maanden in september 2011 binnen geweest zouden zijn.

De haalbaarheidsstudie rekruteerde deelnemers tot midden 2012. De ethische commissie keurde zowel de uitbreiding goed van de haalbaarheidsstudie naar de volledige studie als het verwisselen van de uitkomstmaten hierna. Dan werden de overblijvende deelnemers voor de volledige steekproef gerekruteerd. Dat betekent dat de resultaten verzameld werden zowel voor als nadat de primaire meting werd gewijzigd. De verklaring van professor Crawley is tot op bepaalde hoogte waarheidsgetrouw, maar ze is ook onvolledig en dubbelzinnig en daarom uiterst misleidend.

Bovendien is het interessant dat, volgens de verklaring van professor Crawley aan BuzzFeed, de onderzoekers de uitkomstmaten veranderd hebben op basis van wat de kinderen vonden. Het is nogal ongebruikelijk om dergelijke belangrijke beslissingen te delegeren aan studiedeelnemers. In ieder geval is het vermeldenswaard dat de verandering die zogezegd de voorkeur van de kinderen in de studie genoot, toevallig de paper in Archives de kans gaf om positieve beweringen te doen over de primaire uitkomst.

Wat als de kinderen de voorkeur hadden gegeven om de aanwezigheid op school na zes maanden als de primaire uitkomstmaat te behouden? Zouden professor Crawley en haar collega’s hun advies gevolgd hebben, en nulresultaten gerapporteerd hebben voor hun primaire uitkomst? Misschien ben ik te cynisch, maar dat lijkt me erg onwaarschijnlijk.