Home » Nieuwsartikels » David Tuller » Trial By Error: bedenkingen bij vernieuwde Cochranetool i.v.m. Risico op Bias

Trial By Error: bedenkingen bij vernieuwde Cochranetool i.v.m. Risico op Bias

Geplaatst door ME-Gids
op 30/09/2019

Laatste bijwerking op 30/09/2019

Bron:

| 6424 x gelezen

Trial By Error: hoofdauteur nieuwe bias-richtlijn Cochrane was coauteur LP-studie

David Tuller, DrPH, Virology Blog, 31 augustus 2019

Jonathan Sterne, een professor medische statistiek en epidemiologie aan Bristol University, is de corresponderende auteur van Cochranes gereviseerde tool over “risico op bias*” [*vooringenomenheid in wetenschappelijke studies, n.v.d.r.], die BMJ online publiceerde op 28 augustus. Hoe goed of slecht deze revisie ook moge zijn, het feit dat Professor Sterne als eerste staat in een rij van meer dan twintig auteurs is echt wel een spijtige zaak.

(Toegevoegd: Het slechte aan deze revisie is, dat ze het mogelijk zal maken dat ongeblindeerde studies die voortgaan op zelfgerapporteerde uitkomsten, geëvalueerd worden alsof ze “laag risico” hebben op bias. In feite hebben studies met dergelijk ontwerp een hoog risico op bias. En toch zijn ze het favoriete soort studie van de leden van de ideologische CGT/GET-brigades. Meer daarover in een latere post.)

Volgens een zoekopdracht op PubMed schreef Professor Sterne mee aan 11 papers van zijn collega aan Bristol, Professor Esther Crawley. Ik heb gedocumenteerd dat bij ten minste twee van deze papers wetenschappelijke kernprincipes overtreden werden, nl. de studie over het Lightning Process, twee jaar geleden gepubliceerd door Archives of Disease in Childhood, en een studie uit 2011 in BMJ Open die zichzelf op misleidende gronden vrijstelde van ethische review. Geen van beide artikels zouden gepubliceerd zijn geweest als de vakbladen in kwestie hun peerreview voldoende grondig hadden uitgevoerd, waardoor ze de fatale fouten gevonden zouden hebben.

[Ik moet hierbij vermelden dat Professor Crawley mij publiekelijk heeft beschuldigd van laster, eerroof en gedrag waar politie-interventie voor nodig is. Het kantoor van de vicerector van Bristol heeft tenminste drie klachten ingediend tegen mij, bij de rector van Berkeley, maar heeft blijkbaar geen bewijs geleverd van wangedrag of onwaarheden. Ik merk op dat ik nog steeds een goede reputatie heb en academisch aangesteld ben aan Berkeleys Center of Global Public Health, en dat ik mijn onderzoek blijf voeren met de steun van mijn departement en academische collega’s.]

Tijdens de uitvoering en rapportage over de studie over het Lightning Process, rekruteerden Professor Crawley, Professor Sterne en hun coauteurs meer dan de helft van hun proefpersonen voordat de studie geregistreerd was, wisselden ze primaire en secundaire uitkomstmaten om nadat data over deze eerste deelnemers verzameld was, en vermeldden ze deze saillante details vervolgens niet in de gepubliceerde paper, zoals ik documenteerde kort nadat de studie werd gepubliceerd. Vorige maand postte Archives of Disease in Childhood, een BMJ-vakblad, een correctie/verduidelijking van meer dan 2800 woorden, samen met een lange noot van de redactie waarin men probeerde te rechtvaardigen dat men de voornaamste resultaten ging herpubliceren – in plaats van ze in te trekken.

Zo veegde het vakblad het wangedrag van het team uit Bristol onder de mat en zag het over het hoofd in welke mate Professor Crawley, Professor Sterne en hun coauteurs hun gerapporteerde bevindingen hadden beïnvloed via hun uitkomstverwisseling. Deze redactionele reactie schoot tekort, wat tot ontsteltenis leidde bij mensen die belang hechten aan onderzoeksintegriteit en het welzijn van kinderen. Dat is de reden waarom tientallen wetenschappers, academici en andere experts, waaronder verschillende van mijn collega’s aan Berkeley, hun handtekening zetten onder de recente open brief van Virology Blog aan Dr. Fiona Godlee, BMJ’s redactionele directeur. De brief noemde de beslissing tot herpublicatie van de oorspronkelijke bevindingen over het Lightning Process “wetenschappelijk en ethisch onverdedigbaar”.

In het geval van de studie over afwezigheid op school van BMJ Open, stelden de drie auteurs – waaronder Professor Crawley en Professor Sterne – de studie vrij van ethische review, op de valse grond dat ze in aanmerking zou komen als “dienstevaluatie”. ( Virology Blog documenteerde dit twee jaar geleden, dankzij een tip van een lezer.) Een dienstevaluatie is vrijgesteld van ethische review, en gaat voornamelijk voort op geanonimiseerde databases om een evaluatie te maken van de levering van specifieke diensten aan cliënten of patiënten. Het is algemeen aanvaard dat als een studie voorzien is van een hypothese, veralgemeenbare conclusies en/of niet-geanonimiseerde dataverzameling via interviews of andere methodes, ze aangemerkt moet worden als “onderzoek” en ze niet als “dienstevaluatie” vrijgesteld kan worden van ethische review .

Ervaren onderzoekers, waaronder Professor Sterne en Professor Crawley, zouden maar al te goed op de hoogte moeten zijn van dit onderscheid tussen “onderzoek” waarvoor ethische review vereist is, en een “dienstevaluatie”, die ervan is vrijgesteld. Aangezien de studie over afwezigheid op school voorzien was van een hypothese, veralgemeenbare conclusies en persoonlijke interviews uitgevoerd door Professor Crawley, voldeed ze niet aan eender welke standaardcriteria voor dienstevaluaties. Om die reden is het onbegrijpelijk waarom de auteurs, waaronder Professor Crawley en Professor Sterne, ervoor kozen om deze studie vrij te stellen van ethische review en het te publiceren als dienstevaluatie. (Het is ook onbegrijpelijk waarom redacteurs van BMJ Open dit hardnekkig blijven negeren, onjuiste dingen blijven beweren, twijfel blijven zaaien over mijn rapportering, en blijven wegkijken als ze geconfronteerd worden met de onbetwistbare feiten.)

Bristol University voert op dit moment een doorlichting uit van de studie over afwezigheid op school en een aantal andere studies die op een gelijkaardige manier als dienstevaluatie vrijgesteld werden van ethische review. Deze doorlichting werd gestart op basis van bedenkingen die ik voorlegde aan de Health Research Authority, een afdeling van de National Health Service. Ik hoop dat men mij binnenkort laat weten wat de resultaten zijn van deze doorlichting.

Het is een onomstreden feit dat studies met hypotheses, veralgemeenbare conclusies en persoonlijke interviews van meer dan 100 kinderen en/of hun familieleden op geen enkele redelijke manier gedefinieerd kunnen worden als dienstevaluatie met vrijstelling van ethische review. Maar wat ik de laatste paar jaren heb geleerd, is dat als de mensen die een doorlichting uitvoeren zélf nauw betrokken zijn bij de stelsels die verantwoordelijk zijn voor de problematische studie, de doorlichting vaak dient als middel om slecht gedrag goed te praten, toe te dekken of te rechtvaardigen, in plaats van te onthullen hoe het écht in elkaar zit.

Totdat Professor Sterne erkenning en uitleg geeft over zijn eigen rol in de uitvoering en rapportage van deze twee wansmakelijke studies, moeten we in geen geval notie nemen van zijn uitspraken over hoe je “risico op bias” moet evalueren. Dit is wat ik, om te beginnen, graag zou willen vragen:

Waarom zette Professor Sterne zijn naam onder de paper over het Lightning Process, waarin cruciale informatie over retrospectieve registratie en uitkomstenverwisseling in de publieke versie van de feiten werd verzwegen? Weet Professor Sterne dat prospectieve registratie en vooraf vastgestelde uitkomsten als essentieel worden beschouwd om “risico op bias” te beperken? Wat betreft de paper over afwezigheid op school: is Professor Sterne werkelijk van mening dat een studie met een hypothese, veralgemeenbare conclusies en persoonlijke interviews uitgevoerd door de hoofdonderzoeker, redelijkerwijs gedefinieerd kan worden als een “dienstevaluatie” en vrijgesteld mag worden van ethische review?

Dit zijn vragen die niet enkel ter zake doen voor Professor Sterne, maar ook voor Cochrane, BMJ en Professor Sternes vele coauteurs van deze herziening over “risico op bias”. Gezien zowel de studie over het Lightning Process, als de studie over afwezigheid op school krioelen van het soort methodologische en ethische onregelmatigheden die zelfs een eerstejaarsstudent epidemiologie eruit zou kunnen halen, begrijp ik niet hoe Professor Sterne zichzelf op dit moment op vlak van eender wat mag opstellen als een geloofwaardige autoriteit.

Trial By Error: meer over Cochranes nieuwe tool i.v.m. risico op bias

David Tuller, DrPH, Virology Blog, 4 september 2019

Zoals Virology Blog al rapporteerde (cf. supra), is de hoofdauteur van de gereviseerde versie van Cochranes tool i.v.m. risico op bias, die vorige week werd gepubliceerd in BMJ, al jarenlang een collega van Professor Esther Crawley aan Bristol University. In die hoedanigheid is hij coauteur van twee bekende studies die basisprincipes van wetenschappelijk onderzoek overtraden: de studie over het Lightning Process, twee jaar geleden gepubliceerd in Archives of Disease in Childhood, en de studie over afwezigheid op school, in 2011 gepubliceerd in BMJ Open.

Ik heb uitgebreid over de fouten in deze studies gerapporteerd, hier en hier, en in vele daaropvolgende posts. In de studie over het Lightning process rekruteerden de auteurs meer dan de helft van de proefpersonen voordat de studie geregistreerd was, wisselden ze primaire en secundaire uitkomstmaten om nadat data verzameld was van deze eerste deelnemers, en repten ze in de gepubliceerde paper met geen woord over deze saillante details. De uitkomstenwissel stelden Professor Crawley, Professor Sterne en hun collega’s ertoe in staat om positieve resultaten te rapporteren in plaats van nulresultaten, voor hun officiële maar gereviseerde primaire uitkomst.

In juli, na een controle die meer dan een jaar in beslag nam, publiceerde Archives of Disease in Childhood, een BMJ-vakblad, een “correctie” waarin de methodologische misstappen erkend werden. Maar toch liet het vakblad toe dat Professor Crawley, Professor Sterne en hun collega’s de vooringenomen bevindingen uit hun oorspronkelijke paper herpubliceerden.

Vorige week stuurde Virology Blog een open brief naar Dr. Fiona Godlee, redactioneel directeur van BMJ, als protest tegen deze onverdedigbare beslissing. De brief werd ondertekend door 55 wetenschappers, academici en clinici uit o.a. Harvard, Stanford, University College London, London School of Hygiene and Tropical Medicine, Berkeley, Columbia en Queen Mary University of London, en drukte ontzetting uit over de “wetenschappelijk en ethisch onverdedigbare” beslissingen van het vakblad. Sommige van de ondertekenaars hebben vervolgens zelf nog een oproep gedaan voor intrekking van de studie over het Lightning Process.

*****

Gezien de achtergrond, zal het wellicht niet verbazen dat de gereviseerde tool i.v.m. Risico op Bias [RoB] van Professor Sterne ervoor zorgt dat ongeblindeerde studies makkelijker het label “laag risico” op bias zullen krijgen, zoals de pientere mensen op het forum Science for ME opgemerkt hebben. Professor Sterne en zijn coauteurs zeggen dit zelf, in het onderdeel “discussie”.

Dit is wat ze schrijven:

“We verwachten dat de verfijningen die we hebben aangebracht in de RoB-tool ertoe zullen leiden dat meer studieresultaten geklasseerd zullen worden als laag risico op bias, omdat onze algoritmen sommige omstandigheden in kaart brengen als laag risico op bias, terwijl gebruikers van de vorige tool doorgaans zouden hebben geoordeeld dat die een onduidelijk (of zelfs hoog) risico op bias lopen. Dit potentiële verschil in beoordelingen in RoB 2, in vergelijking met het oorspronkelijke instrument, is met name het geval voor ongeblindeerde studies, waar het risico op bias i.v.m. toewijzing aan een interventie als gevolg van afwijkingen van geplande interventies laag kan zijn, terwijl veel gebruikers van het oorspronkelijke RoB-instrument een hoog risico op bias zouden toekennen aan het overeenkomstige domein. Wij zijn van mening dat een oordeel vellen over het lage risico op bias gemakkelijk haalbaar moet zijn voor een gerandomiseerde studie, wat een studieopzet is dat wetenschappelijk sterk en goed begrepen is en vaak goed in de praktijk wordt uitgevoerd.”

In deze paragraaf staan heel wat fouten in een kluwen aan zinnen dat moeilijk te ontrafelen is. Tijdens hun bespreking van risico op bias in studies met ongeblindeerde interventies, vermelden de auteurs enkel bias die kan voorkomen als er “afwijkingen zijn van de bedoelde interventies”. Terwijl het klopt dat zulke afwijkingen bias kunnen veroorzaken, is dat niet de enige bron van bias in die studies met ongeblindeerde interventies. Als in studies namelijk ongeblindeerde interventies gecombineerd worden met zelfgerapporteerde uitkomsten, dan zullen de zelfgerapporteerde uitkomsten waarschijnlijk beïnvloed worden door verwachtingen, hoop en andere aspecten van de relatie van de deelnemer met de toegewezen interventies en/of de verlener van de interventies, zelfs al wordt er niet afgeweken van de bedoelde of toegewezen interventies. De mogelijkheid of waarschijnlijkheid van dat soort bias is de reden waarom andere velden van de geneeskunde meestal geen richtlijnen of beleid ontwikkelen op basis van studies met dat specifieke opzet, nl. ongeblindeerde interventies die voortgaan op zelfgerapporteerde uitkomsten.

Daarenboven blijkt uit de uitspraken in het onderdeel bespreking van de gereviseerde tool i.v.m. Risico op Bias, dat de auteurs overtuigd lijken te zijn dat randomisering op zich een verzekering is voor “laag risico” op bias. Eén argument dat wordt aangehaald, is dat gerandomiseerde studies meestal “goed doorgevoerd” worden. Ik weet niet goed hoe ik moet reageren op deze foute gevolgtrekking. Het feit is dat sommige of de meeste gerandomiseerde studies “goed doorgevoerd” zijn, heeft volgens mij niks te maken met de vraag of één bepaalde gerandomiseerde studie – of die nu gaat over ME/cvs of eender welke andere ziekte of aandoening – ook “goed doorgevoerd” is en het label “laag risico” op bias verdient. Wat betreft “goed begrepen”… het is inderdaad goed begrepen dat gerandomiseerde studies die ongeblindeerde interventies combineren met zelfgerapporteerde uitkomsten, resultaten zullen voortbrengen die onbekende niveaus aan bias in zich houden.

Andere delen van deze gereviseerde tool i.v.m. Risico op Bias zijn ook zorgwekkend. De appendix verschaft gedetailleerde richtlijnen over hoe je de verschillende beslissingspunten moet interpreteren. Eén onderdeel gaat over of studiedata geanalyseerd werden “in overeenstemming met een vooraf gespecificeerd analyseplan dat voltooid werd voordat ongeblindeerde uitkomstdata beschikbaar waren voor analyse”. Volgens de richtlijnen zijn “wijzigingen aan analyseplannen die gemaakt werden voordat ongeblindeerde uitkomstdata beschikbaar waren, of die duidelijk los stonden van de resultaten (bv. te wijten aan defecte apparatuur die dataverzameling onmogelijk maakt) geen reden tot bezorgdheid over bias bij selectie van de gerapporteerde resultaten”.

Deze verwijding of uitbreiding van de betekenis van “vooraf gespecificeerd” is van belang. De gereviseerde tool i.v.m. Risico op Bias beschouwt “wijzigingen aan analyseplan” als “vooraf gespecificeerd” als ze zich voordeden op eender welk moment vóór het ontsleutelen van de uitkomstdata. Deze revisie is misschien gerechtvaardigd of tenminste aanvaardbaar voor studies die voortgaan op objectieve uitkomsten. Maar het negeert of ziet over het hoofd wat er gebeurt in studies met ongeblindeerde interventies die voortgaan op zelfgerapporteerde uitkomsten, zoals de studie over het Lightning Process en de PACE-studie. In deze gevallen waren de onderzoekers wellicht op de hoogte van uitkomsttrends lang voordat de blindering van de uitkomstdata werkelijk werd opgeheven. Wat Professor Sterne en zijn coauteurs ook beweren, wijzigingen aan de analyseplannen die gemaakt worden na de start van dergelijke studies, zouden echt wel alarmbellen moeten doen rinkelen omtrent bias door selectieve uitkomstrapportering.

We moeten hier ook bij opmerken dat veel onderzoek uit het biopsychosociale veld, waaronder onderzoek naar ME/cvs en de zogenaamde “somatisch onverklaarde lichamelijke symptomen” of SOLK, aan deze kenmerken voldoet. Dus deze revisie van de tool voor Risico op Bias zou een enorme impact kunnen hebben op Cochranereviews in deze domeinen. De revisie zal het reviewers zeker veel makkelijker maken om slechte wetenschap mee te rekenen met goede wetenschap, met een officiële stempel van “laag risico” op bias.

Het argument dat Professor Sterne en zijn coauteurs aanhalen, nl. dat wijzigingen die gemaakt worden voordat uitkomstdata ontsleuteld zijn eigenlijk beschouwd mogen worden als “vooraf gespecificeerd”, werd veelvuldig gebruikt door de PACE-auteurs om hun eigen wildgroei aan uitkomstverwisselingen goed te praten. Het argument werd verder ingezet door Lillebeth Larun, hoofdauteur van de in opspraak gekomen Cochranereview over lichaamsbeweging voor ME/cvs, in haar verdediging van de opgekrikte evaluatie van de PACE-studie. De misleidende onderbouwing van de gereviseerde tool komt ook Professor Sterne zelf goed uit, aangezien het mogelijk kan worden gebruikt om de uitkomstwissel door de vingers te zien in zijn eigen studie over het Lightning Process.

Is er dan niemand dit dit doorheeft? BMJ? Cochrane? Hallo???