Home » Nieuwsartikels » David Tuller » Crawley onder vuur!

Crawley onder vuur!

Geplaatst door ME-Gids
op 21/02/2019

Laatste bijwerking op 25/02/2019

Bron:

David Tuller, Virology Blog

| 13011 x gelezen

Tuller laat weten dat een reeks studies van het team Esther Crawley, waarvoor ethische review werd ontdoken, eindelijk onderworpen worden aan een officieel onderzoek [Blog: Bristol onderzoekt Cralweypapers]

In zijn tweede blog geeft Tuller meer details over dat officiële onderzoek.

Ten slotte kijkt Tuller even terug op de allereerste blog die hij schreef over de onregelmatigheden in twee studies van het Crawleyteam. (Tip voor vermoeide lezers: alle tekst in het kader komt rechtstreeks uit die oudere blog, dus die kan je bij het lezen eventueel overslaan.)

Trial by error: Bristol onderzoekt Crawleypapers

David Tuller, DrPH, Virology Blog, 31 januari 2019

In het voorbije jaar heb ik onder andere bij de Britse Health Research Authority (HRA) meerdere bedenkingen geuit over studies van de University of Bristol. De HRA is het onderdeel van de National Health Service dat toezicht houdt op onderzoeksgoedkeuring in Engeland; de rol van het agentschap is om te verzekeren dat onderzoek een gunstig advies krijgt van een ethisch comité voordat het wordt aangevat.

Gisteren [30 januari] bevestigde het agentschap me dat ze, na evaluatie van de kwestie, vragen hadden gesteld aan beambten van University of Bristol over een aantal van deze studies en hen gevraagd hadden om de situatie te onderzoeken. De HRA wacht nu op het resultaat van dat onderzoek.

Met andere woorden: er loopt nu een officieel onderzoek naar een deel van Professor Crawleys werk. Dit is een ernstig onderzoek, hoewel het resultaat ervan natuurlijk moeilijk te voorspellen is, gezien het lamentabele verleden van heel deze wanboel. Ik zou denken dat dit onderzoek minstens een paar maanden zal duren, of misschien langer. Het is me niet altijd duidelijk hoe de dingen lopen in het VK, maar iedereen kan waarschijnlijk voor zichzelf wel uitmaken of de HRA zou beslissen om een onderzoek aan te vragen als het dacht dat die studies helemaal koosjer waren.

Dit is niet de eerste keer dat het lijkt alsof mijn pogingen om de aandacht trekken naar die problematische studies mogelijk hun vruchten afwerpen. In juni jl. plakte Archives of Disease in Childhood een noot van de redactie op de studie over het Lightning Process, dat het in 2017 publiceerde. De onderzoekers beweerden dat de studie prospectief was geregistreerd, ook al waren 56 van de 100 deelnemers al gerekruteerd voor de studieregistratie – wat betekent dat de bewering dat het ging om een prospectieve studie, vanzelfsprekend niet waar was. Het is moeilijk te begrijpen hoe ervaren onderzoekers zo’n basisfout konden maken.

Bovendien wisselden de onderzoekers primaire en secundaire uitkomsten om, nadat meer dan de helft van de deelnemers al gerekruteerd waren, wat hun gerapporteerde resultaten bevooroordeeld maakte. Maar de paper vermeldde deze details niet en stelde de studie voor alsof ze in werkelijkheid prospectief was. BMJ voert, net als alle toonaangevende medische vakbladen, al jarenlang een strikt beleid, waarbij studies die niet prospectief geregistreerd werden, niet in aanmerking genomen worden voor publicatie. En zonder vermelding de uitkomsten omwisselen als de studie al meer dan halfweg is, is in geen enkel geval aanvaardbaar.

Dit is het relevante onderdeel van de noot van de redactie: “Sinds haar publicatie kreeg de studie kritiek omdat ze niet in overeenstemming zou zijn met het beleid van ICMJE en BMJ over studieregistratie en ze de richtlijnen van CONSORT over studierapportering niet volledig zou volgen. Het vakblad kreeg kritiek omdat het deze kwesties niet zou hebben opgemerkt tijdens redactionele evaluatie en peerreview. Wij hebben kennis genomen van deze commentaren en hebben een evaluatie opgemaakt van onze processen omtrent deze paper en de EQUATOR-richtlijnen in het algemeen. Bijkomend hebben we van de auteurs toelichtingen ontvangen die de redactie nu onder beschouwing neemt.”

Het is opvallend dat de noot van de redactie de bedenkingen die ik heb geuit, niet tegenspreekt. De verklaring kan heel eenvoudig geïnterpreteerd worden als een toegeving dat deze bedenkingen in feite legitiem zijn; anders zou men geen nood hebben aan een periode van “redactionele beschouwing” om de “toelichtingen” van de auteurs te bekijken. Maar de noot van de redactie is niet gelinkt naar of zichtbaar vanuit de paper zelf. Niemand die de paper leest, zal enig idee hebben van het bestaan van zo’n noot van de redactie, tenzij ze toevallig doorklikken op de pagina met “reacties”. En dat betekent dat ze ook geen weet zullen hebben van de wezenlijke vragen die gesteld werden over de methodologische en ethische keuzes die de studie maakte – en die het vakblad zelf “erkende”, zoals de verklaring aanduidt.

Het is onaanvaardbaar dat deze kritische noot van de redactie ergens achteraan wordt weggestopt, ergens waar weinig mensen ze te zien zullen krijgen. Het is ook onaanvaardbaar dat deze periode van “redactionele beschouwing” intussen al meer dan zeven maanden duurt, zonder einde of oplossing in zicht. Je hebt niet meer dan vijf minuten nodig om de desbetreffende documentatie na te kijken en te bepalen wat er hier gebeurd is. Waarom is deze zaak niet al lang aangepakt en opgelost?

Dit hardnekkig negeren geeft heel erg de indruk dat het redactionele team meer bekommerd is om het vermijden van schade aan hun reputatie dan om het beschermen van de gezondheid van kinderen. Hetzelfde geldt voor BMJ’s onwil om de problemen aan te pakken in de studie uit 2011 over afwezigheid op school in BMJ Open, die vrijgesteld werd van ethische review op de valse grond dat het ging om een dienstevaluatie en niet om onderzoek. BMJ Open verdedigde niet enkel publiekelijk de publicatie van de paper zonder ethische review, maar maakte daarbij ook valse beweringen over de methodologie van de paper, terwijl ze mij tegelijkertijd betichtten van het verspreiden van foute informatie.

**********

Fiona Godlee, redactioneel directeur van BMJ, is zich ervan bewust dat de toestand problematisch is, en dat die aangepakt moet worden. Ze suggereerde dat min of meer in een bericht dat ze me in oktober stuurde, in reactie op de verschillende open brieven die ik had gestuurd naar haar en andere BMJ-redacteurs. En opnieuw is het opmerkelijk dat ze geen verdediging of tegenspraak aanvoerde van de punten die ik aanhaalde over de studies die in haar vakbladen gepubliceerd werden.

Ik heb dit bericht niet eerder vermeld, onder andere omdat Dr. Godlee aangaf dat ze de zaak zeker tot op de bodem wou uitzoeken. Dus ik wou haar het voordeel van de twijfel geven. Maar ik heb niets gezien dat erop wijst dat BMJ sindsdien verdere stappen heeft ondernomen. Dus er is niet echt een reden meer om onze conversatie nu niet te delen.

Dit is wat Dr. Godlee schreef op 12 oktober:

Beste David, ik ben me ervan bewust dat ik niet rechtstreeks geantwoord heb op uw recente e-mails. Ik wou u laten weten dat we nauw samenwerken met … de HRA … en ons best doen om de situatie op te lossen. Er zijn kwesties buiten onze directe controle die dit bemoeilijken, zoals u zeker wel zal begrijpen… U maakte zich zorgen dat de nota op de paper van ADC [Archives of Disease in Childhood] niet voldoende zichtbaar was. We bekijken of die een prominentere plaats kan krijgen – onze systemen maken dit niet echt makkelijk! U mag er zeker van zijn dat we actief bezig zijn met de verschillende aspecten van deze zaak en dat we alles in het werk zullen zetten om binnenkort tot een oplossing te komen. We zullen ook ons best doen om u op de hoogte te houden van onze vooruitgang. Met hartelijke groeten, Fiona Godlee

**********

Ik beantwoorde Dr. Godlees bericht een paar dagen later. (Ik heb enkele passages uit mijn antwoord verwijderd.) Dit is wat ik schreef:

Beste Fiona,

Ik dank u voor uw bericht. Ik stel uw persoonlijke bericht zeer op prijs. Mijn verontschuldigingen op voorhand voor dit lange bericht, maar ik probeer nu al zo lang om BMJ deze kwestie te doen aanpakken, en daarom heb ik een aantal dingen uit te leggen… Ik ben blij te horen dat er vooruitgang blijkt te zijn, gezien de verontrustende aard van de methodologische en ethische overtredingen die ik gedocumenteerd heb.

Eerlijk gezegd was ik nogal verrast door de manier waarop de redacteurs, die zowel betrokken waren bij de studie over afwezigheid op school als de studie over het Lightning Process, tot hier toe gereageerd hebben. Sinds vorige herfst heb ik meer dan 20 blogposts geschreven over beide studies. (Dit is een link naar al mijn posts over ME/cvs op Virology Blog, waaronder die over de studies: http://www.virology.ws/mecfs/ [in het Engels].) Eigenlijk zou het niet zo veel tijd en energie mogen kosten om gerenommeerde vakbladen ervan te overtuigen dat ze zo’n overduidelijke onregelmatigheden moeten aanpakken. Ik vrees dat dit langdradige en vermoeiende proces de indruk heeft gecreëerd dat uw redactionele team meer bekommerd is om het beschermen van zijn reputatie dan om de gezondheid en het welzijn van kwetsbare kinderen. Als de houding van BMJ tegenover deze puinhoop nu aan het verschuiven is, dan is dat zeker een positieve ontwikkeling.

Aangezien ik noch een epidemioloog ben, nog een statisticus, maar wel een onderzoeksjournalist met een doctoraat in volksgezondheid van Berkeley, heb ik mijn bedenkingen over PACE en de andere studies die ik bekritiseerd heb, afgetoetst bij collega’s aan de University of California, Columbia, Harvard en elders. Zoals u kan opmaken uit de referenties van de experts die hun handtekening zetten onder de verschillende open brieven aan The Lancet en Psychological Medicine, alsook aan Archives of Disease in Childhood en BMJ Open, zijn gerenommeerde onderzoekers en wetenschappers uit de VS en elders werkelijk geschokt over de tekortkomingen van al deze studies. Vanuit ons perspectief is deze toestand een levensechte versie van “de keizer heeft geen kleren aan”, en die beschrijving lijkt toepasbaar op vele of de meeste van de mensen die topposities bekleden in de Britse medische en academische gevestigde orde.

[paragraaf verwijderd]

De belangrijkste reden waarom deze zaken zo snel mogelijk aangepakt moeten worden, is dat informatie over het Lightning Process en studies over afwezigheid op school wijd verspreid zijn, tenminste deels omdat beide papers gepromoot werden door die brave mensen van het Science Media Centre. Dit onderzoek kan mogelijk invloed uitoefenen op het beleid, als het al niet zo ver is. Dat betekent dat kinderen getroffen werden of getroffen worden door BMJ-studies die überhaupt nooit hadden mogen worden gepubliceerd.

[paragraaf verwijderd]

Aangezien u nu de dialoog met me hebt geopend, moet ik u laten weten – in het belang van de openheid – dat ik bezig ben met meer open brieven aan u… De eerste is een verzoek om een verontschuldiging van BMJ Open voor zijn handelingen in reactie op navraag over de studie over afwezigheid op school. In het bijzonder zijn mij excuses verschuldigd omdat het vakblad mijn rapportering in zijn verklaring aan COPE “onjuist” en “misleidend” noemde – om nog te zwijgen van het feit dat deze COPE-verklaring de onjuiste bewering bevatte dat de in de studie gebruikte data anoniem verzameld waren. Aangezien eender wie de studie leest, onmiddellijk begrijpt dat kinderen en hun familie persoonlijk geïnterviewd werden, vraag ik me af waarom redacteurs van BMJ Open dachten dat de COPE-verklaring een gepaste omschrijving was van de feiten. (Meer over deze kwestie hieronder.)

Nu over naar de punten die u aanhaalde in uw brief. U suggereert dat ik bezorgd ben dat de noot van de redactie in Archives of Disease in Childhood niet “prominent genoeg” aanwezig is. Dat klopt niet helemaal. Mijn bezorgdheid is dat ze helemaal niet “prominent” aanwezig is. Deze noot van de redactie is gepost op een plaats waar niemand ze zal zien, tenzij ze ernaar op zoek gaan. Bovendien begrijp ik de stelling niet dat BMJ’s systemen “dit niet echt makkelijk maken”. Waarom eigenlijk? Als BMJ-vakbladen een correctie moeten doorvoeren, wordt die dan niet rechtstreeks aan het artikel in kwestie gehangen? Als dat het geval is, waarom is dat dan mogelijk voor een correctie, maar op één of andere manier ingewikkeld voor een noot van de redactie? (In feite heb ik vooral een probleem met het feit dat Dr. Brown ervoor koos om de noot van de redactie te posten, eerder dan de studie in te trekken zo gauw hij de feiten had vastgesteld – meer daarover hieronder.)

Bovendien ben ik bang dat ik niet begrijp waarom BMJ het gevoel heeft dat zijn handelingen beperkt worden door “kwesties buiten onze rechtstreekse controle”. Dit argument lijkt niet van toepassing te zijn op geen van de twee studies in kwestie.

Als het gaat om de paper over afwezigheid op school… zie ik niet in waarom BMJ Open meer tijd nodig zou hebben om te erkennen dat ze gefaald zijn in hun basis toezichtsfunctie door de studie over afwezigheid op school te publiceren zonder ethische review…

Als het gaat om de studie over het Lightning Process, maakt de noot van de redactie duidelijk dat Archives of Disease in Childhood een antwoord heeft ontvangen van de onderzoekers en dat de zaak nu onder “redactionele beschouwing” staat. De noot van de redactie werd vier maanden geleden gepubliceerd. Hoeveel “redactionele beschouwing” is er nodig om te bepalen dat deze paper wetenschappelijk basisprincipes heeft geschonden? Per slot van rekening stelt het beleid van de organisatie zelf dat “in overeenkomst met de ICMJE-aanbevelingen zal BMJ rapporten van klinische studies niet in aanmerking nemen, tenzij ze prospectief geregistreerd werden voor de rekrutering van eender welke deelnemer”. De oplossing voor dit probleem lijkt dus niet af te hangen van factoren buiten uw rechtstreekse controle. BMJ Open heeft geen verdere informatie nodig om actie te ondernemen, tenzij het vakblad zijn redactionele beslissingname heeft uitbesteed aan externe partijen.

Rond de tijd toen ik deze vragen stelde over de studie over het Lightning Process, publiceerde BMJ Open een paper over het belang van de vereiste van prospectieve registratie voor alle studies die in beschouwing worden genomen voor publicatie. Om dit punt uit te lichten, tweette de vroegere hoofdredacteur van BMJ Open: “prospectieve registratie van #klinischestudies is geen administratieve rompslomp: er zijn goede ethische en wetenschappelijke redenen voor.” Dr. Groves heeft natuurlijk gelijk. Eén voortvloeisel uit dat principe is dat alle gevallen waarin het tegenovergestelde gebeurde, onmiddellijk aangepakt moeten worden omwille van dezelfde “goede ethische en wetenschappelijke redenen”. Daarenboven lieten de onderzoekers van het Lightning Process cruciale details weg uit de gepubliceerde paper, die opgesteld was alsof het een prospectieve studie was die gelinkt was aan een ISRCTN-registratie die de trial foutief categoriseerde als prospectief…

[Drie paragrafen verwijderd]

Gezien de omstandigheden is het moeilijk te begrijpen waarom Archives of Disease in Childhood een andere oplossing dan intrekking zou overwegen – samen met een volledig verslag van wat er gebeurd is en waarom het vakblad deze problemen niet heeft opgemerkt. In feite is intrekking de enige oplossing die Archives of Disease in Childhood in staat zal stellen om vol te houden dat het BMJ’s ondubbelzinnige beleid over prospectieve registratie heeft gevolgd. Zoals ik suggereerde in mijn meest recente open brief aan Dr. Brown, hoop ik dat BMJ intussen begrijpt hoe belangrijk het is om redacteurs en peerreviewers te vragen om niet enkel kladversies van studies te lezen, maar ook stavingsdocumenten: studieregistratie, aanvraag bij het comité voor onderzoeksethiek, enzovoort. Anders zullen BMJ-vakbladen wellicht nog van dit soort gênante voorvallen meemaken.

[Veel van de volgende informatie, over mijn verzoek om een verontschuldiging, maakte ook deel uit van een open brief aan Dr. Godlee over deze kwestie, dus trouwe lezers zullen deze passages misschien herkennen.]

Nu ga ik het hebben over mijn verzoek om een verontschuldiging in verband met BMJ Opens verdediging van de studie over afwezigheid op school – het onderwerp van mijn volgende open brief aan u. Sinds vorig jaar heeft BMJ Open de zaken herhaaldelijk verdoezeld en de problemen ontkend. Dit gebeurde voor het eerst toen een lezer contact opnam met het vakblad, met gegronde klachten. Nadat het vakblad haar afgewimpeld had, nam ze contact op met mij. Ik verifieerde snel dat de studie inderdaad onderzoek was waarvoor ethische review vereist is. De paper bevatte immers een formele hypothese, de titel zelf drukte een veralgemeenbare conclusie uit en de hoofdonderzoeker nam persoonlijk interviews af van de patiënten. Deze eigenschappen zijn alom bekende kenmerken van onderzoek, niet van dienstevaluaties.

Vervolgens nam ik contact op met Dr. Groves. Vanaf het begin leek het erop dat ze hoopte dat het hele probleem zich vanzelf zou oplossen of dat ik de interesse zou verliezen… nu ja, eigenlijk weet ik niet echt wat ze dacht. In correspondentie met mij stelde ze dat BMJ Open de zaak zelf had onderzocht en dat het vakblad zich er blijkbaar zelf van overtuigd had dat de studie correct gecategoriseerd was als dienstevaluatie – ondanks het feit dat ze gepubliceerd was onder de hoofding “onderzoek”. In mijn antwoord merkte ik op dat deze interne review van BMJ Open niet erg grondig geweest kon zijn. Eender welke redacteur die tien minuten de tijd zou nemen om de studie te lezen, zou onmiddellijk hebben geweten dat ze nooit vrijgesteld had mogen worden van ethische review.

Alsof het een soort academische versie van Rashomon betrof, stelde het vakblad aan COPE zijn eigen misleidende versie van de feiten voor. In reactie suggereerde COPE dat BMJ Open zou moeten vaststellen hoe de data verzameld werden, om te bepalen of de studie in aanmerking kon komen als dienstevaluatie. Op dat moment koos BMJ Open er blijkbaar voor om de COPE-zaak af te sluiten, zonder verdere actie te ondernemen. In een daaropvolgende brief aan mij, citeerde Dr. Groves de COPE-verklaring als bewijs dat BMJ Open de zaak ernstig nam – zonder te vermelden dat het vakblad het advies van COPE duidelijk niet had gevolgd.

In februari stuurde Professor Racaniello, een microbioloog aan Columbia en beheerder van Virology Blog, een open brief aan BMJ Open, ondertekend door meerdere collega’s van Berkeley en elders, om het vakblad te wijzen op zijn nalatigheid. In haar antwoord suggereerde Dr. Groves dat we een brief konden indienen ter publicatie. Professor Racaniello en ik zagen niet in waarom we zoiets zouden moeten doen, aangezien we ervan uitgingen dat het vakblad onze brief zou publiceren, samen met een brief van de onderzoekers, en vervolgens de zaak als afgerond zou verklaren. Deze benadering zou BMJ Open de mogelijkheid hebben gegeven om zichzelf op te stellen als een onpartijdige bemiddelaar in een onopgelost dispuut. Maar de feiten zijn natuurlijk onbetwistbaar. BMJ Open publiceerde een onderzoekspaper die zichzelf op valse gronden vrijstelde van ethische review, en het vakblad blijft deze onverdedigbare beslissing verdedigen.

In haar laatste bericht legde Dr. Groves uit dat een brief van ons BMJ Open de kans zou geven om een gedetailleerde reactie te vragen aan de onderzoekers. We begrepen niet waarom het vakblad een publiceerbare brief van ons nodig had om adequate toelichtingen te vragen van de onderzoekers. Uiteraard bedankten wij voor deelname aan wat leek op een poging van BMJ Open om zichzelf te bevrijden uit deze netelige situatie en tegelijkertijd de verantwoordelijkheid voor het publiceren van de paper van zich af te schuiven.

Ik appelleerde pas aan … de Health Research Authority toen het duidelijk werd dat BMJ Open er geen interesse in had om hun fout toe te geven en dat Archives of Disease in Childhood buitensporig veel tijd nam om de studie over het Lightning Process onder de loep te nemen. Mijn vrees is dat de studie over afwezigheid op school ertoe zou kunnen leiden dat onderzoekers aan Bristol en elders kinderen en hun ouders zullen blijven interviewen zonder ethische review. Maar wat me vooral stoort is het feit dat men het aanpakken van de problemen met de studie in Archives of Disease in Childhood maar blijft uitstellen, wat mogelijk schadelijke gevolgen kan hebben voor de ernstig zieke kinderen wier wanhopige ouders behandelaars gaan opzoeken die Lightning Process gebruiken op basis van BMJ’s keurmerk. Zoals ik herhaaldelijk heb aangeduid, heeft de stichter van Lightning Process beweerd dat hij in staat was om “over de jaren heen in andere mensen hun lichaam te stappen om hen te begeleiden in hun genezing, met fantastische resultaten”. En nu heeft BMJ zijn nieuwste magische modaliteit – een ratjetoe van neurolinguïstische programmering, osteopathie, zelfbevestiging en levenscoaching – bezegeld met een aura van wetenschappelijke geloofwaardigheid.

Zoals ik schreef in een van mijn open brieven: genoeg is genoeg! Het wordt tijd dat BMJ de dingen op een rijtje zet, erkent dat er fouten zijn gemaakt, en alles doet wat het kan om dit recht te zetten. Ik verontschuldig me opnieuw voor de lengte van deze brief, maar deze dingen moesten gezegd worden. Ik kijk uit naar verdere berichten van u over de stappen die BMJ zet om te komen tot een tijdige oplossing van deze kwesties. (Ik ben net vandaag aangekomen in Londen en zal in Engeland zijn tot 30 oktober. Ik kan u gerust ontmoeten wanneer het u past, als u dat zinvol acht.)

Vriendelijke groet, David

David Tuller, DrPH

Senior Fellow Volksgezondheid en Journalistiek

Center for Global Public Health

School of Public Health

University of California, Berkeley

Trial by error: wat meer over Bristols onderzoek

David Tuller, DrPH, Virology Blog, 1 februari 2019

Gisteren rapporteerde ik dat Bristol University, op vraag van de Britse Health Research Authority, een aantal studies onderzoekt die geleid werden door Professor Esther Crawley. De resultaten van dit onderzoek worden verwacht over ongeveer twee maanden.

Vandaag kan ik onthullen dat het onderzoek te maken heeft met papers die gelinkt zijn aan een specifieke referentie van het comité voor onderzoeksethiek (REC): 07/Q2006/48. Dat is het nummer van een REC-oordeel uit 2007, uitgebracht voor een studie met als titel: “Wat gebeurt er met kinderen met CVS/ME? De studie van een longitudinale cohort van kinderen die gebruik maken van een pediatrische CVS/ME-dienst. Versie 2.”

De onderzoekers vroegen toestemming om enkele extra vragenlijsten toe te voegen aan de lijsten die al ingevuld werden door (of over) pediatrische patiënten aan de gespecialiseerde kliniek in Bath, geleid door Professor Crawley.

Men heeft mij ook verteld dat dit een “onafhankelijk” onderzoek is. Hoewel de precieze betekenis van “onafhankelijk” in deze context niet helemaal duidelijk is, interpreteer ik dit als teken dat dit geen interne evaluatie is onder directe controle van Bristol. Ik neem aan dat het gaat om een controleur die geen banden heeft met Bristol, of een panel met vooral deskundigen die niets met Bristol te maken hebben.

Het toepassingsgebied van HRA is tamelijk beperkt. Het agentschap evalueert niet de wetenschappelijke kwaliteit en de gepastheid van deze of gene methodologische benadering; in dit soort gevallen richt het zich eerder op de vraag of onderzoekers de gepaste procedures gevolgd hebben bij de aanvraag van ethische goedkeuring voor studies, alsook of het REC dit deed tijdens de evaluatie van die aanvragen. Het agentschap houdt geen rekening met vragen die volgens hen vallen onder de werkingssfeer van studiefinancierders en redacteurs van vakbladen. Tot welke bevindingen ze ook komen, we moeten bekijken met dat beperkte toepassingsgebied in het achterhoofd.

Ik diende geen officiële klacht in bij de HRA, maar ik zette het agentschap in CC bij verschillende open brieven die ik naar deze of gene persoon stuurde. Het grootste deel van dit ge-CC ging over mijn bedenkingen over twee Bristolstudies: de studie over afwezigheid op school, in 2011 gepubliceerd in BMJ Open, en de studie over het Lightning Process , in 2017 gepubliceerd in Archives of Disease in Childhood, een ander BMJ-vakblad. De studie over afwezigheid op school bleek een van de 11 papers waarvan ik vaststelde dat ze de REC-referentie 07/Q2006/48 citeerden.

De bedenkingen die ik aanhaalde over het promiscue gebruik van de REC-referentie 07/Q2006/48 viel duidelijk onder de HRA-jurisdictie. Het oordeel van 2007 gaf aan dat de voorgestelde studie in aanmerking kwam als “dienstevaluatie” en geen “onderzoek” was. Dat betekent dat ze vrijgesteld was van het soort ethische review die over het algemeen vereist is voor studies waarbij menselijke proefpersonen betrokken worden. Volgens de officiële richtlijnen zijn dienstevaluatiestudies niet meer dan dat: evaluaties van verstrekte dienstverlening. Per definitie bevatten zij geen hypotheses, veralgemeenbare conclusies of dataverzameling van personen die bekend zijn bij de onderzoekers.

Zoals ik voordien al rapporteerde, citeerden de onderzoekers van Bristol datzelfde REC-oordeel om alle andere studies ook vrij te stellen van ethische review – ook al verwees het oordeel naar “dit project”. Met andere woorden: het oordeel leek enkel toepasbaar op de specifieke studie die in 2007 in beschouwing werd genomen. Sommige of alle andere studies lijken weinig of niets te maken te hebben met de activiteiten beschreven in de ethische reviewaanvraag uit 2007 die leidde tot REC-referentie 07/Q2006/48. Sommige van de studies betrokken volwassenen, dus het lijkt vanzelfsprekend – in mijn ogen althans – dat het niet toegelaten zou zijn of zou mogen zijn om ze vrij te stellen van ethische review op basis van een REC-oordeel over pediatrisch onderzoek.

In ieder geval is het nogal ongebruikelijk om één enkel REC-oordeel te gebruiken om zo veel studies vrij te stellen van ethische review, in welke omstandigheden dan ook. Het hoeft niet te verbazen dat dit patroon leidt tot wenkbrauwgefrons bij eender wie het opmerkt. Misschien dachten de onderzoekers dat niemand de moeite zou nemen om obscure REC-referentienummers na te kijken. Dan hadden ze dus geen rekening gehouden met de onversaagde speurneus die me voor het eerst op deze bevreemdende situatie wees.

De studie over afwezigheid op school is het onderwerp geweest van vele van mijn blogposts. De paper bevatte een formele hypothese en veralgemeenbare conclusies. Om data voor de studie te verzamelen, ontmoette Professor Crawley een hele hoop leerlingen en ouders persoonlijk. Elke ervaren onderzoeker weet – of zou verwacht worden te weten – dat een studie met deze kenmerken niet geclassificeerd kan worden als dienstevaluatie. Elke ervaren vakbladredacteur zou dit ook moeten weten.

Door onderzoek te aanvaarden dat zichzelf vrijstelt van ethische review om schijnbaar onrechtmatige redenen, hebben de redacteurs van BMJ Open gefaald in hun redactionele toezichtsfunctie. En dit verontrustende falen blijft doorgaan, aangezien BMJ-redacteurs, waaronder redactioneel directeur Fiona Godlee, alles hardnekkig blijven negeren, in wat lijkt op een poging om de verantwoordelijkheid voor hun foute keuzes te ontlopen.

Waarom moeten we ons druk maken over technische details, zoals het overtreden van procedures en vereisten van onderzoeksethiek? Per slot van rekening is heel het gebied van geïnformeerde toestemming en ethische review beladen en omstreden in vele onderzoeksgebieden. Deze situatie betreft echter een uiterst kwetsbare populatie; Professor Crawleys proefpersonen waren niet enkel minderjarigen, maar ook nog eens minderjarigen die lijden aan of mogelijk lijden aan een stigmatiserende ziekte. In het geval van de studie over afwezigheid op school, interviewde Professor Crawley tientallen kinderen, terwijl ze zich van haar verplichting onttrok om haar benadering te laten doorlichten en goedkeuren door diegenen die de taak hebben om menselijke proefpersonen te beschermen. Afhankelijk van wat het Bristolonderzoek besluit na het herbekijken van meer documentatie dan waar ik toegang toe had, is deze duidelijke overtreding mogelijk een zeer ernstige zaak.

Omwille van redenen die me ontgaan, stelde Dr. Godlee me in oktober via e-mail op de hoogte van het feit dat het aanpakken van de kwesties die ik aangehaald had buiten haar controle lag – en dat ze er zeker van was dat ik dat zou begrijpen. Zoals ik aanduidde in mijn reactie op haar bericht, houdt dit argument in mijn ogen geen steek. BMJ Open maakte een problematische redactionele beslissing en verdedigde dan krachtig die misstap – en daarbij verschaften ze valse informatie over de studiemethodologie aan het Comité voor Publicatie-Ethiek, terwijl ze mij er tegelijkertijd van betichtten dat ik onjuiste beweringen zou verspreiden en de reputatie van het vakblad schade zou toebrengen.

Mijn gok – en dit is een pure gok – is dat Dr. Godlee de oplossing van het probleem wou uitstellen tot het Bristolonderzoek voltooid was; dan zou ze misschien in staat zijn om de schuld voor de hele puinhoop rechtstreeks op Bristol en Professor Crawley te steken, in plaats van BMJ Opens eigen nalatigheid toe te geven. Misschien is er een andere logische verklaring waarom Dr. Godlee haar professionele verplichtingen lijkt te willen afwentelen, maar als er één is, dan kan ik me niet inbeelden welke.

BMJ Opens beschuldiging dat ik foute informatie zou hebben verspreid over deze studie is volstrekt onjuist – ondanks mijn verzoeken, heeft niemand me documentatie verschaft voor deze valse bewering en heb ik geen excuses ontvangen. Anderzijds begrijp en aanvaard ik BMJ Opens bezorgdheid dat mijn onderzoek de reputatie van het vakblad heeft geschaad. Reputaties schaden is nooit mijn doel geweest; ik doe wat ik doe in een poging om slechte wetenschap tegen te gaan. Maar ik erken dat enige reputationele impact op vakbladen, universiteiten en personen een onvermijdelijk en jammerlijk resultaat is van mijn pogingen om studies die niet voldoen aan kernprincipes van wetenschappelijk vorsing in diskrediet te brengen.

Op dit moment bevind ik me als journalist in een ietwat rare positie. Ik heb een professionele verplichting om commentaar te vragen aan diegenen wiens werk ik bekritiseer. Tegelijkertijd begrijp ik of veronderstel ik tenminste dat mijn e-mails Professor Crawley ongemakkelijk maken. Zoals mij verteld werd door de reporter die op dit moment een komend artikel voorbereidt over de controverse, beschouwt Professor Crawley mijn manier om aandacht te trekken naar de fouten in haar werk zelfs als een vorm van “pesterijen”.

Ik veronderstel dat die beschuldiging niet enkel slaat op mijn beslissing om Professor Crawleys onderzoek onder de loep te nemen, maar ook op het feit dat ik haar vele e-mails heb gestuurd om commentaar te vragen. Ik liet die aanpak lange tijd geleden varen toen ik besefte dat het nutteloos was en dat ze nooit zou reageren. Ik veronderstel dat de beschuldiging van “pesterijen” ook verwijst naar de vele e-mails die ik stuurde naar het CFS/ME Research Collaborative waarin ik in krachtige bewoordingen schreef over Professor Crawleys publieke aantijging over mijn “lasterlijke blogs”.

Haar definitie van “pesterijen” zou ook kunnen slaan op het feit dat ik een publieke lezing van haar bijwoonde en een vraag stelde die ze niet leuk vond. Het zou ook kunnen dat ze mijn beslissing om mijn kritiek op haar werk wijd te verspreiden, bekijkt als nog een vorm van “pesterijen”. Gelet op dit alles, kan ik eigenlijk geen commentaar van haar vragen op dit verhaal, ook al zou dat de meest gepaste journalistieke benadering zijn.

Commentaar vragen van Bristol is een al even problematische kwestie. Bristol heeft meerdere klachten neergelegd over wat het blijkbaar beschouwt als mijn slecht “gedrag” – hoewel niemand van Bristols juridische dienst me ooit heeft uitgelegd wat dit slechte gedrag inhoudt en waarom het een of andere vorm van sanctie zou rechtvaardigen. Gezien de ernst van de beschuldigingen die tegen mij zijn uitgebracht, voel ik me niet op mijn gemak om de universiteit te contacteren voor mogelijk commentaar. (Er zou waarschijnlijk toch niemand commentaar willen geven.)

Dus waarom heb ik zo veel tijd gestoken in het nader bekijken van Professor Crawleys werk? Het antwoord op die vraag is eenvoudig. Professor Crawley is de prominentste Britse pediater van de ideologische GET/CGT-brigade. Haar onderzoek heeft een grote impact gehad op de behandeling van kinderen met deze ziektediagnose. Als je een journalist en volksgezondheidsdeskundige bent die bekommerd is om de behandeling van zieke kinderen en hun familie, is een onderzoek van haar invloedrijke werk een logisch aanvangspunt.

Desalniettemin besef ik dat eender wat ik in deze context doe, waarschijnlijk beschuldigingen teweeg zal brengen – of die nu van Professor Crawley komen of van andere onderzoekers in dit veld – over mijn zogezegde “pesterijen”. Het spreekt voor zich dat ik afkeur dat men mijn werk zo omschrijft.

Omtrent de studie over het Lightning Process heb ik gedocumenteerd dat de studie in feite niet prospectief geregistreerd werd, aangezien meer dan de helft van de proefpersonen al gerekruteerd waren vóór studieregistratie. Ik heb ook gedocumenteerd dat de onderzoekers zich bezighielden met onvermelde uitkomstenverwisseling nadat meer dan de helft van de deelnemers al gerekruteerd waren. In juni jl. postte Archives of Disease in Childhood een “noot van de redactie” over de paper en beloofde dat verdere beslissingen gemaakt zouden worden na “redactionele beschouwing” van “toelichtingen” verschaft door de onderzoekers. (Uiteraard wachten we nog steeds op de afronding van deze langdurige periode van “redactionele beschouwing”.)

Toen de HRA de studie bekeek, stelden zij vast dat het REC op de hoogte was van de wijzigingen in het studieontwerp en de gepaste procedures voor goedkeuring had gevolgd. En toch maakte de HRA ook duidelijk dat deze vaststelling de onderzoekers niet vrijspreekt voor het niet vermelden van hun methodologische keuzes in de paper zelf. En het spreekt ook de peerreviewers, vakbladredacteurs en uitgevers niet vrij voor hun eigen handelingen in de zaak. De HRA houdt zich simpelweg niet bezig met dat soort kwesties. Die liggen buiten hun toepassingsgebied, en daarom doet het agentschap er geen uitspraken over.

Laat ons even opsommen: Mijn onderzoek heeft geleid tot een onafhankelijk onderzoek van om en bij de 11 papers van Professor Crawleys team; vijf ervan, waaronder de studie over afwezigheid op school, werden gepubliceerd in toonaangevende BMJ-vakbladen. Mijn onderzoek heeft ook een van die BMJ-bladen verplicht om lezers te wijzen op aanzienlijke bedenkingen over nog een andere Bristolpaper. Beide ontwikkelingen geven aan dat ik tenminste geldige redenen tot bezorgdheid heb geuit die van naderbij bekeken moeten worden. Maar ik begrijp dat het veel eenvoudiger zou zijn om me te betichten van “pesterijen” dan om te erkennen dat mijn kritiek rechtmatig en correct is.

Trial by error: een terugblik op de studie over afwezigheid op school

David Tuller, DrPH, Virology Blog, 3 februari 2019

Vorige week [eind januari] maakte ik bekend dat Bristol University een onafhankelijk onderzoek voert naar een aantal studies die vrijgesteld werden van ethische review omdat ze in aanmerking zouden komen als “dienstevaluatie”. Omdat de problemen in kwestie verwarrend en complex zijn, dacht ik dat het nuttig zou zijn om hier een deel van mijn eerste onderzoek van één van die vrijgestelde studies opnieuw te posten, nl. de studie over afwezigheid op school van 2011, gepubliceerd in BMJ Open.

De titel van die paper was ” Unidentified Chronic Fatigue Syndrome/myalgic encephalomyelitis (CFS/ME) is a major cause of school absence: surveillance outcomes from school-based clinics” [Ongeïdentificeerd chronisch vermoeidheidssyndroom/myalgische encefalomyelitis (CVS/ME) is een belangrijke oorzaak van afwezigheid op school: controle-uitkomsten van aan scholen verbonden klinieken]. Ze bleek één van ten minste 11 studies die vrijgesteld werden van ethische review op basis van één enkel oordeel van het lokale comité voor onderzoeksethiek uit 2007. De studie over afwezigheid op school bevatte een formele hypothese, veralgemeenbare conclusies en persoonlijke dataverzamelingsactiviteiten. In feite is de titel zelf een veralgemeenbare conclusie.

Aangezien al deze drie elementen kenmerken zijn van “onderzoek” waarvoor ethische review vereist is, had de aanwezigheid van één enkel van die kenmerken voldoende moeten zijn om de paper niet te publiceren als dienstevaluatie. Dit probleem zou voor eender welke ervaren onderzoeker of vakbladredacteur duidelijk geweest moeten zijn. Ik ben nog steeds verbijsterd dat BMJ Open de paper niet enkel publiceerde, maar zijn eigen reputatie en geloofwaardigheid is blijven ondermijnen door steeds opnieuw zijn onverdedigbare beslissing te verdedigen.

In mijn eerste post over de studie over afwezigheid op school, zetten ik enkele van de kernproblemen op een rijtje:

Professor Esther Crawley en coauteurs beweerden dat een studie uit 2011 in BMJ Open vrijgesteld was van ethische review omdat het om de routinematige inzameling van gegevens ging voor “dienstevaluatie.” Toch was de studie uit 2011 geen evaluatie van routinematige klinische dienstverlening – het was ontworpen als testrit van een nieuwe methode om ongediagnosticeerde CVS/ME-patiënten te identificeren onder leerlingen die heel vaak afwezig zijn.

Om de bewering te ondersteunen dat de studie vrijgesteld was van ethische review, citeerden Professor Crawley en coauteurs een oordeel uit 2007 van het comité voor onderzoeksethiek dat niets te maken had met de gegevensverzamelingactiviteiten beschreven in de paper van 2011.

Voor de studie uit 2011 werden schoolbrieven naar families van 146 leerlingen gestuurd, waarin ze uitgenodigd werden voor een gesprek met Professor Crawley. Uiteindelijk werden er slechts 28 geïdentificeerd die CVS/ME hadden – wat betekent dat meer dan 100 families van leerlingen zonder CVS/ME potentieel onthutsende brieven ontvingen waarin ze werden uitgenodigd op een medische bespreking over een gevoelig onderwerp. Dit type pilootprogramma valt buiten de reikwijdte van wat velen zouden beschouwen als een dienstevaluatie.

Toen een reviewer vóór publicatie de gegevensverzamelingsactiviteiten opmerkte, zoals beschreven in de paper, deed hij ernstige vragen rijzen over het gebrek aan ethische review. In haar antwoord gaf Professor Crawley geen bevredigende antwoorden op de zorgen die geuit werden door de reviewer, maar BMJ Open publiceerde de paper toch, zonder ethische review.

**********

Het laatste punt is bijzonder significant, aangezien het niet enkel problemen aantoont met de paper zelf, maar ook met BMJ Opens redactionele nalatigheid, omdat ze toestemmen met publicatie zonder ethische review. We moeten daarbij opmerken dat de peerreviewer in kwestie Professor Matthew Hotopf was, een professor algemene ziekenhuispsychiatrie aan Kings College London – een collega van diegenen wier werk ik heb bekritiseerd. Gezien zijn connecties met leden van de ideologische CGT/GET-brigade, verbaast het mij dat zijn bedenkingen blijkbaar niet ernstig werden genomen.

Dit is wat ik schreef:

Een reviewer, die door BMJ Open werd gevraagd om commentaar te geven op het ontwerp van de paper van 2011, leek zelfs verontrust door het gebrek aan ethische review en goedkeuring. In zijn commentaar zei hij verbaasd te zijn dat het REC het hulpverleningsaspect van de studie zou beschouwen als dienstevaluatie, vrijgesteld van ethische goedkeuring, eerder dan als onderzoek dat die goedkeuring vereist.

Dit is wat hij schreef: “Het is begrijpelijk dat het REC het gebruik van routineuze gegevens uit de bestaande klinische dienst misschien niet beschouwt als onderzoek… maar het is verwonderlijk dat ze de toezichtscomponent niet bekeken als onderzoek. Kinderen die niet bekend staan bij diensten werden gecontacteerd door middel van gegevens van hun school, en volgens mij brengt dit belangrijke problemen met vertrouwelijkheid en gegevensbescherming met zich mee. Ik ben dan ook verbaasd, gezien mijn ervaring als onderzoeker en eenmalig REC-lid, dat het REC dit niet beschouwt als onderzoek. In de veronderstelling dat het REC volledig op de hoogte was van deze kwesties, en toch de beslissing nam dat het werk geen onderzoek was, dan zou het niet eerlijk zijn om de publicatie te betwisten om die redenen, maar de auteurs zouden een uitgebreidere verklaring moeten geven, en in het belang van de openheid zouden ze hun aanvraag bij het REC en de verdere correspondentie beschikbaar kunnen maken bij de publicatie.”

De verklaring van de reviewer gaat er duidelijk van uit dat Professor Crawley en haar collega’s een aanvraag hadden ingediend en hadden gecorrespondeerd met het relevante REC over de specifieke activiteiten met betrekking tot de studie over afwezigheid op school. Uitgaande van die veronderstelling, uitte hij een redelijk verzoek, nl. dat ze de REC-aanvraag en correspondentie zouden publiceren samen met de paper. De reviewer vroeg ook aan de auteurs om meer informatie te verstrekken over wat de families verteld werd, en hoe hun toestemming voor deelname aan het project werd verkregen.

Een dergelijke review vóór publicatie zou bij de redactie alarmbellen moeten doen rinkelen, tenminste genoeg om de auteurs ertoe te bewegen aanvaardbare antwoorden te verschaffen. Maar dat gebeurde blijkbaar niet in dit geval. In reactie op de commentaren van de reviewer, citeerde Professor Crawley geen enkele correspondentie met het REC over de besproken studie over afwezigheid op school, mogelijk omdat die correspondentie niet bestaat. Ook ging ze niet echt in detail over welke informatie de families kregen, en hoe toestemming werd verkregen. En ze vermeldde niet dat ze zich niet baseerde op recente correspondentie met het REC over deze specifieke studie, zoals de reviewer veronderstelde, maar wel op een REC-oordeel over een veel beperktere methode voor het verzamelen van bijkomende gegevens van vier jaar eerder.

In plaats daarvan legde Professor Crawley in haar antwoord uit dat “de specialistische dienst het advies kreeg dat ethische goedkeuring voor routinematige verzameling en analyse van dienstgegevens niet vereist is.” Ze gaf geen afdoende verklaring waarom dit pilootprogramma in aanmerking kwam als “routinematige verzameling en analyse van dienstgegevens”, terwijl het hulpverlening betrof aan families van wie de kinderen nog niet ingeschreven waren bij de klinische dienst, waaronder vele families van wie de kinderen niet eens CVS/ME hadden. In plaats daarvan verwees ze naar het feit dat ze een multidisciplinaire pediater is en dat de kinderen gezien werden in aan de school verbonden groepspraktijken, hoewel het niet helemaal duidelijk is waarom deze feiten de studie zouden moeten vrijstellen van ethische review.

In haar reactie refereerde Professor Crawley ook aan de bewondering die ze voor haar werk kreeg van mensen in hoge functies. “Het project kreeg zeer veel aandacht van het Departement Onderwijs, waar het vorig jaar vernoemd werd als voorbeeldig tijdens de opleiding voor leerplichtambtenaren in het VK”, schreef ze. Maar of onderwijsambtenaren nu wel of niet onder de indruk waren van Professor Crawley en haar werk was natuurlijk niet relevant in deze kwestie, nl. of de studie beschouwd moest worden als onderzoek of als dienstevaluatie. Het was niet duidelijk waarom Professor Crawley dit punt erbij betrok, buiten dan misschien om te suggereren dat ze voorstanders had met belangrijke functies.

Zoals blijkt uit de reactie van Professor Crawley, vroeg ze verdere verzekering dat de betrokken gegevensverzameling inderdaad deel uitmaakte van een dienstevaluatie. Dit is wat ze schreef: “We hebben navraag gedaan bij de coördinator voor het lokale REC of het registreren van resultaten op groepspraktijken verbonden aan scholen, geleid door schoolverpleegkundigen, deel uitmaakt van een dienstevaluatie (en dus niet ingediend hoeft te worden bij het REC), en ze hebben bevestigd dat dat klopt.”

Deze verklaring is verwarrend. De groepspraktijken beschreven in deze studie kunnen redelijkerwijs niet omschreven worden als aan school verbonden groepspraktijken, geleid door schoolverpleegkundigen. Volgens de paper waren ze specifiek opgesteld zodat Professor Crawley de kinderen en hun families, die geïdentificeerd werden via het pilootprogramma dat zij had ontwikkeld, zou kunnen ontmoeten. Professor Crawley is geen schoolverpleegkundige. De omschrijving in de paper van de besprekingen met families verwees naar de aanwezigheid van “een lid van het schoolteam”, niet een schoolverpleegkundige. Professor Crawleys eigen reactie op de reviewer vóór publicatie gaf aan dat dit teamlid “meestal de leerplichtambtenaar” was.

De studie zelf zei net dat “het van belang kan zijn te evalueren of schoolverpleegkundigen, eerder dan dokters, de eerste evaluatie kunnen uitvoeren in aan scholen verbonden groepspraktijken.” Met andere woorden: de manier waarop Professor Crawley persoonlijk gegevens verzamelde voor dit pilootprogramma had weinig of niks te maken met het verstrekken van routinematige zorg in door schoolverpleegkundigen geleide, aan scholen verbonden groepspraktijken.

In ieder geval verstrekte Professor Crawley geen documentatie van deze uitwisseling met de ongenoemde “coördinator voor het lokale REC”. Noch gaf ze enig detail over wat deze ongenoemde lokale coördinator was verteld. Werd de coördinator simpelweg verteld dat dit gegevensverzameling was, gemaakt tijdens routinematige zorg in door schoolverpleegkundigen geleide groepspraktijken? Of werd de coördinator verteld dat dit een pilootprogramma was om voordien ongediagnosticeerde patiënten te identificeren, via hun schoolafwezigheidsregisters?

Werd de coördinator bovendien verteld dat families brieven zouden krijgen om hen uit te nodigen voor een bespreking met een multidisciplinaire pediater op school, waarschijnlijk in de aanwezigheid van de leerplichtambtenaar van de school, maar niet van een schoolverpleegkundige? Werd de coördinator verteld dat de leerlingen vervolgens misschien gerekruteerd zouden worden als patiënten van een klinische dienst, geleid door de multidisciplinaire pediater? Werd de coördinator verteld dat de meesten van de families die geïdentificeerd en getroffen werden door dit rekruteringsproces, uiteindelijk geen kinderen met CVS/ME bleken te hebben? In afwezigheid van verder bewijs over dit blijkbaar doorslaggevende gesprek, is Professor Crawleys geruststelling uit tweede hand, dat de ongenoemde lokale coördinator het eens was met haar interpretatie van de gebeurtenissen, compleet nietszeggend.

**********

Uiteraard negeerde BMJ Open Professor Hotopfs bedenkingen en de overduidelijke feiten en publiceerde de paper, ondanks het gebrek aan ethische review. Gezien mijn onderzoek van de studie uiteindelijk leidde tot de lopende doorlichting van meerdere papers van het Bristolteam, mogen we waarschijnlijk wel besluiten dat BMJ Open de foute beslissing maakte. Ik vraag me af hoe lang we nog moeten wachten voordat diegenen die betrokken waren bij het genereren en publiceren van deze puinhoop, de nodige eerlijkheid en integriteit tonen en hun ernstige beoordelingsfout erkennen.