Home » Nieuwsartikels » David Tuller » Trial by error: onze gedachtenwisseling met BMJ Open; en de volgende ronde met BMJ Open

Trial by error: onze gedachtenwisseling met BMJ Open; en de volgende ronde met BMJ Open

Geplaatst door ME-Gids
op 10/04/2018

Laatste bijwerking op 10/04/2018

Bron:

David Tuller, Virology Blog

| 10862 x gelezen

David Tuller, Dr Ph, Virology Blog, 26 februari 2018

Vorige week [19 februari 2018, n.v.d.r.] e-mailde professor Racaniello een brief waarin hij zijn bezorgdheid uitsprak, die door meer dan een dozijn experts werd ondertekend, tegen Dr. Trish Groves, hoofdredacteur van BMJ Open. De brief had betrekking op de schoolafwezigheidsstudie van professor Esther Crawley, die het wetenschappelijk tijdschrift in 2011 publiceerde. Zoals ik in een post afgelopen jaar al rapporteerde, stelde de studie zichzelf vrij van ethische review, op basis van de foutieve bewering dat het een “dienstevaluatie” was en geen “onderzoek.”

De volgende dag stuurde Dr. Groves de volgende e-mail:

Geachte Professor Racaniello en collega’s,

Dank u voor uw brief.

We nemen aan dat u weet dat deze casus grondig gereviewd is door BMJ Open en besproken is door de Commissie voor Publicatie-ethiek.

Als u zou willen dat wij ook overwegen om een e-letter te posten bij het wetenschappelijk tijdschrift BMJ Open, kunt u deze indienen door het aanklikken van de link naast het artikel.

Met vriendelijke groeten,

Trish Groves

**********

Onnodig te zeggen dat dit geen bevredigend antwoord was. Professor Racaniello e-mailde mij vandaag [26 februari 2018, n.v.d.r.] het volgende antwoord:

Geachte Dr. Groves,

Dank u voor uw reactie. We zijn er ons van bewust dat BMJ Open de zaak vorig jaar beoordeeld heeft nadat er bezorgdheid was gerezen over de paper. Die beoordeling is vanuit uw perspectief mogelijk “grondig” geweest, maar deze schoot desalniettemin tekort.

Een objectieve lezing van de paper over afwezigheid op school zou aantonen dat ze niet voldoet aan de geaccepteerde definities van “dienstevaluatie” zoals onze brief opmerkte. De data voor deze inschatting van een “proefproject klinische dienst” werden verzameld op persoonlijke bijeenkomsten, die specifiek voor de doeleinden van de studie georganiseerd waren, die een hypothese en generaliseerbare conclusies lieten zien. Gezien deze feiten is de enige redelijke interpretatie dat de studie kwalificeerde als “onderzoek” en ethische review vereiste, volgens de richtlijnen uitgevaardigd door de Health Research Authority [Britse belangenverdediger van patiënten en volksgezondheid in onderzoek, n.v.d.r.].

We zijn ons er ook van bewust dat BMJ Open deze casus indiende bij het COPE-forum, omdat Dr. Tuller uw inzending en de reactie van het Forum analyseerde voor Virology Blog. Zoals hij rapporteerde en zoals wij opmerkten in onze brief, omvatte de verklaring van de University of Bristol, die BMJ Open ter verdediging aanhaalde, een anonieme nationale CVS/ME-database en had niets te maken met de data die uit eerste hand werden verzameld voor de studie naar afwezigheid op school.

De inzending van BMJ Open aan het Forum citeerde ook uit een brief van de commissie voor onderzoeksethiek, die de stelling van de onderzoekers beweerde te ondersteunen dat de studie geen ethische review vereiste. In werkelijkheid was het citaat blijkbaar afkomstig uit de originele brief van de commissie voor onderzoeksethiek uit 2007 die in de paper werd aangehaald. Evenals de verklaring van de universiteit van Bristol over de nationale CVS/ME database, had deze brief uit 2007 niets te maken met de studie naar afwezigheid op school. De grondige beoordeling van de zaak door BMJ Open moet deze punten, die van kritiek belang zijn, gemist hebben.

In haar reactie op de inzending van BMJ Open stelde het COPE-forum dat het wetenschappelijk tijdschrift niet de volledige details verschafte over de methodologie van de studie. Dit is het belangrijkste gedeelte van de reactie van het Forum:

“Het Forum suggereerde dat het probleem mogelijk niet is of de dienstevaluatie wel of geen onderzoek is, maar of de evaluatie uitgevoerd werd op menselijke proefpersonen (hetgeen een verantwoorde ethische benadering zou vereisen) of dat de data werden opgeslagen in registers waar de data van patiënten geanonimiseerd waren.

Het lijkt er op dat het laatste het geval is en dat dit een secundaire data-analyse is, maar de redacteur zou opheldering kunnen vragen van de auteur met betrekking tot de methodologie, omdat dit adequaat moet worden beschreven. Werd deze dataset ontwikkeld vanuit een onderzoeksproject dat ethische goedkeuring had gekregen voor menselijke proefpersonen? Als dat zo was, zou de secundaire analyse mogelijk geen nieuwe ethische goedkeuring nodig hebben, als de aanvullende analyses in de oorspronkelijke goedkeuring stonden. De methodologie schept verwarring over of er ethische goedkeuring vereist was. Het Forum suggereerde dat deze punten moeten opgehelderd worden voordat een besluit wordt genomen over de vraag of er een correctie moet worden toegevoegd aan het artikel of antwoord te geven aan de blogger.”

Het bericht van het Forum is niet ingewikkeld: als de studie “uitgevoerd werd op menselijke proefpersonen,” zou deze “een gedegen ethische benadering vereisen.” De reactie wijst er verder op dat het Forum voorzichtig veronderstelde – ten onrechte, zoals later bleek – dat de studie geen “menselijke proefpersonen” bevatte maar alleen “registers waarin de data van de patiënten werden geanonimiseerd.” Om de onzekerheid weg te nemen, suggereert het Forum dat de redacteur van het tijdschrift “om opheldering moet vragen aan de auteur over de methodologie.” Het Forum herhaalt dit punt en merkt op dat “de methodologie verwarring schept over of ethische goedkeuring vereist was,” en suggereert opnieuw dat het wetenschappelijk tijdschrift deze punten moet ophelderen voordat een besluit over een correctie kan worden genomen.

Voor zover we weten, heeft BMJ Open zich niet gehouden aan de suggestie van het Forum dat het wetenschappelijk tijdschrift om “opheldering” moet vragen met betrekking tot de methodologie van de paper naar afwezigheid op school. Zoals onze brief opmerkte, zou het verkrijgen van dergelijke opheldering slechts vereisen dat u en andere redacteurs van BMJ Open de feitelijke paper lezen. De onderzoekers verschaften zelf doorslaggevend bewijs in hun beschrijving van de methodologie dat dit geen “dienstevaluatie” was, maar “onderzoek.”

Kortom, BMJ Open publiceerde een studie waar kinderen bij betrokken waren, die zichzelf onterecht vrijstelde van ethische review. De zaak is volledig gedocumenteerd en is onbetwistbaar. Op BMJ Open rust de taak om passende actie te ondernemen en het probleem aan te pakken.

Hoogachtend —

Vincent R. Racaniello, PhD

Professor of Microbiology and Immunology

Columbia University

New York, NY, USA

Ronald W. Davis, PhD

Professor of Biochemistry and Genetics

Stanford University

Stanford, CA, USA

Jonathan C.W. Edwards, MD

Emeritus Professor of Medicine

University College London

London, UK

Rebecca Goldin, PhD

Professor of Mathematics

George Mason University

Fairfax, VA, USA

Leonard A. Jason, PhD

Professor of Psychology

DePaul University

Chicago, IL, USA

Steven Lubet

Williams Memorial Professor of Law

Northwestern University Pritzker School of Law

Chicago, IL, USA

Marlon Maus, MD, DrPH, FACS

Director, DrPH Program

School of Public Health

University of California, Berkeley

Berkeley, CA, USA

Patrick E. McKnight, PhD

Professor of Psychology

George Mason University

Fairfax, VA, USA

Philip B. Stark, PhD

Professor of Statistics

University of California, Berkeley

Berkeley, CA, USA

John Swartzberg, MD

Clinical Professor Emeritus

School of Public Health

University of California, Berkeley

Berkeley, CA, USA

Samuel Tucker, MD

Assistant Clinical Professor of Psychiatry (retired)

University of California, San Francisco

San Francisco, California, USA

David Tuller, DrPH

Senior Fellow in Public Health and Journalism

Center for Global Public Health

University of California, Berkeley

Berkeley, CA, USA

William Weir, FRCP

Infectious Disease Consultant

London, UK

Trial by error: de volgende ronde met BMJ Open

David Tuller, DrPH, Virology Blog, 26 maart 2018

In reactie op onze laatste brief aan BMJ Open over de ethisch onverantwoorde schoolafwezigheidsstudie, nodigde de redacteur van het tijdschrift, Dr. Trish Groves, ons nog maar eens uit om een brief voor publicatie in te dienen. We hebben ervoor bedankt.

Kort gezegd: In 2011 publiceerde BMJ Open een onderzoeksstudie die zichzelf vrijstelde van ethische review op valse gronden, nl. dat het om een dienstevaluatie zou gaan. Het wetenschappelijk tijdschrift heeft die beslissing telkens weer verdedigd. Ik heb al zes blogposts geschreven over deze zorgwekkende situatie: hier, hier, hier, hier, hier en cf.supra.

Dus dit is de zevende post over dit onderwerp op Virology Blog. Dit is onze uitwisseling.

**********

Geachte Dr Racienello (sic) en collega’s,

Dank u voor uw verdere commentaar.

Om maximale transparantie te garanderen, houden wij discussies zichtbaar voor alle lezers, dus u kan een e-brief indienen bij het blad in kwestie bij BMJ Open. Wij zullen u dan zo mogelijk van een antwoord voorzien.

Met vriendelijke groeten,

Trish Groves

**********

Geachte Dr. Groves,

Dank u voor uw meest recente bericht, waarin u ons uitnodigt om een brief in te dienen over onze bedenkingen over de schoolafwezigheidsstudie uit 2011, gepubliceerd door BMJ Open. We zijn verrast dat u ons dit aanbiedt met als reden de nood aan “maximale transparantie”, gezien BMJ Open heel deze zaak heeft behandeld zonder enige klaarblijkelijke vorm van transparantie of gevoel voor redactionele verantwoordelijkheid.

Wij zijn volledig transparant en uiterst gedegen geweest bij het voorstellen van onze zaak. De studie, met als titel “Ongeïdentificeerd chronisch vermoeidheidssyndroom/myalgische encefalomyelitis (CVS/ME) is een belangrijke oorzaak van afwezigheid op school: controle-uitkomsten van aan scholen verbonden klinieken”, voldoet aan geen enkele definitie van een dienstevaluatie – en ook vooral niet aan de duidelijke richtlijnen van de Britse Health Research Authority [Britse belangenverdediger van patiënten en volksgezondheid in onderzoek, n.v.d.r.].

Virology Blog heeft al zes stukken over dit onderwerp gepost. Onze posts citeren onweerlegbaar bewijs van het feit dat de onderzoekers hun studie vrijstelden van ethische review op valse gronden, nl. dat het om een dienstevaluatie zou gaan. En toch hebben u en uw tijdschrift ervoor gekozen om de feiten te negeren. Wij vinden dit opzettelijk ontkennen van de realiteit verbijsterend.

Om die reden zien wij niet in waarom wij een brief bij BMJ Open moeten indienen, gezien het tijdschrift blijkbaar niet in staat is om een eerlijke bemiddelaar te zijn in dit debat. Virology Blog wordt veel gelezen door vooraanstaande wetenschappers, academici, onderzoekers en gezondheidsambtenaren, en ook door ME/cvs-patiënten en belangenbehartigers, dus een groot en invloedrijk publiek is reeds op de hoogte van het onverklaarbare gedrag van BMJ Open in deze kwestie.

Geeft u mij alstublieft de kans om het bewijs nog een keer te overlopen.

Als een studie een formele hypothese bevat, is het per definitie onderzoek, geen dienstevaluatie. De schoolafwezigheidsstudie bevatte een formele hypothese.

Als een studie veralgemeenbare conclusies bevat, is het per definitie onderzoek, geen dienstevaluatie. De schoolafwezigheidsstudie bevatte veralgemeenbare conclusies. Het is ook opmerkelijk dat de studietitel zelf een veralgemeenbare conclusie vertoont en dat het vakblad de studie publiceerde onder de hoofding “onderzoek”.

Als de methodologie van een studie het verzamelen omvat van primaire data van personen die bekend zijn bij de onderzoekers, is het per definitie onderzoek, geen dienstevaluatie. In de schoolafwezigheidsstudie verzamelde de hoofdonderzoeker persoonlijk de data van personen, geïdentificeerd door de leerplichtambtenaar.

Als een studie een vernieuwende gegevensverzamelingsmethode uittest, is het per definitie onderzoek, geen dienstevaluatie van routinematige zorg. De schoolafwezigheidsstudie testte wat de onderzoekers een “proefproject klinische dienst” noemden, om leerlingen te identificeren die mogelijk chronisch vermoeidheidssyndroom hebben.

Als de deelnemers aan een studie veel mensen omvatten die de ziekte in kwestie niet hebben en niet in behandeling zijn voor de ziekte in kwestie, dan is het per definitie geen dienstevaluatie van routinematige zorg voor de ziekte in kwestie. In de schoolafwezigheidsstudie werd bij slechts 28 van de 146 kinderen, wiens families gevraagd werd om schoolvergaderingen bij te wonen, uiteindelijk chronisch vermoeidheidssyndroom vastgesteld.

In zijn voorstelling van de zaak voor op het Forum van het Comité voor Publicatie-ethiek (COPE), focuste BMJ Open niet op deze methodologische details. In plaats daarvan, berustte de verdediging van het wetenschappelijk tijdschrift vooral op twee bewijsstukken.

Ten eerste citeerde BMJ Open een verklaring van de University of Bristol dat blijkbaar bevestigde dat de schoolafwezigheidsstudie een dienstevaluatie was. In werkelijkheid richtte de verklaring van Bristol zich enkel op het gebruik van secundaire geanonimiseerde gegevens van de CFS/ME National Outcome Database (NOD) [database aan Bristol University met gegevens van ME-patiënten uit verschillende Engelse referentiecentra; bestaat intussen niet meer, n.v.d.r.]. Aangezien de vernieuwende methode voor verzameling van primaire data van gekende personen niets te maken had met geanonimiseerde gegevensverzameling in de National Outcome Database, doet de verklaring van Bristol hier niets ter zake. Gezien Virology Blog in een vroegere post al gedocumenteerd had dat de verklaring van Bristol niets zei over het “proefproject klinische dienst”, beschreven in de schoolafwezigheidsstudie, is het verbazingwekkend dat BMJ Open blijft opdraven met dit argument.

Ten tweede stond in de presentatie van de BMJ Open aan het COPE-Forum een verklaring van de relevante ethische onderzoekscommissie (REC). Dit citaat werd verstrekt alsof het ging om een geactualiseerd advies van de REC, specifiek over de schoolafwezigheidsstudie. Niemand van het COPE-Forum wist wellicht dat het citaat kwam uit het originele REC-advies van 2007, dat geciteerd werd in de studie als rechtvaardiging voor de vrijstelling van ethische review.

Zoals Virology Blog voordien had gedocumenteerd, had dit REC-advies van 2007, net als de verklaring van Bristol over de NOD, niets te maken met de gegevensverzamelingsmethode die gebruikt werd in de studie. Het REC-advies stelde enkel vast dat het toevoegen van enkele vragen aan de vragenlijsten die ingevuld worden door patiënten die de klinische dienst al bezoeken, in aanmerking komt als dienstevaluatie. Het verwees niet naar de vernieuwende manier van gegevensverzameling voor het “proefproject klinische dienst”, beschreven in de schoolafwezigheidsstudie, dus het is verontrustend dat de BMJ Open het REC-advies citeerde als verantwoording voor zijn handelen.

Het antwoord van het COPE-Forum ondersteunde de bewering van BMJ Open niet, dat de studie in aanmerking zou komen als dienstevaluatie. Terecht merkte het COPE-Forum op dat de dataverzamelingsmethode van een studie de bepalende factor is bij de identificatie als onderzoek of als dienstevaluatie. Het COPE-Forum wees erop dat de presentatie van BMJ Open vaag bleef over de details van het gegevensverzamelingsproces en vroeg de redacteurs dringend om de eigenlijke methodologie te herbekijken.

Zoals we voordien hebben uitgelegd, hadden u en andere redacteurs van BMJ Open enkel de gepubliceerde paper moeten lezen om de dataverzamelingsmethode in de schoolafwezigheidsstudie te evalueren. Een alternatief zou zijn geweest dat u en andere redacteurs contact hadden opgenomen met topambtenaren van de Health Research Authority om hun beoordeling te krijgen over of de schoolafwezigheidsstudie gekenmerkt zou moeten worden als onderzoek of als dienstevaluatie. In plaats van deze stappen te ondernemen, besliste BMJ Open om de zaak van het COPE-Forum af te sluiten en de kwestie als afgehandeld te verklaren.

In zijn presentatie aan het COPE-Forum kloeg BMJ Open er ook over dat de uiteenzetting op Virology Blog “schadelijk voor de reputatie van het tijdschrift” was geweest. Dat was zeker het geval, maar Virology Blog hiervoor de schuld geven, is weer maar eens een poging tot het ontlopen van verantwoordelijkheid. BMJ Open kan de serieuze reputatieschade die het op dit moment oploopt, enkel zichzelf en zijn redacteurs verwijten.

De feiten zijn wat ze zijn. Volgens eender welke norm is de schoolafwezigheidsstudie onderzoek, geen dienstevaluatie. Dat de onderzoekers het vrijstelden van ethische review, is onverdedigbaar. Dat de BMJ Open die beslissing in de hand gewerkt en herhaaldelijk ondersteund heeft, is ook onverdedigbaar.

In deze kwestie is BMJ Open dus zijn ethische en redactionele verantwoordelijkheden uit de weg gegaan. Een brief van critici publiceren is niet de gepaste manier om het probleem aan te pakken. BMJ Open zou beter erkennen dat het fout was om een onderzoekspaper te publiceren zonder ethische review, en dan de nodige stappen ondernemen om het probleem op te lossen.

Vincent R. Racaniello, PhD

Professor of Microbiology and Immunology

Columbia University

New York, NY, USA

David Tuller, DrPH

Senior Fellow in Public Health and Journalism

Center for Global Public Health

University of California, Berkeley

Berkeley, CA, USA