David Tuller, DrPH, Virology Blog, 3 januari 2018
Gisteren [2 januari 2018, n.v.d.r.] reviewde ik een verslag van een publiceringsdilemma dat werd ingediend bij het forum van het Committee on Publication Ethics [Commissie over Publicatie-ethiek, n.v.d.r.]. Het COPE-forum biedt advies over netelige situaties die anoniem door leden ingediend zijn. In dit geval bleek de inzending te komen van BMJ Open en leek het de studie naar schoolafwezigheid van professor Esther Crawley te bespreken. Deze studie was vrijgesteld van ethische review omdat het zogezegd als een “dienstevaluatie” kwalificeerde. BMJ Open heeft hun beslissing verdedigd om de paper te publiceren zonder ethische review.
Ik was aangenaam verrast door het antwoord van het COPE-forum, dat hieronder volledig geciteerd wordt. Het was redelijk, gezien de verkeerde informatie die in het relaas van de BMJ naar voren werd gebracht. Het antwoord van het COPE-forum rechtvaardigt ook duidelijk de zorgen die geuit worden over het ontbreken van ethische review van de studie. Mijn opmerkingen, die na hun antwoord gepost zijn, zullen zich richten op de eerste alinea.
Antwoord van het forum: Het forum suggereerde dat het probleem misschien niet de vraag is of de dienstevaluatie als onderzoek geldt, maar of de evaluatie uitgevoerd was bij menselijke proefpersonen (wat een gedegen ethische benadering vereist) óf dat de data vervat waren in registers waar de patiëntengegevens geanonimiseerd waren. Het leek erop dat dit laatste het geval was en dat het hier ging om een secundaire gegevensanalayse, maar de redacteur had verduidelijking bij de auteur kunnen vragen over de methodologie aangezien die adequaat moet worden beschreven. Was dit een dataset die ontwikkeld werd op basis van een onderzoeksproject dat ethische goedkeuring had voor menselijke proefpersonen? Indien dat het geval was, dan had de secundaire analyse misschien geen nieuwe ethische goedkeuring nodig als bijkomende analyses gedekt waren door de initiële goedkeuring. De methodologie schept verwarring over de vraag of ethische goedkeuring vereist was. Het Forum suggereerde dat deze punten verduidelijkt moesten worden vóór men besliste of er een correctie toegevoegd moest worden aan het artikel en of er geantwoord moest worden aan de blogger.
Dit probleem stelt zich vaak bij auditartikelen, een term die vaak gebruikt wordt voor dienstevaluaties. Er is een contradictie in het feit dat wetenschappelijke tijdschriften onderzoeksartikels publiceren, maar dat audits of dienstevaluaties niet beschouwd worden als onderzoek dat ethische goedkeuring vereist. Het is echter aan de ethische commissie en hun procedures om te beslissen wat onderzoek is met het oog op ethische goedkeuring. Los daarvan moeten wetenschappelijke tijdschriften beslissen wat ze publiceren, dus het is de redacteur die beslist wat gepubliceerd wordt in hun wetenschappelijk tijdschrift, ongeacht de beslissing van de ethische commissie.
Het Forum suggereerde dat het wetenschappelijk tijdschrift meer informatie of specifieke richtlijnen voor de auteurs moet verstrekken over wat ze bedoelen als ze zeggen dat ze afzien van ethische goedkeuring voor dienstevaluaties. Wat bedoelt men met dienstevaluaties?
Het Forum was het erover eens dat het plaatsen van een correctie overdreven kan zijn en een korte nota van de redactie misschien geschikter is. Het Forum adviseerde om niet te antwoorden op de blogger en in een draaikolk van communicatie terecht te komen die problematisch kan worden. Een suggestie was om een editoriaal te schrijven over de concepten in bredere zin en hoe het beleid van het wetenschappelijk tijdschrift in de toekomst zal evolueren betreffende secundair onderzoek dat uitgevoerd wordt als dienstevaluatie / audits / kwaliteitsverbetering en wat de ethische vereisten zullen zijn in de toekomst. Wat zijn de verwachtingen van het wetenschappelijk tijdschrift voor toekomstige inzendingen van dienstevaluaties?
Het Forum suggereerde dat de redacteur eventueel de SQUIRE 2.0-richtlijnen (Standards for QUality Improvement Reporting Excellence [richtlijnen voor kwaliteit in rapportage over gezondheidszorg, n.v.d.r.]) zou kunnen raadplegen over het publiceren van studies m.b.t. kwaliteitsverbetering, wat teruggevonden kan worden op de website van het Equator Network (https://www.equator-network.org/reporting-guidelines/squire/).
Mijn antwoord: De eerste alinea geeft aan dat er voor de leden van het COPE-forum nog steeds onduidelijkheid was over de procedures rond gegevensverzameling met betrekking tot de studie naar schoolafwezigheid. Dit is niet verrassend, aangezien het verslag dat door de BMJ Open gepresenteerd werd, vaag bleef over de zaak, zoals ik gisteren in mijn opmerkingen aanhaalde. Bij het antwoorden veronderstelden de leden van het COPE-forum blijkbaar dat de studie naar schoolafwezigheid betrekking had op een “secundaire gegevensanalyse” van geanonimiseerde registers, waardoor het mogelijk rechtmatig als een dienstevaluatie gekwalificeerd kon worden.
Dit was natuurlijk niet het geval, maar het is veelzeggend dat de BMJ Open zijn relaas schreef alsof het op die manier geïnterpreteerd kon worden. De positie van het COPE-forum is duidelijk: als deze studie geen secundaire gegevensanalyse omvatte, maar in de plaats daarvan uitgevoerd was op menselijke proefpersonen, dan “zou het een gedegen ethische benadering vereisen.” Aangezien de pilootinterventie die in de studie naar schoolafwezigheid werd onderzocht, uitgevoerd werd op menselijke proefpersonen die identificeerbaar waren voor de hoofdonderzoeker, vereiste het ethische goedkeuring en had het niet als dienstevaluatie beschouwd mogen worden. Het is nog steeds niet duidelijk waarom deze kwestie BMJ Open eigenlijk in verwarring bracht.
Zoals de leden van het COPE-forum in de eerste paragraaf concludeerden: “verwart de methodologie de vraag of er ethische goedkeuring vereist was. Het Forum suggereerde dat deze punten verduidelijkt moeten worden voordat er beslist wordt of er een correctie aan het artikel toegevoegd moet worden en of er geantwoord moet worden op de blogger.”
Het COPE-forum heeft de redacteurs van het wetenschappelijk tijdschrift gevraagd om de methodologie die voor de paper gebruikt wordt, te verduidelijken. Hebben zijn dit al gedaan? Het enige wat nodig is, is een review van de paper in BMJ Open zelf, die duidelijk beschrijft hoe professor Crawley en haar team de personen gevonden hebben die geïdentificeerd werden via de pilootinterventie. Als de redacteur van de BMJ Open, Adrien Alcdroft, of de hoofdredacteur Trish Groves nu eens zouden herlezen wat er gepubliceerd was in hun eigen wetenschappelijk tijdschrift, zouden ze uiteindelijk erkennen dat hun voortdurende verdediging van de beslissing om het zonder ethische review te publiceren, niet realistisch is.
De rest van het antwoord van het COPE-forum gaat over een bijkomend probleem, tenminste in het geval van deze zaak: of en hoe het wetenschappelijk tijdschrift moet verduidelijken wat het bedoelt met de termen “onderzoek” en “dienstevaluatie.” Maar deze suggesties gaan ervan uit dat het probleem in dit geval te wijten was aan verwarring – van de kant van de auteurs en de uitgever – over de definitie van deze termen. Ik betwijfel eigenlijk of er überhaupt sprake is geweest van verwarring.
Samenvattend: de activiteiten in de studie naar schoolafwezigheid kwalificeren niet als “dienstevaluatie”, volgens geen enkele norm. Zoals dit antwoord van het COPE-forum duidelijk maakt, hadden de onderzoekers de studie niet mogen vrijstellen van ethische review. Lezers van de paper kunnen dat zelf ook zien. De redacteurs van de BMJ Open weten het ook. Hun pogingen om dat te ontkennen, zijn niet overtuigend en zullen de reputatie van het wetenschappelijk tijdschrift verder blijven schaden.
© David Tuller voor Virology Blog. Vertaling zuiderzon, redactie abby, ME-gids.
Lees ook
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (1)
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (2)
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (3)
- Onderzoekers van de PACE-studie antwoorden David Tuller
- David Tuller reageert op de PACE-onderzoekers
- Petitie : Misleidende claims van PACE-studie moeten teruggetrokken worden
- Trial by error, vervolgd: heeft de PACE-studie echt een “strikt criterium” voor herstel toegepast?
- Trial by error, vervolg: Waarom is het “zusteronderzoek” van de PACE-studie “verdwenen” en vergeten?
- Overheid beveelt vrijgave van de gegevens van de PACE-studie
- Proffen schrijven open brief aan The Lancet en vragen herevaluatie van PACE-resultaten
- Open brief van Invest in ME over de PACE-studie aan de redacteur van The Lancet
- Trial by error, vervolgd: Het werk van het PACE-team voor verzekeringsmaatschappijen “houdt geen verband” met PACE. Echt waar?
- In het kielzog van het onderzoek van David Tuller, publiceren de PACE-onderzoekers een follow-upstudie
- ME Association: We betwisten het follow-uprapport van de PACE-studie
- Professor Jonathan Edwards: PACE-studie is “waardeloos”
- Oninterpreteerbaar: Fatale fouten in het PACE follow-uponderzoek van het chronisch vermoeidheidssyndroom
- Waarom de wetenschappelijke wereld het nodig heeft dat de PACE-gegevens worden vrijgegeven
- Reporter hekelt studie naar chronisch vermoeidheidssyndroom: ik stopte bij 14.000 woorden – genoeg was genoeg
- Een “moreel equivalent van oorlog” en de PACE-studie over chronisch vermoeidheidssyndroom
- Waarom ME-patiënten kritisch zijn over de PACE-studie
- Was onafhankelijke peerreview van de papers over de PACE-studie mogelijk?
- James Coyne over de “objectiviteit” van NHS Choices en het belachelijk maken van ME/CVS-patiënten
- Wat er voor nodig is voor Queen Mary om een verzoek om wetenschappelijke gegevens als “ergerlijk” te verklaren
- Update van mijn formeel verzoek voor het vrijgeven van de gegevens van de PACE-studie
- Formeel verzoek aan PLOS One om een Uitdrukking van Bezorgdheid uit te vaardigen voor de PACE-studie
- Waarom ik niet weet hoe PLOS zal reageren op de weigering van de auteurs om de data vrij te geven
- Antwoord van PLOS One op de bezorgdheid over de weigering van King’s College om de PACE-data te delen
- Proffen verzoeken om de gegevens van de PACE-studie
- King’s College London rekt tijd nog wat meer door weigering te herhalen om PACE-onderzoeksdata vrij te geven
- Herkennen wanneer het “beschermen van de privacy van patiënten” louter een excuus is voor het niet delen van de data
- Herzien van de economische analyse van de PACE-studie in PLoS One
- Een inkijk in de aanval op het delen van data
- Trial By Error, vervolgd: vragen voor Dr. White en zijn collega’s van de PACE-studie
- Niet-bekendgemaakte belangenconflicten in reviewprotocol van interventies voor medisch onverklaarde symptomen
- Trial by error, vervolgd: heeft de PACE-studie werkelijk bewezen dat graduele oefentherapie veilig is?
- Trial by error, vervolgd: meer nonsens van The Lancet Psychiatry
- We zijn tenminste niet ergerlijk
- Verdere inzichten in de oorlog tegen het delen van data
- Trial by error, vervolgd: een paar woorden over pesterijen
- Het heroverwegen van het beleid rond het onderzoek naar en de behandeling van ME/CVS
- Opnieuw een open brief aan de Lancet
- What About ME? Deel 1: ME-patiënten vragen patiëntenorganisaties kleur te bekennen t.a.v. PACE
- Ook België steunt in open brief de globale oproep om de PACE-data vrij te geven
- Lezing Dr. David Tuller en Prof. Frans Visser tijdens Nederlandse première Forgotten Plague
- Petitie met 12.000 handtekeningen aan The Lancet bezorgd om de PACE-studiedata vrij te geven
- Open brief Prof. Malcolm Hooper aan The Lancet
- Een half jaar gaat voorbij zonder de vrijgave van PACE-studiedata uit PLOS One
- PACE-Gate: de controverse over de grootste studie naar CGT en GET bij ME/cvs
- Proffen schrijven open brief aan PLoS One i.v.m. PACE-studie naar CGT/GET
- Correctie van PLoS verwijdert geanonimiseerde patiëntengegevens in studie naar CVS (& zet ze daarna terug)
- “Hun mond viel open van verbazing over de PACE-trial naar CGT en GET.”
- Rechtbank eist vrijgave van de gegevens van de PACE-studie naar CGT en GET voor ME/CVS
- Queen Mary University of London “bestudeert” de regelgeving om de PACE-data vrij te geven
- The Lancet struikelt opnieuw over de PACE-studie
- Trial by error, vervolgd: mijn vragen voor de hoofdredacteur van The Lancet, Richard Horton
- Vrijgave data PACE-team volgens originele protocol
- Verklaring QMUL: bekendmaking van de data van de PACE-studie onder de Wet op de Vrijheid van Informatie
- Persbericht. De vrijgave van de PACE-data is een fundamentele overwinning voor mensen met ME/cvs
- Stop studies naar graduele oefentherapie voor ME/CVS
- Prof. Van der Meer waarschuwt voor delen van data met “je vijanden”
- Geen “herstel” in de PACE-studie, blijkt uit nieuwe analyse
- Slechte wetenschap heeft miljoenen ME/cvs-patiënten misleid. Hier leest u hoe we terugvochten.
- Belangrijkste punten uit de analyse van de ruwe data voor “herstel” van de PACE-studie
- Bewijs voor aanbevolen behandelingen voor ME en CVS houdt geen stand
- Trial by error, vervolgd: de echte data van de PACE-studie
- Erger dan de ziekte
- De PACE-studie: waar “herstel” niet betekent dat je terug gezond bent
- Hoe de brief van Alem Matthees het mysterie van ME/cvs hielp oplossen
- Een open brief aan Psychological Medicine over “herstel” en de PACE-trial (Update)
- Opnieuw een open brief aan Psychological Medicine!
- De bal misslaan bij ME/cvs
- Trial by error, vervolgd: de nieuwe FITNET-studie voor kinderen
- Trial by error, vervolgd: een vervolgpost over FITNET-NHS
- Trial by error, vervolgd: de Nederlandse studies (opnieuw!), en een Esther Crawley-bonus
- Trial by error, vervolgd: mijn lasterlijk bloggen op Virology Blog
- Trial by error, vervolgd: een open brief aan het bestuur van het CFS/ME Research Collaborative (CMRC)
- Trial by error, vervolgd: CFS/ME Research Collaborative aan Virology Blog: “Rot op!”
- Trial by error, vervolgd: Het CMRC bevestigt volledige steun aan Lasterlijke Esther
- Trial by error, vervolgd: ME Research UK stapt uit het CFS/ME Research Collaborative
- Trial by error, vervolgd: mijn “scheur-het-aan-flarden”-toespraak bij Invest in ME
- David Tuller zamelt geld in voor Virology Blogs Trial by error: verslaggeving over PACE, ME/cvs en verwante onderwerpen
- Trial by error, vervolgd: mijn brief aan de University of Bristol
- Crowdfundingcampagne David Tuller in teken van ME: nog twee weken te gaan…
- David Tuller komt op voor ME: de laatste tien dagen van de campagne…
- Trial by error, vervolgd: is PACE een geval van wetenschappelijk wangedrag?
- Trial by error, vervolgd: de reis van Julie Rehmeyer “Through The Shadowlands”
- Trial by error, vervolgd: meer over graduele oefentherapie van Peter White en The Lancet
- Trial by error: De CDC schrappen cognitieve gedragstherapie (CGT) en graduele oefentherapie (GET) voor ME/cvs
- Trial by error: De NICE-richtlijnen, en meer over de CDC
- Trial by error: NICE weigert om namen van experts te onthullen
- Trial by error: NICE verwerpt mijn verzoek op basis van vrijheid van informatie
- De PACE-trial, of hoe een medisch schandaal tot stand kwam
- Waarop moet je letten in de Speciale Editie van het Journal of Health Psychology over de PACE-trial
- Deel 2: Waarop moet je letten in de Speciale Editie van het Journal of Health Psychology over de PACE-trial
- Trial by error: de wanhopige pogingen van het Science Media Center om PACE te verdedigen
- Trial by error: gepensioneerde PACE-onderzoeker Peter White en Swiss Re
- Trial by error: mijn e-mailuitwisseling met de directeur van NICE
- Trial by error: geen ethische review van de studie van Crawley over afwezigheid op school
- Trial by error: verzoek om meer details over de studie van Crawley over afwezigheid op school
- Trial by error: de rapporten van de “deskundigen ter zake” van NICE
- Trial by error: MEGA’s nieuwst mislukking
- Trial by error: NICE verwerpt huidige richtlijn, plant “volledige update”
- Trial by error: NIH geeft een subsidie van 2,1 miljoen dollar aan de Britse Biobank!
- Trial by error: nog een brief aan de directeur van NICE
- Trial by error: huidige NICE-richtlijn blijft, voorlopig toch
- Trial by error: de verrassende nieuwe gids voor beste praktijken van BMJ [voor ME/cvs]
- Trial by error: mijn korte ontmoeting met Professor Crawley
- Trial by error: Hé, Bristol! Waar is mijn ‘cease and desist’-brief*?
- Trial by error: de Crawley-kronieken (vervolg)
- Trial by error: mijn eenzijdige correspondentie met professor Crawley
- Trial by error: de niet-openbaar gemaakte uitkomstenverwisseling van de SMILE-studie
- SMILE-studie Lightning Process voor kinderen met CVS: Resultaten te mooi om waar te zijn?
- Trial by error: mijn vragen voor het Science Media Center
- David Tuller en de (s)PACEcake-eters
- Trial by error: de studie naar afwezigheid op school, tweede ronde
