Quick Thoughts
One of James C. Coyne’s Blogs
James C. Coyne, 13 december 2015
Het simpele antwoord is dat ik niet betrokken ben bij het besluitvormingsproces en dit een beetje onduidelijk is voor mij.
Het uitgebreidere antwoord:
De strategieën die ik gebruikte om de PACE-data van de PLOS-paper te verkrijgen, zijn slechts deze die beschikbaar zijn voor iedereen.
- Ik profiteerde van de goed geformuleerde verklaringen die de beschikbaarheid van data vereisen als een vereiste om in PLOS tijdschriften te publiceren. Maar deze richtlijnen kunnen door iedereen worden geraadpleegd.
- Op basis van wat ik weet, verwacht ik niet in beroep te gaan tegen de beslissing van King’s College, Londen, via de Information Commissioner’s Office, omdat mijn originele verzoek niet onder de Freedom of Information Act (Wet op de Vrijheid van Informatie) werd gedaan. Dus ben ik vooral afhankelijk van het antwoord van PLOS.
- Ik ben een van de duizenden Academische Editors van PLOS One, alsook een blogger op de PLOS blog Mind the Brain. Toch geeft mij dit geen speciale status, speciale invloed, of zelfs een speciaal inzicht in het proces waardoor PLOS besluit hoe te reageren op de weigering om de data vrij te geven.
- Mijn rapportage van alles dat plaatsvindt, dient om het belang van het delen van gegevens en het beleid hieromtrent te benadrukken, om te verzekeren dat auteurs inderdaad data delen wanneer daarom wordt gevraagd.
- Ik toon ook hoe je dit moet doen, althans bij de PLOS tijdschriften, als auteurs geen gegevens delen. De PLOS tijdschriftenfamilie loopt jaren voor op de meeste andere uitgevers als het gaat om hun duidelijkheid en transparantie. Ik nodig anderen uit om uit te proberen wat ik aan het doen ben met andere wetenschappelijke tijdschriften en de resultaten te rapporteren.
- Misschien moeten we genoegen nemen met deze verwezenlijkingen, als de data niet beschikbaar worden, maar ik ben optimistischer dan dat.
Op 13 november 2015 deed ik een formeel verzoek aan Paul McCrone, de eerste auteur van een PLOS-artikel om de data te leveren die nodig waren voor een heranalyse en gevoeligheidsanalyse om te zien of de resultaten overeind bleven met andere aannames. Ik kreeg een snelle reactie dat mijn verzoek werd overwogen onder de Wet op de Vrijheid van Informatie.
In mijn verzoek zette ik PLOS One in cc. Ik ontving onmiddellijk een bevestiging van een staflid. Aan mijn verzoek werd een dossiernummer toegekend.
Op 11 december 2015 ontving ik een brief waaruit bleek dat King’s College mijn verzoek om de data had afgewezen.
Ik had eerder al opgeroepen tot het vrijgeven van de data uit de PACE-paper die in The Lancet gepubliceerd werd. Ik heb ook opgeroepen om verklaringen betreffende de beschikbaarheid van klinische onderzoeksgegevens, op te nemen in de toestemmingsformulieren die aanzetten tot patiëntenbetrokkenheid bij onderzoek, als een uitbreiding van een door BMJ patiëntgericht initiatief.
Maar het verzoek aan PLOS was anders dan het andere verzoek om de PACE-data, omdat het om een wetenschappelijk tijdschrift ging dat een verbintenis vereiste om data te delen als een voorwaarde voor publicatie.
De redenen die worden gegeven voor de weigering van King’s College om de data vrij te geven, vormen fascinerend leesvoer.
De brief van King’s College (vertaling) verdient het om gelezen te worden. Persoonlijk denk ik dat zij rampspoed over zichzelf hebben gehaald door mijn verzoek te verwerpen met het excuus dat:
Er is een gebrek aan waarde of serieus doel aan uw verzoek. De universiteit is ook van mening dat er achter het verzoek een oneigenlijk motief schuilt.
De brief gaat verder met het benoemen van het motief en doel achter dit verzoek als polemisch en beschreeft het verzoek vervolgens als vexatoir (“ergerlijk”).
Sindsdien werd er diepe verontwaardiging uitgedrukt door een steeds breder wordende groep van academici en burger-wetenschappers, met een heftige discussie over de details van de brief. Het geeft voldoening te zien dat vragen om de data vrij te geven van buiten het Verenigd Koninkrijk en van buiten de patiëntengemeenschap komen. Er bestaat geen twijfel dat de internationale wetenschappelijke gemeenschap voelt dat er enkele belangrijke kwesties op het spel staan voor hen.
De machtige Retraction Watch belichtte mijn blog in haar Weekend Reads:
King’s College London wil de data van een studie naar het chronisch vermoeidheidssyndroom niet vrijgeven aan James Coyne. Kijk of de absurde redenen je bloed even erg laten koken als dat van ons: “De universiteit is van mening dat er gebrek is aan waarde of serieus doel achter uw verzoek. De universiteit is ook van mening dat er een oneigenlijk motief achter het verzoek schuilt. De universiteit is van mening dat dit verzoek intimidatie en emotionele stress heeft veroorzaakt en nog verder zou kunnen veroorzaken bij de staf.” En hier is meer van iemand anders die een hiermee samenhangend verzoek om data ingediend heeft.
En dat werd gevolgd door tweets van een aantal kampioenen van open wetenschap en data delen.
Brian Nosek op Twitter
“King’s College weigering om data te delen en rationale zijn anti-ethisch ten aanzien van wetenschap, uittreksel uit https://dl.dropboxusercontent.com/u/23608059/PACE%20F325-15%20-%20Prof.%20James%20Coyne%20-%20Response-2.pdf …”
JP de Ruiter op Twitter
“Nee, we willen onze gegevens niet met je delen omdat je ons wilt bekritiseren.”
Absoluut onacceptabel.
Chris Chambers:
Wetenschappers: als het verstoppen door de uni(versiteit) van data zoals deze, je stoort https://dl.dropboxusercontent.com/u/23608059/PACE%20F325-15%20-%20Prof.%20James%20Coyne%20-%20Response-2.pdf voeg je dan bij dit opennessinitiative.org om openheid te promoten.
Daniel Lakens:
King’s College London weigert onderzoeksgegevens te delen met @CoyneoftheRealm. Je zult de redenen waarom wel willen lezen: https://dl.dropboxusercontent.com/u/23608059/PACE%20F325-15%20-%20Prof.%20James%20Coyne%20-%20Response-2.pdf
Nu al heeft de keten van gebeurtenissen enorme aandacht gevestigd op de waarde van het beleid om data te delen, maar de noodzaak om middelen te hebben om dit af te dwingen. Voorafgaand aan de koppige weigering van de PACE-onderzoekers om hun gegevens te delen, hadden blijkbaar veel wetenschappers het gevoel dat het probleem van data delen opgelost was door de vereisten van financieringsinstellingen van de overheid en van stichtingen.
Als aan mij wordt gevraagd hoe PLOS zal reageren
Er wordt mij regelmatig gevraagd hoe e PLOS wetenschappelijke tijdschriften zullen reageren. Ik heb het voordeel dat ik hun prachtig gedocumenteerde beleid heb gelezen, dat het delen van data vereist voor alle artikelen die in PLOS One, PLOS Medicine en andere prima open access tijdschriften gepubliceerd zijn. Ik kan antwoorden op vragen met wat ik gelezen heb.
Maar eerlijk gezegd weet ik niet hoe PLOS zal reageren omdat ik niet betrokken ben bij het besluitvormingsproces. Net als ieder ander kan ik het internet opgaan om de regels van het spel te ontdekken voor het vragen om data en over hoe te klagen als de data niet ontvangen worden. Ik heb daarom een voorsprong op degenen die niet wisten dat dergelijke mogelijkheden bestonden of hoe zij deze kunnen uitvoeren. Maar ik bevind mij in onbekende wateren.
Maar nu, net als ieder ander, ben ik in afwachting van de manier waarop PLOS ervoor kiest om te reageren. Ik heb geen weet van een ander precedent waarin auteurs weigeren om data te verstrekken voor een PLOS-artikel, dus het zou me niet verbazen als er nog een beleid moet worden geformuleerd. Ik twijfel er echter niet aan dat de kwestie zorgvuldig in overweging wordt genomen door PLOS en de principes achter een besluitvormingsproces duidelijk verwoord zullen worden in een toekomstige beleidsverklaring. We moeten geduld hebben.
Openbaarmaking
Ik ben toevallig een Academisch Editor van PLOS One, maar daar zijn er duizenden van, zeker meer dan 4000. Je moet de omvangrijkheid van PLOS naar waarde schatten: vorig jaar publiceerde PLOS One 3000 papers of 85 papers per dag, waardoor dit het grootste tijdschrift ter wereld is, als het gaat om het aantal publicaties.
Ik bezoek universiteiten over de hele wereld, waar ik lezingen geef. Onvermijdelijk probeer ik nieuwe academische redacteurs voor PLOS One te rekruteren, vooral voor onderwerpen waar er nog geen eerder gevestigde expertise was en waar ik toch wil dat er papers worden gepubliceerd na informatieve peerreview. Ik moedig faculteiten aan als hen wordt gevraagd een review te doen voor PLOS waarvoor zij geen tijd hebben, om een gevorderde PhD student of postdoc een review te laten doen als een leerzame ervaring.
Een jaar geleden was ik in Hong Kong en gaf lezingen en beoordeelde evaluaties van presentaties van PhD studenten, waarbij de prijzen volledig vergoede trips naar internationale conferenties waren. Ik was verrast om te ontdekken dat een van de andere juryleden een senior staflid was van PLOS, gevestigd in Londen. Dat is de enige keer dat ik een eindredacteur ontmoet heb. Ik ken de namen van slechts enkelen van hen en zou hen zeker niet uit een politie line-up kunnen pikken.
PLOS heeft regelmatige evenementen op conferenties waar iedereen een eindredacteur kan ontmoeten. Maar ik heb nooit het genoegen gehad om op een van dergelijke conferenties te zijn op hetzelfde moment als een vertegenwoordiger van PLOS.
Een groot deel van de tijd voelt mijn functie als redacteur voor PLOS als het karakter Ben Kingsley in de film Pascali’s Island uit 1988. Kingsley gaf gedetailleerde rapporten af met een onfeilbare regelmaat over wat hij op Nisi, een klein Grieks eiland onder Ottomaans bewind, waarneemt, maar krijgt geen antwoord. In ieder geval heb ik er vertrouwen in dat iemand bij PLOS mijn redactionele aanbevelingen leest (ik beveel alleen maar aan, ik beslis niet), maar er is een afstand tot het hele proces als ik de mensen aan de andere kant nooit gezien heb.
Ik ben er optimistisch over dat de crisis van King’s Colleges weigering om de data vrij te geven, uiteindelijk opgelost zal worden. De vrijgave van de data zal niet alleen mij, maar ook anderen in staat stellen om onafhankelijke evaluaties te verstrekken van hoe redelijk de interpretaties zijn, die de auteurs in hun artikel hebben gedaan.
Wat is er al bereikt
Ik beoordeel mijn pogingen als reeds enorm succesvol in het benadrukken van de beleidsproblemen van het delen van data en het vinden van wegen om te verzekeren dat er niet zo’n gedoe is wanneer het volgende verzoek wordt gedaan.
Veel mensen lezen nu de verklaringen van PLOS over het delen van data, hoewel ik vermoed dat veel mensen die sterke meningen verkondigen in de discussie, deze bronnen niet gelezen hebben. Zij zouden die moeten lezen en eisen dat het beleid elders overgenomen zou moeten worden.
Voorafgaand aan het verzoek om data uit het PLOS-artikel, ben ik betrokken geweest bij een aantal heranalyses van gepubliceerde data. Een set heranalyses onthulde dat een meditatie in liefdevolle vriendelijkheid als behandeling geen significant effect had op de lichamelijke gezondheidsresultaten, ondanks dat dit al zwaar gepromoot werd in workshops en bedrijfspresentaties. Het originele artikel had zelfs niet erkend dat het een gerandomiseerd onderzoek was, totdat de supplementaire materialen kwamen. Een andere reeks heranalyses toonde aan dat een gecompliceerde reeks van 53 meervoudige regressievergelijkingen beweren aan te tonen dat specifieke dimensies van psychologisch welzijn anders gecorreleerd zijn met expressieniveaus van een selectie van genen. Deze worden op hun beurt in verband gebracht met specifieke vormen van door immuunreactie geproduceerde gelijkwaardige resultaten wanneer willekeurige cijfers werden gebruikt in plaats van de data uit de studie.
Persoonlijk geloof ik dat dergelijke heranalyses net zo belangrijk zijn, misschien nog wel meer dan de verklaringen van doorbraken gebaseerd op één studie die vaak prematuur blijken te zijn of simpelweg fout. Ik ben vastbesloten om dergelijke heranalyses te promoten als een passende bijdrage voor junior wetenschappers die hun carrière aan het opbouwen zijn.
Een uitdrukking van bezorgdheid en een intrekking als mogelijke straffen als de data niet beschikbaar worden
Ik was vooral blij toen de Groningse bioloog Klaas van Dijk – die eigenlijk niet op mijn universiteit zit en die ik nog nooit heb ontmoet – een uitstekende brief afleverde waarin hij opriep tot een uitdrukking van bezorgdheid (later linken naar vertaling ME-gids) van PLOS dat ik mijn data nog niet heb ontvangen. In de brief riep hij op om het artikel terug te trekken als de situatie niet binnen de maand wordt gerectificeerd. Het is een modelreactie, waarvan ik zeker ben dat er mogelijkheden zijn om deze te gebruiken bij andere wetenschappelijke tijdschriften in de toekomst.
Ik was ook blij met de zeer intelligente commentaren die bij het PLOS-artikel achtergelaten werden en zelfs dat de gelegenheid om commentaar te leveren, werd benadrukt. Ik waardeer in het bijzonder een goed geschreven commentaar dat door Alem Matthees werd achtergelaten die de publiciteitschuwende bron is van een eerder verzoek om de PACE-data van een Lancet-artikel. Het verzoek werd door Queen Mary University of London verworpen. Matthees ging in beroep bij de Britse Information Commissioners’s Office. De Commissaris beval toen de vrijgave van de data, maar tegen dat besluit werd door Queen Mary University of London ook beroep aangetekend.
De algemeen erkende onbetrouwbaarheid van de wetenschappelijke literatuur is moeilijker te rectificeren met zo’n belachelijk bureaucratisch proces om toegang te krijgen tot de data die opnieuw geanalyseerd moeten worden.
En dan zijn er nog de commentaren op PubMed Commons. Iedereen kan daar commentaren achterlaten als zij kunnen bewijzen dat zij een auteur zijn geweest van een van de 25 miljoen artikelen die in PubMed geregistreerd zijn, en zich registreren met ofwel hun e-mail in dat artikel ofwel hun Google-account. En als je nog nooit een paper hebt gepubliceerd die inPubMed is geregistreerd, kan je nog steeds commentaar leveren door een erkende tijdschriftenclub van PubMed Commons.
Ik heb de brief waarmee ik om de data verzocht, in een blog gepost, en ik hoop dat het gebruikt zal worden als een model door anderen. De basisstructuur van de brief kwam echter niet van mijzelf, ik leende een model dat mijn promovendus te Groningen, Nick Brown, had gebruikt, in een verzoek waarbij ik niet betrokken was bij een ander tijdschrift dan PLOS.
Misschien zal ik zelfs een toolbox samenstellen voor het verkrijgen van gegevens en in beroep gaan wanneer de data niet aangeleverd worden. De brieven van Klaas en Nick zullen daar zeker deel van uitmaken en ik zal hen passend vermelden.
Mijn bloggen
Naast een academisch redacteur van PLOS One ben ik ook een regelmatige blogger op de PLOS blog, Mind the Brain. Je kunt de beschrijving die ik van mijzelf heb gegeven, op de weblog lezen.
Maar ik zou het heel duidelijk moeten maken, dat alle meningen die ik op PLOS Mind the Brain geef, geheel die van mijzelf zijn en niet zouden moeten worden opgevat als het officiële beleid van PLOS of zelfs iets waarmee het bestuur van PLOS het mee eens zou zijn.
Ik beëindigde bijvoorbeeld recent een blogpost met de verklaring
De meningen die in deze post worden weergegeven, vertegenwoordigen uitsluitend die van zijn auteur en niet noodzakelijkerwijs die van PLOS of PLOS Medicine.
En voorheen verstrekte ik op mijn secundaire blogpost, Quick Thoughts, grotendeels hetzelfde bericht dat ik in deze blog post heb overgebracht:
N.B.: Hoewel ik een van duizenden wetenschappelijke redacteurs ben voor PLOS One, heb ik de volle verantwoordelijkheid voor mijn blogposts, hetgeen niet kan worden opgevat als een weergave van de meningen van de instituten waarmee ik verbonden ben, waaronder PLOS. Bij het verzoeken om de data voor een artikel dat in PLOS verscheen, maak ik gebruik van dezelfde rechten die iedereen in de wereld heeft ten aanzien van dit open access tijdschrift, dat toegewijd is aan transparantie en het delen van data.
Ik zal dit bericht blijven herhalen om verwarring te vermijden. Ik sta bekend om het geven van sterke, brutale meningen, maar die zijn strikt van mijzelf.
Een lastpak gecertificeerd door de Cochrane samenwerking
Mijn collega’s en ik vroegen ons af hoe de Cochrane-samenwerking het risico van een belangenconflict van een onderzoeker heeft opgenomen als een formeel risico van bias in het onderzoek van papers voor insluiting in systematische reviews en meta-analyses. Wij hebben aanbevolen dat er een betere erkenning gegeven moet worden aan wat een bron van overdreven claims zou kunnen vormen. De Cochrane-samenwerking reageerde door ons de Bill Silverman-award te geven die genoemd is naar een erkende dwarsligger in het vroege begin van hun samenwerking.
Ik neem aan dat het houden van auteurs aan hun belofte om hun data te delen, kan worden gezien als weer een andere vorm van onruststokerij. Ik ben er zeker van dat mijn verzoek minstens met wat gemengde gevoelens is ontvangen door de administratieve staf bij PLOS, met de waarschijnlijke noodzaak van het formuleren en verspreiden van weer een ander beleid. Als dat zo is, is het niet de eerste keer dat ik de familie van tijdschriften heb uitgedaagd met als resultaat een verandering in het beleid. Ik zie mijzelf als een soort van ethisch hacker: fouten aan het licht brengend in een systeem zodat nieuwe oplossingen ontwikkeld kunnen worden. Maar ik wil de PLOS-data van PACE echt opnieuw analyseren.
© James Coyne, Quick Thoughts. Vertaling Meintje, redactie Zuiderzon en Abby, ME-gids.
Lees ook
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (1)
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (2)
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (3)
- Onderzoekers van de PACE-studie antwoorden David Tuller
- David Tuller reageert op de PACE-onderzoekers
- Trial by error, vervolgd: heeft de PACE-studie echt een “strikt criterium” voor herstel toegepast?
- Trial by error, vervolg: Waarom is het “zusteronderzoek” van de PACE-studie “verdwenen” en vergeten?
- Overheid beveelt vrijgave van de gegevens van de PACE-studie
- Proffen schrijven open brief aan The Lancet en vragen herevaluatie van PACE-resultaten
- Open brief van Invest in ME over de PACE-studie aan de redacteur van The Lancet
- Trial by error, vervolgd: Het werk van het PACE-team voor verzekeringsmaatschappijen “houdt geen verband” met PACE. Echt waar?
- In het kielzog van het onderzoek van David Tuller, publiceren de PACE-onderzoekers een follow-upstudie
- ME Association: We betwisten het follow-uprapport van de PACE-studie
- Professor Jonathan Edwards: PACE-studie is “waardeloos”
- Oninterpreteerbaar: Fatale fouten in het PACE follow-uponderzoek van het chronisch vermoeidheidssyndroom
- Waarom de wetenschappelijke wereld het nodig heeft dat de PACE-gegevens worden vrijgegeven
- Reporter hekelt studie naar chronisch vermoeidheidssyndroom: ik stopte bij 14.000 woorden – genoeg was genoeg
- Een “moreel equivalent van oorlog” en de PACE-studie over chronisch vermoeidheidssyndroom
- Waarom ME-patiënten kritisch zijn over de PACE-studie
- Was onafhankelijke peerreview van de papers over de PACE-studie mogelijk?
- James Coyne over de “objectiviteit” van NHS Choices en het belachelijk maken van ME/CVS-patiënten
- Wat er voor nodig is voor Queen Mary om een verzoek om wetenschappelijke gegevens als “ergerlijk” te verklaren
- Update van mijn formeel verzoek voor het vrijgeven van de gegevens van de PACE-studie
- Formeel verzoek aan PLOS One om een Uitdrukking van Bezorgdheid uit te vaardigen voor de PACE-studie
Eén reactie
Tje, wat een lap! Morgen maar in gedeeltes lezen…..Achterste voren.