David Tuller, DrPH, Virology Blog, 7 maart 2018
Op 30 januari e-mailde Professor Racaniello een bezorgde brief naar de Archives of Disease in Childhood [gepeerreviewd medisch-pediatrisch tijdschrift, gepubliceerd door de BMJ-groep, n.v.d.r.], over een klinische studie over het Lightning Process bij kinderen met CVS/ME (zoals de studie de ziekte noemde). De brief, ondertekend door 21 experts en academici, documenteerde de bedenkelijke methodologische keuzes van de studie en het feit dat de onderzoekers niet exact vermeldden wat ze hadden gedaan.
In het bijzonder merkte de brief op dat de onderzoekers een haalbaarheidsstudie uitgebreid hadden tot een volledige studie, terwijl ze tegelijkertijd primaire en secundaire uitkomstmaten verwisseld hadden – dat is vragen om bias. Zo konden ze veel indrukwekkender klinkende resultaten rapporteren dan ze hadden kunnen doen als ze de uitkomstmaten niet hadden omgewisseld.
Archives of Disease in Childhood maakt deel uit van de BMJ-groep. De redacteur van het wetenschappelijk tijdschrift, Dr. Nick Brown, verzekerde Professor Racaniello ervan dat hij de zaak serieus nam en dat ze bekeken zou worden. Intussen heeft BMJ Open, een ander tijdschrift van BMJ, een paper gepubliceerd die precies dat thema aansnijdt. De nieuwe studie onderzoekt onder andere of studies, ingediend bij BMJ en niet aanvaard omdat ze niet correct prospectief geregistreerd werden, vervolgens elders gepubliceerd werden. De studie concludeerde dat “niet correct geregistreerde studies bijna altijd elders gepubliceerd worden, wat erop wijst dat de redacteurs van medische wetenschappelijke tijdschriften registratievereisten mogelijk niet actief afdwingen.”
Vorige week verzond ik volgende e-mail naar Dr. Brown:
Geachte Dr. Brown,
Ik schrijf een post over de nieuwe studie van BMJ Open over niet correct geregistreerde studies die toch gepubliceerd raken. De studie is sterk verwant aan de kwestie van de studie over het Lightning Process, gezien meer dan de helft van de deelnemers aangemeld waren vóór de studieregistratiedatum en de uitkomstmaten verwisseld werden op basis van die eerste resultaten, wat betekent dat dit geen correct geregistreerde prospectieve studie was. In de registratie zelf wordt beweerd dat het gaat om een “prospectieve” studie. Toch is dit, gezien de omstandigheden, duidelijk niet het geval, vooral gezien het feit dat de studieregistratie ook vermeldt dat de deelnemers deels uit de haalbaarheidsstudie kwamen.
Dit is de eerste paragraaf van de nieuwe studie van BMJ Open: “Sinds 2005 dringt het Internationaal Comité van Redacteurs van Medisch-Wetenschappelijke Tijdschriften (ICMJE) aan op prospectieve studieregistratie als voorwaarde voor publicatie. Registratie moet gebeuren vóór aanmelding van de eerste studiedeelnemer in een studieregister dat voldoet aan de kwaliteitsvoorwaarden ontwikkeld door de WHO [ Wereldgezondheidsorganisatie, n.v.d.r.]. Honderden biomedische wetenschappelijke tijdschriften hebben dit beleid vervolgens onderschreven. Het naleven van deze voorwaarden verloopt echter niet altijd correct, zowel aan de kant van de onderzoekers als aan die van de redacteurs van wetenschappelijke tijdschriften.”
En dit is wat de hoofdredacteur van BMJ Open, Dr. Trish Groves, tweette over de kwestie: “Prospectieve registratie van #klinischestudies is geen administratieve rompslomp: er zijn goede ethische en wetenschappelijke redenen voor.”
Trish Groves on Twitter
Prospective registration of #clinicaltrials isn’t red tape: it’s done for sound ethical and scientific reasons. Yet unregistered trials rejected @bmj_latest still get published elsewhere as this study @bmj_open shows https://t.co/4bIT7v0i6L
Het spreekt ongetwijfeld voor zich dat er voor de studie over het Lightning Process geen registratie plaatsvond “vóór de aanmelding van de eerste studiedeelnemer”. Gezien de overeengekomen vereiste voor geldige prospectieve studieregistratie, heb ik volgende vragen over de paper in Archives:
- Wisten de redacteurs vóór de publicatie dat meer dan de helft van de deelnemers aan de studie over het Lightning Process tot twee jaar vóór de studieregistratie gerekruteerd werden als deelnemers aan een haalbaarheidsstudie en pas achteraf aangemeld werden bij de volledige studie? Als ze dit niet wisten, waarom niet?
- Waren de peerreviewers op de hoogte van deze informatie? Indien niet, waarom niet?
- Wisten de redacteurs en peerreviewers dat de primaire en secundaire uitkomstmaten verwisseld waren op basis van de resultaten van meer dan de helft van de deelnemers, die aangemeld waren vóór de studieregistratie? Indien niet, waarom niet?
- Hebben de redacteurs en peerreviewers het studieprotocol of de haalbaarheidsstudie gelezen als deel van het reviewproces van de gepubliceerde paper? Indien niet, waarom niet?
- Hebben de auteurs van de studie de redacteurs van Archives op de hoogte gesteld van het feit dat meer dan de helft van de deelnemers aangemeld waren vóór de registratie en dat de uitkomstmaten verwisseld waren? Indien niet, bent u van mening dat ze de redacteurs hiervan op de hoogte hadden moeten stellen?
- Bent u het ermee eens dat deze studie de vereisten voor prospectieve registratie niet vervult, zoals uiteengezet in de recente paper van BMJ Open en in overeenstemming met de visie van de leden van COPE [ Commissie over Publicatie-ethiek, n.v.d.r.], vooral gezien het feit dat de uitkomstmaten verwisseld werden op basis van de bevindingen van de haalbaarheidsstudie? Indien niet, waarom niet?
- Hebt u een termijn in gedachten tegen dewelke u denkt deze kwestie opgelost te hebben?
Dank u wel voor uw snelle reactie. Ik zal deze nieuwe blog waarschijnlijk op maandag posten.
Vriendelijke groet, David
Dr. Brown e-mailde mij zijn antwoord de volgende dag. Hij beantwoordde geen van de specifieke vragen, maar verzekerde mij dat de zaak in detail onderzocht werd. Hij kon echter geen vaste datum geven tegen wanneer de kwestie opgelost zou zijn, zodat de bekommernissen de volledige aandacht konden krijgen die ze verdienden. Vandaag heb ik geantwoord met dit bericht:
Geachte Dr. Brown,
Bedankt voor uw antwoord. Zoals ik vermeldde in mijn laatste e-mail, werk ik aan dit project in journalistiek tempo, niet in academisch publicatietempo. Dat betekent dat ik vragen moet stellen zo gauw er zich nieuwe ontwikkelingen voordoen.
In dit geval is de nieuwe studie van BMJ Open van belang voor de huidige situatie. Deze studie ging over het ethische en wetenschappelijke belang van het niet publiceren van studies waarvan de werving voorafging aan de studieregistratie. Het beleid van COPE en BMJ, om geen studies te publiceren waarbij patiënten werden gerekruteerd vóór studieregistratie, lijkt geen uitzonderingen of achterpoortjes te bevatten waar de studie in Archives gebruik van had kunnen maken.
Daarom zijn de ondertekenaars van de Archives-brief wat verbouwereerd dat uw review van de zaak al meer dan een maand tijd in beslag neemt. De feiten zijn eenduidig. De studieregistratie gebeurde in juli 2012. De paper zelf duidt aan dat werving begon in september 2010. De uitkomstmaten werden verwisseld, wat bias veroorzaakt in de gerapporteerde bevindingen. De chronologie van de gebeurtenissen werd in de paper niet vermeld. Eender wie kan zien dat deze handelingen in tegenspraak zijn met het strikte beleid bekrachtigd door COPE en de wetenschappelijke tijdschriften van BMJ.
Niettemin kijken we allen uit naar de reactie van het wetenschappelijk tijdschrift, wanneer die er ook zal komen.
Vriendelijke groet, David
© David Tuller voor Virology Blog. Vertaling abby, redactie zuiderzon, ME-gids.
Lees ook
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (1)
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (2)
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (3)
- Onderzoekers van de PACE-studie antwoorden David Tuller
- David Tuller reageert op de PACE-onderzoekers
- Petitie : Misleidende claims van PACE-studie moeten teruggetrokken worden
- Trial by error, vervolgd: heeft de PACE-studie echt een “strikt criterium” voor herstel toegepast?
- Trial by error, vervolg: Waarom is het “zusteronderzoek” van de PACE-studie “verdwenen” en vergeten?
- Overheid beveelt vrijgave van de gegevens van de PACE-studie
- Proffen schrijven open brief aan The Lancet en vragen herevaluatie van PACE-resultaten
- Open brief van Invest in ME over de PACE-studie aan de redacteur van The Lancet
- Trial by error, vervolgd: Het werk van het PACE-team voor verzekeringsmaatschappijen “houdt geen verband” met PACE. Echt waar?
- In het kielzog van het onderzoek van David Tuller, publiceren de PACE-onderzoekers een follow-upstudie
- ME Association: We betwisten het follow-uprapport van de PACE-studie
- Professor Jonathan Edwards: PACE-studie is “waardeloos”
- Oninterpreteerbaar: Fatale fouten in het PACE follow-uponderzoek van het chronisch vermoeidheidssyndroom
- Waarom de wetenschappelijke wereld het nodig heeft dat de PACE-gegevens worden vrijgegeven
- Reporter hekelt studie naar chronisch vermoeidheidssyndroom: ik stopte bij 14.000 woorden – genoeg was genoeg
- Een “moreel equivalent van oorlog” en de PACE-studie over chronisch vermoeidheidssyndroom
- Waarom ME-patiënten kritisch zijn over de PACE-studie
- Was onafhankelijke peerreview van de papers over de PACE-studie mogelijk?
- James Coyne over de “objectiviteit” van NHS Choices en het belachelijk maken van ME/CVS-patiënten
- Wat er voor nodig is voor Queen Mary om een verzoek om wetenschappelijke gegevens als “ergerlijk” te verklaren
- Update van mijn formeel verzoek voor het vrijgeven van de gegevens van de PACE-studie
- Formeel verzoek aan PLOS One om een Uitdrukking van Bezorgdheid uit te vaardigen voor de PACE-studie
- Waarom ik niet weet hoe PLOS zal reageren op de weigering van de auteurs om de data vrij te geven
- Antwoord van PLOS One op de bezorgdheid over de weigering van King’s College om de PACE-data te delen
- Proffen verzoeken om de gegevens van de PACE-studie
- King’s College London rekt tijd nog wat meer door weigering te herhalen om PACE-onderzoeksdata vrij te geven
- Herkennen wanneer het “beschermen van de privacy van patiënten” louter een excuus is voor het niet delen van de data
- Herzien van de economische analyse van de PACE-studie in PLoS One
- Een inkijk in de aanval op het delen van data
- Trial By Error, vervolgd: vragen voor Dr. White en zijn collega’s van de PACE-studie
- Niet-bekendgemaakte belangenconflicten in reviewprotocol van interventies voor medisch onverklaarde symptomen
- Trial by error, vervolgd: heeft de PACE-studie werkelijk bewezen dat graduele oefentherapie veilig is?
- Trial by error, vervolgd: meer nonsens van The Lancet Psychiatry
- We zijn tenminste niet ergerlijk
- Verdere inzichten in de oorlog tegen het delen van data
- Trial by error, vervolgd: een paar woorden over pesterijen
- Het heroverwegen van het beleid rond het onderzoek naar en de behandeling van ME/CVS
- Opnieuw een open brief aan de Lancet
- What About ME? Deel 1: ME-patiënten vragen patiëntenorganisaties kleur te bekennen t.a.v. PACE
- Ook België steunt in open brief de globale oproep om de PACE-data vrij te geven
- Lezing Dr. David Tuller en Prof. Frans Visser tijdens Nederlandse première Forgotten Plague
- Petitie met 12.000 handtekeningen aan The Lancet bezorgd om de PACE-studiedata vrij te geven
- Open brief Prof. Malcolm Hooper aan The Lancet
- Een half jaar gaat voorbij zonder de vrijgave van PACE-studiedata uit PLOS One
- PACE-Gate: de controverse over de grootste studie naar CGT en GET bij ME/cvs
- Proffen schrijven open brief aan PLoS One i.v.m. PACE-studie naar CGT/GET
- Correctie van PLoS verwijdert geanonimiseerde patiëntengegevens in studie naar CVS (& zet ze daarna terug)
- “Hun mond viel open van verbazing over de PACE-trial naar CGT en GET.”
- Rechtbank eist vrijgave van de gegevens van de PACE-studie naar CGT en GET voor ME/CVS
- Queen Mary University of London “bestudeert” de regelgeving om de PACE-data vrij te geven
- The Lancet struikelt opnieuw over de PACE-studie
- Trial by error, vervolgd: mijn vragen voor de hoofdredacteur van The Lancet, Richard Horton
- Vrijgave data PACE-team volgens originele protocol
- Verklaring QMUL: bekendmaking van de data van de PACE-studie onder de Wet op de Vrijheid van Informatie
- Persbericht. De vrijgave van de PACE-data is een fundamentele overwinning voor mensen met ME/cvs
- Stop studies naar graduele oefentherapie voor ME/CVS
- Prof. Van der Meer waarschuwt voor delen van data met “je vijanden”
- Geen “herstel” in de PACE-studie, blijkt uit nieuwe analyse
- Slechte wetenschap heeft miljoenen ME/cvs-patiënten misleid. Hier leest u hoe we terugvochten.
- Belangrijkste punten uit de analyse van de ruwe data voor “herstel” van de PACE-studie
- Bewijs voor aanbevolen behandelingen voor ME en CVS houdt geen stand
- Trial by error, vervolgd: de echte data van de PACE-studie
- Erger dan de ziekte
- De PACE-studie: waar “herstel” niet betekent dat je terug gezond bent
- Hoe de brief van Alem Matthees het mysterie van ME/cvs hielp oplossen
- Een open brief aan Psychological Medicine over “herstel” en de PACE-trial (Update)
- Opnieuw een open brief aan Psychological Medicine!
- De bal misslaan bij ME/cvs
- Trial by error, vervolgd: de nieuwe FITNET-studie voor kinderen
- Trial by error, vervolgd: een vervolgpost over FITNET-NHS
- Trial by error, vervolgd: de Nederlandse studies (opnieuw!), en een Esther Crawley-bonus
- Trial by error, vervolgd: mijn lasterlijk bloggen op Virology Blog
- Trial by error, vervolgd: een open brief aan het bestuur van het CFS/ME Research Collaborative (CMRC)
- Trial by error, vervolgd: CFS/ME Research Collaborative aan Virology Blog: “Rot op!”
- Trial by error, vervolgd: Het CMRC bevestigt volledige steun aan Lasterlijke Esther
- Trial by error, vervolgd: ME Research UK stapt uit het CFS/ME Research Collaborative
- Trial by error, vervolgd: mijn “scheur-het-aan-flarden”-toespraak bij Invest in ME
- David Tuller zamelt geld in voor Virology Blogs Trial by error: verslaggeving over PACE, ME/cvs en verwante onderwerpen
- Trial by error, vervolgd: mijn brief aan de University of Bristol
- Crowdfundingcampagne David Tuller in teken van ME: nog twee weken te gaan…
- David Tuller komt op voor ME: de laatste tien dagen van de campagne…
- Trial by error, vervolgd: is PACE een geval van wetenschappelijk wangedrag?
- Trial by error, vervolgd: de reis van Julie Rehmeyer “Through The Shadowlands”
- Trial by error, vervolgd: meer over graduele oefentherapie van Peter White en The Lancet
- Trial by error: De CDC schrappen cognitieve gedragstherapie (CGT) en graduele oefentherapie (GET) voor ME/cvs
- Trial by error: De NICE-richtlijnen, en meer over de CDC
- Trial by error: NICE weigert om namen van experts te onthullen
- Trial by error: NICE verwerpt mijn verzoek op basis van vrijheid van informatie
- De PACE-trial, of hoe een medisch schandaal tot stand kwam
- Waarop moet je letten in de Speciale Editie van het Journal of Health Psychology over de PACE-trial
- Deel 2: Waarop moet je letten in de Speciale Editie van het Journal of Health Psychology over de PACE-trial
- Trial by error: de wanhopige pogingen van het Science Media Center om PACE te verdedigen
- Trial by error: gepensioneerde PACE-onderzoeker Peter White en Swiss Re
- Trial by error: mijn e-mailuitwisseling met de directeur van NICE
- Trial by error: geen ethische review van de studie van Crawley over afwezigheid op school
- Trial by error: verzoek om meer details over de studie van Crawley over afwezigheid op school
- Trial by error: de rapporten van de “deskundigen ter zake” van NICE
- Trial by error: MEGA’s nieuwst mislukking
- Trial by error: NICE verwerpt huidige richtlijn, plant “volledige update”
- Trial by error: NIH geeft een subsidie van 2,1 miljoen dollar aan de Britse Biobank!
- Trial by error: nog een brief aan de directeur van NICE
- Trial by error: huidige NICE-richtlijn blijft, voorlopig toch
- Trial by error: de verrassende nieuwe gids voor beste praktijken van BMJ [voor ME/cvs]
- Trial by error: mijn korte ontmoeting met Professor Crawley
- Trial by error: Hé, Bristol! Waar is mijn ‘cease and desist’-brief*?
- Trial by error: de Crawley-kronieken (vervolg)
- Trial by error: mijn eenzijdige correspondentie met professor Crawley
- Trial by error: de niet-openbaar gemaakte uitkomstenverwisseling van de SMILE-studie
- SMILE-studie Lightning Process voor kinderen met CVS: Resultaten te mooi om waar te zijn?
- Trial by error: mijn vragen voor het Science Media Center
- Trial by error: de klacht van Bristol aan Berkeley
- David Tuller en de (s)PACEcake-eters
- Trial by error: de studie naar afwezigheid op school, tweede ronde
- Trial by error: COPE aan BMJ Open: meer details alstublieft!
- Trial by error: mijn halfjaaroverzicht
- Trial by error: de valse beweringen van professor Crawley op BuzzFeed
- Trial by error: een brief aan Archives of Disease in Childhood
- Trial by error: brief van CPET-experts aan het British Journal of Sports Medicine
- Trial by error: QMUL en FOI, Nature en Cochrane, het Pineapple Fund
- Trial by error: een brief aan BMJ Open
- Trial by error: Onze briefwisseling met BMJ Open
- Trial by error: nieuws over mijn plannen
- Trial by error: de Nederlandse review; mijn trip; Bristols stilzwijgen
- Trial by error op Virology Blog: verslaggeving over ME/CVS. Crowdfundingscampagne voor David Tuller!
