James C. Coyne PhD, Mind the Brain, PLOS Blogs, 25 november 2015

Terwijl ik nadenk over deze vraag, laat ik me leiden door Le Chavalier C. Auguste Dupin , de eerste fictieve detective, voordat er ook maar iemand “detective” werd genoemd.

Artikels die verslag geven over de PACE-studie hebben buitengewone aantallen auteurs, dankbetuigingen, en institutionele banden. Een aanzienlijk gedeelte van alle personen en instituten die betrokken zijn bij het onderzoeken van chronische vermoeidheid en verwante aandoeningen in het Verenigd Koninkrijk zijn nauw verbonden met PACE.

Dit roept problemen op over:

• het verwerven van onafhankelijke peerreview van deze artikelen, die niet vervuild is door belangenconflicten van de recensent.
• wat auteurschap in een paper van de PACE-studie vertegenwoordigt en of toekenning van auteurschap voldoet aan de internationale normen?
• de bescherming van potentiële critici die zich eventueel willen uitspreken over wat voor slechte wetenschap zij ook vinden in de artikelen van de PACE-studie. De bescherming van potentiële recensenten die negatief zijn en ontdekt kunnen worden. Critici binnen het Verenigd Koninkrijk riskeren geïsoleerd en op de zwarte lijst geplaatst te worden door een grote groep die baat heeft bij de mogelijk overdreven inschattingen van de kwaliteit en resultaten van de PACE-studie.
• of bij subsidies in verband gebracht met de miljoenenstudie die PACE heet, de onafhankelijke peer-review verzekerd bleef die zo cruciaal is, om te verzekeren dat de voorstellen die worden geselecteerd voor financiering van de hoogste kwaliteit zijn

Problemen over het groot aantal auteurs, dankbetuigingen en institutionele banden springen nog meer in het oog als critici [1,2,3] opnieuw ernstige fouten vinden in de uitvoering en de verslaggeving van de follow-upstudie op lange termijn in the Lancet Psychiatry van 2015. Talloze overduidelijk Twijfelachtige Onderzoekspraktijken (Questionable Research Practices of QRP’s) overleefden peerreview. Dat impliceert tenminste onbekwaamheid in peerreview of zelfs Twijfelachtige Publicatiepraktijken (Questionable Publication Practices of QPP’s).

“Too Many People” By Paul McCartney

De belangrijke vraag wordt dan: hoe is de publicatie van twijfelachtige wetenschap uit te leggen?

Misschien waren er problemen om reviewers met relevante expertise te vinden die niet op de een of andere manier betrokken waren bij de PACE-studie of banden hadden met afdelingen en instituten die aantoonbaar voordeel zouden kunnen halen uit een positieve uitkomst van de beoordeling, d.w.z. een publicatie?

Of wordt, in de enorme kleinheid van het Verenigd Koninkrijk, peerreview bereikt door personen die dergelijke relaties en banden aan de kant zetten om een onberispelijk afstandelijk en rigoureus beoordelingsproces te produceren?

De onbetrouwbaarheid van zowel de biomedische als psychologische literatuur is welbekend. Niet-farmacologische interventies hebben minder voorzorgsmaatregelen dan geneesmiddelenstudies, op vlak van verplichte preregistratie, het rapporteren van normen zoals CONSORT, en de handhaving van het delen van gegevens.

Ruimdenkende sceptici zouden moeten zorgen voor onafhankelijke peerreview van niet-farmacologische klinische studies, vooral wanneer er bewijs is dat personen en groepen met aanzienlijke financiële belangen een poging doen om te controleren wat gepubliceerd gaat worden en wat er wordt gezegd over hun voorkeursinterventies . Recensenten met potentiële belangenconflicten zouden moeten worden uitgesloten van het evalueren van manuscripten.

Onafhankelijke peerreview van de PACE-studie door degenen met relevante expertise is misschien onmogelijk in het Verenigd Koninkrijk waar veel van de mogelijke expertise op de een of andere manier direct of indirect verbonden is met de PACE-studie.

De scherpzinnige observaties van een Nederlandse observator over de PACE-artikels

Mijn gastblogger, de Nederlandse onderzoeksbioloog Klaas van Dijk, schonk aandacht aan het uitzonderlijk grote aantal auteurs en instituten dat op de lijst stond van papers van de PACE-studie.

Klaas stelde

Het item in Pubmed voor de paper uit 2011 in de Lancet, lijst 19 auteurs op:

B J Angus, H L Baber, J Bavinton, M Burgess, T Chalder, L V Clark, D L Cox, J C DeCesare, K A Goldsmith, A L Johnson, P McCrone, G Murphy, M Murphy, H O’Dowd, PACE-studie managementgroep*, L Potts, M Sharpe, R Walwyn, D Wilks en P D White (in alfabetische volgorde).

Het eigenlijke artikel van de Lancet-website (http://www.thelancet.com/pdfs/journals/lancet/PIIS0140-6736(11)60096-2.pdf en ook http://www.thelancet.com/journals/lancet/article/PIIS0140-6736(11)60096-2/fulltext) noemt 19 auteurs die handelen ‘namens de PACE-studie managementgroep †’. Maar het einde van de paper (blz. 835) stelt: “PACE-studie groep.” Deze term is niet identiek aan “PACE-studie managementgroep”.

In het totaal worden nog 19 namen genoemd onder “PACE-studie groep” (blz. 835): Hiroko Akagi, Mansel Aylward, Barbara Bowman Jenny Butler, Chris Clark, Janet Darbyshire, Paul Dieppe, Patrick Doherty, Charlotte Feinmann, Deborah Fleetwood, Astrid Fletcher, Stella Law, M Llewelyn, Alastair Miller, Tom Sensky, Peter Spencer, Gavin Spickett, Stephen Stansfeld en Alison Wearden (in alfabetische volgorde).

Er is geen overlap met de eerste 19 mensen die worden genoemd als auteur van de paper.

Hoeveel mensen kunnen eigenlijk beweren een auteur van deze paper te zijn? Zijn al deze 19 mensen van de “PACE-studie managementgroep” (niet identiek aan de “PACE-studie groep”???) ook een soort van coauteur van deze paper? Gaan al deze 19 mensen van de tweede groep akkoord met de volledige inhoud van deze paper? Gaan alle 38 mensen akkoord met de volledige inhoud van de paper?

De paper lijst vele banden op:

• Queen Mary University of London, VK
• King’s College London, VK
• University of Cambridge, VK
• University of Cumbria, VK
• University of Oxford, VK
• University of Edinburgh, VK
• Medical Research Council Clinical Trials Unit, London, VK
• South London en Maudsley NHS Foundation Trust, London, VK
• The John Radcliffe Hospital, Oxford, VK
• Royal Free Hospital NHS Trust, London, VK
• Barts en the London NHS Trust, London, VK
• Frenchay Hospital NHS Trust, Bristol, VK
• Western General Hospital, Edinburgh, VK

Zijn al deze affiliaties het ook eens met de volledige inhoud van de paper? Heb ik gelijk als ik aanneem dat alle 38 mensen (namen zie boven) en alle verbanden / instituten (zie boven) volledig weigeren om critici / andere wetenschappers / patiënten / patiëntengroepen (etc.) toegang te verlenen tot de onbewerkte onderzoeksgegevens van deze paper en heb ik gelijk met mijn aanname dat het daarom onmogelijk is voor alle anderen (inclusief bondgenoten van patiënten / andere wetenschappers / geïnteresseerde studenten, etc.) om herberekeningen uit te voeren, alle verklaringen te checken met de onbewerkte gegevens, etc.?

Beslissingen of manuscripten geaccepteerd worden voor publicatie, worden genomen op duistere plaatsen op basis van meningen die worden aangeboden door mensen wiens identiteit misschien alleen de redacteurs kennen.

In feite zou, in een klein land zoals het Verenigd Koninkrijk, peerreview echter wel eens veel minder anoniem kunnen zijn dan bedoeld en mogelijk veel minder onafhankelijk en vrij van belangenconflicten. Zonder veel meer transparantie dan op dit moment beschikbaar is met betrekking tot de peerreview die de gepubliceerde papers ondergingen, zijn wij overgeleverd aan onze eigen speculaties.

Peerreview vóór publicatie is slechts één aspect van het proces om onderzoeksresultaten doorgelicht en gevormd te krijgen en beschikbaar te maken voor de grotere wetenschappelijke gemeenschap, en een proces dat nu algemeen wordt erkend als bezoedeld door onbetrouwbaarheid.

Regels voor het toekennen van auteurschap

Zorgen over geschonken en onterecht auteurschap zijn niet alleen toegenomen vanwege groeiend bewustzijn ten aanzien van ongereguleerde en oneerlijke praktijken, maar ook vanwege het belang dat wordt gehecht aan citaten en auteurschap in het kader van professionele vooruitgang. Tijdschriften verlangen in toenemende mate documentatie dat alle auteurs een passende bijdrage hebben geleverd aan een manuscript en de uiteindelijke versie hebben goedgekeurd.

De voorgeschreven regels voor het toekennen van auteurschap in verscheidene institutionele kaders wijken echter enorm af van de strenge vereisten van de vakbladen. In tegenstelling tot de getekende verklaringen die de auteurs in kwestie moeten aanleveren bij het insturen van een manuscript voor een vakblad, verwachten veel clinici een auteurschap in ruil voor toegang tot patiënten. Veel concurrerende instellingen gebruiken auteurschap als beloning of straf, gebaseerd op hun beleid en goed of slecht gedrag, dat niets van doen heeft met vereisten van vakbladen.

In wezen kunnen auteurs en instituten, ondanks het bestaan van talrijke ethische richtlijnen en uitdrukkelijke beleidslijnen, grotendeels doen wat zij willen op het gebied van subsidiëring en weigering van auteurschap.

Mensen zijn snel teleurgesteld als zij naïef genoeg zijn om te klagen over onterecht auteurschap of dat ze gedwongen worden om auteurs toe te voegen aan papers zonder geëigende bijdrage of dat auteurschap hen wordt onthouden bij een belangrijke bijdrage. Zij ontdekken al snel dat klokkenluiders over het algemeen eerder worden beschouwd als een bedreiging voor instituten en strenger worden gestraft dan vermeende zondaren, hoe sterk het bewijs dan ook mag zijn.

The Lancet -website stelt

The Lancet onderschrijft de Aanbevelingen voor het Gedrag, Rapportage, Redactie, en Publicatie van Wetenschappelijk Werk in Medische Vakbladen , uitgegeven door de Internationale Commissie van Redacteurs van Medische Vakbladen (International Committee of Medical Journal Editors of ICMJE-aanbevelingen), en van de gedragscode voor Redacteurs van de Commissie over Publicatie-ethiek (Committee on Publication Ethics of COPE) . Wij volgen de richtlijnen van COPE .

De ICMJE raadt aan dat een auteur moet voldoen aan alle vier van de volgende criteria:

• Substantiële bijdragen aan het tot stand komen of het ontwerp van het werk; of de verwerving, analyse of interpretatie van gegevens voor het werk;
• Opstellen van het werk of het kritisch nazicht op belangrijke intellectuele inhoud;
• Finale goedkeuring van de te publiceren versie;
• Akkoord zijn om verantwoordelijkheid op te nemen voor alle aspecten van het werk door te garanderen dat vragen, die verband houden met de nauwkeurigheid of integriteit of andere onderdelen van het werk, op passende wijze worden onderzocht en opgelost.”

De bedoeling van deze wijd ondersteunde aanbevelingen is dat personen die betrokken zijn bij een groot project, veel moeten doen om hun plaats als auteurs op te eisen.

Waarom het gedoe over dankbetuigingen?

Ik heb van een aantal afgestudeerde studenten en beginnende onderzoekers gehoord dat hun eerste manuscripten werden tegengehouden in het aanmeldingsproces omdat zij geen geschreven toestemming hadden verkregen voor dankbetuigingen. Waarom vindt men dat zo belangrijk?

Vernoemd worden in een dankbetuiging is een eer. Maar het suggereert betrokkenheid bij een project en goedkeuring van het daaruit resulterende manuscript. In het verleden werden mensen wel vaker toegevoegd aan dankbetuigingen zonder dat zij hiervoor toestemming hadden gegeven. Er was een vermoeden dat soms werd bevestigd dat zij alleen bedankt werden om het vooruitzicht op publicatie van een manuscript te verbeteren. En andere keren werden mensen zonder toestemming toegevoegd aan dankbetuigingen met de bedoeling van de auteurs om hen te kunnen ontwijken in het beoordelingsproces vanwege een vermoeden van belangenconflict.

De verwachting is dat iedereen die genoeg bijdraagt aan een manuscript, vernoemd kan worden als een potentieel belangenconflict bij de beslissing of het geschikt is voor publicatie.

Maar zoals in andere aspecten van een mysterieus en grotendeels anoniem beoordelingsproces, kunnen de lezers niet beoordelen of mensen die werden vernoemd in manuscripten, al dan niet uitgesloten werden van deelname aan de beoordeling van een manuscript.

Wat is de verantwoordelijkheid van recensenten om te verklaren dat er sprake is van belangenconflicten?

Van reviewers wordt verwacht dat ze belangenconflicten opgeven als zij een manuscript accepteren om te beoordelen. Maar vaak worden hen aanvinkhokjes voorgehouden zonder een duidelijke verklaring van de criteria voor het voorkomen van belangenconflicten. Maar recensenten kunnen vaak verdergaan met het bekijken van een manuscript na erkenning dat zij een band hebben met auteurs of institutionele banden, maar zij beschouwen het niet als conflict. Die verklaring wordt algemeen aanvaard.

Auteurs die volgens hen negatief bevooroordeelde personen uitsluiten uit het beoordelingsproces

Bij het indienen van een manuscript krijgen auteurs een mogelijkheid aangeboden om personen te benoemen die uitgesloten moeten worden omdat ze negatief bevooroordeeld lijken te zijn. Redacteurs nemen deze verzoeken nogal serieus. Als redacteur ontvang ik soms een groot aantal uitsluitingsverzoeken door auteurs die zich zorgen maken over meningen van bepaalde mensen.

Hoewel wij niet weten wat er zich tijdens de voorpublicatie peerreview heeft afgespeeld, hebben de PACE-onderzoekers herhaaldelijk en op een agressieve manier geprobeerd om de beeldvorming over hun studie na publicatie in de media te manipuleren. Kunnen wij uitsluiten dat zij op een vergelijkbare manier proberen om potentiële critici onder controle te houden in de peerreview van hun papers vóór publicatie?

Het aanvullendeartikel uit 2015 met een mediatieanalyse in The Lancet Psychiatry

Chalder, T., Goldsmith, K. A., Walker, J., & White, P. D. Sharpe, M., Pickles, A.R. Rehabilitative therapies for chronic fatigue syndrome: a secondary mediation analysis of the PACE trial. The Lancet Psychiatry, 2: 141–52

De dankbetuigingen bevatten

Wij zijn erkentelijk voor de hulp van de PACE-studie Managementgroep, die bestond uit de auteurs van deze paper, behalve ARP, plus (in alfabetische volgorde): B Angus, H Baber, J Bavinton, M Burgess, LV Clark, DL Cox, JC DeCesare, P McCrone, G Murphy, M Murphy, H O’Dowd, T Peto, L Potts, R Walwyn, en D Wilks. Dit rapport betreft een onafhankelijk onderzoek dat gedeeltelijk voortkomt uit een doctoraal onderzoeksmandaat gesteund door de NIHR.

Vijftien van de auteurs van de PACE-paper in de Lancet van 2011 zijn niet langer aanwezig en een andere auteur is toegevoegd. De PACE-studie managementgroep wordt opnieuw vernoemd, maar er wordt geen melding gemaakt van de aparte PACE-studiegroep. We kunnen niet zeggen waarom het aantal auteurs en dankbetuigingen zo is afgenomen of waarom het zo gebeurde. En of mensen die zijn weggevallen, deel hebben genomen aan een beoordeling van deze paper. Maar wat overduidelijk is, is dat dit een buitengewoon gebrekkige mediatieanalyse is, die gevormd is naar een van tevoren getrokken conclusie. Ik zal daar meer over zeggen in toekomstige blogs, maar we kunnen alleen speculeren hoe de slechte publicatiepraktijken de peerreview hebben doorstaan.

Dit artikel is een misdaad tegen de praktijk van secundaire mediatieanalyse. Als ik een toekomstige auteur was, aanwezig in een discussie, zou ik vluchten voordat het een plaats delict werd.

Er is mij verteld dat ik meer dan 350 publicaties heb, hoewel ik het ordinair vind als auteurs exacte aantallen bijhouden. Maar er zijn veel potentiële publicaties die niet inbegrepen zijn in dit aantal omdat ik auteurschap heb afgewezen, aangezien ik het niet eens kon worden met de draai die anderen probeerden te geven aan het rapporteren van de resultaten. In zulke gevallen onttrek ik mijzelf aan het beoordelen van het resulterende manuscript omdat er mogelijk een belangenconflict is. We kunnen nadenken over hoeveel van het grote aantal vroegere PACE-auteurs auteurschap hebben geweigerd ten aanzien van deze paper toen het hen werd aangeboden en simpelweg weigerden om deel te nemen aan de daaropvolgende peerreview vanwege een mogelijk belangenconflict.

Het artikel in Lancet Psychiatry uit 2015 over de follow-up op lange termijn

Sharpe, M., Goldsmith, K. A., Chalder, T., Johnson, A.L., Walker, J., & White, P. D. (2015). Rehabilitative treatments for chronic fatigue syndrome: long-term follow-up from the PACE trial. The Lancet Psychiatry, http://dx.doi.org/10.1016/S2215-0366(15)00317-X

De dankbetuigingen omvatten

Wij zijn erkentelijk voor de hulp van de PACE-Studie Managementgroep, die bestond uit de auteurs van deze paper, plus (in alfabetische volgorde): B Angus, H Baber, J Bavinton, M Burgess, L V Clark, D L Cox, J C DeCesare, E Feldman, P McCrone, G Murphy, M Murphy, H O’Dowd, T Peto, L Potts, R Walwyn, en D Wilks, en the King’s Clinical Trials Unit. We danken Hannah Baber voor het faciliteren van de gegevensverzameling voor de follow-up op lange termijn.

Opnieuw ontbreken er auteurs en dankbetuigingen uit de eerdere paper en tasten we in het duister over hoe en waarom dat gebeurde en of de ontbrekende personen voldoende vrij waren van belangenconflicten om dit artikel te evalueren toen het zich nog in de manuscriptfase bevond. Maar zoals gedocumenteerd in een blogpost op Mind the Brain, waren er ernstige, overduidelijke fouten in de handelswijze en de rapportering omtrent de follow-upstudie. Het is een misdaad tegen de ‘best practices’ voor het correcte verloop en rapportering van klinische studies. En weer kunnen we erover speculeren hoe het door de peerreview is gekomen.

… En subsidiebeoordelingen?

Waar kunnen de subsidieverstrekkers in het Verenigd Koninkrijk onafhankelijke peerreview verwerven van voorbije en toekomstige subsidies die in verband staan met de PACE-studie? Om maar een voorbeeld te noemen: de bijkomende mediatieanalyse in Lancet Psychiatry in 2015 werd gedeeltelijk gefinancierd door een NIHR-subsidie voor doctoraatsonderzoek. De daaruit resulterende paper heeft veel minder auteurs dan het Lancet-artikel uit 2011. Heeft iedereen die een auteur was of werd genoemd in de dankbetuigingen in die paper zichzelf teruggetrokken van het podium voor review? Wie zou er dan nog over zijn?

Om belangenconflicten te vermijden bij het verwerven van onafhankelijke peerreview van subsidies, vertrouwt men in Duitsland en Nederland sterk op expertise vanuit het buitenland. Dit impliceert niet dat expertise in deze landen onjuist is, maar eerder dat men het nodig vindt om duidelijk aan te tonen dat gevestigde belangen de review van de subsidie niet te zeer hebben beïnvloed. Misschien suggereert de situatie van de PACE-studie dat vakbladen en subsidiebeoordelingspanels binnen het Verenigd Koninkrijk soortgelijke stappen zouden kunnen overwegen.

Een overweging van het bewijs tegen onafhankelijke peerreview

• Er is een menigte auteurs en vermeldingen in dankbetuigingen. Er is een enorm conglomeraat van instituten dat wordt bedankt.
• Er zijn een aantal papers met regelrecht twijfelachtig onderzoek en rapporteringspraktijken gepubliceerd in prestigieuze tijdschriften na ogenschijnlijke peerreview.
• Wij worden in het duister gelaten over wat er precies gebeurd is in peerreview, maar dat de artikelen op een adequate manier door peerreview heen kwamen, is een cruciaal onderdeel van hun geloofwaardigheid.

Wat moeten wij daaruit concluderen?

I think of what Edgar Allen Poe’s wise character, Le Chevalier C. Auguste Dupin would say. For those of you who don’t know who he is:

Ik denk aan wat Edgar Allen Poe’s wijze personage, Le Chevalier C. Auguste Dupin zou zeggen. Voor degenen onder u die niet weten wie hij is:

Le Chevalier C. Auguste Dupin is een fictieve detective gecreëerd door Edgar Alan Poe . Dupin verscheen voor het eerst in Poe’s “ The Murders in the Rue Morgue ” (1841), algemeen beschouwd als het eerste fictieve detectiveverhaal . [ 1 ] Hij verschijnt opnieuw in “ The Mystery of Marie Rogêt ” (1842) en “ The purlointed Letter ” (1844)…

Poe creëerde het karakter van Dupin voordat het woord detective werd gebruikt. Het karakter legde de fundamenten voor nog komende fictieve detectives, waaronder Sherlock Holmes, en vestigde de meeste van de gebruikelijke elementen van detectiveverhalen.

Ik denk dat als we het aan Dupin zouden vragen, hij zou zeggen dat het gevaar is dat de vraag te fascinerend is om op te geven, maar onmogelijk op te lossen zonder bewijs waar we geen toegang toe krijgen. We kunnen bloggen, we kunnen discussiëren over deze belangrijke vraag, maar uiteindelijk kunnen we deze niet met zekerheid beantwoorden.

Zucht

© James Coyne. Vertaling Meintje, redactie Abby, eindredactie Zuiderzon, ME-gids.

Lees ook

• Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (1)
• Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (2)
• Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (3)
• Onderzoekers van de PACE-studie antwoorden David Tuller
• David Tuller reageert op de PACE-onderzoekers
• Trial by error, vervolgd: heeft de PACE-studie echt een “strikt criterium” voor herstel toegepast?
• Trial by error, vervolg: Waarom is het “zusteronderzoek” van de PACE-studie “verdwenen” en vergeten?
• Overheid beveelt vrijgave van de gegevens van de PACE-studie
• Proffen schrijven open brief aan The Lancet en vragen herevaluatie van PACE-resultaten
• Open brief van Invest in ME over de PACE-studie aan de redacteur van The Lancet
• Trial by error, vervolgd: Het werk van het PACE-team voor verzekeringsmaatschappijen “houdt geen verband” met PACE. Echt waar?
• In het kielzog van het onderzoek van David Tuller, publiceren de PACE-onderzoekers een follow-upstudie
• ME Association: We betwisten het follow-uprapport van de PACE-studie
• Professor Jonathan Edwards: PACE-studie is “waardeloos”
• Oninterpreteerbaar: Fatale fouten in het PACE follow-uponderzoek van het chronisch vermoeidheidssyndroom
• Waarom de wetenschappelijke wereld het nodig heeft dat de PACE-gegevens worden vrijgegeven
• Reporter hekelt studie naar chronisch vermoeidheidssyndroom: ik stopte bij 14.000 woorden – genoeg was genoeg
• Een “moreel equivalent van oorlog” en de PACE-studie over chronisch vermoeidheidssyndroom
• Waarom ME-patiënten kritisch zijn over de PACE-studie

 

• Petitie : Misleidende claims van PACE-studie moeten teruggetrokken worden