Home » Nieuwsartikels » David Tuller » Trial By Error: foute citaties SOLK-studie moeten worden gecorrigeerd!

Trial By Error: foute citaties SOLK-studie moeten worden gecorrigeerd!

Geplaatst door Zuiderzon
op 19/09/2021

Laatste bijwerking op 19/09/2021

Bron:

David Tuller, DrPH, Virology Blog

| 17130 x gelezen

Trial By Error: Brief aan Psychological Medicine over fout in SOLK-paper van Sir Simon en collega’s

13 april 2021.

Ik heb eerder gedocumenteerd dat enkele van de vooraanstaande experts op het gebied van “somatisch onverklaarde lichamelijke klachten” (SOLK) regelmatig een kernbevinding van een baanbrekende studie in hun vakgebied verkeerd citeren. De studie – “De kosten van somatisering onder de beroepsbevolking in Engeland voor het jaar 2008-2009” – werd in 2010 gepubliceerd in het vakblad Mental Health in Family Practice.

Dezelfde fout werd in paper na paper herhaald, en ten minste een paar van deze gevallen zijn gecorrigeerd. Onlangs wees een scherpzinnig iemand mij erop dat het hoog aangeschreven vakblad Psychological Medicine twee jaar geleden een dergelijke studie heeft gepubliceerd, met professor Sir Simon Wessely als medeauteur.

Psychological Medicine is het vakblad dat in 2013 de beruchte “herstel”-paper van de PACE-studie publiceerde, waarin deelnemers slechter konden worden op de twee primaire maatstaven, maar toch als “hersteld” werden geteld. De hoofdredacteuren van het vakblad – professor Robin Murray van King’s College London en professor Kenneth Kendler van Virginia Commonwealth University – weigerden toen de methodologische en ethische tekortkomingen van de paper te erkennen.

In maart 2017 stuurde Virology Blog een open brief naar het vakblad met het verzoek om het artikel in te trekken. Meer dan 100 wetenschappers, clinici en andere experts ondertekenden de brief. Het vakblad negeerde dit. Mogelijk relevant in die beslissing was het feit dat PACE-hoofdonderzoeker professor Michael Sharpe in de redactieraad van het vakblad zit. Dat geldt ook voor Sir Simon, die ook een collega aan King’s College London is van een van de twee hoofdredacteuren van het vakblad, Professor Murray.

Gezien deze banden, en te oordelen aan de problematische resultaten, is het gemakkelijk te geloven dat het peerreviewproces van Psychological Medicine voor artikelen van auteurs die als eminent worden beschouwd, niet erg rigoureus is. In ieder geval staat hieronder de brief die ik gisteren naar Psychological Medicine heb gestuurd.

**********

Beste professoren Murray en Kendler,

er staat een ernstige feitelijke fout in een paper uit 2020 (epub 2019), gepubliceerd door Psychological Medicine, met als titel “Kenmerken van patiënten met een motorische functionele neurologische stoornis in een grote Britse dienst voor geestelijke gezondheidszorg: een patiënt-controleonderzoek.” De auteurs zijn O’Connell, Nicholson, Wessely en David.

In hun inleiding geven de auteurs de kernbevinding van Bermingham et al., een baanbrekende studie in hun vakgebied, verkeerd weer. Ze schreven volgende zin: “Bermingham et al. (2010) meldden dat de extra kosten door somatiserende patiënten £3 miljard per jaar bedraagt, wat neerkomt op 10% van de totale NHS-uitgaven.“

Dit is beslist niet wat Bermingham et al. rapporteerden. In feite rapporteerden Bermingham et al. dat de kosten van de behandeling van patiënten in de werkende leeftijd die als “somatiserend” werden beoordeeld 10% uitmaakten van de NHS-uitgaven voor mensen in de werkende leeftijd – niet voor de totale bevolking. Voor het jaar dat werd bestudeerd in Bermingham et al., lagen de totale NHS-uitgaven op ongeveer £100 miljard – niet de £30 miljard geïmpliceerd door O’Connell et al. door te verklaren dat £3 miljard 10% van het totaal vertegenwoordigde. De verklaring in O’Connell et al. had het voor de hand liggende maar ongelukkige effect dat de schijnbare impact van de kosten van deze patiënten voor de NHS meer dan drie keer te hoog werd ingeschat.

Andere deskundigen op het gebied van “somatisch onverklaarde lichamelijke klachten” (SOLK) hebben Bermingham et al. eveneens onnauwkeurig geciteerd. Zowel het British Journal of General Practice als BMJ Open hebben gehoor gegeven aan verzoeken om exact dezelfde fout in de door hen gepubliceerde artikelen te corrigeren (zie hier en hier). Dat enkele van de meest vooraanstaande wetenschappers op het gebied van SOLK in de loop van een decennium deze belangrijke fout in meerdere publicaties hebben gemaakt, is nogal verbijsterend, net als het feit dat deze fout telkens opnieuw niet werd opgemerkt tijdens het peerreviewproces bij meerdere vakbladen.

Ik schrijf u rechtstreeks omdat dit me geen zaak lijkt te zijn voor een briefwisseling of een gedachtewisseling met de auteurs. De bewering over Bermingham et al. is onjuist en moet worden gecorrigeerd.

Ik heb de corresponderende auteur bij dit bericht in CC gezet. Ik heb ook de primaire auteur van de verkeerd geciteerde studie, Bermingham et al., in CC gezet voor het geval er verwarring is over de betekenis van de gegevens.

Dank u voor uw snelle aandacht voor deze kwestie.

Vriendelijke groet,

David

Senior Fellow Volksgezondheid en Journalistiek
Center for Global Public Health
School of Public Health
University of California, Berkeley

Trial by error: mijn brief aan professor Anthony David – waarom blijven SOLK-experts een belangrijke studie fout citeren?

David Tuller, DrPH, Virology Blog, 17 april 2021.

Eerder deze week schreef ik naar het vakblad Psychological Medicine over een significante fout in een paper over functionele neurologische stoornissen. De fout betrof een verkeerde quote van Bermingham et al., een belangrijke analyse uit 2010 van de kosten voor de National Health Service in verband met zorg voor mensen in de werkende leeftijd die werden gelabeld als ‘somatiserend’.

Een van de twee hoofdredacteuren van Psychological Medicine, professor Robin Murray van King’s College London, reageerde prompt en gaf aan dat hij bij de auteurs navraag zou doen over de kwestie.

Ik nam vervolgens contact op met professor Murray om erop te wijzen dat de hoofdauteur van het artikel ook coauteur was van een ander artikel waarin in oktober 2019 dezelfde fout was gecorrigeerd. Hij reageerde opnieuw snel en gaf aan dat hij het zou bekijken.

In de tussentijd heb ik vandaag het volgende naar professor Anthony David gestuurd, een neuropsychiater en de senior auteur van het artikel van Psychological Medicine. Hij was vroeger verbonden aan KCL, samen met professor Murray en een coauteur van het artikel in kwestie, professor Sir Simon Wessely. Professor David is nu verbonden aan University College London.

**********

Beste professor David,

Zoals u waarschijnlijk weet, heb ik Psychological Medicine benaderd over een fout in O’Connell et al., een artikel waarvan u de hoofdauteur bent. (Andere coauteurs zijn professor Tim Nicholson en professor Sir Simon Wessely).

Het artikel heet “Kenmerken van patiënten met een motorische functionele neurologische stoornis in een grote Britse dienst voor geestelijke gezondheidszorg: een patiënt-controleonderzoek.” Toen ik met het vakblad communiceerde, merkte ik ook op dat een ander artikel waarvan u medeauteur was, 18 maanden geleden werd gecorrigeerd op precies dezelfde fout.

Naast mijn vraag over de correctie breng ik over deze kwestie ook verslag uit op Virology Blog, dus ik neem rechtstreeks contact met u op om te zien of u commentaar wilt geven op het gebeurde. (In CC staat mijn collega Vincent Racaniello, Higgins Professor Microbiologie aan Columbia, die Virology Blog beheert.)

In het kort: in 2010 rapporteerden Bermingham et al. dat de kosten van de zorg voor mensen in de werkende leeftijd met zogenaamde “somatisering” 10% uitmaakten van de uitgaven van de Nationale Gezondheidsdienst voor mensen in de werkende leeftijd. Veel latere artikelen over zogenaamde “somatisch onverklaarde lichamelijke klachten” (SOLK) of “aanhoudende lichamelijke klachten” (ALK) hebben dat cijfer verdraaid en in plaats daarvan verklaard dat deze kosten 10% van de totale uitgaven van de NHS vertegenwoordigen. In werkelijkheid vertegenwoordigden ze ongeveer 3% van de totale uitgaven van de NHS in het jaar waarop Bermingham et al. betrekking heeft.

Elk gegeven over NHS-kosten heeft mogelijke implicaties voor het beleid – zeker wanneer een fout leidt tot een verdrievoudiging van de geschatte impact, zoals bij deze fout het geval is. Hoe dan ook lijkt de valse budgettaire bewering een argument te ondersteunen voor de uitbreiding van gespecialiseerde diensten die zogenaamd effectief zouden zijn voor het behandelen van SOLK/ALK (i.e. cognitieve gedragstherapie en aanverwante benaderingen). En dat is tegelijk ook het standpunt van degenen die de valse bewering verspreiden.

Dit zijn mijn vragen:

Was u ervan op de hoogte dat een andere paper waarvan u medeauteur was, in oktober 2019 werd gecorrigeerd voor deze zelfde onjuiste voorstelling van zaken in Bermingham et al.? Zo nee, waarom niet?

Zo ja, waarom bent u niet overgegaan tot de correctie van O’Connell et al.? Neemt u in de komende correctie de verantwoordelijkheid voor deze vertraging van 18 maanden, aangezien dezelfde onjuiste bewering in uw andere paper werd gecorrigeerd?

Waarom denkt u dat zoveel onderzoekers op het gebied van SOLK deze valse bewering tien jaar lang in het ene artikel na het andere hebben herhaald? Als vooraanstaande onderzoekers op dit gebied jarenlang collectief een baanbrekend artikel uit hun vakgebied verkeerd kunnen citeren, moeten we ons dan geen zorgen gaan maken over hun algemene wetenschappelijke kennis en over de vraag of zij ook andere beweringen over SOLK baseren op vergelijkbare verdraaide, verkeerd begrepen of vooringenomen gegevens?

Hartelijk dank. Ik zal uiteraard elk commentaar of elke uitleg die u wenst te geven, van welke lengte dan ook, overnemen in een bericht op Virology Blog. Intussen kijk ik ook uit naar een reactie van professor Murray over de timing van de correctie zelf.

Vriendelijke groet,

David

Senior Fellow Volksgezondheid en Journalistiek
Center for Global Public Health
School of Public Health
University of California, Berkeley

Trial by error: waarom citeren SOLK-experts een onderzoek over NHS-kosten al tien jaar lang fout?

David Tuller, DrPH, Virology Blog, 23 april 2021.

Wat moet je ervan denken als toponderzoekers in een onderzoeksgebied collectief en consequent een baanbrekend cijfer uit hun vermeende expertisedomein verkeerd voorstellen? Ik heb het over al diegenen die zichzelf voordoen als de autoriteit op het gebied van zogenaamde “somatisch onverklaarde lichamelijke klachten” (SOLK), maar het lastig hebben met het nauwkeurig citeren van een onderzoek over wat deze aandoening ongeveer kost aan de National Health Service. (Een oplettende waarnemer wees mij hierop; ik schreef er hier voor het eerst over.)

Het onderzoek in kwestie, Bermingham et al., heet “De kosten van somatisering onder de bevolking in werkende leeftijd in Engeland voor het jaar 2008-2009.” Het werd in 2010 gepubliceerd in het vakblad Mental Health in Family Medicine. Een van de belangrijkste bevindingen was een zeer specifieke schatting: de kosten van de NHS voor patiënten in de werkende leeftijd waarvan werd vastgesteld dat ze zelfs maar in geringe mate “somatiseerden”, vertegenwoordigden ongeveer 10% van de totale kosten voor die demografische categorie. In paper na paper hebben “deskundigen” op het gebied van SOLK dat eenvoudige gegevenspunt op deze manier vertaald: patiënten met MUS zijn goed voor 10% van de totale kosten van de NHS. Het effect van die fout is dat de schijnbare impact van SOLK op de NHS-begroting meer dan drie keer te hoog komt te liggen.

(Speciale opmerking voor SOLK-deskundigen die deze post lezen: verwijzingen naar de leeftijdsparameters van Bermingham et al. worden in de titel van het artikel zelf vermeld.)

Het is mij niet duidelijk waarom deze opinieleiders zovele jaren lang zo’n grove statistische fout maken. Ik neem aan dat de vergissing niet met opzet gebeurde. Niettemin heeft ze gediend als ondersteuning van hun argumentatie voor de gewenste beleidsresultaten, wat zou kunnen verklaren waarom ze onopgemerkt bleef bij de auteurs en bij gelijkgestemde collega’s die de betrokken papers gepeerreviewed hebben. Als gezondheidsfunctionarissen ten onrechte denken dat de kosten van SOLK 10% van hun budget uitmaken, dan zullen ze vermoedelijk meer geneigd zijn om de psychologische diensten uit te breiden die worden voorgesteld door degenen die de onjuiste informatie verspreiden.

Ik heb onlangs een uitwisseling gehad met professor Robin Murry, een van de twee topredacteurs van het hoog aangeschreven vakblad Psychological Medicine. Het gaat om een paper waarin weer diezelfde valse verklaring over NHS-kosten is opgenomen. Ik heb ook afzonderlijk geschreven naar de hoofdauteur, professor Anthony David, aangezien een eerder artikel waarvan hij coauteur was, 18 maanden geleden werd gecorrigeerd voor exact dezelfde fout.

Ik heb nog niets gehoord over een correctie van professor Murray of professor David. Ik heb professor Murray vanmorgen een vervolgbericht gestuurd. Het staat hieronder.

**********

Beste Robin,

Er zijn twee werkweken verstreken sinds ik contact met u opnam over de significante fout in “Kenmerken van patiënten met een motorische functionele neurologische stoornis in een grote Britse dienst voor geestelijke gezondheidszorg: een patiënt-controleonderzoek.” (De auteurs zijn O’Connell, Nicholson, Wessely en David.) U gaf aan dat u de auteurs zou raadplegen.

In feite hebben de auteurs niet meer dan een paar minuten tijd nodig om de verkeerd geciteerde studie, Bermingham et al., te bekijken, evenals de andere artikelen waarin exact dezelfde fout al is gecorrigeerd. Dat is des te meer het geval aangezien professor David, de senior auteur, ook coauteur was van een van de eerder gecorrigeerde papers. Bovendien heb ik de corresponderende auteur van Bermingham et al. in mijn e-mailcommunicatie opgenomen voor het geval er nog onduidelijkheid zou bestaan over de betekenis van de onderzoeksresultaten.

Het verbaast me dan ook dat ik nog niets van u heb vernomen over de correctie. Misschien lijkt dit voor u en de auteurs een onbeduidende of licht irritante kwestie. Maar zoals ik heb opgemerkt, hebben onderzoekers die zogenaamde “somatisch onverklaarde lichamelijke klachten” bestuderen, tien jaar lang een vals verslag gegeven van de bevindingen van dit baanbrekende onderzoek in hun eigen veld van zogenaamde expertise. Toevallig of niet komt deze fout overeen met de professionele belangen van deze experts bij het promoten van meer diensten voor mensen die zouden voldoen aan hun diagnostische criteria voor SOLK.

Wanneer het peerreviewproces er keer op keer niet in slaagt om dezelfde inhoudelijke fout te ontdekken in publicatie na publicatie, dan moet er een alarmbel gaan rinkelen bij de vakbladredacteurs. Misschien is dit wat we hieruit kunnen leren: als een school onderzoekers zich bezig lijkt te houden met wat men groepsdenken zou kunnen noemen, door bijvoorbeeld collectief een belangrijk gegevenspunt in de medische literatuur verkeerd voor te stellen, dan zou het verstandig zijn om een grotere kring van lezers uit te nodigen voor de peerreview, om ervoor te zorgen dat de verwijzingen ook daadwerkelijk overeenkomen met wat men beweert.

Ik kijk uit naar een snelle update over de aanstaande correctie van O’Connell et al. En zoals ik al suggereerde, hoop ik dat de correctie ook een verklaring bevat voor de vertraging van 18 maanden, aangezien het vorige artikel, mede geschreven door de seniorauteur, werd gecorrigeerd wegens exact dezelfde fout.

Vriendelijke groet,

David

Senior Fellow Volksgezondheid en Journalistiek
Center for Global Public Health
School of Public Health
University of California, Berkeley

Trial By Error: Professor Davids derde foute citering van baanbrekende studie over “somatisch onverklaarde lichamelijke klachten”

David Tuller, DrPH, Virology Blog, 26 april 2021.

Ik heb onlangs geblogd over de veelvuldige verkeerde citatie van een baanbrekende studie over zogenaamde “somatisch onverklaarde lichamelijke klachten” (SOLK). Uit het onderzoek van 2010 van Bermingham et al. bleek dat het bedrag dat door de National Health Service werd uitgegeven aan mensen in de werkende leeftijd die als ‘somatiserend’ werden beoordeeld, ongeveer 10% uitmaakte van wat er aan die populatie werd uitgegeven. Sinds de studie meer dan tien jaar geleden werd gepubliceerd, hebben experts in SOLK de studie routinematig verkeerd voorgesteld door te beweren dat deze kosten 10% bedroegen van de totale NHS-uitgaven – waardoor hun schijnbare financiële impact in feite drie keer te hoog kwam te liggen.

De kosten van het aanpakken van SOLK worden regelmatig aangevoerd als reden om psychologische diensten uit te breiden voor patiënten met de aandoeningen die in aanmerking komen voor een dergelijke diagnose. In het huidige kader beschouwt het NHS-programma Toegang tot Psychologische Therapieën Verbeteren (IAPT) iedereen met ME/cvs, het prikkelbaredarmsyndroom en andere aandoeningen zonder een duidelijke etiologie alsof ze lijden aan SOLK. Daardoor komen ze allemaal in aanmerking om direct van de eerstelijnszorg te worden weggeleid naar IAPT-interventies, meestal variaties op cognitieve gedragstherapie.

Op 17 april schreef ik aan professor Anthony David, een neurowetenschapper aan University College London. Ik was op zoek naar informatie over waarom hij deze fout nog niet heeft gecorrigeerd in een artikel waarvan hij de hoofdauteur is – en dat terwijl een ander artikel waarvan hij coauteur was 18 maanden geleden wegens dezelfde fout werd gecorrigeerd.

Professor David, een expert op het gebied van SOLK, was vroeger verbonden aan King’s College London, de thuisbasis van enkele leiders van de biopsychosociale ideologische brigade. KCL-beroemdheid professor Sir Simon Wessely is coauteur van het niet-gecorrigeerde artikel. Een andere KCL-wetenschapper, professor Trudie Chalder, was de senior auteur van het artikel waar professor David aan meeschreef en dat gecorrigeerd werd in oktober 2019, nadat ik had geschreven naar haar en BMJ Open, het vakblad dat het artikel had gepubliceerd.

Twee dagen geleden stuurde ik een opvolgingsbericht naar professor David, nadat ik er door een pientere waarnemer op werd gewezen dat er weer een ander artikel verschenen was, waarvan hij de senior auteur was, waarin dezelfde foute citatie stond. (Deze bevatte ook een spelfout: ‘Birmingham’ in plaats van ‘Bermingham’.) Voor professor David komt het dus op drie afzonderlijke foutieve citaten van Bermingham et al. Of dat is tenminste het aantal dat we kennen.

Ik heb niets meer gehoord van professor David. Of hij nu reageert of niet, ik hoop echt dat hij doorgaat met snelle correcties van de twee ongecorrigeerde papers. En als hij nog ergens anders dezelfde fout heeft gemaakt, dan hoop ik dat hij die gevallen ook corrigeert, zodat ik niet de moeite hoef te nemen om hem erop te wijzen.

Voor alle duidelijkheid: ik suggereer niet dat professor David of iemand anders Bermingham et al. opzettelijk verkeerd heeft geciteerd. Ik neem aan dat het onbedoeld is gebeurd en dat het foute “feit” zichzelf in de loop van een decennium in de literatuur heeft gerepliceerd, omdat niemand de moeite nam het te controleren, of merkte dat het verkeerd was als ze het dubbelcheckten. Maar hoe zou dat komen? Misschien omdat de hogere kosten mooi aansluiten bij de interesses en percepties van degenen die het verkeerd citeren. Een mooi voorbeeld van bevestigingsbias.

Deze herhaling van onjuiste informatie is courant in de journalistiek. In dit geval is de verspreiding van het onnauwkeurige gegevenspunt mogelijk van invloed op het volksgezondheidsbeleid, en misschien heeft het al gevolgen gehad. Gezien het belang van de fout, lijkt het redelijk om degenen die de fout hebben gemaakt te vragen om uit te leggen hoe ze is kunnen gebeuren en waarom andere beweringen die ze doen als geloofwaardig moeten worden beschouwd. Maar als je dit soort vragen stelt over problemen met hun gegevens of argumentatie, lijken leden van dit cohort van onderzoekers de voorkeur te geven aan het gebruik van woorden als “intimidatie”, in plaats van redelijke en geloofwaardige antwoorden te geven.

Hieronder vind je mijn tweede brief aan professor David.

**********

Beste professor David,

Ik heb gemerkt dat een artikel uit 2016 waarvan u de hoofdauteur was, dezelfde onjuistheid bevat over Bermingham et al. als de twee recentere artikelen die ik eerder al heb aangeduid. Het artikel uit 2016, “Medisch onverklaard verlies van visueel vermogen in een gespecialiseerde kliniek: een retrospectieve patiënt-gecontroleerde vergelijking”, werd gepubliceerd in het Journal of the Neurological Sciences. Ik heb de corresponderende auteur bij deze e-mail in CC gezet, en nogmaals Vincent Racaniello, Higgins Professor Microbiologie aan Columbia en beheerder van Virology Blog. (Overigens wordt in het artikel “Bermingham” verkeerd gespeld als “Birmingham”.)

Het artikel uit 2016 bevat volgende zin: “In een schatting van de geassocieerde gezondheidskosten van medisch onverklaarde symptomen, stellen Birmingham [sic] en collega’s dat het gebruik van gezondheidszorg £3 miljard per jaar bedraagt, of 10% van de totale NHS-uitgaven.” Het is duidelijk dat dit gecorrigeerd moet worden, want het cijfer vertegenwoordigde in werkelijkheid 10% van de NHS-uitgaven voor de bevolking in de werkende leeftijd, dus slechts ongeveer 3% van de “totale” NHS-uitgaven.

De titel van Bermingham et al. zelf specificeert de leeftijdsparameters van de onderzoekspopulatie, dus het blijft me verbazen dat men deze valse informatie tien jaar lang heeft blijven herhalen. Ik apprecieer elk uitleg die u zou kunnen bieden om mij te helpen dit fenomeen te begrijpen.

Bedankt voor uw snelle aandacht voor deze kwestie. Ik kijk uit naar de correcties in zowel dit artikel als het recentere in Psychological Medicine.

Vriendelijke groet,

David

Senior Fellow Volksgezondheid en Journalistiek
Center for Global Public Health
School of Public Health
University of California, Berkeley

Trial By Error: meer brieven over Professor Anthony Davids foute citatie van belangrijke studie over kostprijs SOLK

David Tuller, DrPH, Virology Blog, 11 mei 2021.

Ik heb gecorrespondeerd met het vakblad Psychological Medicine om tot een correctie te kunnen komen van een ontegensprekelijke feitelijke onjuistheid met betrekking tot de kostprijs van zogenaamde “somatisch onverklaarde lichamelijke klachten” (SOLK). Na drie weken liet de medehoofdredacteur van het vakblad, professor Robin Murray, me op 4 mei eindelijk weten dat de auteurs “instemden” met een correctie – alsof ze een toegeving aan mij persoonlijk deden, in plaats van aan de juistheid van de medische literatuur.

Ik reageerde op professor Murray en nam ook contact op met professor Anthony David, de hoofdauteur van het artikel in Psychological Medicine. Ik had professor Anthony al geschreven om hem te laten weten dat ik exact dezelfde fout had gezien in een ander artikel waarvan hij de hoofdauteur was, een artikel dat in 2016 werd gepubliceerd door het Journal of the Neurological Sciences. In mijn opvolgingsbericht aan hem herinnerde ik hem aan dit extra probleem en ik vroeg hem om mij te laten weten of hij dezelfde correctie ook in dat vakblad had doorgevoerd. Omdat ik vanmorgen nog niets had gehoord, heb ik naar de redacteurs van het Journal of the Neurological Sciences geschreven om hen op de hoogte te stellen van het feit dat de studie van professor David uit 2016 moet worden gecorrigeerd.

Al deze brieven staan hieronder.

**********

Brief van Psychological Medicine aan mij (4 mei)

Geachte Meneer Tuller,

De auteurs hebben ermee ingestemd een correctie van deze zin te publiceren.

Sir Robin Murray, FRS

Professor Psychiatrisch Onderzoek
Instituut voor Psychiatrie, Psychologie en Neurowetenschappen
King’s College
De Crespigny Park
Londen SE5 8AF
en
Psychiater
Afdeling Psychose
South London en Maudsley NHS Trust

**********

Mijn brief aan Psychological Medicine (4 mei)

Beste Robin,

Bedankt voor de update. Het is verbijsterend dat het drie weken heeft geduurd voordat de auteurs besloten wat ze moesten doen met een zin die duidelijk een valse verklaring bevatte over de kostprijs van ‘somatiserende’ patiënten voor de National Health Service. De discussie had hooguit een paar minuten mogen duren. In ieder geval ben ik blij dat ze na lang wikken en wegen tot de juiste beslissing zijn gekomen.

Ik hoop dat professor David ook van plan is deze fout te corrigeren in het andere artikel waarvan hij senior auteur was. Misschien zullen hij en zijn collega’s nu voorzichtiger zijn bij het citeren van Bermingham et al., gezien de impact die dergelijke opgeblazen cijfers kunnen hebben op belangrijke beleidsvorming. De proliferatie van deze valse bewering over de kosten van somatisering in artikelen, geschreven door experts in het veld, is een uitstekend voorbeeld van hoe ‘fake news’ op den duur als waar wordt beschouwd wanneer gezagdragende mensen het blijven herhalen. Dat dit tien jaar zo doorgaat, wijst op een nogal adembenemende mate van onzorgvuldigheid onder de zelfbenoemde leiders op dit gebied, inclusief de auteurs van dit artikel.

Vriendelijke groet,

David

Senior Fellow Volksgezondheid en Journalistiek
Center for Global Public Health
School of Public Health
University of California, Berkeley

**********

Mijn brief aan professor Anthony David (4 mei)

Beste professor David,

Ik was blij te horen van professor Murray dat u en uw collega’s na lang wikken en wegen hebben ingestemd met het corrigeren van de valse verklaring in het artikel gepubliceerd in Psychological Medicine. Ik weet niet zeker waarom het drie weken geduurd heeft om tot deze onvermijdelijke beslissing te komen, gezien het feit dat de onwaarheid van de bewering zo overduidelijk was, maar dat is een mysterie voor een andere keer.

Kunt u ook bevestigen dat u dezelfde correctie heeft aangebracht in het andere artikel waarvan u senior auteur bent? Ter herinnering: het gaat om het artikel uit 2016 over medisch onverklaard verlies van visueel vermogen, dat verscheen in het Journal of the Neurological Sciences. Als u wilt, kan ik rechtstreeks naar de redacteur schrijven, zoals ik deed met professor Murray, en op die manier de correctie initiëren. Geeft u gerust aan hoe u het liefst verder wilt gaan. Als ik niets terughoor over dat deze correctie aan de gang is, dan ga ik ervan uit dat er nog niets gebeurd is en zal ik zelf contact opnemen met de redacteur van het vakblad, waarbij ik u en uw coauteurs in CC zal zetten.

Vriendelijke groet,

David

David Tuller, DrPH
Senior Fellow Volksgezondheid en Journalistiek
Center for Global Public Health
School of Public Health
University of California, Berkeley

**********

Mijn brief aan de redacteurs van het Journal of the Neurological Sciences (11 mei)

Beste professor England en professor Villemarette-Pittman,

Ik ben een academische en onderzoeksjournalist op het gebied van volksgezondheid aan UC Berkeley. De afgelopen jaren heb ik onderzoek gedaan naar een onderdeel van het wetenschappelijk onderzoek naar ME/cvs en zogenaamde “somatisch onverklaarde lichamelijke klachten” (SOLK). Veel van mijn werk is gepubliceerd op Virology Blog, een wetenschappelijke site die wordt beheerd door Vincent Racaniello, Higgins Professor Microbiologie aan Columbia University.

Met betrekking tot SOLK bevat een artikel uit 2016 in het Journal of the Neurological Sciences – “Medisch onverklaard verlies van visueel vermogen in een gespecialiseerde kliniek: een retrospectieve patiënt-gecontroleerde vergelijking” – een belangrijke foute citatie van Bermingham et al., een onderzoek uit 2010. Het artikel in uw vakblad bevat volgende zin: “In een schatting van de geassocieerde gezondheidskosten van medisch onverklaarde symptomen, stellen Birmingham [sic] en collega’s dat het gebruik van gezondheidszorg £3 miljard per jaar bedraagt, of 10% van de totale NHS-uitgaven.”

In werkelijkheid rapporteerden Bermingham et al dat de zorgkosten voor mensen in de werkende leeftijd die zogenaamd “somatiseerden”, goed waren voor 10% van wat de NHS uitgaf aan zorg voor mensen in de werkende leeftijd. Veel latere artikelen over SOLK hebben die statistiek door elkaar gehaald en opgeblazen, en in plaats daarvan verklaard dat deze kosten 10% van de totale NHS-uitgaven vertegenwoordigen. In feite vertegenwoordigden ze ongeveer 3% van de totale NHS-uitgaven in het jaar dat door Bermingham et al. wordt behandeld.

(De analyse en discussie in Bermingham et al. gaan specifiek over de kosten voor de Engelse tak van de NHS; veel van de verwijzingen maken dat niet duidelijk, maar dat is een aparte kwestie.)

In het geval van professor David werd een eerder artikel waarvan hij was coauteur was en dat exact dezelfde fout bevatte, meer dan 18 maanden geleden gecorrigeerd. Vorige week nog stemde Psychological Medicine ermee in om de fout te corrigeren in een ander artikel van professor David, nadat ik de kwestie onder de aandacht van het vakblad had gebracht.

Elk datapunt over NHS-kosten heeft mogelijke beleidsimplicaties, vooral wanneer een fout het effect heeft dat de schijnbare impact meer dan driemaal te hoog wordt ingeschat, zoals het geval is bij deze fout. Deze valse budgettaire bewering lijkt zeker te kunnen fungeren als ondersteunend argument voor de uitbreiding van gespecialiseerde diensten die zogenaamd effectief zijn bij de behandeling van SOLK (d.w.z. cognitieve gedragstherapie en aanverwante benaderingen). En dat is over het algemeen ook net het standpunt van diegenen in het VK die de foute verklaring verspreiden, waaronder professor David.

Tijdens mijn correspondentie met Psychological Medicine kwam ik in uw vakblad de studie tegen over medisch onverklaard verlies van visueel vermogen – een derde voorbeeld van dezelfde fout in het werk van professor David. Vorige week waarschuwde ik professor David voor het probleem met dit artikel en vroeg hem me te laten weten of hij van plan was om contact op te nemen met het vakblad om een correctie te initiëren, en of hij hier al mee bezig was.

Aangezien professor David niet heeft gereageerd, besloot ik rechtstreeks contact op te nemen met het vakblad over de noodzaak van een correctie. Ik heb zowel professor David als professor Racaniello in CC gezet. (Voor de transparantie zal ik deze brief ook op Virology Blog en sociale media plaatsen.)

Bedankt voor uw snelle aandacht voor deze kwestie.

Vriendelijke groet,

David

David Tuller, DrPH
Senior Fellow Volksgezondheid en Journalistiek
Center for Global Public Health
School of Public Health
University of California, Berkeley

Trial By Error: Neurologievakblad corrigeert valse bewering in SOLK-paper – maar publiceert geen correctiebericht (ironisch genoeg heb ik zelf een correctie aan deze post toegevoegd!)

David Tuller, DrPH, Virology Blog, 31 juli 2021.

UPDATE: 4 augustus 2021

Dr. Villemarette-Pittman, de hoofdredacteur van Journal of the Neurological Sciences, heeft me laten weten dat ze van Elsevier heeft vernomen dat er inderdaad een corrigendum is geschreven, dat in de nabije toekomst zal worden gepubliceerd. Ze liet me ook weten dat ze geen rol speelt bij het bepalen of vaststellen van beleid over correcties en corrigendi, en wanneer of hoe ze worden gepubliceerd. Ik ben erg blij om te horen over het corrigendum. Als iemand mij eerder in mijn reeks e-mailuitwisselingen had verteld dat het ontbreken van een corrigendum niet betekende dat er geen zou komen en dat men nog wachtte op reactie van Elsevier, dan had ik de blogpost anders geschreven en/of eerder geüpdatet. Dr. Villemarette-Pittman had namens het vakblad gereageerd op mijn eerste e-mail over de fout, dus ik nam aan dat zij de praktijken en het beleid rond correcties en corrigendi kende. Mijn excuses aan Dr Villemarette-Pittman voor het maken van die verkeerde veronderstelling.

**********

*Correctie: ik verwees aanvankelijk naar Dr. Villemarette-Pittman als een ‘neuroloog’. Het was niet mijn bedoeling om aan te geven dat ze een arts is, maar eerder een academische specialist. Ze is universitair hoofddocent neurologisch onderzoek en houdt toezicht op neurologisch onderzoek aan haar universiteit. Mijn excuses voor eventuele verwarring.

*Opmerking: na het lezen van deze blogpost merkte Dr. Villemarette-Pittman ook op dat zij niet de hoofdredacteur of uitgever van het vakblad is, en verduidelijkte zij dat zij geen beslissingen neemt over corrigenda. (Voor de goede orde: ik heb haar nergens de hoofdredacteur of de uitgever genoemd, en ik heb ook niet gezegd dat ze beslissingen neemt over corrigenda.) Ik schreef aanvankelijk naar twee redacteurs over de fout en zij reageerde. Daarom hebben wij hierover gecorrespondeerd.

Ik heb onlangs twee afzonderlijke vakbladen lastiggevallen met de vraag om dezelfde fout te corrigeren: een verkeerde aanhaling van een onderzoek naar de geschatte kosten voor de Britse National Health Service van zogenaamde “somatisch onverklaarde lichamelijke klachten” (SOLK). Een van de vakbladen, Psychological Medicine, heeft de fout gecorrigeerd en heeft ook een standaardbericht, een zogenaamd corrigendum gepubliceerd, dat lezers erop wijst dat er een wijziging is aangebracht.

Journal of the Neurological Sciences daarentegen heeft de fout in de tekst gecorrigeerd, maar het artikel in kwestie heeft geen overeenkomstig corrigendum gekregen – of in ieder geval geen dat ik kan vinden op de site van deze Elsevier-uitgave. Misschien komt er een, hoewel de foute zin weken geleden is vastgesteld, volgens mijn communicatie met het vakblad. Het is onaanvaardbaar dat een vakblad een inhoudelijke correctie aanbrengt en niet aangeeft dat dit is gebeurd.

Deze specifieke fout zit me echt dwars, omdat ze herhaaldelijk is begaan in meerdere artikelen sinds de publicatie van het artikel met de oorspronkelijke bevinding, Bermingham et al, uit 2010. Bermingham et al. schatten dat de kosten van de behandeling van mensen in de werkende leeftijd met SOLK goed is voor 10% van het NHS-budget voor die demografische groep. (De studie had enkel betrekking op Engeland.) Die statistiek is routinematig verkeerd weergegeven als 10% van de totale NHS-kosten, dat wil zeggen voor alle leeftijden. In feite schatte de studie dat het totaal besteed aan mensen in de werkende leeftijd met SOLK ongeveer 3% van het NHS-budget uitmaakte, niet 10%. (Met dit punt wil ik niet zeggen dat ik de methodologie of schattingen van Bermingham et al. onderschrijf.)

In dezelfde periode was er ook een krachtige impuls om de geestelijke gezondheidszorg van de NHS uit te breiden naar patiënten met SOLK – een uitbreiding die wordt geïmplementeerd via een programma met de naam Toegang tot Psychologische Therapieën Verbeteren (IAPT). Medische deskundigen op het gebied van SOLK hebben de overheid geadviseerd over deze IAPT-uitbreiding. Zij behoorden ook tot degenen die Bermingham et al. verkeerd citeerden, waardoor de geschatte gezondheidszorglast van SOLK drastisch werd verhoogd. Het spreekt voor zich dat het aantonen van de hoge kostprijs van SOLK voor de NHS steun zou kunnen genereren of versterken voor het uitbreiden van diensten voor deze patiënten – zoals bepleit door sommige van de mensen die de onjuiste citaten gaven.

Sommige onderzoekers hebben Bermingham et al. herhaaldelijk verkeerd geciteerd. Zo is er bijvoorbeeld professor Anthony David, een neuroloog aan University College London en de seniorauteur van het artikel gepubliceerd door Journal of the Neurological Sciences, met als titel “Medisch onverklaard verlies van visueel vermogen in een gespecialiseerde kliniek: een retrospectieve patiënt-gecontroleerde vergelijking.” Hij was ook seniorauteur van het artikel in Psychological Medicine dat gecorrigeerd werd na mijn tussenkomst. En hij is co-auteur van het gepubliceerde protocol voor een grote klinische proef, waarin dezelfde fout werd gemaakt en dat in 2019 werd gecorrigeerd nadat ik het vakblad erop had gewezen.

Dit was de zin in de eerste versie van het artikel gepubliceerd door Journal of the Neurological Sciences (met de oorspronkelijke spelfout van de eerste auteur van de geciteerde studie behouden): “In een schatting van de geassocieerde gezondheidskosten van somatisch onverklaarde lichamelijke klachten, stellen Birmingham [sic] en collega’s dat het gebruik van gezondheidszorg £3 miljard per jaar bedraagt, of 10% van de totale NHS-uitgaven.” In de huidige versie van het artikel luidt de zin nu: “In een schatting van de geassocieerde gezondheidskosten van somatisch onverklaarde lichamelijke klachten, stellen Bermingham en collega’s voor dat het gebruik van de gezondheidszorg £3 miljard pond bedroeg in het jaar 2008-2009, of ongeveer 10% van de totale NHS-uitgaven voor deze diensten voor de bevolking in de werkende leeftijd in deze periode.” (Ik ben blij dat ze ook de spelling van Bermingham et al. hebben gecorrigeerd.)

Professor David* [ik schreef hier eerst Professor Anthony- mijn excuses voor de fout], zijn coauteurs én Journal of the Neurological Sciences hebben de verplichting om correcties op een transparante manier aan te brengen. Zinnen rechtzetten, maar de schijn wekken dat er niets is veranderd, voldoet niet aan deze academische basisnorm en kan niet worden gerechtvaardigd. Interessant is dat hetzelfde vakblad afgelopen zomer een formeel corrigendum publiceerde toen een verkeerd gespelde naam werd gecorrigeerd. Een fout die tot gevolg heeft dat de geschatte kosten van SOLK voor de NHS meer dan drie keer te hoog komen te liggen, is toch zeker zo ernstig dat het vakblad bereid zou moeten zijn om het tenminste op dezelfde manier te behandelen.

**********

Brief aan redacteur van Journal of the Neurological Sciences

Ik heb volgende brief gestuurd naar Dr. Nicole Villemarette-Pittman, een assistent-professor onderzoek in de neurologie* [deze zin is gecorrigeerd] aan Louisiana State Universiteit en de vakbladredacteur met wie ik over de fout had gecorrespondeerd:

[Na het lezen van deze blogpost stuurde Dr. Villemarette-Pittman een e-mail met de opmerking dat zij niet de hoofdredacteur noch de uitgever van het vakblad is, en zij geen beslissingen neemt over corrigenda. Ik heb haar nergens de hoofdredacteur of de uitgever genoemd, noch heb ik beweerd dat ze beslissingen neemt over corrigenda. Ik schreef aanvankelijk naar twee redacteurs over de correctie, en zij reageerde. Daarom heb ik met haar gecorrespondeerd.]

Geachte dr. Villemarette-Pittman,

Ik ben bezig aan een bericht voor Virology Blog over het feit dat het Journal of the Neurological Sciences blijkbaar heeft beslist om de correctie van O’Leary et al. niet aan te geven of te markeren met een feitelijk corrigendum. (Als er een corrigendum is en ik kan het om de een of andere reden niet vinden, dan hoor ik het graag!) Wilt u iets zeggen over de reden waarom het vakblad ervoor heeft gekozen geen corrigendum uit te brengen voor deze correctie? Het lijkt nogal ongebruikelijk om een substantiële feitelijke fout te corrigeren en de lezers er niet op te wijzen dat er iets is veranderd.

Het ging hier niet om een tikfout of een grammaticale fout. De fout had tot gevolg dat de geschatte impact van zogenaamde “somatisch onverklaarde lichamelijke klachten” op het budget van de National Health Service meer dan drie keer te hoog kwam te liggen. Volgens het correctiebeleid van Elsevier, uw uitgever, is een corrigendum gepast wanneer “een klein deel van een anderszins betrouwbare publicatie misleidend blijkt te zijn (vooral vanwege een eerlijke fout).” Dat lijkt hier zeker de juiste benadering – of dat had toch de benadering moeten zijn. De bewering in de paper was zeer misleidend en vermoedelijk onbedoeld.

Het International Committee of Medical Journal Editors heeft ook gewezen op het belang van het aanduiden van een correctie. Wanneer een correctie wordt aangebracht, volgens de ICMJE-richtlijnen (zoals geciteerd op de website van Elsevier), “moet het vakblad zo snel mogelijk een correctiebericht publiceren waarin de wijzigingen van de oorspronkelijke publicatie worden vermeld.”

Met andere woorden, het simpelweg corrigeren van een zin die een feitelijke fout bevat, zoals u in dit geval hebt gedaan, is onvoldoende. Om transparant te blijven, moet er hoe dan ook een verklarend corrigendum worden gepubliceerd.

Ik zal deze opmerking over de acties van het vakblad waarschijnlijk morgen (vrijdag) posten. Als ik een reactie van u ontvang nadat ik het bericht al heb geplaatst, dan zal ik de blog natuurlijk updaten.

Vriendelijke groet,

David

David Tuller, DrPH
Senior Fellow Volksgezondheid en Journalistiek
Center for Global Public Health
School of Public Health
University of California, Berkeley