Quick Thoughts,

One of James C. Coyne’s Blogs

James C. Coyne, 16 februari 2016

Interpretatieve hocus pocus in The Lancet

Een verhaal over een handige steekproef met onhandige ernstige beperkingen

Ik zou deze studie met een korte beoordeling hebben afgewezen, ware het niet dat het in The Lancet verscheen.

Roberts E, Wessely S, Chalder T, Chang CK, Hotopf M. Mortality of people with chronic fatigue syndrome: a retrospective cohort study in England and Wales from the South London and Maudsley NHS Foundation Trust Biomedical Research Centre (SLaM BRC) Clinical Record Interactive Search (CRIS) Register. The Lancet. 2016 Feb 10.

De studie heeft een te kleine steekproef om een manuscript te rechtvaardigen dat ingestuurd wordt naar een peerreviewed tijdschrift. Als je er langer naar kijkt, stapelen de problemen zich op.

Ik raad aan om dit open access-artikel te downloaden en mij te volgen als ik zijn gebreken uitleg.

Wat, een te kleine steekproef? Met 2147 patiënten is de studie mogelijk de grootste ooit die is gedaan naar sterfte onder patiënten met het chronisch vermoeidheidssyndroom. Maar de adequaatheid van de steekproefgrootte wordt niet bepaald door het totaal aantal deelnemers maar door het aantal dat bepaalde gebeurtenissen meemaakte, in dit geval, de relatief zeldzame gebeurtenissen van sterfte en zelfmoord. In de follow-up na 7 jaar waren er 17 gevallen van sterfte in het algemeen, 11 onder vrouwen en 6 onder mannen. Er waren 5 zelfmoorden, 3 onder vrouwen en 2 onder mannen.

Om een steekproef van 2147 patiënten uit een bestaande dataset samen te stellen, pasten de auteurs versoepelde diagnostische criteria toe:

Wij pasten de meest insluitende criteria toe en op deze manier sloten wij alle patiënten in met een klinische diagnose van chronisch vermoeidheidssyndroom. Een subgroep van 755 patiënten voldeed volledig aan diagnostische criteria die vooraf werden toegepast, waarvan 65% voldeed aan Oxford-criteria, 58% aan de casusdefinitie uit 1994 (Fukuda criteria) en 88% aan de NICE-criteria. Alle patiënten in deze steekproef voldeden aan minstens aan een van deze criteria.

Het losjes omgaan met diagnose stond de auteurs toe om de grootst mogelijke steekproef samen te stellen, maar de strategie creëerde een overvloed aan andere problemen. Zij creëerden een gemixte (heterogene) steekproef van patiënten. Een veralgemening naar de volledige steekproef is wellicht niet van toepassing op patiënten die voldoen aan een bepaald criterium. Het toelaten van deelname aan de steekproef op basis van meerdere criteria, brengt het risico met zich mee dat de totale patiëntensteekproef aanzienlijke verschillen had en dat zij vergelijkbaar zouden kunnen zijn op manieren die de auteurs niet zouden hebben gewild, d.w.z. zij deelden verstorende (‘confounding’) variabelen. Merk op dat twee derde voldeed aan de Oxford-criteria, die in het grootste gedeelte van de Westerse wereld een slechte reputatie hebben. Deze criteria staan toe dat patiënten toegelaten worden met een psychiatrische comorbiditeit, die door andere criteria voor het chronisch vermoeidheidssyndroom die in de studie werden gebruikt, zouden worden uitgesloten.

Als het gaat over zelfmoord, is een psychiatrische stoornis, waaronder ernstige depressie, een robuuste belangrijke voorspeller en een belangrijke verstorende (confounding) factor als er andere voorspellers worden onderzocht, zelfs als de meerderheid van de patiënten met een ernstige depressie geen zelfmoord pleegt.

Maar hier wringt de schoen: sommige patiënten met ernstige depressie werden toegelaten tot de studie omdat zij voldeden aan de Oxford-criteria, terwijl andere potentiële patiënten werden uitgesloten van de studie, omdat de criteria die op hen van toepassing waren geen psychiatrische co-morbiditeit toestonden. Hmmm, we hebben een zich ontwikkelende puinhoop te pakken.

Laten we nu eens kijken naar de manier waarop het klein aantal te verklaren gebeurtenissen, nl. zelfmoord, het probleem ingewikkelder heeft gemaakt. In essentie verspreiden we drie vrouwen en twee mannen over deze verschillende patiëntengroepen. Puur toeval speelt hier mee, maar door geavanceerde statistiek verkeerd toe te passen, kunnen de auteurs dit toeval uitbuiten.

Beschrijvende-observationele steekproeven zoals deze, stellen de epidemiologen voor uitdagingen in het betrouwbaar interpreteren van verbanden die worden geïdentificeerd. Met een grotere steekproef – d.w.z. een groter aantal zelfmoorden om te verklaren – zouden de auteurs multivariate analyses kunnen hebben gebruikt met statistische controle van mogelijke verstorende variabelen (confounders). Het zou bijvoorbeeld verleidelijk kunnen zijn om te proberen te controleren op ernstige depressie. Maar dat zou betekenen dat er conclusies worden getrokken over wat er aan de hand is onder subgroepen van drie vrouwen en twee mannen, met geen enkele mogelijkheid om te beslissen wat er te wijten is aan het toeval, d.w.z. vals is.

© SalFalko via Flickr (CC BY-NC 2.0)

Deze overduidelijke problemen negerend, controleerden de auteurs statistisch op leeftijd en geslacht. De auteurs hoefden niet te controleren op ras/etniciteit, omdat alle patiënten in de studie die stierven, blank waren. Maar ik zou te veel waarde hechten aan ras, gezien het kleine aantal sterfgevallen en het kleine aantal zelfmoorden. De auteurs probeerden ook om de steekproef op te breken (stratificeren) naargelang de deelnemers die waren gestorven, een ernstige depressie hadden, en waar zij waren gerangschikt volgens een bepaalde mate van sociale achterstand. Maar ook hier komen we terecht in la-la-land [nvdr. het land der fabelen].

Maar de studie wordt slechter wanneer je beter kijkt.

Vergeleken met wat? De auteurs wilden uitspraken doen over relatieve sterfte en zelfmoorden onder patiënten met het chronisch vermoeidheidssyndroom. Om dit te doen, deden zij iets heel handigs, zij creëerden een percentage van sterfgevallen in deze steekproef ten aanzien van sterfgevallen in Engeland en Wales in 2011.

De noemer was het verwachte aantal sterfgevallen, geschat volgens leeftijdscategorie per 5 jaar, en geslachtsspecifieke sterftecijfers voor de bevolking van Engeland en Wales in 2011, vermenigvuldigd met een wegingsfactor van gemiddelde jaren per persoon in de risicoperiode die werd ervaren door patiënten met het chronisch vermoeidheidssyndroom op elke leeftijd en in elke geslachtscategorie.

De auteurs willen onderzoeken of er een overmaat is in aantal sterfgevallen en zelfmoorden onder patiënten met het chronisch vermoeidheidssyndroom versus de algehele bevolking. Het overduidelijke probleem is dat deze patiënten op andere manieren van de algehele bevolking kunnen verschillen dan alleen het lijden aan chronisch vermoeidheidssyndroom.

Laten wij eens kijken waar deze patiënten werden gerekruteerd.

Wij onderzochten een retrospectieve cohort die bestond uit personen die werden gediagnosticeerd met het chronisch vermoeidheidssyndroom, gebruikmakend van data van de nationale onderzoeks- en behandelingsdienst voor chronische vermoeidheid aan de South London and Maudsley NHS Foundation Trust (SLaM) en King’s College London Hospital (KCH).

Dit zijn gespecialiseerde instellingen en patiënten die daaruit werden gerekruteerd, zijn mogelijk niet representatief voor de grotere populatie van patiënten in het Verenigd Koninkrijk. In het discussiegedeelte geven de auteurs dit ernstige probleem toe:

Omdat de verwijsroute voor dit centrum een volledig onderzoek bevat, waaronder een psychiatrische evaluatie, zou het argument naar voren kunnen worden gebracht dat gevallen die zijn verwezen naar de gezamenlijke SLaM en KCH diensten niet representatief zouden kunnen zijn voor gevallen van chronisch vermoeidheidssyndroom die worden gezien in de tweedelijns- en derdelijnszorg, en een verwijzingsvooringenomenheid zou kunnen bevatten ten gunste van patiënten met een ernstigere vorm van chronisch vermoeidheidssyndroom, psychiatrische comorbiditeit en een hogere sociaal-economische status.

Eigenlijk, auteurs, zie ik niet in wat iemand zou kunnen inbrengen tegen een sterke doorverwijzingsvooringenomenheid in de steekproef, van dien aard dat dit niet representatief is voor patiënten die in andere instellingen worden gezien.

Met zo weinig gebeurtenissen om te verklaren, is het niet verrassend dat de auteurs geen verschillen vonden met het sterfterisico door kanker bij patiënten met chronisch vermoeidheidssyndroom. Maar zij beweren wel het volgende te hebben ontdekt:

Er was een significante toename in zelfmoordspecifieke sterfte (SMR 6-85, 95% Cl2.22-15.98; p=0.002).

Bingo! Het artikel is gered van een voorspelbaar nulresultaat door het verkeerd toepassen van multivariate statistieken. Als je de auteurs gelooft, maken patiënten met chronisch vermoeidheidssyndroom een meer dan zes keer grotere kans om door zelfmoord te sterven, hoewel het betrouwbaarheidsinterval varieert van 2.2 keer tot 16 keer.

Dan de kwalificatie:

Hoewel de zelfmoordspecifieke SMR verhoogd is in vergelijking met de algehele bevolking, is het lager dan voor psychiatrische stoornissen, waaronder stemmingsstoornissen, persoonlijkheidsstoornissen, en alcoholverslaving gerapporteerd in andere populatiegebaseerde studies.

Maar naar welke populatie kunnen deze resultaten worden gegeneraliseerd? Zeker niet naar patiënten met het chronisch vermoeidheidssyndroom die zijn verkregen via laagdrempelige criteria in het Verenigd Koninkrijk. Niet naar de Verenigde Staten, waar de Oxford-criteria worden beschouwd als de minst valide criteria, gedeeltelijk vanwege de verstoring met psychiatrische stoornissen. De Oxford-criteria staan zelfs toe dat psychiatrische stoornissen de primaire diagnose zijn, met chronisch vermoeidheidssyndroom als secundaire diagnose.

De conclusies die de auteurs trekken.

Hoewel een geslaagde zelfmoord een zeldzame gebeurtenis was, versterken de bevindingen het pleidooi voor robuust psychiatrisch onderzoek door de geestelijke gezondheidszorg als zij patiënten met het chronisch vermoeidheidssyndroom begeleiden.

O ja, het artikel verstrekt meer bewijs dat de geestelijke gezondheidszorg toezicht moet houden op de behandeling van het chronisch vermoeidheidssyndroom en geeft hen nieuwe taken voor screening die de niet vaak voorkomende gebeurtenis van zelfmoord door de patiënt zou kunnen voorkomen. Maar de beste percentages die in deze studie worden gevonden, vereisen geen formele screeningsinspanningen en ik betwijfel of er enig bewijs zou kunnen worden geleverd dat zelfmoord zou worden verminderd.

Hoe slaagde dit artikel er in om gepubliceerd te worden?

Dit artikel zou zeker niet in The Lancet zijn gepubliceerd als de auteurs niet het initiatief hadden genomen om het daar in te dienen. Maar geloven lezers werkelijk dat als iemand van buiten een compacte kring van vrienden en familie een dergelijk artikel had ingediend bij The Lancet, dit zou zijn geaccepteerd?

Richard Horton, het doorsturen van een dergelijk manuscript voor publicatie en het toevoegen van een commentaar zou loyaliteit aan je vrienden kunnen laten zien, maar helpt de reputatie van het tijdschrift of de auteurs niet door dit soort beschamend slechte wetenschap openbaar te maken.

Helaas kon ik geen informatie vinden over de verwerking van dit artikel van manuscript tot uiteindelijke acceptatie. Heeft dit het snelle traject gevolgd? The Lancet vond het artikel in ieder geval een kort commentaar waard:

Het sterfterisico is bij veel ziekten toegenomen, maar sterfte geassocieerd met chronisch vermoeidheidssyndroom is relatief onontgonnen. In The Lancet rapporteren Emmett Roberts en collega’s [1] resultaten uit een case-register studie die de klinische details van meer dan 2000 mensen met het chronisch vermoeidheidssyndroom die een specialistische kliniek (in Londen en in het zuiden van Engeland) bezochten, in verband bracht met sterftecijfers in 7 jaar. Dit is de grootste studie in zijn soort tot dusverre, en er werd gebruik gemaakt van een robuuste casusdefinitie.

“Robuuste casusdefinitie”? Doe eens normaal!

Ik kan niet spreken namens de andere duizenden wetenschappelijke redacteurs bij PLoS One. De redacteurs hebben de afspraak om alle artikelen die geen ernstige fouten bevatten, te publiceren, zodat peerreview na publicatie het belang van het artikel kan aantonen en de bijdrage ervan aan het vakgebied. Maar ik zou dit manuscript nog eens hebben ingezonden voor een beoordeling. Zijn fouten zijn te duidelijk en niet te corrigeren, en een onnodige belasting van beoordelaars om hun tijd te verspillen aan het uitzoeken daarvan. Er zijn gewoon te veel veelbelovender manuscripten en te weinig beoordelaars om hen allemaal te kunnen verwerken.

© James Coyne, Quick Thougths. Vertaling Meintje, redactie Zuiderzon en Abby, ME-gids.

http://www.medscape.com/viewarticle/859105 suicide

Commentaar Dr. Jason

Dr. Leonard Jason van de DePaul University in Chicago, die niet bij de studie betrokken was, zei per e-mail: “CVS is een invaliderende ziekte en we moeten meer onderzoek en diensten bieden voor de getroffenen. We moeten zeker uitgebreide hulp bieden aan de patiënten met deze ziekte, zeker omdat het in het verleden gestigmatiseerd is door veel zorgverleners.”

Dr. Jason vervolgde, “De diagnose van deze ziekte is erg complex, en welke ziektedefinitie gebruikt wordt, is van cruciaal belang. Een zo brede casusdefinitie gebruiken identificeert mogelijk niet patiënten die echt deze ziekte hebben, en dat kan een van de problemen zijn met dit onderzoek”

http://www.hetalternatief.org/Sterfgevallen%20Zelfmoord%20Wessely%202016%201321.htm

Commentaar Frank Twisk

Volgens een studie van Chalder, Wessely en collega’s onder “CVS”-patiënten (Oxford-criteria etc.) zijn het aantal mensen dat sterft en het aantal mensen dat aan kanker overlijdt niet hoger dan normaal, maar is het aantal zelfdodingen wel hoger dan normaal (alhoewel de streekproef klein was).

De uitkomsten van deze studie staan (deels) haaks op die van een onderzoek van Jason e.a., die vaststelde dat ME/CVS-patiënten beduidend jonger stierven aan kanker, hartfalen en zelfdoding.

Gelukkig biedt de juiste behandeling (u raadt het al) uitkomst….

Lees ook

• Onderzoek prof. L. Jason: 60% van de mensen stierf aan kanker, hartfalen en zelfmoord

http://medicalxpress.com/news/2016-02-suicide-chronic-fatigue-syndrome-patients.html

Zes keer hoger risico op zelfmoord bij CVS-patiënten in vergelijking met de algemene bevolking

Persbericht, gepost op 10/02/2016

Mensen met de diagnose chronisch vermoeidheidssyndroom (CVS) hebben meer kans om te sterven door zelfmoord dan de algemene bevolking, maar globale voor mensen met CVS zijn vergelijkbaar met de algemene bevolking, volgens een nieuwe studie van de onderzoekers aan het Instituut voor Psychiatrie, Psychologie en Neurowetenschap aan King’s College London.

CVS, soms aangeduid als myalgische encefalomyelitis (ME), is een ernstige aandoening waarbij patiënten aanhoudende vermoeidheid ervaren die tot langdurige invaliditeit kan leiden als het onbehandeld blijft.

De studie, gepubliceerd in The Lancet, gebruikte gesofisticeerde dataminingtechnieken om de medische gegevens van meer dan 2000 mensen met de diagnose CVS te analyseren, aan de hand van de nationale onderzoeks- en behandelservice voor chronische vermoeidheid aan South London en Maudsley NHS Foundation Trust en King’s College London. Het is de grootste analyse ooit van de doodsoorzaken bij mensen met CVS, en de eerste om te suggereren dat mensen met CVS een verhoogd risico op zelfmoord kunnen hebben.

De studie werd gefinancierd door de National Institute for Health Research (NIHR) Biomedical Research Centre aan South London en Maudsley NHS Foundation Trust en King’s College London. Dr. Emmert Roberts, de hoofdauteur van de studie, heeft een Academisch-Klinische Doctoraatsbeurs van het NIHR [Nationaal Insituut voor Gezondheidsonderzoek in het VK, nvdr].

Gedurende de zevenjarige studieperiode (2007-2013), stierven in total 17 patiënten, acht stierven aan kanker, vijf door zelfmoord, en vier door andere oorzaken. De onderzoekers vergeleken deze sterftecijfers met de bevolkingsgegevens van Engeland en Wales van het Office of National Statistics, gematcht volgens leeftijd en geslacht.

De resultaten toonden aan dat er geen significant verschil was in de algemene sterftecijfers van alle oorzaken tussen mensen met een diagnose van CVS en de algemene bevolking; noch was er enig verschil in het aantal doden veroorzaakt door kanker.

Echter, op basis van de zelfmoordcijfers in de algemene bevolking van Engeland en Wales, zou er minder dan een dode door zelfmoord verwacht worden in een studiepopulatie van deze omvang, maar hier werden er vijf doden door zelfmoord geregistreerd. Dat betekent dat na controle volgens leeftijd en andere factoren, het aantal doden door zelfmoord in deze studie zes keer hoger was bij mensen met CVS dan in de algemene bevolking.

Volgens een van de auteurs van de studie, Dr. Emmert Roberts van King’s College London en South London en Maudsley NHS Foundation Trust, “Dit is de eerste studie om aan te tonen dat er een verhoogd risico op zelfmoord kan zijn bij mensen met chronisch vermoeidheidssyndroom (CVS). Hoewel het risico van een persoon met CVS die door zelfmoord sterft, klein is, is het nog steeds groter dan de algemene bevolking, en dus moeten patiënten, hun families en hun artsen zich daar bewust van zijn.”

Hoewel het risico op dood door zelfmoord hoger was voor mensen met CVS in vergelijking met de algemene bevolking, is het nog steeds aanzienlijk langer dan voor mensen met bepaalde psychiatrische aandoeningen, waaronder stemmingsstoornissen en depressie.

De observationele studie onderzocht niet volledig of het verhoogde risico op zelfdmoord bij mensen met CVS veroorzaakt werd door hun aandoening, wat de mogelijkheid open laat dat er andere factoren zijn die een rol spelen bij de kans om te sterven door zelfmoord bij CVS-patiënten.

“De volgende stap is om te zien of deze bevindingen gerepliceeerd kunnen worden in een grotere studie,” zegt profesoor Matthew Hotoph, directeur van de NIHR Maudsley Biomedical Research Centre (BRC), en een andere auteur van de studie. “Hoewel het statistische zeer onwaarschijnlijk is dat onze bevindingen te wijten zijn aan toeval, stierf minder dan een procent van onze steekproef door zelfmoord. Een grotere studie zou onze bevinding van verhoogd risico op zelfmoord bij mensen met CVS, kunnen bevestigen, en zou verder informatie bieden die zou kunnen gebruikt om te achterhalen welke patiënten het meeste risico vertonen. CVS kan een invaliderende aandoening zijn, die een grote impact heeft op het leven van de patiënten, dus we moeten er zeker van zijn dat patiënten de juiste beoordeling en behandeling aangeboden worden.”

Citeren?

Roberts, E et al. (2016) Mortality of people with chronic fatigue syndrome: a retrospective cohort study in England and Wales from the South London and Maudsley NHS Foundation Trust Biomedical Research Centre (SLaM BRC) Clinical Record Interactive Search (CRIS) Register http://dx.doi.org/10.1016/S0140-6736(15)01223-4

© King’s College London. Vertaling Meintje, redactie Zuiderzon en Abby, ME-gids.

Mortality of people with chronic fatigue syndrome:

a retrospective cohort study in England and Wales from the South London and Maudsley NHS Foundation Trust Biomedical Research Centre (SLaM BRC) Clinical Record Interactive Search (CRIS) Register.

Lancet. 2016 Feb 9. doi: 10.1016/S0140-6736(15)01223-4.

Roberts E, Wessely S, Chalder T, Chang CK, Hotopf M.

Background

Mortality associated with chronic fatigue syndrome is uncertain.

We investigated mortality in individuals diagnosed with chronic fatigue syndrome in secondary and tertiary care using data from the South London and Maudsley NHS Foundation Trust Biomedical Research Centre (SLaM BRC) Clinical Record Interactive Search (CRIS) register.

Methods

We calculated standardised mortality ratios (SMRs) for all-cause, suicide-specific, and cancer-specific mortality for a 7-year observation period using the number of deaths observed in SLaM records compared with age-specific and sex-specific mortality statistics for England and Wales.

Study participants were included if they had had contact with the chronic fatigue service (referral, discharge, or case note entry) and received a diagnosis of chronic fatigue syndrome.

Findings

We identified 2147 cases of chronic fatigue syndrome from CRIS and 17 deaths from Jan 1, 2007, to Dec 31, 2013.

1533 patients were women of whom 11 died, and 614 were men of whom six died.

There was no significant difference in age-standardised and sex-standardised mortality ratios (SMRs) for all-cause mortality (SMR 1·14, 95% CI 0·65–1·85; p=0·67) or cancer-specific mortality (1·39, 0·60–2·73; p=0·45) in patients with chronic fatigue syndrome when compared with the general population in England and Wales.

This remained the case when deaths from suicide were removed from the analysis.

There was a significant increase in suicide-specific mortality (SMR 6·85, 95% CI 2·22–15·98; p=0·002).

Interpretation

We did not note increased all-cause mortality in people with chronic fatigue syndrome, but our findings show a substantial increase in mortality from suicide.

This highlights the need for clinicians to be aware of the increased risk of completed suicide and to assess suicidality adequately in patients with chronic fatigue syndrome.

http://www.thelancet.com/pdfs/journals/lancet/PIIS0140-6736(15)01223-4.pdf

Wie met vragen zit over zelfdoding, kan terecht bij

• België:
• Zelfmoordlijn 1813 (1813 of http://www.zelfmoord1813.be/ ) of
• Tele-Onthaal (106 of www.tele-onthaal.be )
• Nederland: 113 Online (0900 – 0113 of https://113online.nl /)