Home » Nieuwsartikels » David Tuller » Trial By Error: meer over de CODES-studie naar CGT voor niet-epileptische aanvallen + geneticaproject DecodeME

Trial By Error: meer over de CODES-studie naar CGT voor niet-epileptische aanvallen + geneticaproject DecodeME

Geplaatst door admin
op 30/08/2020

Laatste bijwerking op 30/08/2020

Bron:

David Tuller, Virology Blog

| 8848 x gelezen

Trial By Error: meer vragen over CODES-studie over CGT voor dissociatieve aanvallen

David Tuller, DrPH, Virology Blog, 23 juni 2020

[*In de laatste paragraaf verwees ik per ongeluk naar het CODES-protocol in plaats van naar het statistisch analyseplan van CODES. Mijn excuses voor de fout.]

Ik schreef onlangs over CODES, de grote klinische studie die onderzocht of cognitieve gedragstherapie (CGT) de frequentie zou kunnen verminderen van dissociatieve aanvallen, ook bekend als psychogene niet-epileptische aanvallen. De studie, gepubliceerd door Lancet Psyciatry, was een studie met open onderzoeksopzet die voortging op zelfgerapporteerde uitkomsten – een ontwerp dat uiterst gevoelig is aan bias. De 368 deelnemers werden gerandomiseerd in twee armen: één groep die standaard medische zorg kreeg (SMC) samen met een vorm van CGT die is ontworpen om aanvalsverminderende strategieën aan te leren, en één groep die enkel standaard medische zorg kreeg.

CODES rapporteerde een nulresultaat voor de primaire uitkomst van aanvalsfrequentie per maand op 12 maanden na randomisering. Dit slechte resultaat zal zeker een teleurstelling zijn geweest voor de onderzoekers, waarvan sommigen al meer dan tien jaar lang CGT aanprijzen als behandeling voor deze onverklaarde aanvallen.

Twee van de drie hoofdonderzoekers zijn verbonden aan het Institute of Psychiatry, Psychology & Neuroscience van King’s College London. Zoals ik eerder al rapporteerde, bracht de universiteit een persbericht uit dat de studie onbegrijpelijk genoeg als succes voorstelde, op basis van de resultaten op sommige secundaire uitkomsten, zonder te vermelden dat de primaire uitkomst een nulresultaat had. (Het nulresultaat voor aanvalsfrequentie op 12 maanden werd terloops vermeld, maar niet het essentiële detail dat dit de uitkomst was die de onderzoekers het belangrijkst vonden.) Eén van de hoofdonderzoekers beweerde zelfs in het persbericht dat de studie “bewijs verschafte voor de doeltreffendheid” van de behandeling. Die rooskleurige voorstelling van de studiebevindingen is ongeloofwaardig.

Eerder deze maand schreef ik naar King’s College London over mijn bedenkingen omtrent dit verbijsterende persbericht, maar ik heb er nog geen reactie op ontvangen.

Dit is de visie op de studie van mijn collega Philip Stark, een professor statistiek aan Berkeley: “De studie bracht geen staving voor de primaire klinische uitkomst, enkel voor secundaire uitkomsten die gingen over subjectieve quotering door de proefpersonen en hun dokter, die wisten welke behandeling ze kregen. Dit is het soort situatie waarin een placebo-effect hoogstwaarschijnlijk verward wordt met behandelingseffect. In het ontwerp van de studie deed men er duidelijk helemaal niets aan om verwarring met het placebo-effect te verminderen. Om die reden is het niet duidelijk of CGT op zich verantwoordelijk is voor de geobserveerde verbeteringen in de secundaire uitkomsten.”

**********

Meer over de primaire uitkomst

Ik wou even wat dieper ingaan op zowel de primaire uitkomst als het allegaartje aan 16 secundaire uitkomsten – allemaal via zelfrapportage – wat de onderzoekers maximaal de kans gaf om positieve resultaten te bekomen. Door de gevoeligheid voor bias, worden zelfgerapporteerde uitkomsten in studies met open onderzoeksopzet niet beschouwd als aanvaardbaar bewijs om officiële goedkeuring van geneesmiddelen te onderbouwen.

En het woord “zelfgerapporteerd” is ook van toepassing op de uitkomsten in verband met het aantal aanvallen. In deze studie werd aan deelnemers gevraagd om elke dag een aanvallendagboek bij te houden. De data uit deze dagboeken werden om de twee weken verzameld. Maar net zoals mensen soms vergeten hun dagelijkse dosis van een geneesmiddel in te nemen, kunnen ze ook vergeten om één of meer aanvallen te noteren die ze op een bepaalde dag hebben gehad. Eender welke vorm van zelfrapportage – zelfs als het gaat om dagelijkse rapportage – kan op één of andere manier beïnvloed zijn door herinneringsbias of registratiebias. Het is zeker mogelijk dat deelnemers die weten dat ze een behandeling krijgen waarvan de verwachting is dat ze helpt, hun dagelijkse aanvallendagboek anders invullen dan diegenen die weten dat ze die behandeling niet krijgen. Dus hoewel het aantal aanvallen een “tamelijk objectieve” uitkomst genoemd kan worden, blijft de proefpersoon toch nog steeds onderhevig aan omgevingsinvloeden die niets te maken hebben met het eigenlijke behandelingseffect.

In ieder geval gaf de primaire uitkomst een resultaat dat de onderzoekers niet hadden verwacht. In de interventiegroep was het gemiddelde aantal aanvallen per maand bij aanvang 12.5, in vergelijking met 19 in de groep die gewoonlijke zorg kreeg (SMC). (Het is vreemd dat dat verschil zo groot was na randomisering.) Bij de evaluatie op 12 maanden hadden diegenen in de SMC-groep een gemiddelde van 7 aanvallen per maand – een vermindering van 12 aanvallen. In vergelijking daarmee had de CGT-groep een gemiddelde van 4 aanvallen per maand – een vermindering van 8.5 aanvallen.

Dus de groep die de interventie niet kreeg, kende een grotere daling – zowel proportioneel als in absoluut aantal aanvallen. Volgens de analyse van de studie onthulden deze data een trend of tendens in die richting, ook al haalden de bevindingen de drempel van de statistische significantie niet. Laat me dat even herhalen: in de grootste studie ooit over het jarenlange geloof dat CGT leidt tot een vermindering in het aantal aanvallen, kwamen de beste resultaten uit de groep die geen CGT kreeg.

Dit was dus een misser van formaat. Deze doorslaggevende bevindingen van CODES ondermijnen zonder twijfel de beweringen die men al meer dan tien jaar lang doet dat CGT het aantal aanvallen zou verminderen bij patiënten met deze aandoening.

**********

Meer over al die secundaire uitkomsten

De onderzoekers namen 16 secundaire uitkomsten mee in de studie, ofwel gemeten via vragenlijsten, ofwel via het aanvallendagboek, en ze rapporteerden statistisch significante bevindingen voor negen ervan: lastigheid van aanvallen, langste periode aanvalsvrije dagen in de laatste zes maanden, gezondheidsgerelateerde levenskwaliteit, psychologisch welzijn, werk en sociale aanpassing, aantal somatische symptomen, zelfbeoordeelde algemene verbetering, door de arts beoordeelde algemene verbetering, en behandelingstevredenheid. Alhoewel de meeste van deze bevindingen middelmatig waren, leek het een indrukwekkende reeks.

Maar de zeven uitkomsten waarvoor geen statistisch significant effect bereikt werd, was ook een indrukwekkende reeks: ernst van aanvallen, geen last van aanvallen in de laatste drie maanden, vermindering in aanvalsfrequentie of meer dan 50% in vergelijking met de start, angsten, depressie en de mentale en fysieke toestand gemeten via een ander instrument dat gezondheidsgerelateerde levenskwaliteit meet dan de schaal die een positief resultaat gaf.

Dus als we deze resultaten ontleden, zien we dat CGT-deelnemers rapporteerden dat hun aanvallen minder lastig waren dan in de SMC-groep, maar niet minder ernstig. Ze rapporteerden verbeteringen op één gezondheidsgerelateerd metingsinstrument, maar niet op twee aparte schalen van een ander gezondheidsgerelateerd instrument dat de levenskwaliteit meet. Ze rapporteerden minder psychologische onrust, maar niet minder angsten en depressie. Vanuit dat oogpunt bekeken, lijken de resultaten op nattevingerwerk, waarbij de bevindingen misschien vooral afhangen van hoe een bepaald metingsinstrument het ene of het andere concept omschrijft.

Als onderzoekers 16 pakken gekookte spaghetti tegen een muur gooien, dan zal er allicht wat van die spaghetti aan de muur blijven kleven. Hoe groter het aantal secundaire uitkomsten men in een studie steekt, hoe groter de kans dat er, al dan niet per ongeluk, een paar positieve resultaten tussen zullen zitten. Voor onderzoekers is het dus wel zinvol om zo veel mogelijk pakken spaghetti tegen de muur te smijten – maar er is wél een statistische boete verbonden aan het opdrijven van de kans op ogenschijnlijk succes.

De standaard statistische boete omvat het meerekenen van het uitgebreide aantal uitkomsten, via een procedure die we kennen als correctie (of aanpassing) voor meervoudige vergelijkingen (of analyses). In dit soort omstandigheden kunnen statistische formules gebruikt worden om de criteria te verstrengen voor wat beschouwd kan worden als statistisch significante resultaten – d.w.z. resultaten die bijna onmogelijk toevallig tot stand komen.

Het CODES-protocol maakte geen enkele melding over correctie voor dit grote aantal analyses of vergelijkingen. Het statistische analyseplan van CODES omvatte het volgende, onder de titel “methode voor het verwerken van meervoudige vergelijkingen”: “Er is slechts één enkele primaire uitkomst, en er zullen geen formele aanpassingen doorgevoerd worden van p-waarden voor meervoudige testen. Interpretatie van meerdere secundaire uitkomsten moet echter zorgvuldig worden gedaan.”

De onderzoekers besloten met andere woorden om geen routinematige statistische test uit te voeren, ondanks hun brede waaier aan secundaire uitkomsten. Dit mag zeker beschouwd worden als een dubieuze beslissing, of ten minste een beslissing die afwijkt van de aanbevelingen van vele experts in studieontwerp en statistici, zoals Professor Stark, mijn collega aan Berkeley. De zelfvermaning om “de vele secundaire uitkomsten zorgvuldig te interpreteren” kan niet dienen als vervanging voor een degelijke statistische strategie om de mengelmoes aan metingen in goede banen te leiden.

Ondanks deze misser, ziet het ernaar uit dat iemand – wellicht een peerreviewer? – vraagtekens plaatste bij het feit dat men deze statistische stap compleet overslaat. Een paragraaf die ergens diep verstopt zit in de paper, vermeldt de resultaten na correctie voor meervoudige vergelijking, zonder verdere commentaar over de gevolgen ervan. Van de negen secundaire uitkomsten die aanvankelijk statistisch significant werden bevonden, overleefden er slechts vijf deze striktere analyse: langste periode aanvalsvrije dagen in de laatste zes maanden, werk- en sociale aanpassing, zelfbeoordeelde algemene verbetering, door de arts beoordeelde algemene verbetering en behandelingstevredenheid.

Laat ons duidelijk wezen: dit zijn magere bevindingen, vooral aangezien het gaat om zelfgerapporteerde metingen in een studie met open onderzoeksopzet. Zo is het bijvoorbeeld begrijpelijk en zelfs te verwachten dat diegenen die CGT kregen meer “behandelingstevredenheid” zouden rapporteren dan diegenen die er geen kregen. Het is ook begrijpelijk dat een deelnemer die een behandeling krijgt en de arts die die deelnemers behandelt, de gezondheid van de deelnemers eerder als verbeterd zullen quoteren dan de mensen in de SMC-groep. En een reeks CGT-sessies zou deelnemers met medische problemen ook kunnen helpen om zich aan te passen aan hun vervelende aandoening in werkgerelateerde en sociale situaties.

Niets van dit alles betekent dat de kernaandoening op zich behandeld werd – vooral gezien het feit dat diegenen die geen CGT kregen, betere resultaten vertonden op de primaire uitkomst van aanvalsvermindering op 12 maanden.

**********

De primaire uitkomst achteraf van de hand gewezen

Als een studie niet het verwachte resultaat voortbrengt, zouden onderzoekers best hun hypothese eens herbekijken. In dit geval zou dat betekenen dat ze vraagtekens zouden moeten plaatsen bij het raamwerk voor hun interventie, een gespecialiseerde versie van CGT waarbij men o.a. oefent op het verminderen van aanvallen. Aangezien de behandeling het aantal aanvallen niet verminderde, zou het kunnen dat de veronderstellingen waarop de behandeling is gestoeld, niet kloppen. Maar de onderzoekers lijken deze mogelijkheid totaal niet te bekijken. In plaats daarvan stellen ze in vraag hoe gepast hun eigen primaire uitkomst eigenlijk is.

Dit is wat ze schrijven: “Steeds groter wordend bewijs suggereert dat aanvalsfrequentie alleen niet de belangrijkste bepalende factor is voor de levenskwaliteit van patiënten met dissociatieve aanvallen. Een studie uit 2017 vond dat gemoedstoestand, angsten en ziekteperceptie factoren waren die sterk verbonden waren met de levenskwaliteit van patiënten met dissociatieve aanvallen, wat het belang benadrukt van de effecten van de secundaire uitkomsten in deze studie.”

Een snelle lezing van de paper uit 2017 doet vermoeden dat de onderzoekers zijn gaan overinterpreteren in een poging om toch iets van betekenis bij elkaar te schrapen uit hun zwakke bevindingen, zodat hun vroegere beweringen niet ten onder gaan. De paper uit 2017 rapporteerde over een crosssectioneel onderzoek bij een groep patiënten, waaronder diegenen met dissociatieve stoornissen, over associaties tussen verschillende indicatoren van levenskwaliteit. Het klopt dat in de analyse sommige psychosociale factoren in verband stonden met levenskwaliteit, hoewel dat niet gold voor het aantal aanvallen. Maar deze bevindingen kan je onmogelijk interpreteren alsof vermindering in aanvallen van secundair belang is voor de patiënt.

Beeld je in dat er twee mensen zijn, één met 20 onverklaarde aanvallen per maand, en één met 15. Na meerdere consultaties krijgt geen van beiden een antwoord op hun medische vragen of behandeling buiten een verwijzing naar de psycholoog. In beiden gevallen laten collega’s, vrienden en zelfs familieleden merken dat ze betwijfelen of hun ziekte echt is. Dit alles leidt tot slechte levenskwaliteit – of ze nu 20 of 15 aanvallen per maand hebben. Met andere woorden: de belangrijkste operatieve factor die de levenskwaliteit beïnvloedt is wellicht het aan- of afwezig zijn van aanvallen waarvoor niemand een adequate medische verklaring kan geven, maar niet het absolute aantal aanvallen.

Gezien de omstandigheden geven de onderzoekers interpretatie die niet kan overtuigen, nl. dat aanvalsvermindering minder belangrijk zou zijn voor de levenskwaliteit dan andere indicatoren. In ieder geval overleefde geen enkele van de drie uitkomsten die in CODES werden aangeduid als maatstaf voor bepaalde aspecten van gezondheidsgerelateerde levenskwaliteit, de correctie voor meervoudige vergelijkingen. Dat suggereert dat de interventie geen meetbare impact had op gezondheidsgerelateerde levenskwaliteit, dus wellicht is de hele zaak irrelevant.

De CGT-interventie ging voort op het idee dat onverklaarde aanvallen verminderd of zelfs geëlimineerd konden worden via cognitieve ingrepen. De aanpak was gebaseerd op de bewering dat deze aanvallen “geen lichamelijke etiologie” hadden – zoals uitgedrukt in de pilootstudie uit 2010 die de interventie voor deze zogenaamd “psychogene” aandoening voor het eerst testte. De laatste tien jaar is de houding tegenover dissociatieve aanvallen veranderd, zoals duidelijk wordt uit de naamswijziging en de voorzichtigere taal die men gebruikt in de medische literatuur bij het beschrijven van dit fenomeen.

Ondanks deze ontwikkelingen schijnt de therapeutische aanpak zelf niet navenant te zijn veranderd. De beschrijving van de interventie in het toegevoegde materiaal merkte op dat het “gebaseerd was op modellen van angst-vermijding dat dissociatieve aanvallen bekijkt als toestanden van veranderingen in bewustzijn en reacties die oorspronkelijk voorkomen in de context van verhoogde prikkeling die leidt tot emotionele en gedragsmatige vermijding”.

Ter staving van deze theoretische basis citeren de onderzoekers een studie uit 2006, met één van hen als coauteur, waarin deze aanvallen worden gedefinieerd als “zonder epileptische of andere lichamelijke basis” – hetzelfde argument als hetgeen men aanhaalde in de pilootstudie van 2010. De paper uit 2006 concludeerde dat “de angstgerelateerde symptomen en het vermijdingsgedrag dat men ziet bij dissociatieve aanvallen een mogelijk doelwit zijn voor een cognitieve gedragsbenadering, vergelijkbaar met de behandeling van andere angststoornissen.”

Als de onderzoekers beweren dat ze intussen een genuanceerdere kennis hebben van de aandoening die ze bestuderen, dan wordt in elk geval niet duidelijk hoe deze vooruitgang zich weerspiegelt in de interventie zelf. Dit onderscheid zou natuurlijk niet van belang zijn als de op-minder-aanvallen-gefocuste CGT effectief doeltreffend was geweest in het verminderen van de aanvallen.

**********

Beloofde zorgvuldige interpretatie van uitkomsten niet nageleefd

Als CGT mensen helpt omgaan met moeilijkheden, zoals ernstige ziektes en aandoeningen, dan is dat goed nieuws. In het geval van CODES zou het kunnen dat sommige mensen iets opstaken dankzij een wijze therapeut, en dat ze minder stress ervoeren. Dat soort voordelen zijn natuurlijk welkom.

Maar we mogen deze voordelen niet verwarren met het behandelen van de kernaandoening zelf. Het zou dom zijn om te beweren dat CGT kanker of Parkinson kan genezen, ook al zijn er mensen met kanker of Parkinson die misschien voordeel halen uit bijkomende steun via CGT. Gezien de grootte en de reikwijdte van de studie, moeten we de CODES-bevindingen beschouwen als het beste antwoord op de vraag of CGT leidt tot het verminderen van aanvallen. Het antwoord op die vraag luidt: neen.

Nu we de resultaten van CODES kennen, mag eigenlijk niemand meer beweren dat CGT een behandeling is voor dissociatieve aanvallen. Het lijkt ten hoogste een behandeling die sommige patiënten iets van psychosociale verlichting kan bieden, zoals we zouden verwachten van een reeks CGT-sessies – maar verder dan dat gaat het niet. Het statistische analyseplan* van CODES [*ik had hier eerst “protocol” geschreven, en heb het de dag na publicatie gecorrigeerd] beloofde dat men voorzichtig zou zijn “bij het interpreteren van de vele secundaire uitkomsten”. Gezien de moeite die men nam om de studie aan te prijzen als een succes, op basis van een handvol middelmatige bevindingen op enkele secundaire uitkomsten, lijkt men die belofte te hebben verbroken.

https://www.virology.ws/2020/06/25/trial-by-error-uk-funds-genetics-project-my-letter-to-codes-investigators/

Trial By Error: VK financiert Geneticaproject; mijn brief aan CODES-onderzoekers

David Tuller, DrPH, Virology Blog, 25 juni 2020

Britse financiering voor grote geneticastudie over ME

Twee van de grootste Britse financieringsagentschappen van de overheid kondigden deze week aan dat ze £3,2 miljoen (ongeveer €3.5 miljoen aan de huidige koers) zouden verschaffen voor een studie die genetisch materiaal zal analyseren van ongeveer 20.000 mensen, om te zoeken naar de onderliggende oorzaak van myalgische encefalomyelitis. De Medical Research Council en het National Institute for Health Research geven elk respectievelijk £1,8 miljoen en £1,4 miljoen ter ondersteuning van het project dat DecodeME heet.

Terwijl deze som een grote investering is, ligt ze nog steeds veel lager dan de £5 miljoen die de MRC en andere overheidsagentschappen meer dan tien jaar geleden spendeerden aan de intussen achterhaalde PACE-studie. In tegenstelling tot de verwachtingen (en de beweringen) van de PACE-onderzoekers, toonde dat onding op nogal doorslaggevende manier aan dat cognitieve gedragstherapie en graduele oefentherapie geen doeltreffende behandelingen zijn voor ME (of chronisch vermoeidheidssyndroom, de term die zij verkozen).

De nieuwe studie is wat men noemt een genoomwijde associatiestudie, of GWAS. Hoofdonderzoekers Chris Ponting, een professor genetica aan de University of Edinburgh, omschreef de benadering als volgt, in een persbericht van het onderzoeksteam:

“Onze focus zal liggen op DNA-verschillen die een hoger risico geven op het krijgen van ME/cvs. Wij kozen ervoor om DNA te bestuderen omdat belangrijke verschillen tussen mensen met en mensen zonder ME/cvs sowieso een biologische oorzaak van de ziekte weerspiegelen. Wij hopen dat deze studie, de grootste genetische analyse ter wereld tot hiertoe, ME/cvs-onderzoek zal transformeren door hoognodig betrouwbaar bewijs te leveren aan het onderzoeksveld.”

Het project werd, samen met heel wat input van patiënten, ontwikkeld door het UK CFS/ME Research Collaborative, dat werd opgericht in 2013, en de CureME Biobank aan de London School of Hygiene and Tropical Medicine. Professor Ponting werd in 2018 vicevoorzitter van CMRC nadat de vorige vicevoorzitter aftrad. Professor Pontings voorganger was Esther Crawley, de Professor met een methodologische en ethische beperking van Bristol University. Zij bleek niet in staat om twee grote beurzen binnen te halen – één van MRC en een andere van Wellcome Trust. Haar focus op psychologische en gedragsmatige interventies als cognitieve gedragstherapie en het Lightning Process, zette bovendien kwaad bloed bij patiënten.

Andy Devereux-Cooke, een patiënt die betrokken was bij het uitwerken van de studie, zei het volgende in een verklaring: “Als ME/cvs-patiënt ben ik me er goed van bewust dat de patiënten al heel lang wachten op een studie zoals deze, waar patiënten op zo’n diepgaande, eerlijke manier bij betrokken worden. Ieder van ons die betrokken is bij dit onderzoeksproject hoopt dat het iets kan veranderen aan het onnodige stigma en het gebrek aan begrip waarmee zo vele ME/cvs-patiënten dagelijks geconfronteerd worden.”

Het is nog een paar maanden wachten voor de studie begint, maar iedereen met ME/cvs die 16 jaar of ouder is en graag zou deelnemen, kan zich hier alvast opgeven. [rekrutering wordt op dit moment beperkt tot Britse patiënten, maar aanmelding van buiten het VK wordt aangemoedigd i.v.m. eventuele uitbreiding in een later stadium, n.v.d.r.] De studie zal zowel de Canadese Consensuscriteria voor ME/cvs uit 2003 gebruiken, als de definitie van het Institute of Medicine uit 2015, voor wat dat instituut (jammer genoeg) systemische inspanningsintolerantieziekte of SEID noemt. (Beiden werden gecreëerd als klinische gevalsdefinities, niet als onderzoeksdefinities.)* [*Deze zin werd gecorrigeerd. Zie onder.]

Sommige patiënten staan kritisch tegenover de GWAS-studie omdat ze niet die andere definitie uit 2011 gebruikt, de Internationale Consensuscriteria voor ME. Anderen hebben nog steeds geen vertrouwen in het CMRC, na Professor Crawleys brokkenparcours. Onder haar leiding is de organisatie een project gestart dat ME/CFS Epidemiology and Genomics Alliance (MEGA) heette, dat een oppervlakkige gelijkenis vertoont met DecodeME. Toen waren patiënten bang dat Professor Crawley de MEGA-data zou gebruiken als verlengde van haar ondermaatse onderzoek naar psychologische en gedragsgerelateerde aspecten, in plaats van ernstig onderzoek te doen naar pathofysiologische processen.

Daarom verbaasde het me niks dat er een levendige discussie op gang kwam in de commentaren onder mijn blog van januari over dit project [in het Nederlands]. De patiëntengroep Opposing MEGA blijft sceptisch staan tegenover de nieuwe studie. In reactie op mijn vorige post schreef een commentator op de Facebookpagina van Opposing MEGA: “Voor geen geld van de wereld vertrouw ik mijn gegevens toe aan deze onderzoeksgroep. Dit is een herneming van het MEGA-voorstel met herzieningen om het er dit keer wél door te krijgen.”

Ik ben optimistischer dan dat over dit project. Maar ik weet hoe slecht mensen met deze ziekte in het verleden behandeld zijn geweest, dus ik begrijp ook waarom sommigen van hen hun twijfels hebben.

*De zin las eerst als volgt: (Die laatste was bedoeld als klinische gevalsdefinitie en niet als onderzoeksdefinitie, maar de combinatie van beide criteria is intussen vrij courant onder onderzoekers.) Wat ik schreef over “vrij courant” was niet juist. Zoals gewoonlijk excuseer ik me voor de fout.

**********

Mijn brief aan de onderzoekers van de CODES-studie

Onderwerp: uitnodiging tot reactie op mijn posts over CODES

Geachte Professors Goldstein, Stone en Chalder,

Onlangs heb ik over de CODES-studie enkele blogs gepubliceerd op Virology Blog, een veel gelezen wetenschapssite onder het beheer van Professor Vincent Racaniello, een microbioloog aan Columbia University. Deze posts staan hier, hier en hier. Gezien mijn kritische beoordeling, vond ik het belangrijk om u de kans te geven om direct te reageren op de bedenkingen die ik heb geuit. Als u mij uw commentaar stuurt, en dat mag zo lang zijn als u wil, zal ik het met plezier volledig posten op Virology Blog, zonder redactioneel commentaar of onderbreking. Als ik beslis om erop te reageren, dan zal ik dat doen in een aparte post. (Ik heb Professor Racaniello bij deze e-mail in CC gezet.)

Eerder deze maand schreef ik ook naar King’s College London om mijn bedenkingen te uiten over hun problematische persbericht over CODES. Het persbericht vermeldde nergens dat de primaire uitkomst een nulresultaat gaf, en dat alle gerapporteerde voordelen afkomstig waren van de secundaire uitkomsten. Het is verbluffend dat KCL dat soort belangrijke details weglaat in zijn publieke communicatie over belangrijke bevindingen.

Aangezien ik nog geen tegenreactie heb ontvangen van KCL, zou u misschien deze kwestie ook kunnen behandelen in uw commentaar. Hebt u allen het persbericht gelezen en goedgekeurd voordat het werd verspreid? Blijft u het eens met het feit dat KCL geen onderscheid maakte tussen de resultaten voor de primaire en secundaire uitkomsten?

Heel erg bedankt. Ik hoop dat u zal reageren en dat ik uw volledige reactie op Virology Blog zal kunnen posten. Ik vermeld hier graag nog bij dat er geen einddatum staat op deze uitnodiging.

Vriendelijke groet, David

David Tuller, DrPH

Senior Fellow in Volksgezondheid en Journalistiek

Center for Global Public Health

School of Public Health

University of California, Berkeley

https://www.virology.ws/2020/06/26/trial-by-error-codes-trial-commentary-promotes-eminence-based-medicine/

Trial By Error: CODES-studiecommentaar promoot ‘op eminentie gebaseerde geneeskunde’

David Tuller, DrPH, Virology Blog, 26 juni 2020

De onlangs gepubliceerde CODES-studie was bedoeld als dé studie die zou bewijzen of cognitieve gedragstherapie (CGT) een doeltreffende behandeling is voor zogenaamde dissociatieve aanvallen, zoals bevestigd werd in een commentaar bij de paper in Lancet Psychiatry. Spijtig genoeg lijken de CODES-onderzoekers en de auteur van het commentaar het nulresultaat op de primaire uitkomst te interpreteren als een reden om andere evaluatiemethodes te zoeken, en niet als een teken dat deze therapeutische interventie en haar theoretische basis ernstig in vraag moeten worden gesteld.

De auteur van het commentaar, Dr. David Perez, is een psychiater en neuroloog aan Massachusetts General Hospital in Boston, en is expert op vlak van functionele neurologische stoornissen (FNS), een tamelijk nieuwe naam voor wat sommigen nog steeds conversiestoornissen noemen. De categorie FNS omvat dissociatieve aanvallen, die ook courant bekend zijn onder de term psychogene niet-epileptische aanvallen (PNEA). Zijn commentaar begint goed, met de vraag of de nulbevinding op de primaire uitkomst van aanvalsfrequentie per maand betekent dat CGT misschien niet doeltreffend is voor deze medische aandoening.

Opvallend is, dat hij niet vermeldt dat men zelfs niet in de buurt kwam van een voldoende. De CODES-resultaten toonden een tendens aan, die echter geen statistische significantie bereikte, richting grotere aanvalsreductie in de groep die de interventie niet kreeg, zoals ik onlangs in een post uitlegde.

Ondanks het nulresultaat op de primaire uitkomst in deze grote studie, beantwoordde Dr. Perez zijn eigen vraag over of CGT doeltreffend is met een “ja”, schijnbaar op basis van zijn eigen observatie van “sommige patiënten” en “bepaalde personen”. Hij schrijft het volgende: ” Naar mijn mening blijft CGT een doeltreffende behandeling voor dissociatieve aanvallen. Ik heb zelf gezien hoe sommige patiënten met dissociatieve aanvallen erg veel voordeel halen uit een aanpak met CGT die de patiënt nieuwe psychotherapeutische handvaten aanreikt, wat bij bepaalde personen kan leiden tot robuuste en aanhoudende, klinische verbetering.”

De Ierse psycholoog Brian Hughes bedacht de term “op eminentie gebaseerde geneeskunde” als beschrijving van het soort logica die we hier zien. Persoonlijke getuigenissen hebben hun waarde en moeten gehoord worden, zowel in de geneeskunde als in het leven in het algemeen, maar ze leggen niet genoeg gewicht in de schaal tegen de bevindingen van de grootste studie ooit van CGT voor dissociatieve aanvallen. Dr. Perez vermeldt dat CODES voordelen rapporteerde van de interventie op negen van de zestien secundaire uitkomsten, maar hij laat een belangrijk detail weg. Slechts vijf van deze uitkomsten waren statistisch significant na correctie voor meervoudige analyses, de standaard statistische procedure als er zo veel uitkomsten in een studie worden verwerkt, zoals ik in een vorige post al heb uitgelegd.

In tegenstelling tot de beweringen in het commentaar, zijn de bevindingen over voordelen van CGT in deze studie zwak. En die bevindingen kunnen zelfs niet zomaar worden aangenomen, omdat de studie een open onderzoeksopzet heeft, of ongeblindeerd is en voortgaat op zelfgerapporteerde bevindingen – een experimenteel ontwerp waarvan algemeen bekend is dat het onderhevig is aan bias. En “zelfgerapporteerd” betekent in dit geval het aantal aanvallen dat door deelnemers werd vastgelegd in een aanvallendagboek. Gezien de kenmerken van de studie zou het niet verbazingwekkend zijn als diegenen die wisten dat ze een behandeling kregen waarvan verwacht wordt dat ze aanvallen vermindert, hun aanvallen uiteindelijk anders rapporteerden dan diegenen die die behandeling niet kregen.

Dit is vanzelfsprekend een lastige situatie voor de onderzoekers, want de behandeling blinderen is onmogelijk, zoals vaak het geval is bij niet-farmacologische interventies zoals deze. Maar dat iets lastig is, is geen reden om overdreven beweringen te doen die niet ondersteund zijn door de data. In de vorige post zette ik de ongezoute beoordeling over de CODES-bevindingen van mijn collega Philip Stark, een professor statistiek aan Berkeley. De woorden van Professor Stark mogen gerust nog een keer herhaald worden:

“De studie bracht geen staving voor de primaire klinische uitkomst, enkel voor secundaire uitkomsten die gingen over subjectieve quotering door de proefpersonen en hun dokter, die wisten welke behandeling ze kregen. Dit is het soort situatie waarin een placebo-effect hoogstwaarschijnlijk verward wordt met behandelingseffect. In het ontwerp van de studie deed men er duidelijk helemaal niets aan om verwarring met het placebo-effect te verminderen. Om die reden is het niet duidelijk of CGT op zich verantwoordelijk is voor de geobserveerde verbeteringen in de secundaire uitkomsten.”

**********

Is aanvalsfrequentie de beste primaire uitkomst?

Nadat Dr. Perez de mogelijke bedenkingen over de doeltreffendheid van CGT vlug van tafel had geveegd, gooide hij het in zijn commentaar over een andere boeg, en legde hij uit wat volgens hem de belangrijkste les is uit het onderzoek: aanvalsfrequentie, zo suggereert hij, was sowieso geen goede keuze als primaire uitkomst. Op die manier ontloopt hij de gevolgen van de ongunstige resultaten, via een soort van uitkomstenwissel na de feiten: hij degradeert de primaire uitkomst als inadequaat en zwengelt het belang aan van de secundaire uitkomsten die blijkbaar een goed resultaat gaven.

Maar deze switch roept toch een paar vragen op. Als aanvalsfrequentie niet de geschikte keuze is als primaire uitkomst, waarom beseften de onderzoekers dit dan niet, nadat hun pilootstudie nogal twijfelachtige resultaten gaf, en voordat ze hun gigantische, dure studie aanvatten? Wat is de reden waarom aanvalsfrequentie de foute primaire uitkomst zou zijn, buiten het feit dat de resultaten teleurstellend waren voor de onderzoekers en de voorstanders van CGT?

Dr. Perez citeert een studie uit 2017, die ook wordt geciteerd door de CODES-onderzoekers, als onderbouwing voor zijn bewering dat “verbanden tussen dissociatieve aanvalsfrequentie en gezondheidsgerelateerde levenskwaliteit complex en multifactorieel zijn, en psychosociale en psychiatrische factoren mogelijk in nauwer verband staan met gezondheidsgerelateerde levenskwaliteit dan aanvalsfrequentie zelf.” Zoals ik in de vorige post al uitlegde, kan dat soort conclusie niet getrokken worden uit de associaties gedocumenteerd in deze crosssectionele studie.

Als uitkomsten over gezondheidsgerelateerde levenskwaliteit de belangrijkste cijfers zijn, zoals Dr. Perez aanduidt, dan is het bewijs uit CODES zelf ook niet veelbelovend. Van de negen uitkomsten die statistisch significant waren vóór de correctie voor meervoudige analyses, was er slechts één instrument dat gezondheidsgerelateerde levenskwaliteit mat. En van de zeven uitkomsten die de statistische significantie niet haalden, kwamen er twee van aparte fysieke en mentale inschalingen uit een verschillend meetinstrument over gezondheidsgerelateerde levenskwaliteit.

Na correctie van de CODES-data voor meervoudige analyses, bleken geen van deze drie uitkomsten over gezondheidsgerelateerde levenskwaliteit statistisch significant. Dus wie beweert dat de CGT-behandeling die werd getest in CODES leidde tot een specifieke verbetering in de gezondheidsgerelateerde levenskwaliteit, neemt een loopje met de waarheid – en daar veranderen de anekdotes van Dr. Perez of anderen uit de klinische praktijk niks aan.

**********

De hamvraag wordt ontweken

Dr. Perez en de CODES-onderzoekers ontwijken een centrale vraag: was de hypothese achter de CGT-behandeling fout? Zoals omschreven in de pilootstudie uit 2010, was de benadering gebaseerd op het idee dat deze aanvallen “psychogeen” zijn – de studie gebruikte het courant gebruikte etiket PNEA – en dat er “geen lichamelijke etiologie” was. De verwachting was, dat cognitieve herstructurering plus aanvalreductiestrategieën de oorzaken of uitlokkers van deze niet-lichamelijke aanvallen zou aanpakken, wat zou leiden tot het verminderen of wegvallen van die aanvallen. Maar dat gebeurde niet.

De CODES-onderzoekers en Dr. Perez hebben kennelijk hun best gedaan om dat soort uitspraken over niet-lichamelijke etiologie niet meer te herhalen. Maar is dat wel nog steeds de operationele hypothese achter de CGT-behandeling, waarvan Dr. Perez zegt dat ze doeltreffend is? Als de etiologische hypothese dezelfde blijft, waarom werkte de interventie dan niet als verwacht? En als de etiologische hypothese veranderd is, omdat de kennis over dissociatieve aanvallen genuanceerder is geworden, waarom is de interventie dan niet mee veranderd, om die verschuiving op te vangen? (Als dat soort wijzigingen in de interventie al gebeurd zijn, dan zegt CODES daar in ieder geval niks over.) Wat is de huidige redenering achter een CGT-interventie die ontworpen werd als behandeling voor iets wat categoriek omschreven werd als een niet-lichamelijke aandoening?

Dr. Perez suggereert dat het, gezien de heterogeniteit van deze patiëntenpopulatie, wellicht beter is om niet iedereen onder één enkele categorie samen te brengen. Dat is zonder twijfel een uitstekend idee. Als experts zoals de CODES-onderzoekers, beleidsmakers in Britse financieringsagentschappen en anderen CGT niet zo hardnekkig hadden blijven promoten als panacee voor deze duidelijk complexe aandoening, dan zou het onderzoek naar subcategorieën wellicht veel verder staan.

In zijn commentaar focust Dr. Perez zich op subgroepen van patiënten met dissociatieve stoornissen die comorbide psychiatrische stoornissen hebben. En hij adviseert andere onbewezen psychotherapieën als behandelingsoptie – ook al heeft CODES net gedocumenteerd dat CGT niets meer doet dan bijkomende steun geven die sommige mensen misschien een beter gevoel geven. Buiten de vermelding van mensen die dissociatieve aanvallen krijgen na hoofdletsel, doet hij op geen enkele manier vermoeden dat een bepaald deel van deze patiënten wellicht lijdt aan ongediagnosticeerde maar eigenlijke neurologische of andere ziektes, die gekenmerkt worden door pathofysiologische processen.

Ik betwijfel niet dat psychiaters en neurologen heel erg te doen hebben met hun patiënten, en dat zij vaak wanhopig worden bij diegenen met klachten waar geen oplossing voor lijkt te bestaan, waaronder dissociatieve aanvallen. Dr. Perez klinkt als een betrokken arts, en het is niet verbazingwekkend dat sommige van zijn patiënten met dissociatieve aanvallen psychosociale verlichting ervaren na een reeks CGT-sessies. Het zou zelfs kunnen dat sommige van zijn patiënten een remissie van hun symptomen hebben gehad, om welke reden dan ook.

Maar nu CODES gepubliceerd is, kan geen eerlijk mens nog betogen dat CGT een op bewijs gebaseerde behandeling is voor dissociatieve aanvallen. Volgens de beste en meest doorslaggevende data die nu beschikbaar zijn, heeft deze interventie geen enkele impact op de primaire uitkomst die experts al meer dan tien jaar lang benoemen als de belangrijkste maatstaf voor behandelingssucces.

**********

Lancet Psychiatry verwerpt brief over het commentaar

Joan Crawford, een Britse psychologe, schreef onlangs naar Lancet Psychiatry in verband met het feit dat Perez in zijn commentaar blijkbaar steunde op wat Iers psycholoog Brian Hughes “op eminentie gebaseerde geneeskunde” heeft genoemd. Dit is een stuk uit haar brief:

“Uit zijn commentaar blijkt duidelijk dat Perez vooringenomen is. Zo staat er: “Naar mijn mening blijft CGT een doeltreffende behandeling voor dissociatieve aanvallen.” De CODES-studie ondersteunt deze bewering niet. Hij zou het wel graag willen, maar het is niet zo. Mensen kunnen moeilijk om met verlies. Het is soms moeilijk om een sterke overtuiging achter je te laten, zelfs als je geconfronteerd wordt met bewijs dat het tegendeel aantoont. Zijn behoefte om te blijven geloven dat de studie een succes was, laat heel duidelijk zien hoe vooringenomenheid werkt. Perez haalt bewijs aan uit zijn klinische praktijk. Ik betwijfel niet dat hij écht gelooft dat CGT kan leiden tot flinke verbetering. Maar wij kunnen zijn objectiviteit moeilijk inschatten. We kunnen onmogelijk achterhalen of hij “zich beter voelen” (zich aanpassen aan het leven met de symptomen) verwart met “beter zijn” (genezen/hersteld). Patiënten hunkeren naar dat laatste. Het is belangrijk dat we eerlijk zijn over de beperkingen van de huidige praktijk.”

Ik ben het eens met dit standpunt. Spijtig genoeg heeft Lancet Psychiatry de brief geweigerd, met als reden het teveel aan coronagerelateerd nieuws. Dit is wat de afgevaardigde redacteur zei: ” Normaal gezien zouden we een debat in opvolging van een commentaar verwelkomen, maar ik vrees dat COVID-19 onze Correspondentierubrieken in alle Lancetbladen overheerst, dus is ons gevraagd om alle andere thema’s in te perken. Dus in dit geval hebben wij beslist om uw brief niet te publiceren.”

Een bezwaar tegen deze beslissing werd ook afgewezen. Het is jammer dat Lancet Psychiatry een commentaar met dubieuze beweringen publiceert, en vervolgens weigert een goed onderbouwde brief te publiceren die ingaat op de tekortkomingen van dat commentaar. Ik stel natuurlijk niet in vraag dat ze overspoeld worden door coronavirusgerelateerde correspondentie, maar als het vakblad geen interesse had in het stimuleren van debat over deze kwestie, dan hadden ze het artikel beter niet op dit moment gepubliceerd.

Laat ons hopen dat Lancet Psychiatry deze kwestie belangrijk genoeg vindt om er in de toekomst een stevig debat over te laten voeren. Maar laat ons niet vergeten dat dit hetzelfde vakblad is dat in 2015 de PACE-opvolgingsstudie op lange termijn publiceerde, dat belachelijke beweringen deed over het succes van CGT en GET, ook al waren er geen verschillen tussen de groepen op het einde. Dus verwacht er best niet te veel van.

https://www.virology.ws/2020/06/27/trial-by-error-my-letter-to-author-of-codes-commentary/

Trial By Error: mijn brief aan auteur van CODES-commentaar

David Tuller, DrPH, Virology Blog, 27 juni 2020

Eerder vandaag stuurde ik volgende brief naar Dr. David Perez, een neuroloog een psychiater aan Massachusetts General Hospital in Boston. Dr. Perez, een expert op vlak van functionele neurologische stoornissen, schreef een commentaar voor Lancet Psychiatry bij de publicatie van de resultaten voor CODES, een grote studie over cognitieve gedragstherapie als behandeling voor dissociatieve aanvallen.

Mijn kritiek op het commentaar staat hier. Mijn vorige posts over CODES staan hier en hier.

**********

Onderwerp: Uitnodiging tot reactie op mijn kritiek op commentaar Lancet Psychiatry

Geachte Dr. Perez,

Ik ben een journalist en academische fellow aan de School of Public Health van Berkeley. Ik schrijf regelmatig over onderzoek over ME/cvs en andere aandoeningen die lijken te vallen onder de categorie van de “somatisch onverklaarde lichamelijke klachten”. Veel van mijn stukken verschijnen op Virology Blog, een wetenschapssite onder het beheer van Professor Vincent Racaniello, een microbioloog aan Columbia University. (Ik heb Professor Racaniello bij deze e-mail in CC gezet.)

Gisteren postte ik een kritiek op het commentaar dat u onlangs schreef voor Lancet Psychiatry over de CODES-studie over cognitieve gedragstherapie als behandeling voor dissociatieve aanvallen. U kan mijn kritiek hier lezen. Mijn vorige posts over CODES staan hier en hier.

Mijn bedenkingen over de CODES-resultaten kwamen overigens voor het eerst op toen King’s College London in zijn persbericht aan het publiek geen onderscheid maakte tussen de primaire en de secundaire uitkomsten. Die weglating vond ik verontrustend – het was een klungelige manier om slecht nieuws weg te moffelen.

Bovendien stelde één van de hoofdonderzoekers in het persbericht dat de studie “bewijs voor de doeltreffendheid” van de interventie leverde. Vanuit mijn oogpunt bekeken, staat die bewering haaks op de resultaten van een studie waarin er een (niet statistisch significante) trend was richting meer verbetering op de primaire uitkomst bij de deelnemers die de gespecialiseerde interventie ter reductie van aanvallen niet kregen, in plaats van bij diegenen die de interventie wél kregen.

De uitspraak leek ook niet in overeenstemming te zijn met de intentie en de woorden van de onderzoekers zelf, toen ze in het statistisch analyseplan van de studie verkondigden dat “de vele secundaire uitkomsten met voorzichtigheid geïnterpreteerd moeten worden”. Ik zou durven suggereren dat uw commentaar die toegeving ook over het hoofd ziet, aangezien slechts vijf van de 16 zelfgerapporteerde secundaire uitkomsten de correctie voor meervoudige vergelijkingen overleefden. Geen enkele ervan ging over gezondheidsgerelateerde levenskwaliteit.

CODES was een studie met open onderzoeksopzet die voortging op zelfgerapporteerde uitkomsten – een studieontwerp dat bekend staat om zijn gevoeligheid aan bias. In mijn posts heb ik geschreven wat mijn collega aan Berkeley, Philip Stark, professor statistiek, vindt van CODES. Zijn oordeel mag gerust nog eens herhaald worden:

Gezien het belang van open debat over deze kwesties (en omdat Lancet Psychiatry geen overtuigende reden gaf voor het afwijzen van een goed onderbouwde brief over het commentaar), wil ik u de kans bieden om te reageren op de door mij aangehaalde kwesties, op de plaats waar ik ze heb aangehaald. Als u mij uw opmerkingen doorstuurt, en ze mogen zo lang zijn als u wil, post ik ze met plezier volledig op Virology Blog, zonder onderbreking of redactioneel commentaar. (Als ik beslis om erop te reageren, dan zal ik dit doen in een aparte post.)

Ik stelde onlangs hetzelfde voor aan de hoofdonderzoekers van de CODES-studie, maar ik heb nog geen tegenreactie ontvangen.) Ik schreef ook naar de afdeling communicatie van King’s College London over het problematische persbericht, maar ik heb ook van hen nog geen reactie gehad.

Ik kijk ernaar uit om uw opmerkingen te posten op Virology Blog, moest u beslissen om te reageren. Voor de volledigheid geef ik nog mee dat ik deze brief zal posten op Virology Blog.

Vriendelijke groet, David

David Tuller, DrPH

Senior Fellow in Volksgezondheid en Journalistiek

Center for Global Public Health

School of Public Health

University of California, Berkeley

https://www.virology.ws/2020/07/20/trial-by-error-no-evidence-for-cbt-and-other-conversion-disorder-therapies/

Trial By Error: geen bewijs voor CGT e.a. als therapieën voor “conversiestoornis”

David Tuller, DrPH, Virology Blog, 20 juli 2020

Onlangs liet ik me kritisch uit over de CODES-studie over cognitieve gedragstherapie als behandeling voor het fenomeen dat lange tijd “psychogene niet-epileptische aanvallen” werd genoemd, maar dat sommige neurologen en psychologen intussen liever het nieuwe label “dissociatieve aanvallen” geven. (Het is begrijpelijk dat vele mensen aanstoot nemen aan de term “psychogene stoornis”; misschien klinkt de term “dissociatief” minder afwijzend.) Intussen heeft Cochrane een review gepubliceerd die in rechtstreeks verband staat met deze kwestie: “Psychosociale interventies voor conversie- en andere dissociatieve stoornissen bij volwassenen”.

De nieuwe review is een update van de versie uit 2005. Als doel stelde men “het evalueren van de voordelen en schadelijke bijwerkingen” van de psychosociale interventies in kwestie, waaronder verschillende vormen van CGT. De review omvatte 17 studies, waarvan de laatste vorig jaar werd gepubliceerd, met in totaal 894 deelnemers. De pilootstudie voor CODES uit 2010 was er ook bij, maar CODES zelf was te laat gepubliceerd. De Cochranereview vond dat de studies over het algemeen van slechte kwaliteit waren en weinig of geen bewijs verschaften voor de werkzaamheid van een reeks psychosociale interventies.

Dit zijn de conclusies van de Cochranereview:

“De resultaten van de meta-analyse en rapportage van enkelvoudige studies doet vermoeden dat er een gebrek is aan bewijs omtrent het effect van eender welke psychosociale interventie voor conversie- en dissociatieve stoornissen bij volwassenen. We kunnen uit de studies in kwestie onmogelijk conclusies trekken over eventuele voordelen of schadelijke bijwerkingen.”

De belangrijkste auteurs van de review waren geestelijke gezondheidsdeskundigen uit Deense psychiatrische en psychologische centra. Het was dus niet meteen vreemd dat uit de taal die zij in de review gebruikten, duidelijk bleek dat zij sowieso uitgingen van de zogenaamd psychogene aard van deze aandoeningen. Dit is het onderdeel “achtergrond” uit de review:

“Conversie- en dissociatieve stoornissen zijn aandoeningen waarbij mensen ongewoonlijke neurologische symptomen ervaren of veranderingen in hun bewustzijn of identiteit. Symptomen en klinische tekenen kunnen echter niet verklaard worden door een neurologische ziekte of een andere medische aandoening. In plaats daarvan is er vaak sprake van een psychologische stressor of een trauma. De symptomen zijn echt en kunnen heel wat onrust en problemen met functioneren veroorzaken in het alledaagse leven van de mensen die de symptomen ervaren.”

De opmerking dat de gerapporteerde symptomen “niet verklaard kunnen worden door een neurologische ziekte of een andere medische aandoening” geeft de indruk dat zulke verklaring niet bestaat. De andere mogelijke verklaring, nl. dat de onderliggende pathofysiologische oorzaken over het hoofd zijn gezien of dat de wetenschap ze nog niet in kaart heeft gebracht, lijkt men niet in beschouwing te nemen. Maar dat is ook een tekortkoming van de studies die in de review worden meegenomen, aangezien ze vooral gebaseerd zijn op hypotheses omtrent onbewezen mechanismen zoals de “conversie” van psychologisch leed naar somatische klachten.

Het ziet er wel naar uit dat sommige psychiaters en neurologen geprobeerd hebben om het idee rond conversie en psychogenese te transformeren, zoals het gebruik van de term “dissociatief” doet vermoeden. In CODES stellen de onderzoekers de medische gebeurtenissen die zij bestuderen, voor als psychogeen of als voorbeeld van een conversiestoornis. Maar als de kennis over het fenomeen van onverklaarde aanvallen intussen verder geëvolueerd is dan het nauwe concept van conversie en psychogenese, dan is het me niet duidelijk waarom het nog steeds gepast zou zijn om een vorm van CGT te geven die is gebaseerd is op dat oude concept. De CODES-paper legt niet uit waarom de onderzoekers besloten om een interventie te testen die gebaseerd is op een strikt psychogeen model, waarvan ze zelf schijnen te geloven dat het voorbijgestreefd is.

Als het nulresultaat van CODES op de primaire uitkomst van aanvalsfrequentie op 12 maanden meegenomen was geweest in de Cochrane-analyse, dan had dat de conclusies van de review vast en zeker nog sterker gemaakt. In CODES hadden deelnemers die geen aanvalsverminderende CGT hadden gekregen, een grotere vermindering van aanvallen op 12 maanden dan diegenen die de gespecialiseerde interventie wél hadden gekregen, hoewel de resultaten niet statistisch relevant waren.

Volgens de CODES-onderzoekers waren de resultaten van de pilootstudie overtuigend genoeg om de grote studie van start te laten gaan. Maar in de evaluatie van de pilootstudie uit 2010 omschreef de Cochranereview de bevindingen als volgt: “Cognitieve gedragstherapie heeft wellicht weinig of geen effect op het verminderen van fysieke tekenen [maandelijkse aanvalsfrequentie] tegen het einde van de behandeling”. Cochrane schaalde de zekerheid van het bewijs uit de pilootstudie in als “laag” volgens het GRADE-systeem, dat “laag” als volgt definieert: “verder onderzoek zal zeer waarschijnlijk een grote impact hebben op ons vertrouwen in de inschatting van het effect en zal waarschijnlijk van invloed zijn op onze inschatting”.

Sindsdien hebben we dat verdere onderzoek gehad – CODES – en kunnen we met tamelijk grote zekerheid stellen dat CGT de aanvalsfrequentie op 12 maanden niet vermindert. (Ik heb eerder besproken waarom de secundaire uitkomsten in feite betekenisloos zijn, ook al was het op basis van die uitkomsten dat King’s College London CODES bejubelde als groot succes.)