Home » Nieuwsartikels » David Tuller » Trial by Error: Bereikt de “overgrote meerderheid” van deelnemers aan het Lightning Process “blijvende verbetering”?

Trial by Error: Bereikt de “overgrote meerderheid” van deelnemers aan het Lightning Process “blijvende verbetering”?

Geplaatst door Zuiderzon
op 05/09/2021

Laatste bijwerking op 05/09/2021

Bron:

David Tuller, DrPH, Virology Blog

| 11129 x gelezen

21 april 2021.

Coda Story is een uitstekende nieuwsorganisatie die zich richt op internationale verhalen over onder meer misbruik van wetenschap en technologie. Vandaag publiceerde Coda een stuk van mij over het trainingsprogramma dat het Lightning Process heet. Sites gewijd aan het Lightning Process staan vol met verhalen over herstel van langdurige ziekte. In mijn artikel in Coda heb ik een dergelijk verslag opgenomen, samen met verslagen van anderen die melden dat ze na de training een ernstige terugval hadden. Het artikel wijst er ook op dat de wetenschappelijke beweringen niet bestand zijn tegen grondige doorlichting.

Voor alle duidelijkheid: ik raad niemand aan of af dat ze het Lightning Process wel of niet moeten proberen. Als iemand het bekijkt en denkt dat het hem zou kunnen helpen, dan is dat hun beslissing. Wat mij zorgen baart, is dat het wordt gepromoot als wetenschappelijk, terwijl het dat niet is. En ondanks de enthousiaste getuigenissen, vind je even makkelijk mensen die net zeggen dat ze er ernstige schade van hebben ondervonden. Hun verhalen worden niet op websites over Lightning Process geplaatst, maar ze verdienen het niettemin ook om gedeeld te worden.

Terwijl ik aan dit verhaal werkte, stuurde ik een e-mail met een paar vragen naar de oprichter van het Lightning Process, Phil Parker, een Britse osteopaat en psycholoog. Een paar dagen later reageerde hij met een hoffelijk berichtje, samen met zijn antwoorden en een lijst van ondersteunende referenties. Ik heb alle referenties hieronder opgenomen, zodat anderen hun eigen inschatting kunnen maken van wat ze waard zijn.

In het verhaal in Coda vermeld ik deze referenties één keer. In verband met Parkers uitspraak dat de “overgrote meerderheid” van de deelnemers aan het Lightning Process “een goede en blijvende verbetering bereikt”, geef ik aan dat de referenties deze conclusie niet “op een redelijke manier ondersteunen”. Het is duidelijk dat de precieze definities van “overgrote meerderheid” en “blijvend” voor discussie vatbaar zijn. Maar we hoeven deze taalkundige details niet uit te spitten om aan te kunnen tonen dat de bewering niet wordt onderbouwd door de gegevens.

Ten eerste hebben veel van de referenties betrekking op “ongepubliceerd” onderzoek – d.w.z. niet gepubliceerd in een “gepeerreviewed” vakblad. Ik ben zowel journalist als academicus op het gebied van de volksgezondheid, dus uiteraard geloof ik in de waarde van niet-gepeerreviewed onderzoek. En ik weet heel goed van mijn eigen werk aan dit project dat peerreview in veel gevallen niet zo veel betekent. Toch gaat het hier om de geloofwaardigheid en robuustheid van Parkers bewering dat het Lightning Process langdurig werkt, en dan mag je toch wel een zekere mate van documentatie verwachten. De doorgestuurde referenties voldoen niet aan het vereiste niveau.

De niet-gepubliceerde Finch-enquête uit 2010 rapporteerde bijvoorbeeld over de reacties van deelnemers aan het Lightning Process toen ze direct na het einde van het programma werden bevraagd over hun ervaring. Dit is de meest opvallende zin: “Van de 1092 mensen die zeiden dat ze CVS/ME hadden, meldden 888 (81,3%) dat ze op dag 3 van de LP-cursus geen CVS/ME meer hadden.”

Van 81,3% kan je nog zeggen dat het “de overgrote meerderheid” is. Maar antwoorden aan het einde van het trainingsprogramma betekenen natuurlijk geen “blijvende verandering” en zijn misschien helemaal anders dan de antwoorden die een week of tien weken later zouden worden verkregen. Ook belangrijk om weten is dat ik in mijn verhaal in Coda de verslagen heb opgenomen van twee mensen die direct na de training ook positieve beoordelingen gaven, maar binnen enkele maanden een zware terugval hadden.

Een ander niet-gepubliceerd Finch-onderzoek, uit 2013, bevatte gegevens van deelnemers die doorgingen tot drie maanden na de training met het Lightning Process. Bij aanvang waren er 205 deelnemers. Tussen het beginpunt en zes weken stegen de gemiddelden van de antwoorden op vragenlijsten over een reeks maatstaven voor het functioneren. Tussen zes weken en drie maanden vlakten de gemiddelden af en zaten ze in hetzelfde algemene bereik.

De auteurs interpreteren dit als een aanwijzing dat het Lightning Process verbeteringen teweegbrengt, vooral in de eerste zes weken. Maar dat is moeilijk op te maken uit de gegevens. Helaas geven de auteurs niet aan hoeveel mensen de vragenlijsten na zes weken en drie maanden hebben beantwoord; wel geven zij aan dat “ontbrekende gegevens” bij de analyses buiten beschouwing zijn gelaten.

Deze methodologische tekortkoming maakt de analyse van twijfelachtige waarde. Als een onbekend aantal deelnemers het slechter deed en afhaakte en de gemiddelden na zes weken en drie maanden slechts zijn afgeleid uit de overgebleven deelnemers, dan kunnen de schijnbare verbeteringen een statistische illusie zijn – een artefact van de beoordeling van een steeds kleiner wordende, maar gezondere groep. We kunnen het simpelweg niet afleiden uit wat er wordt gepresenteerd.

Bovendien verschaft deze studie alleen gegevens over de gemiddelden, of de gemiddelde waarden. Gemiddelden van de scores van patiënten zijn wel interessant, maar ze vertellen ons niets over hoeveel mensen beter worden en hoeveel slechter, en met hoeveel punten – en dat is wat artsen en patiënten echt willen weten. Gemiddelden kunnen dramatisch worden beïnvloed door uitschieters. Als je het gemiddelde zou nemen van mijn inkomen en dat van Bill Gates, dan zou het lijken alsof we allebei een inkomen van miljarden dollars hebben. Maar dat klopt niet.

Kort gezegd ondersteunt deze studie ook geen enkele bewering over de “overgrote meerderheid” van de deelnemers; we weten niet eens of de “overgrote meerderheid” van de 205 deelnemers hun driemaandelijkse vragenlijsten hebben ingevuld. En drie maanden is een te kort tijdsbestek om als “blijvend” te worden beschouwd, volgens mijn opvatting van dat woord.

Interessant is dat tabel 1 vermeldt dat “gegevens voor 6 en 12 maanden momenteel worden verzameld”. Vermoedelijk werden deze gegevens voor de langere termijn “verzameld” met de bedoeling de resultaten op langere termijn te berekenen. Parker heeft geen vervolgstudie met deze latere resultaten verstrekt, wat nuttig zou zijn geweest om zijn argumenten over “blijvende verandering” te onderbouwen.

En wat staat er verder nog in de lijst? Het artikel van Hagelsteen & Moen Reiten is niet gepubliceerd in een gepeerreviewed vakblad, maar wel in iets dat Dagens Medicin heet, een nieuwsbrief voor mensen die in de gezondheidszorg werken. Het artikel is een verslag over een tiental kinderen met chronische hoofdpijn die het Lightning Process hebben gekregen. Een jaar later meldden negen dat ze beter waren. Ik denk dat we het er allemaal over eens zijn dat dit ook niet voldoende bewijs is om te stellen dat de “overgrote meerderheid” van de 25.000 deelnemers aan het Lightning Process “goede en blijvende verandering” hebben bereikt.

En dat is het zowat. De andere referenties zijn even weinig overtuigend.

Het artikel van Landmark et al. merkte bijvoorbeeld op dat we te weinig weten over het Lightning Process en ze riep op tot meer onderzoek. En interessant genoeg citeerde Parker het protocol van 2013, Crawley et al, voor de enige klinische proef die tot nu toe is uitgevoerd. Hij citeerde echter niet het rapport uit 2017 van de feitelijke resultaten. Misschien komt dat omdat hij weet dat aan die studie een correctie van 3000 woorden is gehangen, als gevolg van mijn onderzoek naar de methodologische en ethische overtredingen, en dat de gerapporteerde bevindingen daarom verdacht zijn.

Vermoedelijk maakte Parker vorig jaar zijn beste argument voor het Lightning Process in een paper die hij en twee collega’s een ‘systematische beoordeling van de bewijsbasis’ noemden. Brian Hughes, hoogleraar psychologie aan NUI Galway, was niet onder de indruk van deze presentatie, zoals hij opmerkte in een bericht op zijn blog, The Science Bit. Hughes’ hele post is het lezen meer dan waard, maar hier is een fragment:

Deze zogenaamde “systematische review” is zeker een van de meest afschuwelijk slechte academische papers die ik ooit heb moeten lezen. Het is niet eens een “systematische review”. Het heeft meer iets van door eigenbelang ingegeven gebakken lucht vol pseudostatistisch jargon, zonder ook maar het allerlichtste vleugje wetenschappelijke objectiviteit. Het was echt erbarmelijke lectuur.

**********

Bibliografie (Referenties die Phil Parker naar mij heeft gestuurd)

Crawley, E., Mills, N., Hollingworth, W., Deans, Z., Sterne, J., Donovan, J., Beasant, L., & Montgomery, A. (2013). Comparing specialist medical care with specialist medical care plus the Lightning Process® for chronic fatigue syndrome or myalgic encephalomyelitis (CFS/ME): Study protocol for a randomised controlled trial (SMILE Trial). Trials, 14, 444. https://doi.org/10.1186/1745-6215-14-444

Finch, F. (2010). Snapshot Survey 2018 for clients with CFS.ME.pdf. http://philparker.org/wp-content/uploads/2010/07/Snapshot%20Survey%202018%20for%20clients%20with%20CFS.ME.pdf

Finch, F. (2013). Outcomes Measures Study. doi.org/10.13140/RG.2.2.29818.24002

Finch, F. (2014). MS Proof of Concept Study. doi.org/10.13140/RG.2.2.26462.79686

Hagelsteen, J. H., & Moen Reiten, I. M. (2015). Evaluation of a treatment strategy. Dagens Medicin. http://www.dagensmedisin.no/artikler/2015/10/12/evaluering-av-en-behandlingsstrategi/

Kristoffersen, A. E., Musial, F., Hamre, H. J., Björkman, L., Stub, T., Salamonsen, A., & Alræk, T. (2016). Use of complementary and alternative medicine in patients with health complaints attributed to former dental amalgam fillings. BMC Complementary and Alternative Medicine, 16, 22. https://doi.org/10.1186/s12906-016-0996-1

Landmark, L., Lindgren, R. M. B., Sivertsen, B., Magnus, P., Sven Conradi, Thorvaldsen, S. N., & Stanghelle, J. K. (2016). Chronic fatigue syndrome and experience with the Lightning Process. Tidsskrift for Den norske legeforening, 136(5), 396–396. https://doi.org/10.4045/tidsskr.15.1214

Parker, P. (2011). Dû: Unlock your full potential with a word. Nipton Publishing.

Parker, P. (2012). An introduction to the Lightning Process®: The first steps to getting well. Hay House.

Parker, P. (2013). Get the life you love, now: How to use the Lightning Process® toolkit for happiness and fulfilment. Hay House.

Parker, P. (2020). LP Protocol 2020. https://doi.org/10.13140/RG.2.2.22761.72801

Parker, P., Aston, J., & de Rijk, L. (2020). A Systematic Review of the Evidence Base for the Lightning Process. EXPLORE, 1–30. https://doi.org/10.1016/j.explore.2020.07.014

Parker, P., Aston, J., & Finch, F. (2018). Understanding the Lightning Process approach to CFS/ME; a review of the disease process and the approach. Journal of Experiential Psychotherapy, 21(2), 8. https://jep.ro/images/pdf/cuprins_reviste/82_art_2.pdf

Parker, P., Banbury, S., & de Rijk, L. (2021). Self-control or Flourishing? A Thematic Analysis of Experiences of Alcohol Users of the Rediscovery Process. International Journal of Mental Health and Addiction. https://doi.org/10.1007/s11469-021-00520-3

Reme, S. E., Archer, N., & Chalder, T. (2012). Experiences of young people who have undergone the Lightning Process to treat chronic fatigue syndrome/myalgic encephalomyelitis—A qualitative study. British Journal of Health Psychology, 18(3), 508–525. https://doi.org/10.1111/j.2044-8287.2012.02093.x

Sandaunet, A.-G., & Salamonsen, A. (2012). CFE-/ME-pasienters ulike erfaringer med Lightning Process. Sykepleien Forskning, 7(3), 262–268. https://doi.org/10.4220/sykepleienf.2012.0132

Sussex & Kent ME/CFS Society. (2010). Sussex and Kent report. https://lightningprocess.com/research/

Trial By Error: meer over het Lightning Process; Science Media Center spant samen met Britse journalisten

David Tuller, DrPH, Virology Blog, 22 april 2021.

Mijn verhaal over het Lightning Process deze week, gepubliceerd door Coda Story, was behoorlijk lang. Toch dekte het niet alles wat ik had willen opnemen. Hier wat meer over de kwestie.

Zoals we intussen weten, schond de pediatrische studie over het Lightning Process, uitgevoerd door professor Esther Crawley, de kinderarts van Bristol University met een methodologische en ethische beperking, de kernprincipes van wetenschappelijk onderzoek, maar werd toch gepubliceerd. BMJ vergoelijkte iets wat leek op wetenschappelijk wangedrag door een correctie/verduidelijking van 3000 woorden te plaatsen in plaats van het artikel in te trekken.

De ME/cvs-patiënten en belangenbehartigers die kritiek hadden geuit op de beslissing van Professor Crawley om het Lightning Process op kinderen te testen, hadden het achteraf bekeken bij het rechte eind: het was een slecht idee. Desalniettemin greep het Science Media Centre deze begrijpelijke negatieve reactie aan om de berichtgeving in de pers te orkestreren, over wat het afschilderde als een gecoördineerde intimidatiecampagne tegen onderzoekers op dit vakgebied. In 2012 schreef professor Crawley zelf een essay over de kwestie voor het tienjarig jubileumblad van het SMC, ‘Bericht van de frontlinie’, onder de onheilspellende kop: ‘Met vervolging bedreigd’.

Ik kan best geloven dat professor Crawley en anderen hatelijke en gemene berichten hebben ontvangen van één of ander ontspoord individu. Misschien kwamen sommige van deze berichten neer op doodsbedreigingen, zoals werd beweerd. Maar het is ook zo dat deze specifieke groep onderzoekers harde kritiek bestempelt als “pesterijen” – zoals ik zelf heel goed weet. Professor Crawley beschuldigde mij immers publiekelijk van smaad, zonder enig bewijs, en suggereerde dat mijn acties een politieoptreden rechtvaardigden, alsof ik haar persoonlijk bedreigde in plaats van alleen haar professionele reputatie.

In ieder geval heeft het SMC er alles aan gedaan om een deel van de ME/cvs-patiëntengemeenschap af te schilderen als een bedreiging – een smeulend kruitvat vol hysterische, losgeslagen, gevaarlijke en antiwetenschappelijke fanatiekelingen. En dat heeft zijn effect zeker niet gemist. Het gevolg, en dat was misschien ook de bedoeling, was dat de onderzoekers die goed lagen bij het SMC – de PACE-auteurs en Professor Crawley – afgeschermd werden tegen legitieme wetenschappelijke controle. En de Britse journalisten hebben hen daar zeker bij geholpen.

Zo publiceerden bijvoorbeeld zowel Reuters als The Guardian in 2019 artikels die deden alsof de Oxford-psychiater en PACE-auteur Professor Michael Sharpe een wetenschappelijke martelaar was, die dapper de confrontatie aanging met intimidatie vanwege patiënten, en vanwege mezelf. Beide artikels gingen niet in op de wetenschappelijke vraagtekens rond de PACE-studie of de mogelijkheid dat Professor Sharpe en zijn collega’s zich schuldig hadden gemaakt aan ernstig wetenschappelijk wangedrag bij het uitvoeren van de studie en de rapportage van hun resultaten.

Naast de getuigenis van Professor Crawley bij de viering van het tienjarig jubileum van het SMC, stond een getuigenis van Tom Feilden van de BBC – een prominente verslaggever die besloot om in zijn vrije tijd de organisatie te gaan promoten. (En ook Kate Kelland van Reuters liet zich door SMC als spreekbuis gebruiken, zoals hier besproken.) In zijn essay beschreef hij hoe het SMC een verhaal voor hem hadden voorbereid over de intimidatie die Professor Crawley en andere onderzoekers hadden ervaren. Voordat hij hen interviewde, deed hij zijn eigen onderzoek over de situatie:

“Ik begon de kwestie te onderzoeken op het internet. De zaak leek te draaien rond de classificatie van CVS als een psychiatrische aandoening. De veronderstelling die ten grondslag lag aan veel van het meest luidruchtige commentaar van een kleine kliek van campagnevoerders leek te zijn dat men patiënten hiermee probeerde af te doen als krankzinnigen of aandachtstrekkers. De echte oorzaak was een nog niet ontdekt virus, en iedereen die dat tegensprak zou betrokken zijn bij een ingewikkelde samenzwering”.

**********

Een heel idioot idee

Wie goed oplet, ziet dat Feildens relaas overeenkomt met het partijprogramma van de biopsychosociale ideologische brigade en hun compagnons van het SMC. Volgens hun theorie wijzen patiënten PACE en aanverwant onderzoek af omdat ze vooroordelen hebben tegen de psychiatrie en tegen mensen met psychische ziekten.

Er zijn bijna geen woorden voor hoe idioot dit idee klinkt voor iemand die zich daadwerkelijk met patiënten inlaat. Als Feilden zijn onderzoek had verdergezet buiten “het internet” en had gesproken met de vele slimme mensen die overtuigende wetenschappelijke argumenten aanvoeren tegen het wetenschappelijk onderzoek dat wordt uitgevoerd door Professor Crawley en anderen, dan had hij misschien iets bijgeleerd dat zijn misvattingen zou ontkrachten. In plaats daarvan schreef hij dit: “Maar het was toen zij [Professor Crawley] betrokken raakte bij een onderzoek naar de werkzaamheid van één bepaalde behandeling, een therapie die bekend staat als het Lightning Process, dat de poppen aan het dansen gingen.”

Als Feilden ook maar de minste kennis had van epidemiologie of het opzetten van klinische proeven, zoals de patiënten die hij wegzette als een “kliek van campagnevoerders” duidelijk wél hebben, dan zou hij hebben ingezien dat de studie naar het Lightning Process vanaf meet af aan problematisch was. Misschien ging hij er vanuit dat het onderzoek goed in elkaar zat en robuuste resultaten zou opleveren – tenslotte geloofden de deskundigen van het SMC erin. Misschien vond Feilden het niet de moeite waard om onafhankelijke bronnen te raadplegen buiten de SMC-bubbel.

En hij leek erop te vertrouwen dat het SMC niet alleen de wetenschap voor hem zou doorlichten, maar ook een deel van het journalistieke werk zou doen. Dit is wat hij schreef:

“We hadden het verhaal ook kunnen schrijven zonder de hulp van het SMC. Maar dan zouden we de persoonlijke inzichten of reflecties hebben gemist van degenen die in het middelpunt van de controverse stonden. Het was het SMC dat de wetenschappers had overhaald, gesteund en voorbereid om zich op Today te laten interviewen. Zonder SMC hadden we aan de zijlijn gestaan, en was het een minder goed verhaal geweest.”

Net als Kellands bekentenis in haar eigen essay dat ze haar professionele oordeel liever uitbesteedt aan het SMC, is dit voor een journalist een gênante uitspraak, of zo zou het toch moeten zijn. Feilden vertrouwde op het SMC om enkele van zijn belangrijkste taken als verslaggever uit te voeren: bronnen zoeken, contact met hen opnemen en hun vertrouwen winnen. Hij waardeerde dat het SMC de wetenschappers had ‘voorbereid’ op hun interviews – wat dat ook moge betekenen. (Persoonlijk praat ik liever met bronnen die niet van tevoren zijn ‘voorbereid’ door PR-specialisten met een specifiek communicatiedoel voor ogen.)

Laten we nu eens even naar het gebeurde kijken vanuit het perspectief van het SMC. In 2013 gaf de organisatie een driejarige evaluatie uit van haar ‘onderzoeksfunctie voor geestelijke gezondheid’. Het succes van deze tak van het SMC kwam er, volgens de review, onder andere doordat ze werken met onderzoekers die “in de vuurlinie zijn beland van een kleine groep extremisten die gekant zijn tegen psychiaters of psychologen die onderzoek doen naar chronisch vermoeidheidssyndroom/ME.”

Als één van zijn positieve resultaten, zo merkte het SMC in de beoordeling van de geestelijke gezondheidsfunctie op, was het spraakmakende rapport van Tom Feilden:

Tom Feilden, wetenschapscorrespondent voor het BBC-programma Today op Radio 4, won de allereerste prijs van de UK Press Gazette voor het schrijven van een wetenschapsartikel over het verhaal dat het SMC hem doorspeelde over het lastigvallen en intimideren van onderzoekers die werken aan CVS/ME. Het SMC had hem voor die prijs voorgedragen.

Even kijken of ik dit goed heb begrepen: het SMC heeft de bronnen gevonden, ze overhaald en “voorbereid” om met de media te praten, én heeft het verhaal aan Tom Feilden “doorgespeeld”. Toen heeft het SMC Tom Feilden genomineerd voor een prijs voor het verhaal dat ze zelf hadden voorbereid en aan hem hadden doorgespeeld. Tom Feilden won de prijs. Daarna schreef hij een reclame-essay voor het SMC.

Hmm. Leuk! Wat goed dat alles daar zo vlot verloopt.

Trial By Error: Noorwegen verwerpt nieuwe klinische studie over zweverig Lightning Process

David Tuller, DrPH, Virology Blog, 7 juni 2021.

De Noorse onderzoeksethische autoriteiten hebben zich van hun meest wetenschappelijke kant laten zien, door een studievoorstel af te wijzen van een zweverige behandeling voor ME/cvs die het Lightning Process heet. Aangezien Noorwegen over het algemeen een broeihaard van biopsychosociale ideeën lijkt te zijn, komt deze uitstekende beslissing toch deels als een verrassing. Er ging in het afgelopen jaar een verhit publiek debat over de kwestie aan vooraf, zowel vóór als nadat de regionale ethische autoriteiten in november een voorlopige goedkeuring gaven aan het onderzoek.

(Dagbladet, een populair dagblad, publiceerde afgelopen juni een opiniestuk van mij over de kwestie. In april publiceerde Codastory.com, een internationale nieuwssite, mijn lange diepteartikel over het Lightning Process, waarin ik het Noorse studievoorstel vermeldde.)

De regionale ethische commissie ontving meerdere klachten over de goedkeuring, zowel van individuen als van de Noorse ME-vereniging, maar weigerde van koers te veranderen. Na de zaak opnieuw te hebben bekeken tijdens vergaderingen in maart en mei, publiceerde de Nationale Commissie voor Onderzoeksethiek voor Geneeskunde en Gezondheidswetenschappen (NEM) op 4 juni een verklaring dat ze de goedkeuring introk, en merkte daarbij op dat de beslissing “unaniem” was en “niet vatbaar voor beroep”. Met andere woorden, de onderzoekers zouden hun studie opnieuw moeten ontwerpen en een nieuw voorstel moeten ontwikkelen als zij door wilden gaan met hun misplaatste LP-onderzoek.

De studie zou 120 pas gediagnosticeerde patiënten omvatten, waarbij één groep de interventie met het Lightning Process zou krijgen en de andere groep op een wachtlijst zou worden geplaatst. Na een evaluatieperiode van tien weken zou de wachtlijstgroep ook het Lightning Process krijgen. Hoewel het voorstel ook enkele resultaten op langere termijn bevatte, hield het studieopzet in dat er in die periode geen vergelijkingsgroep zou zijn, aangezien alle deelnemers de training zouden hebben ondergaan. Zonder een vergelijkingsgroep zouden de resultaten op lange termijn in wezen betekenisloos zijn geweest.

De NEM was ondubbelzinnig in haar afwijzing van de aanvraag. Een belangrijk punt was het feit dat de studie afhankelijk was van subjectieve uitkomsten, waarbij de commissie scherp opmerkte dat de interventie zelf waarschijnlijk invloed zou hebben op hoe patiënten hun resultaten rapporteerden. (Ik heb de volgende passages door Google Translate gehaald, en heb ze vervolgens licht bewerkt op grammatica en duidelijkheid). De NEM-verklaring zei:

“Een zwak punt van het project betreft de evaluatie van de effecten van het gebruik van vragenlijsten bij de interventie, en dat de interventie deels gaat over hoe men moet antwoorden op vragen over de eigen gezondheid. De NEM is van mening dat deze methode het risico inhoudt dat de interventie een effect heeft op de antwoorden van de deelnemers om andere redenen dan werkelijke verbetering. Zoals de NEM de interventie ziet, is een belangrijk onderdeel van wat de deelnemers leren, het over het hoofd zien van negatieve symptomen en de nadruk leggen op positieve ervaringen. Ze worden ook aangemoedigd om actieve taal te gebruiken, niet aan [hun] eigen beperkingen te denken, en [hun] vooruitgang te onderstrepen. De verandering in de manier van denken zou de antwoorden op de vragenlijst direct na afloop van de cursus aanzienlijk kunnen kleuren… NEM is van mening dat het project sterker zou zijn als er meerdere objectieve, primaire eindpunten in de evaluatie zouden zijn opgenomen.”

Maar de “grootste zwakte van het project”, verklaarde NEM, is het feit dat hoofdonderzoeker Live Landmark zelf beoefenaar is van Lightning Process, en dat haar controle over het project de betrouwbaarheid en validiteit van de bevindingen ernstig in het gedrang zou kunnen brengen. De NEM merkte op dat “de onderzoeker een actieve rol speelt in alle stadia van het project en er een belangenconflict ontstaat omdat de onderzoeker er sterke zakelijke belangen heeft dat het project positieve resultaten oplevert.” NEM plaatste met name vraagtekens bij de beslissing om de hoofdonderzoeker de potentiële proefpersonen vooraf te laten screenen:

“Het belangenconflict komt het duidelijkst naar voren bij de selectie van de deelnemers, die voornamelijk plaatsvindt op basis van een gesprek met de onderzoekster. Het is mogelijk dat die methode ertoe zal leiden dat enkel diegenen worden opgenomen die sowieso het grootste verbeterpotentieel hebben. Verder vindt NEM het een probleem dat de selectie lijkt te zijn gebaseerd op subjectieve beoordelingen.”

Met andere woorden, als de hoofdonderzoeker daadwerkelijk helpt bij het selecteren van deelnemers om er zeker van te zijn dat het geschikte kandidaten zijn op basis van haar subjectieve beoordelingen, dan zou het onmogelijk zijn om de bevindingen te extrapoleren naar een grotere groep van ME/cvs-patiënten die niet op dezelfde manier werden geïdentificeerd. Dit zou op zijn beurt leiden tot wijdverbreid wantrouwen jegens de gerapporteerde resultaten, aldus NEM:

“Als we willen dat de samenleving luistert naar en vertrouwen heeft in onderzoeksresultaten, dan is het belangrijk dat er geen twijfel over bestaat dat de onderzoeker zich in de eerste plaats laat leiden door de wens om op een objectieve en betrouwbare manier nieuwe kennis op te doen. Projecten waar terechte en serieuze vragen kunnen worden gesteld over belangenverstrengeling, wekken niet het nodige vertrouwen. En dit is bijzonder relevant in een controversieel onderzoeksgebied als het onderzoek naar het Lightning Process… NEM is van mening dat het project niet als gerechtvaardigd mag worden beschouwd en in zijn huidige vorm niet mag worden geïmplementeerd.

Professor Vegard Bruun Wyller, een professor aan het Instituut voor Klinische Geneeskunde van de Universiteit van Oslo en een bekend voorstander van de studie, heeft nog niet gereageerd op mijn verzoek om commentaar op deze laatste ontwikkeling. Ik neem aan dat Professor Wyller, net als andere leden van de biopsychosociale ideologische brigade, mij niet gunstig gezind is, vooral omdat ik publiekelijk kritiek heb geuit op zijn ondermaatse studie over cognitieve gedragstherapie plus muziektherapie voor het voorkomen van chronische vermoeidheid na klierkoorts (ook wel Pfeiffer genoemd). Die studie leek zeker in aanmerking te komen voor een onderzoek naar mogelijk of waarschijnlijk wetenschappelijk wangedrag. BMJ Paediatrics Open liet het echter passeren door in plaats daarvan een bijgewerkte versie te publiceren – ook al is de heruitgegeven paper er niet in geslaagd om alle flagrante fouten te corrigeren. Net als bij eerdere acties in dit wetenschapsgebied, stond dit besluit haaks op alle beweringen van BMJ over hun toewijding aan de erkende normen van wetenschappelijke integriteit.

De negatieve beslissing is waarschijnlijk ook teleurstellend voor professor Esther Crawley, de kinderarts en steronderzoeker van de Universiteit van Bristol die een ethische en methodologische beperking heeft. Ze had wellicht gehoopt dat positieve bevindingen haar eerdere onderzoek naar LP bij kinderen in eer zou kunnen herstellen. Hoewel die studie twee jaar geleden een 3000 woorden tellende correctie kreeg nadat ik de flagrante tekortkomingen ervan aan het licht had gebracht, blijven de bevindingen in de literatuur staan en worden ze door voorstanders nog steeds geciteerd als legitieme bron. (Maar dat is de studie niet.)

Naast de Noorse ME-Vereniging gaat een groot deel van de eer voor deze overwinning naar Nina Steinkopf, een Noorse patiënte en pleitbezorgster die herhaaldelijk heeft geblogd over de problemen met de studie. Goed gedaan, Nina!! Ze schreef hier over de verwerping van de studie.

Trial by Error: enkele updates over Lightning Process

David Tuller, DrPH, Virology Blog, 13 juli 2021.

Laatste ronde in Noorwegen

Fans van het Lightning Process kregen onlangs slecht nieuws, toen een Noors nationaal panel voor ethiek in wetenschappelijk onderzoek een studievoorstel verwierp omdat het slecht was ontworpen en vol zat met belangenconflicten, zoals ik hier schreef. Maar dat was niet het einde van deze soap.

Hoewel het de bedoeling was dat de beslissing van de ethische commissie definitief was en niet vatbaar voor beroep, ging het onderzoeksteam toch in beroep, door een lange brief te sturen aan de ethische commissie waarin de methodologie van het onderzoek werd verdedigd en de beschuldigingen van belangenverstrengeling werden betwist. De ethische commissie stemde ermee in om de kwestie nog één keer door te nemen. Na nog een beoordeling, zette de commissie haar oorspronkelijke beslissing kracht bij door de voorgestelde studie een tweede keer resoluut af te wijzen. De ethische commissie heeft duidelijk gemaakt dat het niet categoriek tegen onderzoek is naar het Lightning Process, maar wel tegen dit ondermaatse initiatief.

De beslissing leidde tot het voorspelbare beklag over ME-patiënten vanuit de gebruikelijke kringen. Ik vind het vaak beter om niet te reageren op elke domme uitspraak die iemand zegt of schrijft – en al zeker niet als anderen al hebben gereageerd. Vorige week publiceerde de Noorse publicatie Khrono, die over hoger onderwijs gaat en de kwestie van de voorgestelde LP-studie heeft gevolgd, een vernietigend commentaar van Sigmund Olafsen, een wetenschapper die een familielid heeft met ME.

Onder de kop “Waardeloos en onethisch ME-onderzoek”, schreef Dr. Olafsen over de intussen tegengehouden studie:

“Het project lijkt een banaal psychologisch experiment. Vraag een aantal mensen om een vragenlijst in te vullen, vertel hen dan drie dagen lang dat het hun eigen schuld is als ze zich vrijwel meteen na de drie dagen niet beter voelen, en vraag hen dan om de vragenlijst een paar weken later nog een keer in te vullen.”

Nina Steinkopf heeft alles over deze kwestie besproken op haar voortreffelijke blog, MELivet.

**********

Wie is ‘Voices of Recovery’?

Ik nam een kijkje op de website van een groep met de naam Voices of Recovery, met als titel ‘Live a Life You Love’. Deze groep is een officiële belanghebbende partij geworden in het lopende ME/cvs-richtlijnenproces van het Britse National Institute for Health and Care Excellence (NICE). In november bracht NICE een kladversie van de nieuwe richtlijn uit, waarin LP expliciet werd afgeraden en belanghebbenden werden uitgenodigd tot commentaar. Het instituut zal volgende maand de definitieve versie uitbrengen.

Volgens de website van Voices of Recovery is de organisatie “opgericht in 2020 als vertegenwoordiging van de stem van diegenen die volledig zijn hersteld van een chronische ziekte, met name chronisch vermoeidheidssyndroom/myalgische encefalomyelitis (cvs/ME) en fibromyalgie… We weten dat deze diagnoses niet levenslang aanhouden! We hebben meer dan 50 leden die allemaal volledig hersteld zijn en dus het tegendeel bewijzen.”

De site bevat drie van dergelijke herstelverhalen – allemaal van mensen die hun succes toeschrijven aan het Lightning Process. (Het doet denken aan de groep Recovery Norway, een voorstander van de intussen stopgezette Noorse studie.) Maar wie zit er achter Voices of Recovery? Dat is een mysterie. Het domein is geregistreerd bij een entiteit genaamd Artemis Coaching in het Engelse Suffolk. Ik kan niets vinden over een Artemis Coaching in het Engelse Suffolk. (Er schijnt een executive coach in de VS te zijn die die naam gebruikt voor haar adviesbureau.)

Het is niet duidelijk waarom Voices of Recovery op dit moment in het NICE-proces een belanghebbende is geworden – het is te laat om opmerkingen ter overweging in te dienen. Vermoedelijk hoopt de groep dat de NICE-commissie haar huidige advies tegen LP terugdraait. Ik ben niet op de hoogte van nieuwe gegevens die de commissie zouden kunnen overhalen haar wetenschappelijke beoordeling over deze kwestie te herzien.

*******

Nieuwe paper van Crawley en Parker over LP en CGT

Een van de argumenten die voorstanders van LP ter verdediging van hun zaak vaak aanvoeren, is dat het in sommige opzichten lijkt op CGT. Dit discussiepunt ontstond tijdens de debatten in Noorwegen over dat inmiddels ter ziele gegane studievoorstel. Professor Michael Sharpe, een van de drie hoofdonderzoekers van PACE, heeft gezegd dat LP “overeenkomsten vertoont met cognitieve gedragstherapie”.

Ik denk dat sommige mensen denken dat LP vergelijken met CGT een teken is van respect en bevestiging voor LP – waarbij ze uitgaan van de veronderstelling dat CGT zelf een positieve reputatie geniet. Van de andere kant bekeken lijkt het meer op het omgekeerde – dat deze deskundigen in wezen bevestigen dat hun versie van CGT net zo’n hoop nonsens is als LP, en dat beide interventies gebaseerd zijn op onbewezen werkingsmechanismen.

In ieder geval leek het er al een tijdje op dat de CBT- en LP-kampen aan het samensmelten waren tot een groepering waarin iedereen mekaar wederzijds bewondert en steunt. Dat samensmeltingsproces lijkt een nieuw niveau te hebben bereikt in een recente paper, gepubliceerd in het tijdschrift Fatigue: Biomedicine, Health & Behaviour. De paper heet “CGT heruitgevonden of een nieuwe behandeling? Het Lightning Process in vergelijking met de Britse specialistische medische zorg voor het chronisch vermoeidheidssyndroom bij kinderen.”

Het is mede geschreven door, onder andere, Dr. Phil Parker, de spirituele genezer, osteopaat en intussen ook psycholoog die het Lightning Process creëerde, en Professor Esther Crawley, kinderarts van Bristol University met een ethische en methodologische beperking. Professor Crawley was de hoofdonderzoeker van een ernstig gebrekkig pediatrisch onderzoek uit 2017 over LP. Het is niet verwonderlijk dat zij en Dr. Parker nu verdere pediatrische onderzoeken voorstellen met zowel CGT als LP.

Fatigue wordt uitgegeven door de International Association of CFS/ME en heeft een aantal belangrijke artikelen gepubliceerd – waaronder de eerste formeel gepeerreviewde weerlegging van de PACE-beweringen over herstel. (Afgelopen herfst publiceerde Fatigue een paper waarvan ik coauteur was.) Het is met niet duidelijk waarom Fatigue nu besloot om deze rommel te publiceren.

De nieuwe CBT-LP-paper lijkt geen strenge peerreview te hebben ondergaan. Hij verwijst bijvoorbeeld naar de “indrukwekkende” bevindingen van de studie van Professor Crawley uit 2017, die werd gepubliceerd in Archives of Disease in Childhood, een BMJ-tijdschrift. Maar de nieuwe paper laat na te vermelden dat de studie zich schuldig maakte aan methodologische schendingen van wetenschappelijke kernprincipes. Deze misstappen hebben geleid tot een correctie van 3.000 woorden en een noot van de redactie van 1.000 woorden. (Ik heb de aanzet gegeven tot deze ontwikkelingen door een formele klachtenbrief te sturen naar het vakblad.)

Bovendien lijkt het artikel in Fatigue de fysiologische verklaringen van LP zonder meer te aanvaarden – niet verwonderlijk, denk ik, omdat Dr. Parker coauteur is. Dit is een typische zin: “LP handhaaft volledig neurofysiologische en biologische verklaringen, en conceptualiseert CVS/ME als aanhoudende overactivatie van het autonome systeem (of verhoogde fysieke stressrespons), beschreven als de ‘Fysieke Noodrespons’.” De referentie voor deze bewering over de “volledig neurofysiologische en biologische verklaringen” van LP is een eerdere paper, ook mede geschreven door Dr. Parker. Deze eerdere paper, “Aanpak van CVS/ME via Lightning Process begrijpen: een overzicht van het ziekteproces en de aanpak” werd gepubliceerd in het Vakblad voor Ervaringsgerichte Psychotherapie, dat wordt uitgegeven door de Roemeense Vereniging voor Ervaringsgerichte Psychotherapie. (Ik kan me moeilijk de laatste keer herinneren dat ik belangrijke informatie in een academisch artikel onderbouwd zag via een verwijzing naar deze Roemeense publicatie.)

Tijdschriften en peerreviewers zijn niet verplicht om ongerechtvaardigde beweringen van auteurs groen licht te geven of hen toe te staan zichzelf kritiekloos te citeren. Fatigue is hier in de fout gegaan.