Tuller is al een tijdje bezig met zijn strijd tegen een gebrekkige studie over het Lightning Process als behandeling voor jonge ME-patiënten, en tegen de overdreven voorstelling van de kostprijs van SOLK.
Hieronder een update, met enkele fijne resultaten:
- Tuller schrijft naar de auteurs van een nieuwe overzichtspaper over SOLK, waarin de studie over het Lightning Process weer opduikt. Hij schrijft ook voor de zoveelste keer naar het vakblad waarin de LP-studie verscheen.
-
Tuller kreeg reactie op zijn FOI-aanvraag i.v.m. de LP-studie.
-
De foute citatie i.v.m. de kostprijs van SOLK is eindelijk aangepast in BJGP; daarnaast vraagt Tuller ook om correcties bij andere auteurs die dezelfde fout hebben gemaakt, en legt hij uit waarom SOLK een gevaarlijk begrip is. [1/7 en 8/7]
-
Er werd een verregaande correctie doorgevoerd in de studie over het Lightning Process (maar spijtig genoeg werd ze niet ingetrokken).
Trial By Error: weer een review die de LP-studie vernoemt, dus ik klim weer in mijn pen
David Tuller, DrPH, Virology Blog, 24 juni 2019
De voorbije weken heb ik geprobeerd om de aandacht te vestigen op het verontrustende feit dat een grote systematische review over pediatrische CVS/ME (zoals de auteurs de ziekte noemen) verwees naar de studie over het Lightning Process van Bristol University, als bewijs voor de “doeltreffendheid” van die behandeling. Intussen heeft nog een andere systematische review verwezen naar de in opspraak gekomen studie die in september 2017 gepubliceerd werd door Archives of Disease in Childhood – dit keer was het een review over het effect op de geestelijke gezondheid van behandelingen voor kinderen met zogenaamde “somatisch onverklaarde lichamelijke klachten”.
Deze laatste review – “Een systematische review van gerandomiseerde gecontroleerde studies die psychologische behandelingen gebruiken voor kinderen en adolescenten met somatisch onverklaarde lichamelijke klachten: wat is het effect op de geestelijke gezondheid?” – werd gevoerd door University College London en werd aanvaard voor publicatie door het vakblad Clinical Child Psychology and Psychiatry. De universiteit postte onlangs een versie “ter perse” voorafgaand aan de publicatie in het vakblad.
De review omvat achttien studies over een reeks aandoeningen die omschreven worden alsof ze vallen onder de SOLK-categorie, volgens diegenen die geloven dat er zoiets bestaat als een SOLK-categorie. Daaronder vallen chronisch vermoeidheidssyndroom, fibromyalgie, chronische pijn en hoofdpijn. Naast het Lightning Process onderzochten veertien van de studies een of andere vorm van cognitieve gedragstherapie; drie anderen onderzochten neurofeedback. Uitkomsten werden gemeten via geestelijke gezondheidsindicatoren zoals angsten en depressie.
Algemeen genomen bekenden de reviewers dat ze niet onder de indruk waren van de kwaliteit van de studies. Dit was hun conclusie: “Psychologische behandelingen zouden doeltreffend kunnen zijn in het verbeteren van geestelijke gezondheidsscores binnen deze populatie. Bewijs van doeltreffendheid voor deze interventies is echter beperkt, omwille van het hoge risico op vooringenomenheid in de meerderheid van de gereviewde studies. Wij raden aan dat toekomstig onderzoek gebruik maakt van strenge methodologische en niet-CGT-gerelateerde behandelingen.”
Hm. Goed advies. Ik vraag me af of iemand het zal opvolgen?
In elk geval schreef ik naar twee van de auteurs van de nieuwe review om hen te wijzen op de problemen in de studie over het Lightning Process. Ik schreef ook nog eens opnieuw een brief naar Dr. Fiona Godlee, redactioneel directeur van BMJ, waarin ik haar opnieuw vroeg om dringend de nodige stappen te ondernemen om de gezondheid van kinderen te beschermen tegen de invloed van adviezen die voortvloeien uit dit ondermaatse onderzoek.
Hieronder post ik eerst mijn brief aan de twee auteurs van de systematische review. Daarachter staat mijn brief aan Dr. Godlee.
**********
Geachte Professor Shafran en Dr. Bennett,
Ik zag onlangs de versie “ter perse” van de nieuwe paper waaraan u meeschreef: “Een systematische review van gerandomiseerde gecontroleerde studies die psychologische behandelingen gebruiken voor kinderen en adolescenten met somatisch onverklaarde lichamelijke klachten: wat is het effect op de geestelijke gezondheid?” Clinical Child Psychology and Psychiatry heeft de review aanvaard en University College London postte ze onlangs online, voorafgaand aan publicatie.
Ik ben blij dat u vindt dat de beschikbare studies over het algemeen lijden aan een “hoog risico op vooringenomenheid” en daarom niet bijzonder geschikt zijn om te evalueren of de onderzochte behandelingen in feite doeltreffend zijn, onafhankelijk van de gerapporteerde resultaten. Ik ben het daar volkomen mee eens.
Ik schrijf u echter niet om die reden, maar wel omdat de review melding maakt van de studie over het Lightning Process, gepubliceerd in september 2017 door Archives of Disease in Childhood. Het is problematisch dat u besloot om melding te maken van deze studie – ”Klinische en kosteneffectiviteit van Lightning Process in aanvulling op gespecialiseerde medische zorg voor pediatrisch chronisch vermoeidheidssyndroom: gerandomiseerde gecontroleerde studie”.
In deze studie overtraden de onderzoekers van University of Bristol methodologische en ethische kernprincipes van wetenschappelijk onderzoek, en de studie had überhaupt nooit gepubliceerd mogen worden.
Als ik me even mag voorstellen: ik ben een senior fellow in volksgezondheid en journalistiek aan het Center for Global Public Health van UC Berkeley, een onderdeel van de School of Public Health. Ik werk al tientallen jaren als journalist en behaalde niet lang geleden aan Berkeley een doctoraat in de volksgezondheid. Sinds een paar jaar hou ik me bezig met onderzoek van – en kritiek op – een deel van het onderzoek op het gebied van ME/CVS, waaronder de PACE-studie.
Ik heb over mijn bevindingen geschreven in meer dan 150 posts en artikels op de website Virology Blog, die beheerd wordt door Professor Vincent Racaniello, een microbioloog aan Columbia University. Ik heb ook over de kwestie geschreven voor onder andere The New York Times en Health Affairs, een vakblad over zorgbeleid. Mijn onderzoek over ME/CVS-studies is vermeld geweest in onder andere Science, Nature, The Wall Street Journal, The Guardian en Slate.
Zoals ik in december 2017 op Virology Blog documenteerde, hadden de onderzoekers van de studie over het Lightning Process al meer dan de helft van de deelnemers gerekruteerd voordat de studie geregistreerd was, wisselden ze primaire en secundaire uitkomstmaten om op basis van de eerste resultaten en vermeldden ze deze details vervolgens niet in de gepubliceerde paper. Alle grote medische vakbladen onderschrijven een beleid dat publicatie verbiedt voor studies waarvoor deelnemers gerekruteerd werden vóór studieregistratie. Daarom had Archives de studie dus nooit mogen aanvaarden voor publicatie. In januari 2018 stelde Professor Racaniello Archives of Disease in Childhood op de hoogte van deze kwesties in een open brief, die ondertekend werd door meer dan 20 experts en gepost werd op Virology Blog.
Op 19 juni 2018 – vorige week exact één jaar geleden – postte Archives een “noot van de redactie” over het artikel over het Lightning Process. Deze noot erkende de bedenkingen, gaf aan dat de onderzoekers “verduidelijkingen” hadden gegeven en wees erop dat de zaak onder “redactionele beschouwing” stond. Om onverklaarde redenen is die periode van “redactionele beschouwing” nog steeds lopende.
Daarenboven is de noot van de redactie niet zichtbaar vanuit de paper zelf; dat is de reden waarom ik veronderstel dat u de noot niet hebt gezien. Het is betreurenswaardig dat het vakblad zijn redactionele verplichtingen niet voldoende is nagekomen, en dat dit ertoe geleid heeft dat u een studie hebt geciteerd die niet thuishoort in de medische literatuur. Ik vraag u met aandrang om de zaak te onderzoeken en om zo snel mogelijk de nodige stappen te ondernemen.
(Met het oog op transparantie ben ik van plan om deze brief te posten op Virology Blog. Ik ben ook van plan om een brief te sturen naar Dr. Fiona Godlee, redactioneel directeur van BMJ, en zal u beiden in CC zetten.)
Vriendelijke groet, David
David Tuller, DrPH
Senior Fellow in Volksgezondheid en Journalistiek
Center for Global Public Health
School of Public Health
University of California, Berkeley
**********
Geachte Fiona,
Enkele weken geleden stuurde ik u een brief, waarin ik u met aandrang vroeg om de gezondheid van kinderen op de eerste plaats te zetten, door eindelijk de vele ernstige problemen aan te pakken in de studie over het Lightning Process. Die studie, van een team van Bristol University onder leiding van Professor Esther Crawley, werd twee jaar geleden gepubliceerd in Archives of Disease in Childhood, een BMJ-vakblad, met volgende titel: “ Klinische en kosteneffectiviteit van Lightning Process in aanvulling op gespecialiseerde medische zorg voor pediatrisch chronisch vermoeidheidssyndroom: gerandomiseerde gecontroleerde studie”.
De directe aanleiding voor mijn laatste brief was een review over pediatrische CVS/ME die in april werd gepubliceerd, en waarin de studie over het Lightning Process werd geciteerd als bewijs dat de behandeling “doeltreffend” was voor kinderen met de ziekte. Aangezien de gerapporteerde resultaten tot stand kwamen nadat de onderzoekers zich schuldig hadden gemaakt aan ernstige methodologische en ethische overtredingen van het wetenschappelijke proces, kunnen ze niet als legitiem worden beschouwd. Tot dusver hebben de auteurs van die review, die gepubliceerd werd in Current Opinion in Pediatrics, geen actie ondernomen, ondanks het feit dat hen gewezen werd op de problemen.
Intussen heeft nog een andere review de studie geciteerd zonder enige vermelding van haar diskwalificerende tekortkomingen – deze review was er één over geestelijke gezondheid bij kinderen met de zogenaamde diagnose “somatisch onverklaarde lichamelijke klachten”. Deze nieuwe paper, met als titel “Een systematische review van gerandomiseerde gecontroleerde studies die psychologische behandelingen gebruiken voor kinderen en adolescenten met somatisch onverklaarde lichamelijke klachten: wat is het effect op de geestelijke gezondheid?”, werd aanvaard door het vakblad Clinical Child Psychology and Psychiatry. University College London heeft een versie “ter perse” van de review gepost, en omvat zeventien andere studies, naast de studie over het Lightning Process . (Wel positief is, dat de reviewauteurs opmerkten dat de studies die ze bespraken over het algemeen een “hoog risico op vooringenomenheid” bevatten.)
Zoals ik in december 2017 documenteerde op Virology Blog, hadden de onderzoekers van de studie over het Lightning Process al meer dan de helft van de deelnemers gerekruteerd voordat de studie geregistreerd was, wisselden ze primaire en secundaire uitkomstmaten om op basis van de eerste resultaten en vermeldden ze deze details vervolgens niet in de gepubliceerde paper. Aangezien Archives de studie überhaupt nooit had mogen publiceren, hoort de paper niet thuis in de medische literatuur – behalve dan misschien als een gevalstudie van hoe je een klinische studie niet mag uitvoeren.
De huidige situatie is onhoudbaar. Op 19 juni 2018 – meer dan een jaar geleden – postte Archives een “noot van de redactie” over het artikel over het Lightning Process. Deze noot erkende de bedenkingen, gaf aan dat de onderzoekers “verduidelijkingen” hadden gegeven en wees erop dat de zaak onder “redactionele beschouwing” stond. Deze noot van de redactie was niet zichtbaar vanuit de paper, en het zou best kunnen dat lezers ze niet hebben gezien, wat wellicht verklaart waarom de reviewauteurs de studie hebben geciteerd. Het is meer dan hoog tijd dat Archives zijn langgerekte proces van “redactionele beschouwing” afrondt en de nodige correctieve stappen onderneemt om het welzijn te beschermen van een uiterst kwetsbare groep, nl. kinderen met een invaliderende en gestigmatiseerde ziekte.
Omwille van de lopende debatten over gepaste behandelingen voor mensen met ME/CVS, alsook voor diegenen met de diagnose “somatisch onverklaarde lichamelijke klachten”, vind ik het belangrijk om de tekorten van de studie over het Lightning Process uitgebreid onder de aandacht te brengen, zeker nu de studie geciteerd wordt in systematische reviews. Om die reden zet ik in CC twee van de coauteurs van de nieuwe pediatrische SOLK-review; de seniorauteur van de vorige review die de studie citeerde; vier artsen die betrokken zijn bij de ontwikkeling van nieuwe richtlijnen voor ME/CVS onder auspiciën van het National Institute for Health and Care Excellence, alsook twee patiëntvertegenwoordigers in het NICE-comité; Tom Whipple, wetenschapscorrespondent voor The Times; Sue Paterson, directeur van de juridische dienst van Bristol; Professor Alan Montgomery, seniorauteur van de studie over het Lightning Process; Professor Vincent Racaniello; beheerder van Virology Blog en microbioloog aan Columbia University; en Professor Chris Ponting, vicevoorzitter van het CFS/ME Research Collaborative.
Heel erg bedankt voor uw aandacht voor deze kwestie.
Vriendelijke groet, David
David Tuller, DrPH
Senior Fellow in Volksgezondheid en Journalistiek
Center for Global Public Health
School of Public Health
University of California, Berkeley
© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.
Trial By Error: een update over de pediatrische SOLK-review
David Tuller, DrPH, Virology Blog, 26 juni 2019
Deze week sprak ik mijn bedenkingen uit over een tweede systematische review die verwees naar de mesthoopstudie over het Lightning Process, twee jaar geleden gepubliceerd in Archives of Disease in Childhood. Deze nieuwe review repte met geen woord over de flagrante fouten in de paper. Nadat in april een eerdere systematische review verscheen die de studie aanhaalde, schreef ik bezorgde brieven naar zowel Dr. Fiona Godlee, redactioneel directeur van BMJ, als naar Dr. Terry Segal van University College London, de seniorauteur van die review.
Tot op heden hebben geen van beiden officiële stappen ondernomen om het probleem aan te pakken. Dr. Godlee en haar redactionele team zijn, wat betreft dit onderzoeksdomein, blijkbaar achter het stuur in slaap gevallen, en het blijft mij een raadsel waarom. Dr. Segal heeft tot dusver geen enkele blijk gegeven van bezorgdheid over het feit dat ze een studie heeft geciteerd waarin onderzoekers ethische en methodologische kernprincipes geschonden hebben door meer dan de helft van de deelnemers te rekruteren voordat de studie geregistreerd werd, uitkomsten om te wisselen op basis van de eerste resultaten, en vervolgens deze details in de gepubliceerde paper niet te vermelden.
De eerste systematische review ging over pediatrische “CVS/ME”, zoals de auteurs de ziekte noemden. De nieuwe systematische review gaat over pediatrische behandelingen voor zogenaamde “somatisch onverklaarde lichamelijke klachten”. (Ik schrijf “zogenaamde” omdat de SOLK-categorie vaak gehypet wordt als een diagnostische eenheid, door onderzoekers die geneigd zijn om te geloven dat diegenen die dit label krijgen, dringend psychologische hulp nodig hebben.)
Voor de goede orde: ik ben globaal genomen tevreden met deze tweede review. Er wordt op schrandere wijze in opgemerkt dat de meeste van de studies in kwestie – waaronder studies die cognitieve gedragstherapie aanprijzen als doeltreffende behandeling voor SOLK – geen betrouwbaar bewijs kunnen leveren. Beter gezegd: ze werden op zo’n manier ontworpen dat er een “hoge graad van vooringenomenheid” ontstaat. De auteurs van de review bespraken niet noodzakelijk alle bedenkingen die ik over dit soort onderzoek zou aankaarten, maar toch lijken ze hun opdracht benaderd te hebben met een flinke schep eerlijkheid en integriteit, die meestal achterwege blijft in dit wetenschappelijke onderzoeksveld.
Hun evaluatie zou in de toekomst van pas kunnen komen in de strijd tegen het metastaserende programma van de National Health Service dat Improving Access to Psychological Therapies heet. IAPT bouwt voort op bedrieglijke beweringen uit dit soort studies, alsof het in feite gaat om goed onderbouwde voorbeelden van kwalitatief wetenschappelijk onderzoek. Hetzelfde nepargument wordt natuurlijk al jarenlang gebruikt door de ideologische CGT/GET-brigade in verband met PACE en hun promotie van mogelijk schadelijke behandelingen als een doeltreffende manier om te komen tot “verbetering” of zelfs “herstel” van ME, CVS, ME/CVS, CVS/ME of hoe men de ziekte ook wil noemen.
In antwoord op deze nieuwe review schreef ik naar twee van de coauteurs, beiden van University College London. Ik liet duidelijk blijken dat ik waardering had voor hun heldere visie op de slechte kwaliteit van het onderzoek, maar wees hen ook op de verontrustende details over de studie over het Lightning Process. Uiteraard schreef ik ook opnieuw naar Dr. Godlee, om haar te herinneren aan haar redactionele verplichtingen, nl. het beschermen van de legitimiteit en de nauwkeurigheid van de medische literatuur.
In het geval van de eerste systematische review negeerde Dr. Segal, de seniorauteur, aanvankelijk zowel mijn open brief aan haar, als de persoonlijke brief waarin ik haar uitnodigde om de kwestie onder vier ogen met mij te bespreken. Ik kreeg pas reactie van haar nadat ik haar in CC had gezet bij een volgende brief aan de redacteur van Current Opinion in Pediatrics, het vakblad dat de problematische paper had gepubliceerd. Die e-mail trok blijkbaar wel Dr. Segals aandacht, of deed haar tenminste beslissen dat ze mij zou laten weten dat zij en haar collega’s mijn bedenkingen in “beschouwing” zouden nemen.
Sindsdien is Dr. Segal in geen velden of wegen te bespeuren. Ik heb geen idee of zij en haar coauteurs mijn bedenkingen eigenlijk bekeken hebben, of ze totaal genegeerd en afgewezen hebben. In elk geval is haar aanhoudende stilzwijgen over deze kwestie onaanvaardbaar. Zoals ik al meerdere keren heb aangeduid, zijn een paar minuten voldoende om de relevante studiedocumentatie na te kijken en te zien hoe de onderzoekers van de studie over het Lightning Process, onder leiding van Professor Esther Crawley van Bristol University, dubieuze tactieken hebben gebruikt bij de uitvoering en de rapportage van hun studie.
Nadat ik daarentegen op maandag mijn brief over de tweede systematische review naar twee van de coauteurs had gestuurd, antwoordde één van hen – Professor Roz Shafran – met een kort bericht, waarin hij me bedankte dat ik contact met hem had opgenomen.
**********
Dit is wat ik terugschreef:
Dank u wel voor uw snelle reactie. Ik wil nog even herhalen dat ik uw globale evaluatie van de studies met genoegen heb gelezen. Aangezien men gebruik maakte van verschillende studieontwerpen die vooringenomenheid in de hand werken, is het wellicht onvoorzichtig of onverstandig om volksgezondheidsbeleid of geneeskundig beleid te baseren op wetenschappelijk onderzoek waar zo veel aan hapert.
Kan u me, in verband met de studie over het Lightning Process, laten weten hoe u van plan bent om het probleem aan te pakken? Dit onderzoek vertoont ernstige gebreken en zou niet geciteerd mogen worden als legitiem wetenschappelijk onderzoek. Ik vind dat de citaten en de referenties naar de studie uit de review verwijderd zouden moeten worden.
Een minder, maar aanvaardbaar alternatief zou zijn dat aan de lezers duidelijk wordt gemaakt dat er ernstige overtredingen gedocumenteerd zijn en dat die erkend zijn door Archives in de noot van de redactie, hoewel het vakblad de zaak tot dusver niet heeft opgelost. De redenen hiervoor blijven onduidelijk, maar Archives en BMJ hebben de duidelijke indruk gewekt dat ze meer bekommerd zijn om het vermijden of het beperken van schade aan hun reputatie dan om het beschermen van kinderen tegen de mogelijk schadelijke effecten van slecht onderzoek.
Nogmaals dank. Zoals ik al vermeldde, is het jammer dat Archives en BMJ u in deze netelige situatie hebben gebracht. Het kan echt niet goedgepraat worden dat een noot van de redactie gepost wordt op een plaats die geen enkele lezer van de paper in kwestie kan vinden. Ik veronderstel dat u de noot van de redactie wellicht niet had gezien. Klopt die veronderstelling?
Ik hoop dat er binnenkort, op basis van deze informatie, enkele wijzigingen aan de review zullen worden aangebracht.
Vriendelijke groet, David
**********
Ik kreeg dezelfde dag opnieuw antwoord van Professor Shafran, die me beloofde om de zaak met haar coauteurs te bespreken. Ik reageerde opnieuw met:
Bedankt. Dat apprecieer ik echt. De mensen die deze behandelingen opdringen, blijven erop drukken dat de diverse studies, zoals de PACE-studie, goed onderbouwd zijn, terwijl dit overduidelijk niet het geval is. Ik krijg kop noch staart aan het gedrag van BMJ, The Lancet en al diegenen die betrokken zijn bij het uitvoeren en publiceren van deze gebrekkige studies.
De studie over het Lightning Process in het bijzonder zou wel eens een geval kunnen zijn van wetenschappelijk wangedrag. Ik snap niet hoe het kan dat onderzoekers in hun paper vergeten te vermelden dat ze meer dan de helft van hun proefpersonen al gerekruteerd hadden voordat de studie geregistreerd werd, en dat ze hun uitkomstmaten omwisselden op basis van de eerste resultaten. Het niet-vermelden van cruciale en relevante informatie kan zeker gezien worden als een vorm van wetenschappelijk wangedrag, volgens eender welke normale definitie.
Het Comité voor Publicatie-Ethiek besprak een geval dat klinkt alsof het gaat om de LP-studie. De vermeldde data komen niet helemaal overeen, maar misschien werden die veranderd om het geval anoniem te houden. Daarnaast lijken de gedocumenteerde feiten samen te vallen met de details op de website van het COPE-Forum:
Als dit geval effectief gaat over de studie over het Lightning Process, dan ziet het ernaar uit dat ze binnenkort ingetrokken zal moeten worden, of toch volgens het verslag van het COPE-Forum. Ik heb echter nog geen bevestiging gekregen of dit COPE-geval in feite gaat over de LP-studie, dus we kunnen er op dit moment enkel over speculeren…
**********
Ik ben benieuwd hoe Professor Shafran en haar collega’s uiteindelijk zullen reageren op de bedenkingen. Aangezien hun systematische review doet vermoeden dat ze deze studies benaderen met een zeker scepsis, heb ik er goede hoop op dat ze de juiste weg zullen inslaan. We zullen zien.
© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.
Trial By Error: FOI-antwoord uit Bristol over LP-studie; correctie in BJGP over SOLK
David Tuller, DrPH, Virology Blog, 1 juli 2019
UPDATE OP DE DAG ZELF:
Ik heb een vervolgaanvraag verstuurd naar het FOI*-bureau van University of Bristol. [ *FOI = Freedom of Information of Vrijheid van Informatie: elke burger heeft het recht om informatie op te vragen bij bepaalde overheidsinstellingen, n.v.d.r. ] In CC zette ik Sue Paterson, directeur van de juridische dienst van de universiteit. Dit is wat ik schreef:
Geacht FOI-Bureau (en Mevrouw Paterson),
Ik apprecieer de reactie op mijn vragen uit de hierboven aangehaalde aanvraag. Die aanvraag ging over de pediatrische studie over het Lightning Process, uitgevoerd door onderzoekers van Bristol University, onder leiding van Professor Esther Crawley. De studie werd in september 2017 gepubliceerd door Archives of Disease in Childhood, en had als titel: “Clinical and cost-effectiveness of the Lightning Process in addition to specialist medical care for paediatric chronic fatigue syndrome: randomised controlled trial.” [Klinische en kosteneffectiviteit van Lightning Process in aanvulling op gespecialiseerde medische zorg voor pediatrisch chronisch vermoeidheidssyndroom: gerandomiseerde gecontroleerde trial]
Ik ben niet ontevreden met de antwoorden, dus dit is geen beroepschrift, maar eerder een opvolging.
Ik wil in het bijzonder reageren op het antwoord op Vraag nr. 2 van mijn vorige aanvraag. Ik ben specifiek op zoek naar de reeks antwoorden die de onderzoekers van de studie over het Lightning Process overmaakten aan Archives of Disease in Childhood, als reactie op de bedenkingen die het vakblad aanhaalde over de uitvoering en rapportage van de studie.
In reactie op mijn vorige aanvraag, nl. FOI19238, gaf u aan dat de onderzoekers geen kopie van deze antwoorden aan Archives of Disease in Childhood hadden overgemaakt aan de universiteitsbeambten. In die FOI-indiening was mijn verzoek om het document zelf gebaseerd op het antwoord op die vraag, dus ik begrijp waarom het niet werd verstrekt.
Via deze aanvraag zou ik het document willen ontvangen, ook al werd het blijkbaar niet formeel gedeeld met universiteitsbeambten. Het document wordt duidelijk bewaard in Bristol door één of meer leden van het onderzoeksteam dat de studie uitvoerde en uitschreef. Ik zou er dus graag een kopie van ontvangen, ook al hebben universiteitsbeambten het document tot op heden niet officieel gezien.
Bedankt voor uw reactie.
Vriendelijke groet, David Tuller
David Tuller, DrPH
Senior Fellow in Volksgezondheid en Journalistiek
Center for Global Public Health
School of Public Health
University of California, Berkeley
**********
Onlangs diende ik een FOI-aanvraag in over de mesthoop waarnaar meestal verwezen wordt als de studie over het Lightning Process. Even ter herhaling: de onderzoekers, onder leiding van Professor Esther Crawley, rekruteerden meer dan de helft van de deelnemers voordat de studie was geregistreerd, wisselden uitkomstmaten om op basis van de eerste resultaten, en vermeldden deze belangrijke details niet in de gepubliceerde paper.
Hiermee werden ethische en methodologische kernprincipes van wetenschappelijk onderzoek met voeten getreden, en daarom hoort de studie niet thuis in de gepubliceerde literatuur. Zoals ik herhaaldelijk heb aangehaald, moet de studie ingetrokken worden en moet er vervolgens een onderzoek worden ingesteld naar mogelijk wetenschappelijk wangedrag. Tot hiertoe hebben BMJ en Bristol niet voldaan aan hun toezichtsfunctie, en ik kan alleen maar veronderstellen dat dit komt omdat ze schade aan hun reputatie willen vermijden.
Deze doorluchtige instituten hebben ervoor gekozen om de problemen in deze paper niet op te lossen, en geven zo blijk van een uitzonderlijk gebrek aan belangstelling voor het bevorderen van de gezondheid en het welzijn van kinderen die lijden aan een slopende en gestigmatiseerde ziekte. Ze hebben hun befaamde merk laten misbruiken om een zweverige behandeling te promoten die gecreëerd werd door een expert in Tarot die beweert dat hij ziektes kan diagnosticeren via aura’s en dat hij “in andere mensen hun lichaam kan stappen” om hen te genezen. Oké, dan.
In mijn FOI-aanvraag, stelde ik volgende vragen:
- Stelden de onderzoekers de universiteit op de hoogte van het feit dat Archives of Disease in Childhood, dat de paper uit 2017 publiceerde, ernstige bedenkingen had geuit over de studie?
- Gaven de onderzoekers aan de universiteit hun formele reactie die ze aan het vakblad hadden gegeven, en zo ja, kan de universiteit mij een kopie bezorgen?
- Heeft de universiteit een doorlichting of onderzoek ingesteld van zodra deze bedenkingen aan het licht kwamen, en zo ja, kan u me een kopie bezorgen van de resultaten van de bevindingen?
Vorige week ontving ik een antwoord. Ik kwam het volgende te weten:
- De universiteit werd op 8 februari 2018 op de hoogte gesteld van het feit dat het vakblad ernstige bedenkingen had geuit over de studie. (Ik documenteerde de tekortkomingen van de studie in een post op Virology Blog in december 2017. In de daaropvolgende maand stuurde Professor Racaniello de open brief van Virology Blog, ondertekend door 21 experts, naar Archives of Disease in Childhood.)
- De onderzoekers, onder leiding van Professor Esther Crawley, gaven de universiteit geen kopie van hun uiteindelijke antwoorden op de vragen van het vakblad. Dat zou wellicht kunnen betekenen dat de universiteit niet veel moeite deed om ze te zien te krijgen. (Ik ben van plan om een nieuw verzoek in te dienen voor deze antwoorden; of het document nu wel of niet bekeken is door universiteitsbeambten, het is duidelijk dat één of meer leden van het team van onderzoekers van Bristol het in hun bezit hebben.)
- Ondanks de ernst van de gestelde vragen, besliste de universiteit om geen eigen onderzoek in te stellen om te bepalen wat er met deze studie was gebeurd. (Alhoewel nr. 3 twee vragen omvatte, werd er slechts met één woord geantwoord: “Neen.” Ik begrijp daaruit dat de universiteit geen onderzoek instelde, niet dat het er één instelde, maar me de resultaten ervan niet wil geven.)
Het is bijzonder verontrustend dat het Bristol weinig lijkt te kunnen schelen of faculteitsleden de gepaste procedures al dan niet volgen tijdens het uitvoeren van hun onderzoek. Ongeveer op hetzelfde moment als toen ik vragen begon te stellen over de studie over het Lightning Process, begon ik ook met mijn verslaggeving over de grote problemen in de schoolafwezigheidsstudie van professor Crawley uit 2011, gepubliceerd in BMJ Open. Die studie stelde zichzelf vrij van ethische review op de misleidende grond dat het zou gaan om een “dienstevaluatie”. Ondanks de gedocumenteerde methodologische en ethische overtredingen in twee grote studies die geleid werden door Professor Crawley, vond Bristol het dus niet nodig om een onderzoek in te stellen.
Zoals ik eerder al rapporteerde, is Bristol bezig met een onderzoek van een aantal papers van het team van Professor Crawley. Deze studies stelden zichzelf, net zoals het project over afwezigheid op school, vrij van ethische review via gelijkaardige verdachte redeneringen. Maar universiteitsbeambten begonnen pas met hun onderzoek nadat de Health Research Authority, de afdeling van de National Health Service die toezicht houdt op onderzoeksethiek, de zaak op mijn vraag onder de loep nam en hen dwong tot actie over te gaan – niet toen ik de kwestie voor het eerst aankaartte.
Het reviewpanel bestaat uit twee experts van Bristol die geen connecties hebben met Professor Crawley of haar departement, samen met een derde persoon die geen banden heeft met Bristol. De afronding van de review stond gepland voor eind juni – dat wil zeggen, gisteren – en zou dan overgedragen worden aan de HRA. Op dat moment zou, op basis van de bevindingen, een beslissing worden genomen over wat er verder zou moeten gebeuren.
Vorige week liet de HRA me weten dat het nog geen rapport had ontvangen van Bristol, maar dat het dit binnenkort wel verwachtte. Laat ons hopen dat de panelleden zich verplicht voelden om hun werk goed te doen en de gebreken objectief te evalueren, in plaats van diegenen te beschermen die er onaanvaardbare onderzoeksmethodes op na houden. Bristol kan wat hier gebeurd is, echt niet vergoelijken, maar dat betekent alleszins niet dat de universiteit het niet zal proberen, want dat hebben ze jammer genoeg al vaker gedaan.
**********
Het British Journal of General Practice heeft intussen een correctie aangebracht aan de foute beweringen in hun redactioneel artikel uit 2017 over de kostprijs voor de NHS van zogenaamde “somatisch onverklaarde lichamelijke klachten”, samen met een nota die blijk geeft van de correctie.
https://bjgp.org/content/67/656/106
De correctie gaat over een foute citatie van Bermingham et al., een belangrijke studie uit 2010, die vond dat de kostprijs van de zorg voor Engelse mensen in de werkende leeftijd met een SOLK-diagnose een hap van ongeveer 10% nam uit het NHS-budget voor die leeftijdscategorie. Professor Carolyn Chew-Graham van Keele University, de hoofdauteur van het redactionele artikel, en enkele van haar collega’s, hebben in plaats daarvan herhaaldelijk beweerd dat deze kostprijs neerkwam op 10% van het totale NHS-budget (of 11% in het redactionele artikel in BJGP) – een drastische overdrijving. Aangezien deze mensen zichzelf voordoen als de experts van dit vakgebied, is het verbijsterend hoe slecht ze zijn in het citeren van een belangrijke studie. Je kan je dan ook de vraag stellen waarom iemand nog nota zou moeten nemen van hun beleidsvoorschriften in verband met de behandeling van SOLK.
Deze voorstellen omvatten, onder andere, de verdere uitbreiding van het problematische programma dat bekend staat als Improving Access to Psychological Therapies, of IAPT [Toegang tot Psychologische Therapieën Verbeteren, n.v.d.r. ]. De veronderstelling achter deze uitbreiding is, dat als je iedereen met de diagnose SOLK naar cognitieve gedragstherapie en aanverwante behandelingen stuurt, dat niet enkel medisch aangewezen is, maar dat het ook zal leiden tot significante besparingen. Maar blijkbaar kunnen we er niet op vertrouwen dat deze mensen statistieken correct citeren. Aangezien Professor Chew-Graham geen gevolg gaf aan mijn vorige brief over de fout in het redactionele artikel in BJGP, is het ook duidelijk dat we er niet op kunnen vertrouwen dat zij en anderen hun als fout bewezen uitspraken corrigeren. Waarom zouden we dan moeten geloven dat eender wat zij zeggen, gebaseerd is op betrouwbare data?
Zoals ik eerder al zei, vind ik dat de correctie van BJGP een verklaring had moeten bevatten over hoe deze fout is kunnen gebeuren en waarom Professor Chew-Graham ervoor koos om niet op de kwestie te reageren toen ik haar er in januari over schreef – vooral aangezien ik op dat moment aanduidde dat ik de kwestie ook onder de aandacht van het vakblad zou brengen. Ondanks dit alles vind ik het fijn dat Professor Roger Jones, redacteur van BJGP, gedaan heeft wat hij beloofd had, en dat de correctie zelf duidelijk bovenaan het redactionele artikel werd gezet.
Ik zal van deze ontwikkeling gebruik proberen te maken om elders correcties te vragen van dezelfde fout. Een heel aantal toonaangevende mensen in dit onderzoeksveld hebben eveneens laten zien dat ze niet in staat zijn om correct te verwijzen naar een belangrijke studie in hun zogenaamde expertisegebied. En BJGP is niet het enige vakblad waarin Professor Chew-Graham zelf deze foute informatie over SOLK-kosten verspreidt onder een professioneel publiek. Dit is bijvoorbeeld wat ze schreef in een blogpost op de website van Keele:
“SOLK is in feite goed voor een aanzienlijk deel van de NHS-activiteiten, waarbij ongeveer 10% van de totale NHS-uitgaven gespendeerd wordt aan diensten voor de Engelse populatie in de werkende leeftijd met somatisch onverklaarde lichamelijk symptomen.”
Professor Chew-Grahams redactionele artikel is intussen gecorrigeerd, maar waarom heeft ze dan deze al even foute uitspraak op haar universiteitsblog niet verbeterd? (Het is onduidelijk waarom ze hier 10% vermeldde en in het Bjpg-artikel 11%.) Professor Chew-Grahams verbluffende dwaling staat in schril contrast met de verantwoordelijke manier waarop BJGP actie ondernam. Wil ze nu echt dat ik nóg een ronde e-mails verstuur, met in CC meerdere mensen die geïnteresseerd zijn in de kwestie, waarin ik zal moeten aanhalen dat het feit dat ze haar blogpost blijkbaar onaangeroerd wil laten, de indruk geeft dat ze lijdt aan een gebrek aan professionele integriteit? Wie zal het zeggen…
© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.
Trial By Error: mijn brief aan Professor Chew-Graham over de kostprijs van SOLK
David Tuller, DrPH, Virology Blog, 1 juli 2019
Professor Carolyn Chew-Graham van Keele University heeft op verschillende plaatsen een onjuiste voorstelling gemaakt van de gerapporteerde kostprijs voor de NHS van zogenaamde “somatisch onverklaarde lichamelijke klachten”. Professor Roger Jones, redacteur van het Britse Journal of General Practice, corrigeerde onlangs zo’n onjuiste voorstelling in een redactioneel artikel uit 2017, geschreven door Professor Chew-Graham en meerdere collega’s. (Bedankt, Professor Jones!)
Nu die BJGP-correctie is gepost, vraag ik Professor Chew-Graham met aandrang om dezelfde fout in andere artikels te verbeteren. Enkele van haar collega’s hebben gelijkaardige fouten gemaakt; ik heb enkele van hen in CC gezet. Ik vind het wel vreemd dat diegenen die zichzelf voorstellen als leiders in dit veld het zo moeilijk vinden om een belangrijke studie uit hun vakgebied van zogezegde expertise correct te citeren. Aangezien ze niet in staat lijken om eenvoudige statistische informatie te begrijpen, kan je je de vraag stellen waarom iemand nog zou moeten luisteren naar hun beleidsadviezen.
Hieronder staat de brief die ik eerder vandaag per e-mail naar Professor Chew-Graham stuurde.
**********
Geachte Professor Chew-Graham,
Zoals u ongetwijfeld weet, heeft British Journal of General Practice intussen haar verantwoordelijkheid opgenomen door een foute uitspraak te corrigeren in een redactioneel artikel uit 2017, geschreven door uzelf en enkele coauteurs. Die foute bewering ging over de gerapporteerde kostprijs voor de National Health Service van zogenaamde “somatische onverklaarde lichamelijke klachten”.
Eerlijk gezegd was ik nogal verbaasd dat u ervoor koos om geen stappen te ondernemen nadat ik u eerder dit jaar op de hoogte stelde van de kwestie. Die brief richtte zich vooral op de tekortkomingen van het METRIC-opleidingsprogramma voor huisartsen over ME/CVS, dat ontwikkeld werd door u en uw collega’s onder auspiciën van het Royal College of General Practitioners. In de brief wees ik echter ook op uw onjuiste beweringen over de kostprijs van SOLK en gaf ik aan dat ik van plan was om contact op te nemen met BJGP in verband met de zaak.
Toen ik BJGP-redacteur Professor Roger Jones voor het eerst benaderde, suggereerde hij dat er misschien geen correctie nodig was omdat de geciteerde data tien jaar oud waren. Dit antwoord had ik niet verwacht en ik vond het ietwat verwonderlijk, vooral omdat uw artikel pas twee jaar geleden werd gepubliceerd. Professor Jones suggereerde ook dat ik één of twee “korte” zinnen zou insturen en dat het vakblad eventueel zo goed zou zijn om die te publiceren.
Ik wees dit aanbod van de hand, omdat ik het ongepast vond. Het is allicht de taak van vakbladen en auteurs om hun eigen fouten te verbeteren; het is niet de verantwoordelijkheid van diegenen die hen op de fouten hebben gewezen. Mijn enige doel was het beschermen van de integriteit van de medische literatuur door ervoor te zorgen dat u en/of BJGP het probleem zouden oplossen; ik had helemaal geen interesse in een gepubliceerde brief in het vakblad die geen mens zou lezen. Ik apprecieer heel erg dat Professor Jones het over een andere boeg gooide en deed wat gedaan moest worden.
Gezien de gang van zaken dacht ik dat u misschien uit uzelf zou overgaan tot correctie van een tweede artikel, waarin u een vergelijkbaar foute uitspraak deed – een blogpost op de website van het Research Institute for Primary Care and Health Sciences van Keele University. Misschien was het naïef van mij om te denken dat u dat zou doen. Misschien is het corrigeren van overduidelijke fouten in dit onderzoeksdomein niet meteen een prioriteit voor u en andere Britse onderzoekers.
In elk geval is dit wat u schreef in die blogpost, op 21 februari 2017:
“SOLK is in feite goed voor een aanzienlijk deel van de NHS-activiteiten, waarbij ongeveer 10% van de totale NHS-uitgaven gespendeerd wordt aan diensten voor de Engelse populatie in de werkende leeftijd met somatisch onverklaarde lichamelijke symptomen.”
Zoals u weet is dit een compleet foute citatie van de studie in kwestie uit 2010, Bermingham et al. Die studie rapporteerde dat de kostprijs voor de National Health Service voor personen in de werkende leeftijd in Engeland neerkwam op ongeveer 10% van de NHS-uitgaven voor die leeftijdsgroep – niet 10% van de totale NHS-uitgaven. Aangezien Bermingham et al. een belangrijke studie is in het SOLK-veld, vind ik het verbijsterend dat de gerapporteerde bevindingen zo vaak fout geïnterpreteerd worden door diegenen die zichzelf deskundigen in dit domein noemen.
Deze valse bewering over gerapporteerde kosten wordt gebruikt om een specifiek volksgezondheidsbeleid te promoten, in het bijzonder de uitbreiding van het programma Improving Access to Psychological Therapies [ Toegang tot Psychologische Therapieën Verbeteren, n.v.d.r.]. Ik ga ervan uit dat u ook vindt dat het niet optimaal is om volksgezondheidsbeleid uit te stippelen op basis van foute informatie. Daarom vraag ik u met aandrang om de nodige stappen te ondernemen om de fout in uw blogpost voor Keele zonder verder uitstel aan te passen.
Ik heb in CC enkele onderzoekers gezet die in verschillende publicaties dezelfde fout hebben gemaakt: Professor Richard Byng van University of Plymouth, Professor Helen Payne van University of Hertfordshire, Dr. Richard Brown van University of Manchester en Dr. Susan Mizen, een adviserend psychiater van de NHS. Ik ben van plan om hen individueel te contacteren, en ervoor proberen te zorgen dat ze de nodige correctieve stappen ondernemen. Ik heb in CC ook Sarah Bermingham gezet, de hoofdauteur van Bermingham et al., van wie het werk zo vaak fout is voorgesteld, en Professor Vincent Racaniello, de microbioloog van Columbia University en beheerder van Virology Blog, waar ik het grootste deel van mijn rapportering over ME/CVS post.
Omwille van de vermeende band tussen ME/CVS en SOLK, en omwille van het feit dat men blijkbaar patiënten met die twee diagnoses wil afvoeren naar het IAPT-programma waar ze cognitieve gedragstherapie en aanverwanten krijgen, heb ik ook verschillende artsen in CC gezet die betrokken zijn bij de ontwikkeling van nieuwe richtlijnen voor ME/CVS onder auspiciën van het National Institute for Health and Care Excellence, alsook twee patiëntvertegenwoordigers uit dat NICE-comité. Tot slot heb ik Carol Monaghan in CC gezet. Zij is verontrust over de slechte kwaliteit van onderzoek naar ME/CVS, zoals bijvoorbeeld de studies die de basis vormden voor uw METRIC-opleidingsprogramma voor huisartsen.
Voor alle duidelijkheid: ik zal deze brief posten op Virology Blog. Ik dank u voor uw aandacht voor deze verontrustende kwestie.
Vriendelijke groet, David
David Tuller, DrPH
Senior Fellow in Volksgezondheid en Journalistiek
Center for Global Public Health
School of Public Health
University of California, Berkeley
© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.
Trial By Error: bedenkingen over SOLK en Bermingham; Brief aan Professor Payne
David Tuller, DrPH, Virology Blog, 8 juli 2019
In februari schreef ik een post waarin ik besprak hoe een basisbevinding van Bermingham et al., een studie uit 2010, herhaaldelijk fout werd voorgesteld in uitspraken over de kostprijs voor de National Health Service van zogenaamde “somatisch onverklaarde lichamelijke klachten”. De fout voorgestelde bevinding werd geciteerd door voorstanders van een NHS-initiatief dat mensen met het SOLK-label wil wegleiden uit gespecialiseerde medische zorg en wil doorsturen naar psychologische behandelingen. Deze aanpak van SOLK maakt deel uit van de uitbreiding van een NHS-programma dat Improving Access to Psychological Therapies heet [Toegang tot Psychologische Therapieën Verbeteren, n.v.d.r.].
De terechte bedenkingen over SOLK als klinisch concept terzijde gelaten, is het verontrustend dat foute informatie over NHS-kosten wijd verspreid en geciteerd wordt in het kader van volksgezondheidsdebatten en besluitvorming omtrent deze kwestie. Dat is de reden waarom ik druk begon uit te oefenen op enkele van de betrokkenen, zodat ze deze foute citaties van Bermingham et al. zouden corrigeren. Deze opdracht heeft meer voeten in de aarde dan nodig – ook al gaat het in deze gevallen om een onmiskenbare fout.
In Bermingham et al. wordt er zo goed als geen verschil gemaakt tussen de concepten SOLK en “somatisering”. De eerste paragraaf van het abstract bespreekt de prevalentie en ziektelast van “somatisch onverklaarde lichamelijke klachten”. Wanneer het abstract de tweede paragraaf bereikt, slaat de focus om, zonder verklaring of commentaar, naar de economische kost van wat het somatisering noemt. De paper merkt op dat men veronderstelt dat de onverklaarde symptomen “een somatische manifestatie vertegenwoordigen van psychologische stressfactoren, of abnormale activatie van zintuiglijke reactiepaden”. SOLK en somatisatie gebruiken alsof het wederzijds uitwisselbare termen zijn, is misplaatst.
Eén van de belangrijkste bevindingen van de paper is, dat de kosten voor behandeling van diegenen in de werkende leeftijd in Engeland waarbij SOLK is vastgesteld – d.w.z. diegenen waarbij somatisering is vastgesteld – neerkwam op 10% van wat de NHS had uitgegeven aan die demografische groep. En toch hebben een reeks SOLK-voortrekkers Bermingham et al. geciteerd om iets anders te verklaren, nl. dat deze kosten neerkwamen op 10% van het totale budget van de NHS (of 11%, in één geval). Het gevolg van deze fout is, dat de door Bermingham et al. gerapporteerde economische impact van SOLK drie keer groter lijkt dan hij is.
Deze onderzoekers hebben met andere woorden een belangrijke studie uit hun vakgebied fout geïnterpreteerd, en citeren opgekrikte cijfers die hun betoog onderbouwen. Dit verbijsterende collectieve gebrek aan wetenschappelijke geletterdheid zet vraagtekens bij de geloofwaardigheid van hun uitspraken over beleidsinitiatieven op gebied van volksgezondheid, zoals de uitbreiding van IAPT. (Merk ook op dat het cijfer van Bermingham et al. in andere gevallen wél correct werd geciteerd, o.a. door sommigen die het ook fout hebben geciteerd.)
**********
Hoewel ik correcties probeer te bekomen van foute beweringen over de resultaten van Bermingham et al., ben ik geen voorstander van de methodologie of de berekeningen die de studie gebruikt. Hoewel Bermingham et al. veel invloed hebben gehad, vertonen de data ernstige tekortkomingen die vaak over het hoofd worden gezien. Verder ben ik ook geen voorstander van wat de studie lijkt te veronderstellen, nl. dat alle gevallen van SOLK somatisering met zich meebrengen.
Vanuit het standpunt van Bermingham et al. is SOLK een nuttige, geldige en op zichzelf staande klinische categorie. Men trekt daaruit het gevolg dat aandoeningen en symptomen die op dit moment niet verklaard kunnen worden door de medische wetenschap, niet enkel onverklaard zijn, maar dat ze ook op vlak van pathofysiologie per definitie onverklaarbaar zijn, en dus een weerspiegeling zijn van het somatiseringsproces – of dat ze in elk geval voor analytische doeleinden op die manier beschouwd mogen worden.
Het strikt navolgen van deze benadering lijkt in te druisen tegen het gezond verstand. Doorheen de geschiedenis zijn ziekte en dood toegeschreven aan een brede waaier aan oncontroleerbare externe en interne fenomenen: hekserij, bezeten zijn door de duivel, miasma, zwervende baarmoeder, beweging van de hemellichamen, hypotheses rond psychologische processen (penisnijd e.d.). Velen daarvan, zo niet de meeste, zullen toendertijd wellicht nogal aannemelijk geklonken hebben. Maar steeds opnieuw duikt bewijs op van lichamelijke oorzaken van voordien onverklaarde of mysterieuze ziekten, waardoor vroegere theorieën en zekerheden onderuit worden gehaald.
Leden van de menselijke soort kunnen uiteraard lijden aan heel wat ongemakken en pijn waar de huidige medische zorg en praktijk geen antwoorden op heeft. Maar wat ik niet snap, is hoe deze kennishiaten doorheen verschillende wetenschappelijke gebieden op een overtuigende manier ingeroepen kunnen worden als bewijs voor een afgetekend en vaststaand studieobject dat de naam SOLK krijgt. Zijn diegenen die dit geloof belijden van mening dat we op vlak van diagnose en behandeling van complexe ziekten ons hoogtepunt qua vooruitgang en ontdekkingen al hebben bereikt?
Laat ons even, als denkoefening, veronderstellen dat sommige mensen hun “psychologische stress” misschien somatiseren, zoals Bermingham et al. beweren. Hoe kan men dan bepalen wie er somatiseert en wie er lijdt aan iets waarvoor de onderliggende lichamelijke oorzaak misschien nog gevonden kan worden? En als onverklaard lijden sowieso geïnterpreteerd wordt als somatisering, omdat er geen op dit moment bewezen onderliggende lichamelijke oorzaak aanwezig is, hoe waarschijnlijk het is het dan nog dat er naar een mogelijke lichamelijke oorzaak zal worden gezocht, laat staan dat er één wordt ontdekt?
Het lijkt wel of elke menselijke gewaarwording gelabeld kan worden als somatisering of als een voorbeeld van SOLK, in afwezigheid van een op dit moment bewezen onderliggende lichamelijke oorzaak. Bermingham et al. vernoemen tientallen aandoeningen overheen 19 medische vakgebieden waarbij volgens hen “somatisering een rol speelt”. Men lijkt hier geen rekening te houden met de kans dat sommige van deze aandoeningen in de toekomst wellicht volledig verklaard zullen kunnen worden, eens men een onderliggende lichamelijke oorzaak ontdekt. Het is niet automatisch zinvol om ze allemaal op één hoop te gooien, alsof ze als onderdeel van een uniforme categorie kunnen worden bekeken en behandeld.
Een interessante bevinding was, dat het grootste deel van de aan somatisering gerelateerde kosten in Bermingham et al. niet toegeschreven werden aan diegenen met het label somatiseringsstoornis. In de studie vond men nl. bij een ruime meerderheid van diegenen die somatiseerden “somatisering onder de drempelwaarden”. De paper beschrijft het als volgt: “De term ‘somatisering onder de drempelwaarden’ wordt gebruikt om te verwijzen naar eender welke somatiseringsstoornis waarbij symptomen niet voldoende talrijk of divers zijn om in aanmerking te komen voor een diagnose van somatiseringsstoornis… ‘Somatiseringsstoornis’ wordt gebruikt om patiënten te beschrijven die voldoen aan alle criteria voor de stoornis.”
Oké, dan. Heeft iedereen het gesnapt? De meeste mensen die worden voorgesteld als somatiseerders en die werden meegenomen in deze studie over de kostprijs van somatisering, hadden de stoornis in kwestie eigenlijk niet. In plaats daarvan vertoonden zij een mate van somatisering die ‘onder de drempelwaarden’ lag. Dus wat somatiseringsstoornis ook is, het gros van de informatie geanalyseerd in Bermingham et al. gaat over iets anders. Staat genoteerd.
Gezien de omstandigheden kunnen de gerapporteerde bevindingen in Bermingham et al. anders worden gekaderd. Volgens de data kwam de kostprijs voor het behandelen van mensen in de werkende leeftijd met het label somatiseringsstoornis neer op minder dan één miljard pond – tussen 3-4% van wat de NHS uitgaf aan die demografische groep. Als je het zo stelt, klinkt het opeens heel anders.
**********
Wat is het belang van dit alles? In de huidige en de zich ontwikkelende praktijk binnen de NHS, kan het label SOLK gegeven worden aan mensen die last hebben van een symptoom of symptomen die een huisarts of andere arts niet in medische of lichamelijke termen kan verklaren. Zelfs als ze, zoals gezegd wordt in Bermingham et al., slechts somatiseren ‘onder de drempelwaarden’, kunnen ze bestempeld worden als perfecte kandidaten voor psychotherapie via het IAPT-programma, en wordt hen afgeraden om gespecialiseerde medische hulp te vragen.
In het VK krijgen huisartsen bijscholing over SOLK en worden ze aangemoedigd om zogenaamde somatiseerders te herkennen en een uitgebreide zoektocht naar een medische verklaring voor hun klachten in de kiem te smoren. Deze benadering wordt door haar voorstanders voorgesteld als een besparing voor de volksgezondheid en een efficiënte manier om het medische budget te beheren. Als ik kijk naar de bedenkelijke kwaliteit van het onderzoek in dit veld, sta ik weifelachtig tegenover SOLK en somatisering en de verschillende beweringen die men hierover doet.
Hoe goed of slecht Bermingham et al. ook is, de studie wordt telkens opnieuw geciteerd in onderzoek dat gaat over de kostprijs van SOLK. En als de bevindingen dan toch geciteerd worden, dan moeten ze tenminste wel correct geciteerd worden. Dat betekent dat als er fout geciteerd is, men moet overgaan tot correctie.
In dat kader staat hieronder de brief die ik onlangs stuurde naar Professor Helen Payne van de School of Education aan de University of Hertfordshire – met een korte opvolging ter verduidelijking.
**********
Geachte Professor Payne,
Op 1 juli zette ik u in CC bij een brief die ik stuurde naar Professor Carolyn Chew-Graham van Keele University. Die brief ging over Professor Chew-Grahams herhaaldelijke foute citatie van een studie uit 2010, Bermingham et al., over de kostprijs voor de National Health Service van zogenaamde “somatisch onverklaarde lichamelijke klachten”. In de brief gaf ik aan dat ik van plan was om contact op te nemen met andere onderzoekers die dezelfde fout hebben gemaakt.
Bermingham et al. rapporteerden dat de kosten voor het behandelen van mensen in de werkende leeftijd in Engeland met een SOLK-diagnose neerkwam op 10% van de NHS-uitgaven voor die leeftijdsgroep. Maar in vele gevallen hebben onderzoekers de studie geciteerd om iets heel anders te zeggen, nl. dat deze kosten neerkwamen op 10% van alle NHS-uitgaven. Naar deze opgekrikte kostenraming werd verwezen tijdens debatten over volksgezondheid, zoals de uitbreiding van het NHS-programma dat Improving Access to Psychological Therapies heet.
Als ik me even mag voorstellen: ik ben een senior fellow in volksgezondheid en journalistiek aan het Center for Global Public Health van University of California, Berkeley. Sinds een paar jaar hou ik me bezig met onderzoek van en kritiek op een deel van het onderzoek op het gebied van ME/CVS, waaronder de PACE-studie. Ik heb over mijn bevindingen geschreven in meer dan 150 posts en artikels op Virology Blog, een veel gelezen website die beheerd wordt door Professor Vincent Racaniello, een microbioloog aan Columbia University.
De laatste tijd hou ik me bezig met een deel van de literatuur over SOLK, en ook met de uitbreiding van het IAPT-programma voor mensen met de diagnose ME/CVS, prikkelbaredarmsyndroom en andere complexe ziektes. Net als bij de studies over ME/CVS, lijken onderzoekers hierover nogal wat ongefundeerde beweringen te doen. De vaak voorkomende foute citatie van Bermingham et al. is hier een goed voorbeeld van.
Ik stelde Professor Chew-Graham voor het eerst op de hoogte van deze belangrijke fout, in een brief die ik haar in januari stuurde. Aangezien daar geen reactie op kwam, nam ik rechtstreeks contact op met het British Journal of General Practice, en verzocht ik om een correctie van een redactioneel artikel uit 2017 waarvan zij de hoofdauteur was. Die correctie is eindelijk gepost, samen met een nota op een voldoende zichtbare plaats. In de brief die ik deze maand naar Professor Chew-Graham stuurde, vroeg ik haar met aandrang om dit op te volgen door een correctie door te voeren in een artikel over SOLK dat ze datzelfde jaar schreef op een blog van Keele University.
Er is ook een gelijkaardige foute citatie van Bermingham et al. opgedoken in twee van uw eigen publicaties. Een paper uit 2017 in Health Research Policy and Systems bevatte het volgende: “Deze aandoeningen kostten volgens Bermingham et al. £18 miljard in 2008, en £3.1 miljard daarvan werd betaald door NHS, wat neerkomt op ongeveer 10% van het NHS-budget.” Deze uitspraak is geen juiste beschrijving van Bermingham et al. en moet gecorrigeerd worden.
In een paper van het daaropvolgend jaar in Frontiers in Psychology, schreven u en uw coauteur: “Met ongeveer £11.64 miljard kostte het ongeveer 10% van het volledige budget voor 2015/16 van de Engelse National Health Service (NHS).” Terwijl de vorige zin Bermingham et al. citeert, wordt er geen specifieke referentie gegeven voor de kostenraming van £11.64 miljard. Het ziet er eerder naar uit dat dit cijfer berekend werd door 10% te nemen van het totale NHS-budget van dat jaar, niet de som die gespendeerd werd aan de bevolking in de werkende leeftijd. In elk geval moet deze uitspraak gecorrigeerd worden.
Ik dank u voor uw snelle aandacht voor deze kwestie. Een gedegen volksgezondheidsbeleid kan enkel ontwikkeld worden op basis van integere en robuuste gepubliceerde literatuur. Dat is de reden waarom deze ontegensprekelijk foute, maar mogelijk invloedrijke citatie van Bermingham et al. onmiddellijk gecorrigeerd moet worden op de verschillende plaatsen waar ze verschenen is.
Gezien het belang van deze kwestie zet ik verschillende mensen in CC bij deze e-mail. Die mensen zijn: redacteurs van Health Research Policy and Systems en Frontiers in Psychology, de twee vakbladen in kwestie; Professor Chew-Graham en anderen die dezelfde fout hebben gemaakt; Sarah Bermingham, de hoofdauteur van Bermingham et al.; vier artsen die betrokken zijn bij het initiatief van het National Institute for Health and Care Excellence om nieuwe richtlijnen voor ME/CVS op te stellen, alsook twee patiëntvertegenwoordigers van het NICE-comité; Parlementslid Carol Monaghan, die verontrust is over de slechte kwaliteit van ME/CVS-onderzoek; en Professor Racaniello, die Virology Blog beheert. (Ik ben ook van plan om de brief te posten.)
Vriendelijke groet, David
David Tuller, DrPH
Senior Fellow in Volksgezondheid en Journalistiek
Center for Global Public Health
School of Public Health
University of California, Berkeley
**********
Zodra ik de brief op Facebook had gepost, merkte een lezer een verwarrend punt op over Professor Chew-Grahams foute beweringen. Ik herlas wat ik erover had geschreven. Het was niet echt fout. Maar het was ook niet echt juist. Aangezien ik van anderen vraag dat ze rekenschap afleggen voor hun fouten, vond ik dat ik de kwestie aan Professor Payne en de andere bestemmelingen moest verduidelijken. Dit is het opvolgingsbericht dat ik stuurde:
.
Geachte Professor Payne,
Ik zou wat meer duidelijkheid willen scheppen in iets wat ik eerder schreef. De verwoording deed vermoeden dat Professor Chew-Graham Bermingham et al. tweemaal fout had voorgesteld, waardoor het leek alsof de kosten voor SOLK bij de bevolking in de werkende leeftijd neerkwamen op 10% van de totale uitgaven van de NHS. Dit klopt niet helemaal. Oorspronkelijk stelde haar redactionele artikel in het British Journal of General Practice, dat intussen gecorrigeerd werd, dat deze kosten neerkwamen op 11% van de totale NHS-uitgaven, niet 10% van de totale NHS-uitgaven.
Ik had dat punt expliciet moeten verduidelijken. Mijn excuses dat ik dit niet heb gedaan.
Vriendelijke groet, David
© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.
Trial By Error: ons contact met vakblad BMJ over “correctie” LP-studie
David Tuller, DrPH, Virology Blog, 15 juli 2019
Update op dezelfde dag:
Ik stuurde ons antwoord op Dr. Browns brief (zie onder) door naar Dr. Fiona Godlee, BMJ’s redactioneel directeur. Bovendien zette ik andere mensen in CC bij mijn e-mail aan Dr. Godlee. Ik schreef het volgende:
Beste Fiona,
Dr. Brown, hoofdredacteur van Archives of Disease in Childhood, stuurde Professor Racaniello en mij vorige donderdag een bericht over de resultaten van de grondige evaluatie van de studie over het Lightning Process. Professor Racaniello stuurde Dr. Brown deze ochtend ons antwoord daarop. Ik stuur u een kopie van dat antwoord.
Zoals u weet, overtraden de onderzoekers van de studie over het Lightning Process het BMJ-beleid over prospectieve studieregistratie, selecteerden ze hun primaire uitkomst pas na rekrutering en dataverzameling van de helft van hun deelnemers, en vermeldden ze deze details niet in de gepubliceerde paper. Dus wij juichen toe dat het vakblad de gedocumenteerde fouten in de studie erkent. Dat men echter besliste om de paper te herpubliceren, maar de oorspronkelijke bevindingen liet staan, is onaanvaardbaar en mogelijk schadelijk voor kinderen, zoals we uitleggen in onze brief.
Ik stuur ons antwoord ook door naar enkele mensen die betrokken zijn bij de zaak, en die in CC stonden bij eerdere brieven over deze kwestie: Sue Paterson, directeur van de juridische dienst van Bristol University; Professor Alan Montgomery, de seniorauteur van de studie over het Lightning Process; vier artsen die betrokken zijn bij de ontwikkeling van nieuwe ME/CVS-richtlijnen onder auspiciën van het National Institute for Health and Care Excellence; twee patiëntvertegenwoordigers uit het NICE-comité in kwestie; Dr. Terry Segal, seniorauteur van een recente systematische review die de studie over het Lightning Process vermeldde; Tom Whipple, een wetenschapsreporter voor The Times die over ME/CVS geschreven heeft; Professor Chris Ponting, vicevoorzitter van het CFS/ME Research Collaborative; Parlementslid Carol Monaghan, die gealarmeerd is over de slechte kwaliteit van veel ME/CVS-onderzoek; en Professor Racaniello.
Vriendelijke groet,
David
David Tuller, DrPH
Senior Fellow in Volksgezondheid en Journalistiek
Center for Global Public Health
School of Public Health
University of California, Berkeley
*****
In december 2017 schreef ik een lange post over de methodologische en ethische overtredingen die een team van onderzoekers van Bristol University beging tijdens de uitvoering en rapportage van een pediatrische studie over het Lightning Process. De studie werd drie maanden eerder gepubliceerd door Archives of Disease in Childhood, een BMJ-vakblad, onder volgende titel: “Klinische en kosteneffectiviteit van Lightning Process in aanvulling op gespecialiseerde medische zorg voor pediatrisch chronisch vermoeidheidssyndroom: gerandomiseerde gecontroleerde studie”.
De problemen die ik in de post aankaartte, gingen over retrospectieve registratie, uitkomstenverwisseling en het feit dat deze belangrijke details niet vermeld werden in de gepubliceerde paper. Op 30 januari 2018 stuurde Professor Racaniello een bezorgde brief naar Dr. Nick Brown, de hoofdredacteur van het vakblad, met handtekeningen van meer dan 20 experts (waaronder van mezelf).
Dr. Brown beloofde om de zaak onder de loep te nemen, en hij hield woord. Op 19 juni 2018 postte het vakblad een noot van de redactie, waarin de gegrondheid van de aangekaarte problemen werd bevestigd en uitgelegd werd dat de situatie onder “redactionele beschouwing” stond, aangezien er “verduidelijkingen” gegeven waren door de onderzoekers. Spijtig genoeg was de noot van de redactie niet zichtbaar vanuit de paper zelf, dus de meeste lezers zouden ze wellicht niet te zien krijgen.
Ik benadrukte herhaaldelijk in blogposts en privéberichten dat de noot van de redactie ergens weggemoffeld stond. Vorig jaar in oktober ontving ik uiteindelijk een kort bericht van Dr. Fiona Godlee, redactioneel directeur van BMJ. Dr. Godlee suggereerde dat de “systemen” van de organisatie het de IT-ers er niet makkelijk op maakten om het probleem aan te pakken – maar ze verzekerde me wel dat ze zou zien wat ze kon doen. Blijkbaar was ze niet in staat om iets te doen, aangezien de noot van de redactie nooit van plek is veranderd.
Vorige donderdag ontvingen Professor Racaniello en ik een e-mail van Dr. Brown. Hij deelde ons mee dat er net een “gecorrigeerde” versie van de studie over het Lightning Process gepost was, samen met een lange correctienota en een nieuwe noot van de redactie, waarin de wijzigingen nader werden verklaard. Hij bedankte ons ervoor dat we het probleem aan het vakblad hadden voorgelegd. Ik heb dat bericht hieronder gepost, gevolgd door onze reactie, die Professor Racaniello me deze ochtend doorstuurde.
Ik beschouw het als een enorme overwinning dat Archives of Disease in Childhood erkent dat alles wat ik gedocumenteerd had, klopt. De correctienota zelf is buitengewoon lang en haalt buitengewoon veel punten aan die besproken moeten worden. Maar het feit dat BMJ de onderzoekers toelaat om hun oorspronkelijk gerapporteerde bevindingen opnieuw te bekrachtigen, ondanks de methodologische en ethische overtredingen die de studie hadden moeten diskwalificeren, wijst op een verbijsterend gebrek aan redactionele verantwoordelijkheidszin.
**********
Geachte Professor Racaniello en Dr. Tuller,
Nogmaals bedankt aan u beiden om ons op de hoogte te stellen van uw bedenkingen over deze paper.
Nadat we uw commentaren als gegrond hadden erkend, zijn we begonnen met het (uiterst ongewoonlijke) proces van volledig hernieuwde review van de paper, zowel op vlak van methodologie als op vlak van statistiek.
Tijdens dit proces werd duidelijk dat een aantal facetten van het manuscript aangepakt en verduidelijkt dienden te worden. Om tot een bevredigend resultaat te komen voor zowel de reviewers als onszelf, was er nood aan een heel aantal versies, meerdere discussies en een aanzienlijke hoeveelheid tijd.
Onze conclusie, kort gezegd, was dat de problemen inderdaad, zoals u suggereerde, de publicatie rechtvaardigden van een gecorrigeerde versie, die de plaats zou innemen van het origineel. Uit beleefdheid wilden wij u graag laten weten dat deze versie (letterlijk) net ‘live’ is gegaan. De nieuwe (gecorrigeerde) versie is voorzien van links naar zowel een volledige correctienota (waarin elke wijziging van het origineel is opgelijst) en een noot van de redactie, die gedetailleerd bespreekt welke beslissingen geleid hebben tot het reviewproces en wat de tijdspanne was waarin het proces werd ondernomen.
Nogmaals dank voor uw commentaren en voor uw geduld tijdens het (onvermijdelijk) lange proces.
Nick Brown
**********
Geachte Dr. Brown,
Bedankt voor uw brief. Wij zijn blij te horen dat Archives of Disease in Childhood een correctie en noot van de redactie heeft gepubliceerd, waarin bevestigd wordt wat Virology Blog in december 2017 documenteerde, nl. dat de onderzoekers van de studie over het Lightning Process het BMJ-beleid overtraden omtrent prospectieve studieregistratie, uitkomstmaten omwisselden nadat ze al data hadden over de eerste deelnemers, en dat ze deze belangrijke details niet vermeldden in de gepubliceerde paper.
Het verbaast ons echter dat u vindt dat deze bedenkingen aanpakken slechts een kwestie is van “verduidelijking” en dat u dus de gerapporteerde bevindingen van de studie hebt laten staan. Deze beslissing doet vragen rijzen bij vroegere uitspraken van BMJ-bestuurders over de cruciale rol van prospectieve studieregistratie, met het oog op het vrijwaren van de integriteit van de gepubliceerde literatuur. Wij geven u graag enkele voorbeelden:
- In 2013 getuigde Dr. Godlee voor het Comité voor Wetenschap en Techniek van het Britse Lagerhuis over de inspanningen die BMJ doet om een beleid van nultolerantie te implementeren voor studies waarvoor rekrutering van deelnemers voorafging aan registratie. “Voor zover wij weten, hebben we in de laatste twee jaar geen enkele studie gepubliceerd die niet prospectief werd geregistreerd”, getuigde Dr. Godlee – een uitspraak die ze vandaag niet meer eerlijk zou kunnen doen.
- In een artikel uit 2017 besprak Dr. Elizabeth Loder, BMJ’s hoofd van onderzoek, hoe de medische en wetenschappelijke gemeenschap dit soort studies “naar de geschiedenisboeken” zou moeten verbannen. Eén oplossing hiervoor, zo stelde Dr. Loder voor, “zou kunnen zijn dat men dit zou behandelen als het onderzoeksequivalent van geneeskundige “Never Events”… Dit zijn ‘bijzonder schokkende medische fouten (zoals een operatie aan het verkeerde lichaamsdeel) die nooit zouden mogen gebeuren’.”
- Vorig jaar tweette Dr. Trish Groves, BMJ Opens vorige hoofdredacteur, het volgende: “Prospectieve registratie van #klinischestudies is geen administratieve rompslomp: er zijn goede ethische en wetenschappelijke redenen voor.”
In het geval van de studie over het Lightning Process lijkt u de registratiekwestie te bekijken als een “administratieve” vergissing die eenvoudig opgelost kan worden via een “verduidelijking”, terwijl de bevindingen zelf intact blijven. In dit geval neemt BMJ blijkbaar afstand van die “goede ethische en wetenschappelijke redenen” achter zijn principiële standpunt over studieregistratie, en heeft BMJ gekozen voor een meer opportune en flexibele benadering. In de noot van de redactie verklaart u dat niet voldoen aan de vereiste van prospectieve registratie geen reden is voor intrekking – maar u vertelt niet welke redenering er zit achter deze nonchalante interpretatie van het jarenlange BMJ-beleid.
Uw huidige stellingname is niet compatibel met de rechtlijnige, no-nonsense standpunten van Dr. Godlee, Dr. Loder en Dr. Groves. Zoals Dr. Loder in haar artikel uit 2017 opmerkte, zijn “klinische studies enkel betrouwbaar als ze prospectief geregistreerd werden en getrouw hun vooraf gespecificeerde uitkomsten rapporteren”. In een artikel in BMJ Open uit 2018 beschreven Dr. Loder en collega’s prospectieve registratie als “een belangrijk beschermingsmechanisme” tegen selectieve resultatenrapportering. De onderzoekers van de studie over het Lightning Process hebben niet enkel hun studie niet prospectief geregistreerd, maar ze hebben ook hun vooraf gespecificeerde uitkomsten niet “getrouw gerapporteerd”.
Deze onderzoekers wisselden primaire en secundaire uitkomsten om, nadat ze data hadden verzameld van de eerste deelnemers, die oorspronkelijk gerekruteerd werden voor een haalbaarheidsstudie en vervolgens meegenomen werden in de steekproef van de volledige studie. Voor de haalbaarheidsstudie werd schoolaanwezigheid op zes maanden vastgesteld als de primaire uitkomst, en zelfgerapporteerd fysiek functioneren op zes maanden als secundaire uitkomst. Aan het einde van de volledige studie gaf schoolaanwezigheid op zes maanden een nulresultaat – maar deze meting was intussen gedegradeerd tot secundaire uitkomst. De nieuwe primaire uitkomst, zelfgerapporteerd fysiek functioneren op zes maanden, gaf een positief resultaat.
De primaire uitkomst pas vaststellen nadat data van meer dan de helft van de deelnemers zijn verzameld, is problematisch in een klinische studie. Wat de intenties van de onderzoekers ook geweest mogen zijn, hun niet bekendgemaakte uitkomstenverwisseling zorgde ervoor dat ze een positief in plaats van een nulresultaat konden rapporteren voor hun primaire uitkomst. Het doet er niet toe of ze de uitkomstendata uit de haalbaarheidsstudie al geanalyseerd hadden voordat ze beslisten om de uitkomsten voor de volledige studie om te wisselen. Bij studies met een open onderzoeksopzet die voortgaan op zelfgerapporteerde metingen, zoals de studie over het Lightning Process, zijn de uitkomsttrends over het algemeen al duidelijk, lang voordat de data formeel zijn onderzocht.
In de noot van de redactie bespreekt u de uitgebreide en lange review van het vakblad over de meerdere problemen die over de studie zijn aangekaart. Met betrekking tot de uitkomstenwissel legt u uit dat het vakblad tijdens zijn review “bevestiging kreeg bij de auteurs dat de wijziging van de primaire uitkomst niet beïnvloed was door (positieve) bevindingen in de haalbaarheidsfase”.
Dat is een markante uitspraak. Van personen die mogelijk vooringenomen zijn, verwacht men veelal niet dat ze een onpartijdig en betrouwbaar antwoord zullen geven op de vraag of deze mogelijke vooringenomenheid hun besluitvorming heeft beïnvloed. Misschien vinden u en Dr. Godlee het aanvaardbaar en gepast om dat soort “bevestiging van de auteurs” als waar aan te nemen, terwijl u de overduidelijke impact negeert van hun methodologische beslissingen op de gerapporteerde resultaten. Wij vinden dit niet aanvaardbaar of gepast.
Iedereen weet dat de meeste mensen geen besef hebben van hun eigen vooringenomenheid, maar daarnaast mag nog eens herhaald worden dat deze onderzoekers in hun publieke versie van de feiten belangrijke informatie achterhielden over studieregistratie en uitkomstverwisseling. En in de gepubliceerde paper namen ze echt een loopje met de waarheid, door de studie voor te stellen alsof die prospectief geregistreerd was geweest, met vooraf bepaalde primaire en secundaire uitkomsten. Dit soort verdraaiingen wekken weinig vertrouwen in hun uitspraken over onpartijdigheid.
Archives of Disease in Childhood had deze paper nooit gepubliceerd, als deze twee grote fouten niet waren gemaakt: 1) De onderzoekers gaven de redacteurs geen correct verslag van hoe de studie was uitgevoerd; en 2) de onaanvaardbare tekortkomingen van de paper werden door het vakblad niet opgemerkt of aangepakt, ondanks hun plicht om de paper te onderwerpen aan een gedegen proces van peerreview en redactioneel toezicht.
Gezien de ontegensprekelijke feiten is het wetenschappelijk en ethisch onverdedigbaar dat BMJ besloten heeft om een “gecorrigeerde” versie van deze studie te publiceren die de oorspronkelijke bevindingen herbevestigt. Het is bovendien mogelijk schadelijk voor de gezondheid en het welzijn van kinderen.
Gezien het publieke belang, zal deze briefwisseling gepost worden op Virology Blog en doorgestuurd worden naar anderen die zich bezighouden met deze kwestie.
Vriendelijke groet,
Vincent Racaniello, Ph.D. | Higgins Professor
Departement Microbiologie & Immunologie
Columbia University, New York
David Tuller, DrPH
Senior Fellow in Volksgezondheid en Journalistiek
Center for Global Public Health
School of Public Health
University of California, Berkeley
© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.
Lees ook
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (1)
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (2)
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (3)
- Onderzoekers van de PACE-studie antwoorden David Tuller
- David Tuller reageert op de PACE-onderzoekers
- Petitie : Misleidende claims van PACE-studie moeten teruggetrokken worden
- Trial by error, vervolgd: heeft de PACE-studie echt een “strikt criterium” voor herstel toegepast?
- Trial by error, vervolg: Waarom is het “zusteronderzoek” van de PACE-studie “verdwenen” en vergeten?
- Overheid beveelt vrijgave van de gegevens van de PACE-studie
- Proffen schrijven open brief aan The Lancet en vragen herevaluatie van PACE-resultaten
- Open brief van Invest in ME over de PACE-studie aan de redacteur van The Lancet
- Trial by error, vervolgd: Het werk van het PACE-team voor verzekeringsmaatschappijen “houdt geen verband” met PACE. Echt waar?
- In het kielzog van het onderzoek van David Tuller, publiceren de PACE-onderzoekers een follow-upstudie
- ME Association: We betwisten het follow-uprapport van de PACE-studie
- Professor Jonathan Edwards: PACE-studie is “waardeloos”
- Oninterpreteerbaar: Fatale fouten in het PACE follow-uponderzoek van het chronisch vermoeidheidssyndroom
- Waarom de wetenschappelijke wereld het nodig heeft dat de PACE-gegevens worden vrijgegeven
- Reporter hekelt studie naar chronisch vermoeidheidssyndroom: ik stopte bij 14.000 woorden – genoeg was genoeg
- Een “moreel equivalent van oorlog” en de PACE-studie over chronisch vermoeidheidssyndroom
- Waarom ME-patiënten kritisch zijn over de PACE-studie
- Was onafhankelijke peerreview van de papers over de PACE-studie mogelijk?
- James Coyne over de “objectiviteit” van NHS Choices en het belachelijk maken van ME/CVS-patiënten
- Wat er voor nodig is voor Queen Mary om een verzoek om wetenschappelijke gegevens als “ergerlijk” te verklaren
- Update van mijn formeel verzoek voor het vrijgeven van de gegevens van de PACE-studie
- Formeel verzoek aan PLOS One om een Uitdrukking van Bezorgdheid uit te vaardigen voor de PACE-studie
- Waarom ik niet weet hoe PLOS zal reageren op de weigering van de auteurs om de data vrij te geven
- Antwoord van PLOS One op de bezorgdheid over de weigering van King’s College om de PACE-data te delen
- Proffen verzoeken om de gegevens van de PACE-studie
- King’s College London rekt tijd nog wat meer door weigering te herhalen om PACE-onderzoeksdata vrij te geven
- Herkennen wanneer het “beschermen van de privacy van patiënten” louter een excuus is voor het niet delen van de data
- Herzien van de economische analyse van de PACE-studie in PLoS One
- Een inkijk in de aanval op het delen van data
- Trial By Error, vervolgd: vragen voor Dr. White en zijn collega’s van de PACE-studie
- Niet-bekendgemaakte belangenconflicten in reviewprotocol van interventies voor medisch onverklaarde symptomen
- Trial by error, vervolgd: heeft de PACE-studie werkelijk bewezen dat graduele oefentherapie veilig is?
- Trial by error, vervolgd: meer nonsens van The Lancet Psychiatry
- We zijn tenminste niet ergerlijk
- Verdere inzichten in de oorlog tegen het delen van data
- Trial by error, vervolgd: een paar woorden over pesterijen
- Het heroverwegen van het beleid rond het onderzoek naar en de behandeling van ME/CVS
- Opnieuw een open brief aan de Lancet
- What About ME? Deel 1: ME-patiënten vragen patiëntenorganisaties kleur te bekennen t.a.v. PACE
- Ook België steunt in open brief de globale oproep om de PACE-data vrij te geven
- Lezing Dr. David Tuller en Prof. Frans Visser tijdens Nederlandse première Forgotten Plague
- Petitie met 12.000 handtekeningen aan The Lancet bezorgd om de PACE-studiedata vrij te geven
- Open brief Prof. Malcolm Hooper aan The Lancet
- Een half jaar gaat voorbij zonder de vrijgave van PACE-studiedata uit PLOS One
- PACE-Gate: de controverse over de grootste studie naar CGT en GET bij ME/cvs
- Proffen schrijven open brief aan PLoS One i.v.m. PACE-studie naar CGT/GET
- Correctie van PLoS verwijdert geanonimiseerde patiëntengegevens in studie naar CVS (& zet ze daarna terug)
- “Hun mond viel open van verbazing over de PACE-trial naar CGT en GET.”
- Rechtbank eist vrijgave van de gegevens van de PACE-studie naar CGT en GET voor ME/CVS
- Queen Mary University of London “bestudeert” de regelgeving om de PACE-data vrij te geven
- The Lancet struikelt opnieuw over de PACE-studie
- Trial by error, vervolgd: mijn vragen voor de hoofdredacteur van The Lancet, Richard Horton
- Vrijgave data PACE-team volgens originele protocol
- Verklaring QMUL: bekendmaking van de data van de PACE-studie onder de Wet op de Vrijheid van Informatie
- Persbericht. De vrijgave van de PACE-data is een fundamentele overwinning voor mensen met ME/cvs
- Stop studies naar graduele oefentherapie voor ME/CVS
- Prof. Van der Meer waarschuwt voor delen van data met “je vijanden”
- Geen “herstel” in de PACE-studie, blijkt uit nieuwe analyse
- Slechte wetenschap heeft miljoenen ME/cvs-patiënten misleid. Hier leest u hoe we terugvochten.
- Belangrijkste punten uit de analyse van de ruwe data voor “herstel” van de PACE-studie
- Bewijs voor aanbevolen behandelingen voor ME en CVS houdt geen stand
- Trial by error, vervolgd: de echte data van de PACE-studie
- Erger dan de ziekte
- De PACE-studie: waar “herstel” niet betekent dat je terug gezond bent
- Hoe de brief van Alem Matthees het mysterie van ME/cvs hielp oplossen
- Een open brief aan Psychological Medicine over “herstel” en de PACE-trial (Update)
- Opnieuw een open brief aan Psychological Medicine!
- De bal misslaan bij ME/cvs
- Trial by error, vervolgd: de nieuwe FITNET-studie voor kinderen
- Trial by error, vervolgd: een vervolgpost over FITNET-NHS
- Trial by error, vervolgd: de Nederlandse studies (opnieuw!), en een Esther Crawley-bonus
- Trial by error, vervolgd: mijn lasterlijk bloggen op Virology Blog
- Trial by error, vervolgd: een open brief aan het bestuur van het CFS/ME Research Collaborative (CMRC)
- Trial by error, vervolgd: CFS/ME Research Collaborative aan Virology Blog: “Rot op!”
- Trial by error, vervolgd: Het CMRC bevestigt volledige steun aan Lasterlijke Esther
- Trial by error, vervolgd: ME Research UK stapt uit het CFS/ME Research Collaborative
- Trial by error, vervolgd: mijn “scheur-het-aan-flarden”-toespraak bij Invest in ME
- David Tuller zamelt geld in voor Virology Blogs Trial by error: verslaggeving over PACE, ME/cvs en verwante onderwerpen
- Trial by error, vervolgd: mijn brief aan de University of Bristol
- Crowdfundingcampagne David Tuller in teken van ME: nog twee weken te gaan…
- David Tuller komt op voor ME: de laatste tien dagen van de campagne…
- Trial by error, vervolgd: is PACE een geval van wetenschappelijk wangedrag?
- Trial by error, vervolgd: de reis van Julie Rehmeyer “Through The Shadowlands”
- Trial by error, vervolgd: meer over graduele oefentherapie van Peter White en The Lancet
- Trial by error: De CDC schrappen cognitieve gedragstherapie (CGT) en graduele oefentherapie (GET) voor ME/cvs
- Trial by error: De NICE-richtlijnen, en meer over de CDC
- Trial by error: NICE weigert om namen van experts te onthullen
- Trial by error: NICE verwerpt mijn verzoek op basis van vrijheid van informatie
- De PACE-trial, of hoe een medisch schandaal tot stand kwam
- Waarop moet je letten in de Speciale Editie van het Journal of Health Psychology over de PACE-trial
- Deel 2: Waarop moet je letten in de Speciale Editie van het Journal of Health Psychology over de PACE-trial
- Trial by error: de wanhopige pogingen van het Science Media Center om PACE te verdedigen
- Trial by error: gepensioneerde PACE-onderzoeker Peter White en Swiss Re
- Trial by error: mijn e-mailuitwisseling met de directeur van NICE
- Trial by error: geen ethische review van de studie van Crawley over afwezigheid op school
- Trial by error: verzoek om meer details over de studie van Crawley over afwezigheid op school
- Trial by error: de rapporten van de “deskundigen ter zake” van NICE
- Trial by error: MEGA’s nieuwst mislukking
- Trial by error: NICE verwerpt huidige richtlijn, plant “volledige update”
- Trial by error: NIH geeft een subsidie van 2,1 miljoen dollar aan de Britse Biobank!
- Trial by error: nog een brief aan de directeur van NICE
- Trial by error: huidige NICE-richtlijn blijft, voorlopig toch
- Trial by error: de verrassende nieuwe gids voor beste praktijken van BMJ [voor ME/cvs]
- Trial by error: mijn korte ontmoeting met Professor Crawley
- Trial by error: Hé, Bristol! Waar is mijn ‘cease and desist’-brief*?
- Trial by error: de Crawley-kronieken (vervolg)
- Trial by error: mijn eenzijdige correspondentie met professor Crawley
- Trial by error: de niet-openbaar gemaakte uitkomstenverwisseling van de SMILE-studie
- SMILE-studie Lightning Process voor kinderen met CVS: Resultaten te mooi om waar te zijn?
- Trial by error: mijn vragen voor het Science Media Center
- Trial by error: de klacht van Bristol aan Berkeley
- David Tuller en de (s)PACEcake-eters
- Trial by error: de studie naar afwezigheid op school, tweede ronde
- Trial by error: COPE aan BMJ Open: meer details alstublieft!
- Trial by error: mijn halfjaaroverzicht
- Trial by error: de valse beweringen van professor Crawley op BuzzFeed
- Trial by error: een brief aan Archives of Disease in Childhood
- Trial by error: brief van CPET-experts aan het British Journal of Sports Medicine
- Trial by error: QMUL en FOI, Nature en Cochrane, het Pineapple Fund
- Trial by error: een brief aan BMJ Open
- Trial by error: onze gedachtenwisseling met BMJ Open
- Trial by error: mijn briefwisseling met het vakblad Archives of Diseases in Childhood
- Trial by error: nieuws over mijn plannen
- Trial by error: het nieuws van het CFS/ME Research Collaborative
- Trial by error: de Nederlandse review; mijn trip; Bristols stilzwijgen
- Trial by error: de stand van zaken in Australië en de nieuwe functie van professor Crawley
- Trial by error: ik meld me even vanuit Melbourne en Canberra…
- Trial by error: de volgende ronde met BMJ Open 26/3
- Trial by error: vragenronde met Schots Parlementslid Carol Monaghan 28/3
- Trial by error op Virology Blog: verslaggeving over ME/CVS. Crowdfundingscampagne voor David Tuller! 29/3
- Trial by error: mijn door Berkeley ondersteunde crowdfundingscampagne 2/4
- Trial by error: onze nieuwste tango met BMJ Open… 2/4
- Trial by error: een fantastisch stuk over ME/CVS op de Australische TV 4/4
- Trial by error: een post over Andrew Lloyd 4/4
- Trial by error: mijn Australische tour, vervolg 11/4
- Trial by error: twee podcastinterviews en “belangenconflicten” 16/4
- Trial by error, gastpost: crowdfunding David Tuller is geen belangenconflict 16/4
- Trial by error: Professor Michael Sharpes flater op de Australische Radio 18/4/18
- Trial by error: de steun die Andrew Lloyd in het verleden gaf aan PACE 24/4/18
- Trial by error: de winkeltasstudie en de vernieuwde website van de staat New York 24/4/18
- Trial by error: tot ziens Australië; en twee updates 25/4/18
- Trial by error: Vraag en antwoord met Leonard Jason met betrekking tot gevalsdefinities 2/5/18
- Trial by error: mijn bezoeken aan Alem Matthees 7/5/18
- Trial by error: Australiës online bijscholingsprogramma over GET/CGT 14/5/18
- Trial by error: meer over de CDC; Reader’s Digest; Newsbeat op BBC 23/5/18
- Trial by error: NICE neemt het Lightning Process in beschouwing 28/5/18
- Trial by error: mijn woordenwisseling met de hoofdonderzoekers van PACE, in NY Times in 2011 29/5/18
- Trial by error: BMJ “onderzoekt” nog steeds de paper over het Lightning Process 4/6/18
- Trial by error: mijn brief aan Parlementslid Monaghan over BMJ-studies 5/6/18
- Trial by error: een brief aan gezondheidsambtenaren over de lakse redactionele maatstaven van BMJ 6/6/18
- Trial By Error: mijn brief over de BMJ-studie aan het Science Media Centre 6/6/18
- Trial By Error: nog enkele brieven over BMJ’s gebrekkige pediatrische studies 11/6/18
- Trial By Error: een leerplan voor behandeling van CVS met CGT 13/6/18
- Trial by error: een brief aan NICE over het IAPT-programma 18/6/18
- Trial by error: Sir Simon trapt bal in eigen doel 18/6/18
- Trial by error: een open brief aan The Lancet, twee jaar later 19/6/18
- Trial by error: Professor Sharpes driftige opmerkingen – in wiens naam spreekt hij eigenlijk? 25/6/18
- Trial by error: mijn gesprek met professor Bishop 25/6/18
- Trial by error: Professor Sharpes briefing aan Monaghan vóór de hoorzitting 2/7/18
- Trial by error: mijn brief aan Fiona Godlee 2/7/18
- Trial by error: zijn alle experts in klinische studies fan van PACE? 9/7/18
- Trial by error: nog maar eens een oproep aan The Lancet, met meer handtekeningen 10/7/18
- Trial by error: wachten op Godlee 11/7/18
- Trial by error: mijn brief aan het Wetenschappelijk en Technisch Comité van het Parlement 11/7/18
- Trial by error: de inhoudsloze “noot van de redactie” bij de studie over het Lightning Process 16/7/18
- Trial by error: de update van CDC voor zorgverstrekkers 30/7/18
- Trial by error: Mayo blijft pleiten voor GET 6/8/18
- Trial by error: open brief aan The Lancet, versie 3.0 13/8/18
- Trial by error: de BPS-brigade trapt bal wéér in eigen doel 15/8/18
- Trial by error: meer Mayo alsjeblieft 20/8/18
- Trial by error: rekruteringsadvertentie voor FITNET-NHS maakt reclame voor “herstel” 20/8/18
- Trial by error: mijn brief aan Red Whale/GP Update 22/8/18
- Trial by error: nog een brief aan BMJ’s Dr Godlee 27/8/18
- Trial by error: Professor Edward brief aan Fiona Watt van MRC 28/8/18
- Trial by error: de Cochranecontroverse 3/9/18
- Trial by error: hoe staat het eigenlijk met de MAGENTA-studie? 17/9/18
- Trial by error: Bruce Levin over “hoe je een gerandomiseerde klinische studie NIET uitvoert” 18/9/18
- Trial by error: de open brief aan Netflix over Afflicted 24/9/18
- Over lichamelijke symptomen die afgewimpeld worden als “tussen de oren” 27/9/18
- Trial by error: de conferentie van de CFS/ME Research Collaborative 1/10/18
- Trial by error: mijn meest recente brief aan Archives of Disease in Childhood 8/10/18
- Trial by error: mijn eerste post over het IAPT-programma 10/10/18
- Trial by error: Per Fink in New York 16/10/18
- Trial by error: de zielige reactie van de Psychosomatische Conferentie 17/10/18
- ME/CVS is geen psychosomatische ziekte 18/10/18
- Mijn brief aan organisator van 4 e Psychosomatiekconferentie aan Columbia 19/10/18
- Trial by error: Cochrane trekt gebrekkige review over lichaamsbeweging in 19/10/18
- Een steunbetuiging aan Cochrane 23/10/18
- Trial by error: waar blijft die verontschuldiging, BMJ Open? 24/10/18
- Trial by error: drie jaar verder… 28/10/18
- Trial by error: wéér een brief over de studie over het Lightning Process 7/11/18
- Trial by error: een Australische uitwisseling met professor Sharpe 8/11/18
- Trial by error: hoe ontwijk je ethische review? 12/11/18
- Trial by error: enkele bedenkingen over NICE 19/11/18
- Trial by error: goed nieuws over Cochrane 3/12/18
- Trial by error: BMJ zag Bristols ethische vrijstellingen door de vingers 4/12/18
- Trial by error: een nieuwe zet van Cochrane 10/12/18
- Trial by error: het Noorse perspectief 12/12/18
- Trial by error: de nieuwe studie over interferon voor “CVS” 19/12/18
- Trial by error: Australisch ontwerprapport nodigt uit tot commentaar 24/12/18
- Trial by error: “Geen woorden, maar daden!”, zeggen patiënten tegen NIH 26/12/18
- Trial by error: mijn brief aan de seniorauteur van de studie over het Lightning Process 7/1/19
- Trial by error: verdere bedenkingen over de interferonstudie 7/1/19
- Trial by error: weer een Parlementair Debat voor Carol Monaghan 21/1/19
- Trial by error: mijn zesmaandelijks overzicht 22/1/19
- Trial by error: het werkgerelateerd advies van Action for ME 23/1/19
- Trial by error: Steve Brines verontrustende uitspraak in het parlementaire ME-debat 28/1/19
- Trial by error: mijn brief aan Professor Chew-Graham over METRIC 28/1/19
- Trial by error: Bristol onderzoekt Crawleypapers 31/1/19
- Trial by error: enkele bedenkingen over een aanstaand artikel 31/1/19
- Trial by error: de vragen van de verslaggever voor professor Racaniello 31/1/19
- Trial by error: wat meer over Bristols onderzoek 1/2/19
- Trial by error: een terugblik op de studie over de afwezigheid op school 3/2/19
- Trial by error: en nog een “repliek vooraf”… 5/2/19
- Trial by error: HRA-rapport praat PACE niet goed 6/2/19
- Trial by error: BMJ past PACE-artikel van vorige week aan 12/2/19
- Trial by error: mijn vragen aan de PACE-professoren 13/2/19
- Trial by error: Brieven aan Fiona Godlee en Nigel Hawkes 18/2/19
- Trial by error: Professor Sharpe vraagt om intrekking van artikels 18/2/19
- Trial by error: de kostprijs van SOLK 25/2/19
- Trial by error: wie heeft de documenten over de schoolstudie? 4/3/19
- Trial by error: stomme studies 6/3/19
- Trial by error: grote Amerikaanse zorgverzekeraar wijzigt koers! 11/3/19
- Trial by error: mijn brief aan professor Hotopf over Bristols schoolafwezigheidsstudie 18/3/19
- Trial by error: update van Cochrane en laatste brief van Caroline Struthers 20/2/19
- Trial by error: Cochranes rapport over Courtneys klacht 12/3/19
- Trial by error: mijn verslaggeving over ME/cvs en aanverwante controverses 27/3/19
- Trial by error: mijn brief aan Kate Kelland 18/3/19
- Trial by error: de zielige reactie van CDC aan Reuters 25/3/19
- Trial by error: meer over Kaiser Permanente 1/4/19
- Trial by error: april is crowfundingmaand aan Berkeley 1/4/19
- Trial by error: Amerikaanse Top voor ME/cvs-artsen 2/4/19
- Trial by error: crowdfunding, week 1 8/4/19
- Trial by error: mijn meest recente brief aan Bristol 9/4/19
- Trial by error: crowdfunding, week 2 en meer over Sharpe en Chalder 15/4/19µ
- Trial by error: update over Reuters 18/4/19
- Trial by error: ik kom even terug op het verhaal in Reuters 21/4/19
- Trial by error: crowdfunding, week 3: je donatie wordt verdubbeld 22/4/19
- Trial by error: Jennie Spotila over toespraak directeur NIH 23/4/19
- Trial by error: weer een brief aan de juridische dienst van Bristol 29/4/19
- Trial by error: mijn opvolgingsbrief aan Reuters 30/4/19
- Trial by error: mijn brief over SOLK aan British Journal of General Practice 6/5/19
- Trial by error: mijn gesprek met British Journal of Medical Practice 7/5/19
- Trial by error: ik schreef nog maar eens aan Bristol 13/5/19
- Trial by error: crowdfunding is ten einde! 14/5/19
- Trial by error: pleidooi aan Fiona Godlee over een bekend thema 16/5/19
- Trial by error: mijn opvolgbrief aan het British Journal of Medical Practice 20/5/19
- Trial by error: Lightning Process “doeltreffend”? Dat meen je toch niet? 20/5/19
- Trial By Error: mijn meest recente brief over de studie over het Lightning Process: update 22/5/19
- Trial by error: British Journal of Medical Practice stemt in met correctie over SOLK 29/5/19
- Trial by error: Professor Edwards schrijft naar Dr Godlee van BMJ over de LP-studie 3/6/19
- Trial By Error: tijd om de LP-studie in te trekken; Brief aan Archives of Disease in Childhood 3/6/19
- Trial By Error: een FOI-aanvraag aan Bristol over LP-studie 3/6/19
- Trial By Error: terugkijk op mijn vragen aan Science Media Centre over Bristols LP-studie 3/6/19
- Trial By Error: een tweede brief aan seniorauteur LP-studie 5/6/19
- Trial By Error: opvolging van mijn opvolgingsbrief aan Dr. Segal over citatie LP-studie 5/6/19
- Trial by error: hé BJGB, waar blijft die correctie over de kostprijs van SOLK? 10/6/19
- Trial by error: BJGP-correctie op komst; BMJ blijft ons hardnekkig negeren 11/6/19
- Trial by Error: een brief aan Bristol over mijn recente FOI-verzoek; plus update 12/6/19
- Trial By Error: weer een review die de LP-studie vernoemt, dus ik klim weer in mijn pen 24/6/19
- Trial By Error: een update over de pediatrische SOLK-review 26/6/19
- Trial By Error: FOI-antwoord uit Bristol over LP-studie; correctie in BJGP over SOLK /1/7/19
- Trial By Error: mijn brief aan Professor Chew-Graham over de kostprijs van SOLK 1/7/19
- Trial By Error: bedenkingen over SOLK en Bermingham; Brief aan Professor Payne 8/7/19
- Trial By Error: ons contact met vakblad BMJ over “correctie” LP-studie 15/7/19
