Trial By Error: BMJ beantwoordt oproep over Noorse CGT-muziektherapiestudie
David Tuller, DrPH, Virology Blog, 18 juni 2020
Eerder deze week stuurde ik een herinnering naar Professor Imti Choonara, hoofdredacteur van BMJ Paediatrics Open en naar Fiona Godlee, redactioneel directeur van BMJ, over een problematische “haalbaarheidsstudie” die enkele maanden geleden werd gepubliceerd. Ik had twee weken eerder al een brief gestuurd, maar had daar geen reactie op gekregen. Vroegere posts over deze kwestie staan hier en hier.
Vanochtend ontving ik een bericht van BMJ’s “coördinator voor onderzoeksintegriteit”. Hm. Dat klinkt als een belangrijke functie binnen BMJ, gezien het schijnbaar enorme gebrek aan onderzoeksintegriteit in sommige van de papers die ik heb onderzocht.
In elk geval belooft de coördinator voor onderzoeksintegriteit binnen twee weken een antwoord! Dat zou fijn zijn. Maar ik ga nog niet te vroeg beginnen juichen, want vorige keer had BMJ er een jaar voor nodig om uit te zoeken wat ze zouden zeggen over de studie over het Lightning Process – nl. hoe ze ze konden corrigeren/verduidelijken zonder ze te moeten intrekken. Dus ik ga nog even afwachten voordat ik mijn oordeel vel.
Hieronder staat de brief die ik ontvangen heb, en daarna mijn antwoord. Ik heb mijn medeondertekenaars van de oorspronkelijke brief in CC gezet, samen met Professor Choonara en Dr. Fiona Godlee.
**********
Geachte David Tuller,
Wij schrijven u om te bevestigen dat wij onderstaande klacht hebben ontvangen. Wij zullen uw bedenkingen onderzoeken via de gepaste kanalen en wij zullen u binnen de komende twee weken opnieuw contacteren met een formele reactie. Als de bespreking op dat moment nog steeds aan de gang zou zijn, en er dus nog geen formele reactie mogelijk zou zijn, dan zullen wij opnieuw contact opnemen om dit te bevestigen.
Met vriendelijke groeten,
Simone Ragavooloo
Coordinator Onderzoeksintegriteit
**********
Geachte Mevr. Ragavooloo,
Bedankt voor uw reactie op de bedenkingen waar mijn collega’s en ik op hebben gewezen, over de (zogenaamde) “haalbaarheidsstudie” van Wyller et al. Ik ben benieuwd om te horen welke oplossing BMJ over twee weken gevonden zal hebben. Gezien de feiten duidelijk zijn, zal het niet moeilijk zijn om te beslissen wat er moet gebeuren, in overeenstemming met het onderzoeksintregriteitsbeleid van BMJ. In de afgelopen jaren hebben vele mensen geklaagd over de problemen die ontstaan door het omwisselen van uitkomsten – één van de ernstige problemen die ik heb gedocumenteerd in Wyller et al. Maar deze paper in BMJ Paediatrics Open is de eerste die ik ooit heb gelezen die gebruik maakt van wat je “studiestatusdegradering” zou kunnen noemen – d.w.z. een studie met volledige statistische kracht die tegenvallende resultaten voortbrengt, voorstellen alsof ze ontworpen was als haalbaarheidsstudie om data te vinden ter onderbouwing van een studie met volledige statistische kracht. Ik heb dit fenomeen nog nooit vermeld gezien binnen de context van uitkomstenverwisseling. Het zou kunnen dat het nog nooit eerder is voorgekomen – bij BMJ of elders – dat ernstige onderzoekers zulk gedrag vertonen. Dit is ook de eerste keer dat ik een peerreview heb gelezen waarin de reviewer heel eerlijk toegeeft dat hij de paper die hij moest reviewen, niet heeft gelezen. Dus in dit geval heeft BMJ Paediatrics Open niet enkel een studie gepubliceerd die wetenschappelijke basisprincipes heeft overtreden, maar werd de studie bovendien gepubliceerd zonder de door BMJ zelf vereiste grondige peerreview.
Gezien het feit dat BMJ verplicht is om de gezondheid te waarborgen van kinderen met ernstige ziektes – een uiterst kwetsbare populatie – hoop ik dat deze jammerlijke zaak snel wordt opgelost. Ik heb mijn collega’s bij dit antwoord in CC gezet, alsook Professor Choonara en Dr. Godlee.
Vriendelijke groet,
David
David Tuller, DrPH
Senior Fellow Volksgezondheid en Journalistiek
Center for Global Public Health
School of Public Health
University of California, Berkeley
© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.
https://www.virology.ws/2020/07/02/trial-by-error-now-theres-cbt-for-health-anxiety-in-cfs/
Trial By Error: nu is er ook CGT voor “gezondheidsangst” bij CVS
David Tuller, DrPH, Virology Blog, 2 juli 2020
Eind december publiceerde het International Journal of Clinical and Health Psychology een artikel met als titel: “Prevalentie en behandeling van Chronisch Vermoeidheidssyndroom/Myalgische Encefalomyelitis en comorbide ernstige gezondheidsangst“. Deze paper, van onderzoekers aan University of Bath en Oxford University, bevatte in feite twee aparte studies, waarin het zogezegde verband wordt gedocumenteerd tussen een concept dat “gezondheidsangst” heet en CVS/ME, zoals de onderzoekers van de studie naar de ziekte in kwestie verwijzen.
De eerste studie die beschreven staat in de paper is een crosssectionele bevraging over gezondheidsangst en symptomen bij CVS/ME-patiënten. (Een gekende beperking van crosssectionele data is dat ze enkel verbanden documenteren en geen causaal bewijs leveren.) De tweede studie die beschreven staat in de paper gaat over tien patiënten die een gespecialiseerde behandeling krijgen: cognitieve gedragstherapie die gezondheidsangst aanpakt en die CBT-HA wordt genoemd [Cognitive Behavioral Therapy – Health Anxiety, n.v.d.r.].
Voor zo ver ik kan zien, is de hypothese hierachter ongeveer dezelfde als die achter de PACE-studie, behalve dan dat in dit geval de psychologische entiteit die patiënten er zogezegd van weerhoudt om actief te zijn “gezondheidsangst” heet in plaats van iets wat men “angstontwijking” noemt. Gezondheidsangst komt neer op een vriendelijkere, minder denigrerende benaming voor hypochondrie. De onderzoekers onderbouwen hun interventie als volgt:
“CBT-HA is gebaseerd op het idee dat vage gezondheidsgerelateerde stimuli onderhevig zijn aan interpretatie, waaruit gedragsmatige reacties ontstaan zoals verhoogde waakzaamheid omtrent fysiologische sensaties, vermijding, inspectie van lichamelijke gewaarwordingen en bevestiging zoeken, om ervoor te zorgen dat de gezondheidsproblemen geen werkelijkheid worden. Deze handelingen leiden echter vaak tot verhoogde spanning.
Dit klinkt allemaal zo goed als identiek aan de benadering in PACE. Of zie ik hier iets over het hoofd? Is er een inhoudelijk verschil?
**********
Wat is gezondheidsangst?
Voor de nieuwe studie werd gezondheidsangst gemeten volgens een meetinstrument met 14 punten dat gepubliceerd werd in 2002. Op deze schaal staan hogere totale scores voor grotere algemene gezondheidsangst. Bij elke vraag krijgt elke volgende vraag een hogere score. Dit zijn twee voorbeelden van de vragen in kwestie:
a) Ik maak mij geen zorgen over mijn gezondheid. b) Ik maak mij af en toe zorgen over mijn gezondheid. c) Ik maak mij vaak zorgen over mijn gezondheid. d) Ik maak mij de hele tijd zorgen over mijn gezondheid.
a) Ik ben me over het algemeen niet bewust van lichamelijke gewaarwordingen of veranderingen. b) Ik ben me soms bewust van lichamelijke gewaarwordingen of veranderingen. c) Ik ben me vaak bewust van lichamelijke gewaarwordingen of veranderingen. d) Ik ben me constant bewust van lichamelijke gewaarwordingen of veranderingen.
Deze vragen zijn misschien nuttig om te peilen naar gezondheidsangst in sommige situaties. Maar mensen met CVS/ME zullen zich wellicht vaker zorgen maken over hun gezondheid en zich vaker bewust zijn van hun lichamelijke gewaarwordingen dan mensen die gezond zijn. Zo komen ze hoger op de schaal van gezondheidsangst terecht. Maar het enige wat dat betekent, is dat ze bezorgd en angstig zijn omwille van hun gezondheid, wat begrijpelijk is, gezien hun ernstige medische aandoening.
In zowel de formulering over gezondheidsangst als die over angstontwijking, wordt gesteld dat het vermijden van activiteit leidt tot negatieve gevolgen voor de gezondheid. De hier besproken paper legt het als volgt uit:
“Wij suggereren dat door de grotendeels onverklaarde lichamelijke sensaties, het gebrek aan voldoende geruststelling vanwege medische zorgverleners (doordat over de aandoening weinig geweten is) en de complexe angstuitlokkende en problematische aard van omgaan met vermoeidheid, sommige patiënten met CVS/ME geneigd zijn om symptoomverergering te voorkomen door bijvoorbeeld fysieke activiteit te beperken en/of te vermijden, aandacht te schenken aan ‘waarschuwingstekens’ of overmatig te rusten als onderdeel van een gezondheidsangstcyclus, wat vervolgens leidt tot verminderd fysiek functioneren en vermoeidheid bij inspanning.”
En de therapeutische interventie wordt als volgt uitgelegd:
“Bij CBT-HA lokken cognities omtrent gezondheidsgerelateerde bezorgdheid (bv.: ik ga instorten) gedragsmatige reacties uit die bedoeld zijn om het gevreesde gevolg te voorkomen. Maar via deze (veiligheidzoekende) gedragingen (SSB of Safety Seeking Behaviours) probeert men weerlegging van de gevreesde uitkomst te voorkomen, waardoor het gedrag bekrachtigd wordt via operatieve mechanismen…
De CBT-HA-formule brengt de onbedoelde gevolgen naar boven van de SSB (bv. angst/frustratie, intensere pijn/deconditionering) en hoe deze bijvoorbeeld de angst voor ‘instorting’ nog verder versterken. Dit creëert een vicieuze cirkel van zichzelf bestendigende angstigheid, die in stand wordt gehouden door SSB die oorspronkelijk bedoeld waren om de kans te verminderen op lichamelijke instorting of andere gevreesde uitkomsten.”
Deze uitspraken klinken als een herneming van het paradigma dat ontwikkeld werd in de jaren ’90, inclusief de zogenaamde “vicieuze cirkel die zichzelf bestendigt”, waarop de PACE-studie werd gebouwd. De beschrijving bevat wel enkele andere termen, zoals “SSB”. Misschien omdat men zo probeert om de hypothese voor te stellen als een intellectuele of conceptuele vooruitgang die onderzocht moet worden en een eigen financieringsader verdient.
Laat ons duidelijk wezen: deze paper klinkt niet als een intellectuele of conceptuele vooruitgang, maar als een nageaapte versie van de PACE-aanpak, die al lang gefaald is in zijn opzet. Meer dan 100 internationale experts wezen op dat falen door Virology Blogs open brief aan The Lancet te ondertekenen. De brief ging over de “onaanvaardbare methodologische fouten” in de PACE-studie en over het feit dat de Amerikaanse Centers for Disease Controla and Prevention hun op PACE gebaseerde adviezen hadden laten vallen.
De onderzoekers van deze studie merkten eerlijk gezegd wel op dat de interventie niet gebaseerd is op de aanname dat gezondheidsangst een verklaring is voor alle symptomen van de ziekte. Ze erkenden ook dat stigmatisering van patiënten en verwante factoren op zich de gezondheidsangst zouden kunnen vergroten. Maar deze kanttekeningen worden minder in de verf gezet dan de suggestie dat symptomen van de ziekte uitvergroot en verergerd worden door gezondheidsangst en dat gezondheidsangst dus gezien moet worden als een specifiek behandelingsdoel.
**********
Het theoretisch kader voor CGT-HA
De indruk dat CGT-HA simpelweg neerkomt op de CGT-strategie uit PACE met een pruik en wat lipstick, wordt bevestigd in een review van het theoretische kader voor de interventie, zoals beschreven in een paper uit 2017. In die paper omschreven twee onderzoekers van Bath University hoe één enkele patiënt een reeks CGT-HA-sessies tot een goed einde bracht en verbetering vertoonde in zelfgerapporteerde metingen. Die triomf maakte de weg vrij voor de gevalsreeks die beschreven staat in de hier besproken publicatie.
In 2017 gaven de onderzoekers volgende verklaring voor hun denkwijze:
“1. Cognitieve overtuigingen omtrent CVS en CVS-symptomen leiden tot gedragsgerelateerde strategieën die CVS in stand houden. Doelgerichte cognitieve herstructurering (en aanverwante gedragsmatige experimenten) zullen leiden tot een vermindering van het rotsvaste geloof in het idee dat specifieke gedragingen (d.w.z. SSB) noodzakelijk zijn voor het voorkomen van een verergering van CVS, en dat een verergering zal leiden tot instorting.
2. Symptomen van CVS (meer bepaald vermoeidheid en pijn) worden in stand gehouden door gedragsgerelateerde strategieën die de bedoeling hebben om verergering van (CVS-)symptomen te voorkomen. Uitroeiing van specifieke strategieën benoemd in de formulering zullen leiden tot een verbetering in de primaire fysieke symptomen van vermoeidheid (Vermoeidheidsschaal van Chalder) en pijn (VAS).
3. De op gezondheid gefocuste angst leidt tot het verergeren van de CVS-symptomen en vice versa; daarom moeten beiden aangepakt worden in een geïntegreerde benadering die zal leiden tot reductie van zowel CVS-symptomen (Vermoeidheidsschaal van Chalder) als gezondheidsangst (Gezondheidsangstinventaris), alsook verbeteringen in functioneren (SF-36) en zelfeffectiviteit (zelfeffectiviteitsschaal).
Laat ons duidelijk wezen: dit is een hypothese. Net als voor gelijkaardige beweringen in PACE bestaat er geen geloofwaardig bewijs voor “op gezondheid gefocuste angst die leidt tot verergering” van het verloop van de ziekte. De onderzoekers schijnen te geloven dat hun nieuwe paper geloofwaardig bewijs levert. Maar dat klopt niet. Vreemd genoeg vermelden ze PACE nergens. Ook vermelden ze nergens dat de PACE-resultaten ofwel nulresultaten waren ofwel uitgelegd konden woorden door placebo-effecten, als ze geëvalueerd werden via de methodes die beloofd waren in het protocol. (Ik was coauteur van de paper die PACE ontkracht heeft.)
(Ik veronderstel dat het intussen aannemelijk is dat onderzoekers, en zelfs de vroegere fans van de PACE-studie, ze nergens meer vermelden. PACE is wetenschappelijk onverdedigbaar. Ze zal voor altijd bekend staan als de studie waarin deelnemers het slechter konden doen op de belangrijkste uitkomstmaat en toch “herstel” bereikten. De studie wordt intussen ten volle benut in Berkeley, waar mijn collega’s ze in hun lessen epidemiologie naar voren brengen als gevalstudie van vreselijk slecht onderzoek.
**********
De studieresultaten waren geen verrassing
Maar nu even terug naar het onderwerp. De onderzoekers omschrijven de resultaten van de eerste studie in de paper – de crosssectionele analyse – als volgt:
“Bevindingen uit studie één wijzen erop dat gezondheidsangst in CVS/ME courant is en significant verband houdt met symptoomernst. Deelnemers met een hoge mate van gezondheidsangst hadden meer last van vermoeidheid, angsten en depressie, en vertoonden lagere niveaus van fysiek functioneren dan diegenen zonder.”
Dit is logisch. Als een patiënt ernstige symptomen ervaart die in vraag worden gesteld door dokters, familie en vrienden, dan is het niet vreemd als zij meer last hebben van angsten omtrent hun gezondheid. Aangezien er geen enkel bewijs is, buiten hypothethische speculaties en anekdotische observaties, is het misplaatst om te zeggen dat deze data aantonen dat “op gezondheid gefocuste angsten leiden tot verergering van de CVS-symptomen”. Elke slimme lezer zal deze data zien en begrijpen dat alle causale verbanden wellicht in de omgekeerde richting gaan.
Bij de tweede studie kregen patiënten de interventie van 12 sessies CBT-HA aangeboden. De behandeling werd uitgevoerd door de hoofdonderzoeker en ze werden getest op verschillende zelfgerapporteerde maatstaven bij het begin en het einde van de behandeling. Van de tien mensen die met het programma begonnen, vielen er twee af – een verlies-bij-opvolging van 20%. Diegenen die overbleven, rapporteerden verschillende verbeteringen op vragenlijsten.
Het hoeft niemand te verbazen dat patiënten die vele uren één-op-één doorbrachten met een begripvolle therapeut, op vragenlijsten invulden dat ze zich beter en minder angstig voelden. En dat gebeurde zeker als hen verzekerd werd dat de interventie die ze kregen, hun gezondheid zou verbeteren en hen een beter gevoel zou geven, zoals gebeurde als onderdeel van de CGT die werd uitgevoerd in PACE en aanverwante studies.
Bovendien werden de laatste evaluaties uitgevoerd op het moment van de laatste sessie – het moment waarop deelnemers maximaal beïnvloed waren ten voordele van de interventie. Het gebeurt heel vaak dat gerapporteerde positieve effecten in dergelijke studies vervagen na enkele weken of maanden, als de impact van de beïnvloeding wat is afgenomen. Met zo’n klein aantal proefpersonen en zonder vergelijkingsgroep vertellen dergelijke bevindingen ons weinig of niks over de eigenlijke behandelingseffecten, als die er al zouden zijn.
Het kan heel goed zijn dat ongeblindeerd onderzoek dat voortgaat op zelfgerapporteerde bevindingen het vragenlijstbeantwoorden beïnvloedt, vooral in de context van een positief therapeutisch contact. Dit soort van subjectieve rapporteringen zijn vooral artefacten die voortkomen uit het studieontwerp, en niet echt een teken van reële verbetering. Dit punt wordt aangetoond door het feit dat schijnbare therapeutische voordelen doorgaans vervagen in opvolgingsstudies, alsook door het feit dat objectieve uitkomsten, zoals aantal stappen gemeten via stappentellers, er nooit in slagen om de zelfgerapporteerde bevindingen te ondersteunen.
De onderzoekers pleiten voor een gerandomiseerde gecontroleerde studie, en beweren dat die “verder bewijs zou leveren als onderbouwing van het nut van CBT-HA voor CVS/ME”. Dit is een vreemde uitspraak. De bedoeling van een klinische studie is om te onderzoeken of iets wel of niet gebeurt, niet om iets te bewijzen wat we al weten. In dit geval hebben de onderzoekers zo goed als beloofd dat een volledige studie zou leiden tot “verder bewijs als onderbouwing van het nut” van hun op maat gemaakte interventie. Die categorieke uitspraak doet vermoeden dat de onderzoekers verknocht zijn aan een vooraf vastgestelde uitkomst, wat de objectiviteit en integriteit van het wetenschappelijk onderzoek ernstig kan ondermijnen.
© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.
Trial By Error: herinnering aan BMJ over muziektherapie; brief aan expert “gezondheidsangst”
David Tuller, DrPH, Virology Blog, 3 juli 2020
Ik heb nog twee brieven geschreven en heb ze hieronder gepost.
De eerste brief is een herinnering aan BMJ’s departement voor onderzoeksintegriteit – deze week verliep namelijk de einddatum waartegen ik een update had moeten krijgen over de stand van zaken omtrent die muziektherapiestudie uit Noorwegen. Je weet wel, die studie die begon als een studie met volledige statistische kracht, maar die een slecht resultaat gaf op meerdere metingen en uiteindelijk gepubliceerd werd als een haalbaarheidsstudie om tot data te komen als onderbouwing van een studie met volledige statistische kracht, zoals ik onlangs documenteerde. Ik verstuurde de brief vanochtend.
De tweede brief, die ik gisteren verstuurd heb, was gericht aan de onderzoeker van de studie over “gezondheidsangst” en CVS/ME, waar ik eerder deze week kritiek op gaf. Net als de PACE-auteurs en zo vele andere CGT-aanhangers, lijkt ze dubbelzinnige bevindingen zo te interpreteren dat ze in haar verhaal passen, en komt gezond verstand er amper aan te pas. Aan mijn eigen academische instelling wordt PACE intussen tijdens lessen epidemiologie besproken als een puik voorbeeld van slecht onderzoek; misschien kan de studie over gezondheidsangst of andere studies van deze onderzoekscohort op een gelijkaardige manier van nut zijn.
**********
Brief aan BMJ’s Departement Onderzoeksintegriteit (3 juli 2020)
Geachte Mevr. Ragavooloo,
Intussen is het twee weken geleden dat we een gesprek hadden, dus ik wilde nog eens contact opnemen om te kijken wat de stand van zaken is omtrent de studie over cognitieve gedragstherapie en muziektherapie, uitgevoerd door Noorse onderzoekers en eerder dit jaar gepubliceerd door BMJ Paediatrics Open. Ik heb in CC verschillende collega’s gezet van Berkeley, Columbia en University College London; ze hebben ook de oorspronkelijke brief aan BMJ ondertekend en kijken net als ik uit naar een degelijke afhandeling van deze kwestie.
Zoals we meer dan een maand geleden in die brief al zeiden, zou een goede oplossing zijn dat de studie ingetrokken wordt, in afwachting van een tweede review door iemand die belooft om de paper te lezen – in tegenstelling tot de oorspronkelijke tweede reviewer. Aan de nieuwe reviewer zou men moeten vragen om het gepubliceerde werk te vergelijken met het studieprotocol en het statistisch analyseplan. Moesten de reviewer en BMJ dezelfde methodologische en ethische fouten identificeren die wij bespraken in onze brief en op Virology Blog, dan moet de studie worden ingetrokken.
In feite zou het een ervaren reviewer niet meer dan een uur tijd moeten kosten om de studiematerialen onder de loep te nemen en vast te stellen hoe de paper zelf afweek van wat vooropgesteld was in het studieprotocol en het statistisch analyseplan. Het zal wellicht iets langer duren om vast te stellen waarom de onderzoekers besloten om te doen wat ze gedaan hebben en waar BMJ’s peerreviewproces precies stukliep.
In de tussentijd hebt u misschien wel dit uitstekende artikel in de Noorse pers gezien, over de studie in BMJ Paediatrics Open. Het artikel bespreekt hoe vreemd het is dat de studie gedegradeerd werd van volledige studie naar haalbaarheidsstudie, en dat de onderzoekers er zelf voor kozen om daar in de gepubliceerde paper niets over te melden. Tevens benadrukt het artikel de negatieve resultaten voor dagelijks aantal stappen – de primaire en enige objectief gemeten uitkomst – en het belangrijke feit dat de interventiegroep het nog slechter deed op die meting dan diegenen die de interventie niet hadden gekregen.
Het Noorse artikel vermeldt niet dat postexertionele malaise, een uitkomst die in de paper in de verf wordt gezet, noch in het protocol, noch in het statistisch analyseplan stond. Verder zegt het artikel ook niks over het feit dat één van de twee reviewers van BMJ Paediatrics Open toegaf dat hij de paper niet had gelezen. Maar dan nog gaat het artikel wel over bedenkelijke zaken waarvoor nog steeds geen verklaring is gegeven. (Ik heb ook de journalist, Ingrid Spilde, bij dit bericht in CC gezet.)
Voordat ik BMJ over deze studie contacteerde, heb ik de senior onderzoeker rechtstreeks aangeschreven, om hem uit te nodigen tot commentaar op mijn bedenkingen, met het aanbod dat zijn volledig commentaar op Virology Blog gepost zou worden. Hij heeft daar niet op geantwoord.
Ik schreef ook naar de eerste reviewer. In tegenstelling tot de tweede reviewer, leek zij de paper wél gelezen te hebben, en ze stelde de schrandere en pertinente vraag of het onderzoek oorspronkelijk bedoeld was als een volledige studie of als een haalbaarheidsstudie. Ik wilde te weten komen of zij wist dat de onderzoekers, in reactie op haar vraag over het doel van het onderzoek, net deden alsof de studie bedoeld was geweest als haalbaarheidsstudie. Van haar heb ik ook geen antwoord gekregen.
Mijn collega’s en ik kijken ernaar uit om te weten te komen wat BMJ van plan is met deze problematische paper, die spijtig genoeg van invloed kan zijn op de behandeling van kinderen met ernstige ziekten – een erg kwetsbare groep. Gezien de vele methodologische en ethische onregelmatigheden in de paper, en gezien het feit dat BMJ hem toch publiceerde, ook al werden de gebruikelijke normen tijdens het peerreviewproces duidelijk niet nageleefd, vragen wij u met aandrang om zo snel mogelijk een aanvaardbaar besluit te trekken.
Vriendelijke groet,
David
David Tuller, DrPH
Senior Fellow Volksgezondheid en Journalistiek
Center for Global Public Health
School of Public Health
University of California, Berkeley
**********
Brief aan hoofdonderzoeker studie “gezondheidsangst” en CVS/ME (2 juli)
Onderwerpregel: Uitnodiging tot reactie op mijn kritiek op uw studie op Virology Blog
Geachte Dr. Daniels,
Ik ben journalist en academische fellow aan de School of Public Health aan University of California, Berkeley. Ik schrijf regelmatig over onderzoek op het domein van CVS, ME en andere zogenaamde somatisch onverklaarde lichamelijke klachten. Een groot deel van mijn werk verschijnt op Virology Blog, een wetenschapssite onder het beheer van Professor Vincent Racaniello, een microbioloog aan Columbia University. (Ik heb Professor Racaniello bij deze e-mail in CC gezet.)
Gisteren postte ik een kritiek op uw recente artikel “Prevalentie en behandeling van Chronisch Vermoeidheidssyndroom/Myalgische Encefalomyelitis en comorbide ernstige gezondheidsangst”, dat gepubliceerd werd door het International Journal of Clinical and Health Psychology. U kan mijn post hier lezen.
Kort gezegd vind ik dat u het bewijs wel erg breed interpreteert als u zegt dat gezondheidsangst bij CVS/ME de symptomen van de ziekte “erger maakt” en dus een specifiek behandelingsdoel moet zijn. Het is tevens ongeloofwaardig. De voorgestelde data leiden volgens mij niet tot die conclusie.
Omdat ik eerlijkheid en open debat belangrijk vind, wil ik u de kans geven om te reageren via hetzelfde kanaal waarop mijn kritiek verschenen is. Als u mij uw opmerkingen stuurt, hoe lang die ook zijn, zal ik ze met plezier volledig posten op Virology Blog, zonder onderbreking of redactioneel commentaar. (Als ik beslis om erop te reageren, zal ik dit doen in een afzonderlijke post.)
Vriendelijke groet,
David
David Tuller, DrPH
Senior Fellow Volksgezondheid en Journalistiek
Center for Global Public Health
School of Public Health
University of California, Berkeley
© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.
https://www.virology.ws/2020/07/21/trial-by-error-another-letter-about-bmjs-music-therapy-study/
Trial By Error: nog een brief over BMJ’s muziektherapiestudie
David Tuller, DrPH, Virology Blog, 21 juli 2020
Ik wacht nog steeds op een antwoord van BMJ over de Noorse studie over cognitieve gedragstherapie plus muziektherapie als behandeling voor chronische vermoeidheid bij adolescenten na klierkoorts/Pfeiffer. De studie werd gepubliceerd in BMJ Paediatrics Open. Ik heb er hier over geschreven.
Vanochtend stuurde ik volgende brief naar de coördinator voor onderzoeksintegriteit van BMJ die gereageerd had op de oorspronkelijke brief van mij en vier collega’s – Jonathan Edwards van University College London, Vincent Racaniello en Mady Hornig van Columbia en John Swartzberg van Berkeley.
Deze collega’s stonden in CC bij mijn uitwisseling met de coördinator voor onderzoeksintegriteit, samen met de hoofdredacteur van het vakblad, BMJ’s redactioneel directeur en een Noorse journalist die over de studie heeft geschreven. Mijn brief staat hieronder.
**********
Geachte Mevr. Ragavooloo,
Ik neem opnieuw contact met u op omtrent de stand van zaken van het onderzoek dat BMJ voert naar de studie over cognitieve gedragstherapie in combinatie met muziektherapie als behandeling voor chronische vermoeidheid bij adolescenten na acute EBV-infectie. Eén van de vele fouten was, dat de studie ten onrechte werd gepubliceerd als haalbaarheidsstudie, en dat één van de peerreviewers van BMJ toegaf dat hij “niet verder dan het abstract” had gelezen.
Mijn collega’s en ik schreven BMJ twee maanden geleden voor het eerst over de vele fouten in de paper. Twee weken geleden liet u ons weten dat de zaak nog steeds onderzocht wordt. U gaf geen tijdspanne waarin u stappen zou ondernemen om het probleem op te lossen.
Artsen en ouders die informatie zoeken omtrent behandelingen voor zieke kinderen en deze paper tegenkomen, zullen er geen idee van hebben dat de paper het strenge peerreviewproces van BMJ niet doorlopen heeft. Het is onrustwekkend dat de studie in het publieke domein blijft staan, zonder enige waarschuwing aan lezers dat de studie de strenge normen van BMJ zelf niet haalt. Dat ze BMJ’s stempel draagt, creëert de indruk dat de studie legitiem en betrouwbaar is. Als een artikel die veronderstelde legitimiteit en betrouwbaarheid niet verdient omdat het peerreviewproces niet naar behoren werd uitgevoerd, zou BMJ dit onmiddellijk aan lezers duidelijk moeten maken, of ten minste zo snel mogelijk, om verspreiding van mogelijk schadelijke desinformatie te voorkomen.
Tot dusver is dat niet gebeurd. Kan u alstublieft toch een tijdskader geven voor het oplossen van dit probleem? En zou u de lezer in de tussentijd kunnen informeren, via een goed zichtbare nota, dat de studie in feite geen geldige peerreview heeft gehad?
Vriendelijke groet,
David
David Tuller, DrPH
Senior Fellow Volksgezondheid en Journalistiek
Center for Global Public Health
School of Public Health
University of California, Berkeley
© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.
https://www.virology.ws/2020/07/25/trial-by-error-why-wont-bmj-take-action-on-music-therapy-study/
Trial By Error: experts Columbia vragen BMJ dringend om intrekking problematische studie
David Tuller, DrPH, Virology Blog, 25 juli 2020
Op donderdag schreven Professor Vincent Racaniello en Maddy Hornig, beiden van Columbia University, naar de coördinator voor onderzoeksintegriteit van BMJ. Ik had eerder al schriftelijk contact met BMJ, en meer bepaald met de coördinator voor onderzoeksintegriteit, over de Noorse studie over cognitieve gedragstherapie in combinatie met muziektherapie als behandeling voor chronische vermoeidheid bij adolescenten na acute EBV-infectie (in België bekend als klierkoorts en in Nederland als ziekte van Pfeiffer). BMJ Paediatrics Open publiceerde de paper een paar maanden geleden.
Buiten verschillende problemen met de paper zelf (zie onder), lijkt ook het peerreviewproces te zijn stukgelopen. BMJ Paediatrics Open werkt met open peerreviews en de reviews worden gepost op de website van het vakblad. In dit geval schreef één van de twee peerreviewers in zijn review dat hij “niet verder dan het abstract” had gelezen. (Hij gaf een paar opmerkingen op het abstract.)
Om een nog onverklaarde reden was het feit dat de reviewer toegaf dat hij de paper zelf niet had nagekeken geen struikelblok voor publicatie in BMJ Paediatrics Open. Het is niet duidelijk of de redacteurs de peerreview lazen en beslisten dat het niet erg was dat de reviewer de paper niet had gelezen, of ze de review wél hadden gelezen maar die uitspraak in kwestie niet hebben gezien, of dat ze de review helemaal niet hebben gelezen. Wat de verklaring ook zij, dit is een enorme peerreviewblunder voor BMJ.
Samen met collega’s van Columbia, Berkeley en University College London stuurde ik BMJ een brief om de redacteurs te wijzen op dit probleem, alsook op onze vele methodologische en ethische bedenkingen over de paper zelf. Dat is al bijna twee maanden geleden. En toch heeft BMJ Paediatrics Open bij deze paper nog steeds geen waarschuwing gezet over het feit dat de paper niet voldeed aan de strenge normen voor peerreview van BMJ zelf. BMJ heeft ook geen einddatum gegeven tegen wanneer de overduidelijke problemen in deze paper opgelost zullen zijn. Waar wacht BMJ nog op?
Als ze cruciale bedenkingen over wetenschappelijke integriteit op zo’n nonchalante manier benaderen, waarom hebben ze dan een coördinator voor onderzoeksintegriteit? Je kan hier ook uit afleiden dat ze verbluffend onverschillig staan tegenover de gezondheid van kinderen die lijden aan een ernstige postvirale aandoening – en zeker nu de planeet overspoeld wordt door een virale pandemie met mogelijk enorme gevolgen op lange termijn.
Naast het gebrekkige peerreviewproces stonden er in de studie ook meerdere fouten, waaronder o.a. de volgende:
1) In zowel studieprotocol, de registratie als het statistisch analyseplan werd het onderzoek omschreven als een studie met volledige statistische kracht. Maar er waren moeilijkheden bij de rekrutering, de interventiegroep kende een hoge uitval en de resultaten vielen tegen. De gepubliceerde paper stelde het onderzoek voor als een haalbaarheidsstudie zonder te vermelden dat ze in feite ontworpen was als studie met volledige statistische kracht. De onderzoekers suggereerden in hun conclusies dat de resultaten “wellicht een volledige klinische studie rechtvaardigen” – ook al hadden ze net zulke studie uitgevoerd en had dat niet de gewenste resultaten opgeleverd.
2) “Postexertionele malaise” werd als uitkomst uitgelicht in de gepubliceerde paper, maar stond niet vermeld in de studieregistratie, het protocol of het statistisch analyseplan.
3) De primaire uitkomst was het gemiddeld aantal stappen per dag, objectief gemeten. Beide groepen deden het slechter op deze meting na de studie dan bij het begin, en de achteruitgang was zelfs groter bij diegenen die de behandeling hadden gekregen. In hun conclusie argumenteerden de onderzoekers dat de bevindingen “wellicht een volledige klinische studie rechtvaardigen”, maar verwezen hierbij niet naar deze zwakke resultaten op de vooraf bepaalde primaire uitkomst.
4) De onderzoekers ontwikkelden een definitie van “herstel” die de objectief gemeten primaire uitkomst negeerde en enkel en alleen voortging op een subjectieve secundaire uitkomst. Vervolgens stelden ze deze twijfelachtige data over “herstel” enkel voor in een analyse-volgens-protocol, in plaats van een analyse-volgens-behandelingsintentie. Een analyse-volgens-protocol houdt per definitie geen rekening met de hoge uitval in de interventiegroep, wat in dit geval leidde tot een opgeschroefde gerapporteerde graad van “herstel”.
In hun brief aan de coördinator voor onderzoeksintegriteit van BMJ merkten Professor Racaniello en Hornig op dat verder uitstel van deze kwestie onhoudbaar is. Ze schreven: “Het is wel duidelijk dat BMJ verplicht is om lezers onmiddellijk op de hoogte te stellen van het feit dat de paper geen degelijke peerreview heeft doorlopen, en als de door Dr. Tuller gedocumenteerde methodologische fouten bevestigd worden, dan moet de paper worden ingetrokken.”
Bij de brief stonden in CC andere medeondertekenaars van de eerste brief (Professor Jonathan Edwards van University College London, Professor John Swartzberg van UC Berkeley en ikzelf). Verder stonden in CC Professor Imti Choonara, redacteur van BMJ Paediatrics Open; Dr. Fiona Godlee, BMJ’s redactioneel directeur; en Ingrid Spilde, een Noorse journalist die over de studie heeft geschreven.
**********
Geachte Mevr. Ragavooloo,
Wij hopen dat u deze lastige tijden goed doorstaat.
Nu er steeds meer meldingen zijn van langdurige post-Covid-19-symptomen en men vreest dat deze postvirale syndromen zouden kunnen uitgroeien tot ME (die bezorgdheid werd ook geuit door NIAID-directeur Dr. Anthony Fauci, op 9 juli 2020, https://edition.cnn.com/world/live-news/coronavirus-pandemic-07-09-20-intl/h_5125152a01f8c98d362cf15d6860ab37), gaan artsen steeds vaker op zoek naar betrouwbare bronnen over postvirale vermoeidheid en over ME, en hoe je daar best mee omgaat.
Het zou voor BMJ toch zeker van vitaal belang moeten zijn om ervoor te zorgen dat de publicaties die de lezers raadplegen voor klinisch advies, degelijke peerreview hebben doorstaan en vrij zijn van studie. [*]
Het is in deze context dat wij willen onderstrepen hoe belangrijk het is om snel met een oplossing te komen voor de kwesties waarop Dr. Tuller, samen met ons en andere collega’s, voor het eerst uw aandacht vestigde op 31 mei 2020.
BMJ heeft hier vanzelfsprekend de verplichting om lezers onmiddellijk op de hoogte te stellen van het feit dat de paper geen degelijke peerreview heeft gehad en, als de door Dr. Tuller gedocumenteerde methodologische fouten bevestigd worden, moet de paper worden ingetrokken.
Wij danken u alvast voor uw weloverwogen aandacht en hopen dat u hier snel werk van maakt.
Hoogachtend,
Vincent R. Racaniello, PhD
Professor Microbiologie en Immunologie
Columbia University
New York, New York, VSA
Mady Hornig, MA, MD
Hoofddocent Epidemiologie
Columbia University Mailman School of Public Health
New York, New York, VSA
**********
[*]Trouwens, als je een foutje hebt gezien in de derde paragraaf van de brief, goed opgemerkt! Er werd mij verteld dat het zinsdeel “vrij van studie” eigenlijk had moeten zijn “vrij van protocolafwijkingen, ethische onregelmatigheden en andere problemen”. Oeps! Ik ga ervan uit dat BMJ het wel begrepen zal hebben.
© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.
Lees ook
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (1)
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (2)
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (3)
- Onderzoekers van de PACE-studie antwoorden David Tuller
- David Tuller reageert op de PACE-onderzoekers
- Petitie : Misleidende claims van PACE-studie moeten teruggetrokken worden
- Trial by error, vervolgd: heeft de PACE-studie echt een “strikt criterium” voor herstel toegepast?
- Trial by error, vervolg: Waarom is het “zusteronderzoek” van de PACE-studie “verdwenen” en vergeten?
- Overheid beveelt vrijgave van de gegevens van de PACE-studie
- Proffen schrijven open brief aan The Lancet en vragen herevaluatie van PACE-resultaten
- Open brief van Invest in ME over de PACE-studie aan de redacteur van The Lancet
- Trial by error, vervolgd: Het werk van het PACE-team voor verzekeringsmaatschappijen “houdt geen verband” met PACE. Echt waar?
- In het kielzog van het onderzoek van David Tuller, publiceren de PACE-onderzoekers een follow-upstudie
- ME Association: We betwisten het follow-uprapport van de PACE-studie
- Professor Jonathan Edwards: PACE-studie is “waardeloos”
- Oninterpreteerbaar: Fatale fouten in het PACE follow-uponderzoek van het chronisch vermoeidheidssyndroom
- Waarom de wetenschappelijke wereld het nodig heeft dat de PACE-gegevens worden vrijgegeven
- Reporter hekelt studie naar chronisch vermoeidheidssyndroom: ik stopte bij 14.000 woorden – genoeg was genoeg
- Een “moreel equivalent van oorlog” en de PACE-studie over chronisch vermoeidheidssyndroom
- Waarom ME-patiënten kritisch zijn over de PACE-studie
- Was onafhankelijke peerreview van de papers over de PACE-studie mogelijk?
- James Coyne over de “objectiviteit” van NHS Choices en het belachelijk maken van ME/CVS-patiënten
- Wat er voor nodig is voor Queen Mary om een verzoek om wetenschappelijke gegevens als “ergerlijk” te verklaren
- Update van mijn formeel verzoek voor het vrijgeven van de gegevens van de PACE-studie
- Formeel verzoek aan PLOS One om een Uitdrukking van Bezorgdheid uit te vaardigen voor de PACE-studie
- Waarom ik niet weet hoe PLOS zal reageren op de weigering van de auteurs om de data vrij te geven
- Antwoord van PLOS One op de bezorgdheid over de weigering van King’s College om de PACE-data te delen
- Proffen verzoeken om de gegevens van de PACE-studie
- King’s College London rekt tijd nog wat meer door weigering te herhalen om PACE-onderzoeksdata vrij te geven
- Herkennen wanneer het “beschermen van de privacy van patiënten” louter een excuus is voor het niet delen van de data
- Herzien van de economische analyse van de PACE-studie in PLoS One
- Een inkijk in de aanval op het delen van data
- Trial By Error, vervolgd: vragen voor Dr. White en zijn collega’s van de PACE-studie
- Niet-bekendgemaakte belangenconflicten in reviewprotocol van interventies voor medisch onverklaarde symptomen
- Trial by error, vervolgd: heeft de PACE-studie werkelijk bewezen dat graduele oefentherapie veilig is?
- Trial by error, vervolgd: meer nonsens van The Lancet Psychiatry
- We zijn tenminste niet ergerlijk
- Verdere inzichten in de oorlog tegen het delen van data
- Trial by error, vervolgd: een paar woorden over pesterijen
- Het heroverwegen van het beleid rond het onderzoek naar en de behandeling van ME/CVS
- Opnieuw een open brief aan de Lancet
- What About ME? Deel 1: ME-patiënten vragen patiëntenorganisaties kleur te bekennen t.a.v. PACE
- Ook België steunt in open brief de globale oproep om de PACE-data vrij te geven
- Lezing Dr. David Tuller en Prof. Frans Visser tijdens Nederlandse première Forgotten Plague
- Petitie met 12.000 handtekeningen aan The Lancet bezorgd om de PACE-studiedata vrij te geven
- Open brief Prof. Malcolm Hooper aan The Lancet
- Een half jaar gaat voorbij zonder de vrijgave van PACE-studiedata uit PLOS One
- PACE-Gate: de controverse over de grootste studie naar CGT en GET bij ME/cvs
- Proffen schrijven open brief aan PLoS One i.v.m. PACE-studie naar CGT/GET
- Correctie van PLoS verwijdert geanonimiseerde patiëntengegevens in studie naar CVS (& zet ze daarna terug)
- “Hun mond viel open van verbazing over de PACE-trial naar CGT en GET.”
- Rechtbank eist vrijgave van de gegevens van de PACE-studie naar CGT en GET voor ME/CVS
- Queen Mary University of London “bestudeert” de regelgeving om de PACE-data vrij te geven
- The Lancet struikelt opnieuw over de PACE-studie
- Trial by error, vervolgd: mijn vragen voor de hoofdredacteur van The Lancet, Richard Horton
- Vrijgave data PACE-team volgens originele protocol
- Verklaring QMUL: bekendmaking van de data van de PACE-studie onder de Wet op de Vrijheid van Informatie
- Persbericht. De vrijgave van de PACE-data is een fundamentele overwinning voor mensen met ME/cvs
- Stop studies naar graduele oefentherapie voor ME/CVS
- Prof. Van der Meer waarschuwt voor delen van data met “je vijanden”
- Geen “herstel” in de PACE-studie, blijkt uit nieuwe analyse
- Slechte wetenschap heeft miljoenen ME/cvs-patiënten misleid. Hier leest u hoe we terugvochten.
- Belangrijkste punten uit de analyse van de ruwe data voor “herstel” van de PACE-studie
- Bewijs voor aanbevolen behandelingen voor ME en CVS houdt geen stand
- Trial by error, vervolgd: de echte data van de PACE-studie
- Erger dan de ziekte
- De PACE-studie: waar “herstel” niet betekent dat je terug gezond bent
- Hoe de brief van Alem Matthees het mysterie van ME/cvs hielp oplossen
- Een open brief aan Psychological Medicine over “herstel” en de PACE-trial (Update)
- Opnieuw een open brief aan Psychological Medicine!
- De bal misslaan bij ME/cvs
- Trial by error, vervolgd: de nieuwe FITNET-studie voor kinderen
- Trial by error, vervolgd: een vervolgpost over FITNET-NHS
- Trial by error, vervolgd: de Nederlandse studies (opnieuw!), en een Esther Crawley-bonus
- Trial by error, vervolgd: mijn lasterlijk bloggen op Virology Blog
- Trial by error, vervolgd: een open brief aan het bestuur van het CFS/ME Research Collaborative (CMRC)
- Trial by error, vervolgd: CFS/ME Research Collaborative aan Virology Blog: “Rot op!”
- Trial by error, vervolgd: Het CMRC bevestigt volledige steun aan Lasterlijke Esther
- Trial by error, vervolgd: ME Research UK stapt uit het CFS/ME Research Collaborative
- Trial by error, vervolgd: mijn “scheur-het-aan-flarden”-toespraak bij Invest in ME
- David Tuller zamelt geld in voor Virology Blogs Trial by error: verslaggeving over PACE, ME/cvs en verwante onderwerpen
- Trial by error, vervolgd: mijn brief aan de University of Bristol
- Crowdfundingcampagne David Tuller in teken van ME: nog twee weken te gaan…
- David Tuller komt op voor ME: de laatste tien dagen van de campagne…
- Trial by error, vervolgd: is PACE een geval van wetenschappelijk wangedrag?
- Trial by error, vervolgd: de reis van Julie Rehmeyer “Through The Shadowlands”
- Trial by error, vervolgd: meer over graduele oefentherapie van Peter White en The Lancet
- Trial by error: De CDC schrappen cognitieve gedragstherapie (CGT) en graduele oefentherapie (GET) voor ME/cvs
- Trial by error: De NICE-richtlijnen, en meer over de CDC
- Trial by error: NICE weigert om namen van experts te onthullen
- Trial by error: NICE verwerpt mijn verzoek op basis van vrijheid van informatie
- De PACE-trial, of hoe een medisch schandaal tot stand kwam
- Waarop moet je letten in de Speciale Editie van het Journal of Health Psychology over de PACE-trial
- Deel 2: Waarop moet je letten in de Speciale Editie van het Journal of Health Psychology over de PACE-trial
- Trial by error: de wanhopige pogingen van het Science Media Center om PACE te verdedigen
- Trial by error: gepensioneerde PACE-onderzoeker Peter White en Swiss Re
- Trial by error: mijn e-mailuitwisseling met de directeur van NICE
- Trial by error: geen ethische review van de studie van Crawley over afwezigheid op school
- Trial by error: verzoek om meer details over de studie van Crawley over afwezigheid op school
- Trial by error: de rapporten van de “deskundigen ter zake” van NICE
- Trial by error: MEGA’s nieuwst mislukking
- Trial by error: NICE verwerpt huidige richtlijn, plant “volledige update”
- Trial by error: NIH geeft een subsidie van 2,1 miljoen dollar aan de Britse Biobank!
- Trial by error: nog een brief aan de directeur van NICE
- Trial by error: huidige NICE-richtlijn blijft, voorlopig toch
- Trial by error: de verrassende nieuwe gids voor beste praktijken van BMJ [voor ME/cvs]
- Trial by error: mijn korte ontmoeting met Professor Crawley
- Trial by error: Hé, Bristol! Waar is mijn ‘cease and desist’-brief*?
- Trial by error: de Crawley-kronieken (vervolg)
- Trial by error: mijn eenzijdige correspondentie met professor Crawley
- Trial by error: de niet-openbaar gemaakte uitkomstenverwisseling van de SMILE-studie
- SMILE-studie Lightning Process voor kinderen met CVS: Resultaten te mooi om waar te zijn?
- Trial by error: mijn vragen voor het Science Media Center
- Trial by error: de klacht van Bristol aan Berkeley
- David Tuller en de (s)PACEcake-eters
- Trial by error: de studie naar afwezigheid op school, tweede ronde
- Trial by error: COPE aan BMJ Open: meer details alstublieft!
- Trial by error: mijn halfjaaroverzicht
- Trial by error: de valse beweringen van professor Crawley op BuzzFeed
- Trial by error: een brief aan Archives of Disease in Childhood
- Trial by error: brief van CPET-experts aan het British Journal of Sports Medicine
- Trial by error: QMUL en FOI, Nature en Cochrane, het Pineapple Fund
- Trial by error: een brief aan BMJ Open
- Trial by error: onze gedachtenwisseling met BMJ Open
- Trial by error: mijn briefwisseling met het vakblad Archives of Diseases in Childhood
- Trial by error: nieuws over mijn plannen
- Trial by error: het nieuws van het CFS/ME Research Collaborative
- Trial by error: de Nederlandse review; mijn trip; Bristols stilzwijgen
- Trial by error: de stand van zaken in Australië en de nieuwe functie van professor Crawley
- Trial by error: ik meld me even vanuit Melbourne en Canberra…
- Trial by error: de volgende ronde met BMJ Open 26/3
- Trial by error: vragenronde met Schots Parlementslid Carol Monaghan 28/3
- Trial by error op Virology Blog: verslaggeving over ME/CVS. Crowdfundingscampagne voor David Tuller! 29/3
- Trial by error: mijn door Berkeley ondersteunde crowdfundingscampagne 2/4
- Trial by error: onze nieuwste tango met BMJ Open… 2/4
- Trial by error: een fantastisch stuk over ME/CVS op de Australische TV 4/4
- Trial by error: een post over Andrew Lloyd 4/4
- Trial by error: mijn Australische tour, vervolg 11/4
- Trial by error: twee podcastinterviews en “belangenconflicten” 16/4
- Trial by error, gastpost: crowdfunding David Tuller is geen belangenconflict 16/4
- Trial by error: Professor Michael Sharpes flater op de Australische Radio 18/4/18
- Trial by error: de steun die Andrew Lloyd in het verleden gaf aan PACE 24/4/18
- Trial by error: de winkeltasstudie en de vernieuwde website van de staat New York 24/4/18
- Trial by error: tot ziens Australië; en twee updates 25/4/18
- Trial by error: Vraag en antwoord met Leonard Jason met betrekking tot gevalsdefinities 2/5/18
- Trial by error: mijn bezoeken aan Alem Matthees 7/5/18
- Trial by error: Australiës online bijscholingsprogramma over GET/CGT 14/5/18
- Trial by error: meer over de CDC; Reader’s Digest; Newsbeat op BBC 23/5/18
- Trial by error: NICE neemt het Lightning Process in beschouwing 28/5/18
- Trial by error: mijn woordenwisseling met de hoofdonderzoekers van PACE, in NY Times in 2011 29/5/18
- Trial by error: BMJ “onderzoekt” nog steeds de paper over het Lightning Process 4/6/18
- Trial by error: mijn brief aan Parlementslid Monaghan over BMJ-studies 5/6/18
- Trial by error: een brief aan gezondheidsambtenaren over de lakse redactionele maatstaven van BMJ 6/6/18
- Trial By Error: mijn brief over de BMJ-studie aan het Science Media Centre 6/6/18
- Trial By Error: nog enkele brieven over BMJ’s gebrekkige pediatrische studies 11/6/18
- Trial By Error: een leerplan voor behandeling van CVS met CGT 13/6/18
- Trial by error: een brief aan NICE over het IAPT-programma 18/6/18
- Trial by error: Sir Simon trapt bal in eigen doel 18/6/18
- Trial by error: een open brief aan The Lancet, twee jaar later 19/6/18
- Trial by error: Professor Sharpes driftige opmerkingen – in wiens naam spreekt hij eigenlijk? 25/6/18
- Trial by error: mijn gesprek met professor Bishop 25/6/18
- Trial by error: Professor Sharpes briefing aan Monaghan vóór de hoorzitting 2/7/18
- Trial by error: mijn brief aan Fiona Godlee 2/7/18
- Trial by error: zijn alle experts in klinische studies fan van PACE? 9/7/18
- Trial by error: nog maar eens een oproep aan The Lancet, met meer handtekeningen 10/7/18
- Trial by error: wachten op Godlee 11/7/18
- Trial by error: mijn brief aan het Wetenschappelijk en Technisch Comité van het Parlement 11/7/18
- Trial by error: de inhoudsloze “noot van de redactie” bij de studie over het Lightning Process 16/7/18
- Trial by error: de update van CDC voor zorgverstrekkers 30/7/18
- Trial by error: Mayo blijft pleiten voor GET 6/8/18
- Trial by error: open brief aan The Lancet, versie 3.0 13/8/18
- Trial by error: de BPS-brigade trapt bal wéér in eigen doel 15/8/18
- Trial by error: meer Mayo alsjeblieft 20/8/18
- Trial by error: rekruteringsadvertentie voor FITNET-NHS maakt reclame voor “herstel” 20/8/18
- Trial by error: mijn brief aan Red Whale/GP Update 22/8/18
- Trial by error: nog een brief aan BMJ’s Dr Godlee 27/8/18
- Trial by error: Professor Edward brief aan Fiona Watt van MRC 28/8/18
- Trial by error: de Cochranecontroverse 3/9/18
- Trial by error: hoe staat het eigenlijk met de MAGENTA-studie? 17/9/18
- Trial by error: Bruce Levin over “hoe je een gerandomiseerde klinische studie NIET uitvoert” 18/9/18
- Trial by error: de open brief aan Netflix over Afflicted 24/9/18
- Over lichamelijke symptomen die afgewimpeld worden als “tussen de oren” 27/9/18
- Trial by error: de conferentie van de CFS/ME Research Collaborative 1/10/18
- Trial by error: mijn meest recente brief aan Archives of Disease in Childhood 8/10/18
- Trial by error: mijn eerste post over het IAPT-programma 10/10/18
- Trial by error: Per Fink in New York 16/10/18
- Trial by error: de zielige reactie van de Psychosomatische Conferentie 17/10/18
- ME/CVS is geen psychosomatische ziekte 18/10/18
- Mijn brief aan organisator van 4 e Psychosomatiekconferentie aan Columbia 19/10/18
- Trial by error: Cochrane trekt gebrekkige review over lichaamsbeweging in 19/10/18
- Een steunbetuiging aan Cochrane 23/10/18
- Trial by error: waar blijft die verontschuldiging, BMJ Open? 24/10/18
- Trial by error: drie jaar verder… 28/10/18
- Trial by error: wéér een brief over de studie over het Lightning Process 7/11/18
- Trial by error: een Australische uitwisseling met professor Sharpe 8/11/18
- Trial by error: hoe ontwijk je ethische review? 12/11/18
- Trial by error: enkele bedenkingen over NICE 19/11/18
- Trial by error: goed nieuws over Cochrane 3/12/18
- Trial by error: BMJ zag Bristols ethische vrijstellingen door de vingers 4/12/18
- Trial by error: een nieuwe zet van Cochrane 10/12/18
- Trial by error: het Noorse perspectief 12/12/18
- Trial by error: de nieuwe studie over interferon voor “CVS” 19/12/18
- Trial by error: Australisch ontwerprapport nodigt uit tot commentaar 24/12/18
- Trial by error: “Geen woorden, maar daden!”, zeggen patiënten tegen NIH 26/12/18
- Trial by error: mijn brief aan de seniorauteur van de studie over het Lightning Process 7/1/19
- Trial by error: verdere bedenkingen over de interferonstudie 7/1/19
- Trial by error: weer een Parlementair Debat voor Carol Monaghan 21/1/19
- Trial by error: mijn zesmaandelijks overzicht 22/1/19
- Trial by error: het werkgerelateerd advies van Action for ME 23/1/19
- Trial by error: Steve Brines verontrustende uitspraak in het parlementaire ME-debat 28/1/19
- Trial by error: mijn brief aan Professor Chew-Graham over METRIC 28/1/19
- Trial by error: Bristol onderzoekt Crawleypapers 31/1/19
- Trial by error: enkele bedenkingen over een aanstaand artikel 31/1/19
- Trial by error: de vragen van de verslaggever voor professor Racaniello 31/1/19
- Trial by error: wat meer over Bristols onderzoek 1/2/19
- Trial by error: een terugblik op de studie over de afwezigheid op school 3/2/19
- Trial by error: en nog een “repliek vooraf”… 5/2/19
- Trial by error: HRA-rapport praat PACE niet goed 6/2/19
- Trial by error: BMJ past PACE-artikel van vorige week aan 12/2/19
- Trial by error: mijn vragen aan de PACE-professoren 13/2/19
- Trial by error: Brieven aan Fiona Godlee en Nigel Hawkes 18/2/19
- Trial by error: Professor Sharpe vraagt om intrekking van artikels 18/2/19
- Trial by error: de kostprijs van SOLK 25/2/19
- Trial by error: wie heeft de documenten over de schoolstudie? 4/3/19
- Trial by error: stomme studies 6/3/19
- Trial by error: grote Amerikaanse zorgverzekeraar wijzigt koers! 11/3/19
- Trial by error: mijn brief aan professor Hotopf over Bristols schoolafwezigheidsstudie 18/3/19
- Trial by error: update van Cochrane en laatste brief van Caroline Struthers 20/2/19
- Trial by error: Cochranes rapport over Courtneys klacht 12/3/19
- Trial by error: mijn verslaggeving over ME/cvs en aanverwante controverses 27/3/19
- Trial by error: mijn brief aan Kate Kelland 18/3/19
- Trial by error: de zielige reactie van CDC aan Reuters 25/3/19
- Trial by error: meer over Kaiser Permanente 1/4/19
- Trial by error: april is crowfundingmaand aan Berkeley 1/4/19
- Trial by error: Amerikaanse Top voor ME/cvs-artsen 2/4/19
- Trial by error: crowdfunding, week 1 8/4/19
- Trial by error: mijn meest recente brief aan Bristol 9/4/19
- Trial by error: crowdfunding, week 2 en meer over Sharpe en Chalder 15/4/19µ
- Trial by error: update over Reuters 18/4/19
- Trial by error: ik kom even terug op het verhaal in Reuters 21/4/19
- Trial by error: crowdfunding, week 3: je donatie wordt verdubbeld 22/4/19
- Trial by error: Jennie Spotila over toespraak directeur NIH 23/4/19
- Trial by error: weer een brief aan de juridische dienst van Bristol 29/4/19
- Trial by error: mijn opvolgingsbrief aan Reuters 30/4/19
- Trial by error: mijn brief over SOLK aan British Journal of General Practice 6/5/19
- Trial by error: mijn gesprek met British Journal of Medical Practice 7/5/19
- Trial by error: ik schreef nog maar eens aan Bristol 13/5/19
- Trial by error: crowdfunding is ten einde! 14/5/19
- Trial by error: pleidooi aan Fiona Godlee over een bekend thema 16/5/19
- Trial by error: mijn opvolgbrief aan het British Journal of Medical Practice 20/5/19
- Trial by error: Lightning Process “doeltreffend”? Dat meen je toch niet? 20/5/19
- Trial By Error: mijn meest recente brief over de studie over het Lightning Process: update 22/5/19
- Trial by error: British Journal of Medical Practice stemt in met correctie over SOLK 29/5/19
- Trial by error: Professor Edwards schrijft naar Dr Godlee van BMJ over de LP-studie 3/6/19
- Trial By Error: tijd om de LP-studie in te trekken; Brief aan Archives of Disease in Childhood 3/6/19
- Trial By Error: een FOI-aanvraag aan Bristol over LP-studie 3/6/19
- Trial By Error: terugkijk op mijn vragen aan Science Media Centre over Bristols LP-studie 3/6/19
- Trial By Error: een tweede brief aan seniorauteur LP-studie 5/6/19
- Trial By Error: opvolging van mijn opvolgingsbrief aan Dr. Segal over citatie LP-studie 5/6/19
- Trial by error: hé BJGB, waar blijft die correctie over de kostprijs van SOLK? 10/6/19
- Trial by error: BJGP-correctie op komst; BMJ blijft ons hardnekkig negeren 11/6/19
- Trial by Error: een brief aan Bristol over mijn recente FOI-verzoek; plus update 12/6/19
- Trial By Error: weer een review die de LP-studie vernoemt, dus ik klim weer in mijn pen 24/6/19
- Trial By Error: een update over de pediatrische SOLK-review 26/6/19
- Trial By Error: FOI-antwoord uit Bristol over LP-studie; correctie in BJGP over SOLK /1/7/19
- Trial By Error: mijn brief aan Professor Chew-Graham over de kostprijs van SOLK 1/7/19
- Trial By Error: bedenkingen over SOLK en Bermingham; Brief aan Professor Payne 8/7/19
- Trial By Error: Mary Dimmock over de nieuwe bewijsreview van de CDC 10/7/19
- Trial By Error: ons contact met vakblad BMJ over “correctie” LP-studie 15/7/19
- Trial By Error: Britse klinieken gaan te laks om met schade door behandeling, zegt studie 16/7/19
- Trial By Error: nieuwe GET-onzin uit Australië 29/7/19
- Trial By Error: een slecht geïnformeerd artikel in The Guardian 13/8/19
- Trial By Error: mijn interview met de Australische Dr. Don Lewis 19/8/19
- Trial By Error: Joan McParlands getuigenis over het Lightning Process 21/8/19
- Trial By Error: BMJ’s gedrag is moreel failliet – open brief aan Dr. Godlee 28/8/19
- Trial By Error: oproep tot intrekking van de LP-studie 3/9/19
- Trial By Error: hoofdauteur nieuwe bias-richtlijn Cochrane was coauteur LP-studie 31/8/19
- Trial By Error: meer over Cochranes nieuwe tool i.v.m. risico op bias 4/9/19
- Trial By Error: nog meer experts roepen Godlee op tot intrekking LP-studie 9/9/19
- Trial By Error: Dr. Godlee krijgt weer keiharde brieven van experts 11/9/19
- Trial By Error: nieuwe lading brieven aan Dr. Godlee over BMJ’s flaters i.v.m. LP-studie 16/9/19
- Trial By Error: mijn brief aan professor Chalder over de PRINCE-studie 16/9/19
- Trial By Error: mijn brief aan BMJ Open i.v.m. foute bewering over SOLK 18/9/19
- Trial By Error: hoe zit het met de Cochranereview over bewegingstherapie? 24/9/19
- Trial By Error: waar blijft Bristols rapportage over Professor Crawleys ethische misstappen? 2/10/19
- Trial By Error: meer over de herziene Cochranereview over bewegingstherapie 9/10/19
- Trial By Error: Bristols rapport op komst; slides van mijn lezing in Oxford 21/10/19
- Trial By Error: brief van HRA over doorlichting Bristolstudies 28/10/19
- Trial By Error:“Bristol, hoog tijd om uw klacht tegen Berkeley in te trekken” 29/10/19
- Trial By Error: hoe ontwijk je ethische review? (herneming) 30/10/19
- Trial By Error: Brief van HRA aan Rector van Berkeley 2/11/19
- Trial By Error: opvolgingsbrief aan Bristol 15/11/19
- Trial By Error: BMJ’s gedrag is moreel failliet – tweede open brief aan Dr. Godlee 22/11/19
- Trial By Error: nog meer experts roepen Godlee op tot intrekking LP-studie 2/12/19
- Trial By Error: Fiona Godlee blijft studie Lightning Process steunen 6/12/19
- Trial By Error: Mayo’s flutwebsite 10/12/19
- Trial By Error: mijn opiniestuk over BMJ en dr. Godlee 16/12/19
- Trial By Error: PEM is vreselijk en Fukuda is dat ook, zegt nieuwe studie 24/12/19
- Trial By Error: wankel bewijs voor tekenen van Functionele Neurologische Stoornissen 30/12/19
- Trial By Error: mijn gedachtewisseling uit 2011 met White et al over gevalsdefinitie 31/12/20
- Trial By Error: nog wat bedenkingen over Functionele Neurologische Stoornis 7/1/20
- Trial By Error: de open brief van de Deense ME-Vereniging 8/1/20
- Trial By Error: 2018 – PACE-heranalyse en expertbeoordeling van Science Media Centre 13/1/2020
- Trial By Error: CGT geeft geen voordeel voor patiënten met vergevorderde kanker, zegt studie 15/1/20
- Trial By Error: CGT en prikkelbaredarmsyndroom 24/1/20
- Trial By Error: een commerciële deal voor het digitale CGT-programma voor PDS van King’s College London 27/1/20
- Trial By Error: aanvraag bij King’s College London i.h.k.v. Vrijheid van Informatie; brief aan Mahana Therapeutics 27/1/20
- Trial By Error: meer over de deal met Mahana Therapeutics 28/1/20
- Trial By Error: mijn brief aan Professor Moss-Morris 3/2/20
- Trial By Error: mijn brief aan een van de adviseurs gastro-enterologie van Mahana 5/2/20
- Trial By Error: mijn opvolgingsbrief aan professor Rona Moss-Morris 10/2/20
- Trial By Error: nog een brief aan twee Mahana-adviseurs gastro-enterologie 11/2/20
- Trial By Error: mijn brief aan Mahana’s CEO en medestichter 11/2/20
- Trial By Error: mijn opvolgbrief aan CEO van Mahana Therapeutics 17/2/20
- Trial by error: een Australisch radio-interview met dr. Mark Guthridge uit Melbourne 19/2/20
- Trial By Error: nog een brief over Mahana; BerkeleyWellness over PDS-studie 24/2/20
- Trial By Error: nieuwe biopsychosociale studie over vermoeidheid bij HIV-patiënten 2/3/20
- Trial By Error: wat nu? 18/3/20
- Trial By Error: King’s College London wijst mijn FOI-aanvraag af (deze post gaat niet over COVID) 7/4/20
- Trial by error: een bericht over Lupus en SOLK, niet over COVID 8/4/20
- Trial By Error: mijn verslaggeving over ME, cvs, “somatisch onverklaarde lichamelijke klachten” e.a. 9/4/20
- Trial By Error: terug naar Mahana en prikkelbaredarmsyndroom… 15/4/20
- Trial By Error: Oxford-NHS adviseert GET/CGT voor post-COVID-“CVS”-patiënten 16/4/20
- Trial By Error: Opvolging van mijn opvolgingsbrief aan Mahana 18/4/20
- Trial By Error: mijn FOI-brief over Oxfords pamflet over vermoeidheid na COVID-19 18/4/20
- Trial By Error: opvolging aanvraag Vrijheid van Informatie bij Oxford Health 20/4/20
- Een update over mijn lopende crowdfunding 20/4/20
- Trial By Error: Meer over het Mahanagedoe… 25/4/20
- Trial By Error: nog een bericht aan Mahana’s gastro-enterologische adviseurs 28/4/20
- Trial By Error: Noors studievoorstel over Lightning Process 2/5/20
- Trial By Error: reactie van Oxford Health op mijn aanvraag i.h.k.v. Vrijheid van Informatie 2/5/20
- Trial By Error: Mijn brief aan corresponderend auteur PDS-studie 5/5/20
- Trial By Error: Merck Manual adviseert nog steeds GET/CGT 6/5/20
- Trial By Error: meer over die Noorse studie over CGT/Muziektherapie 16/5/20
- Trial By Error: meer over die rare Noorse CGT/muziektherapie-studie 18/5/20
- Trial By Error: Noorwegen krijgt dubbele dosis wazige wetenschap 20/5/20
- Trial By Error: mijn brief aan senior auteur van Noorse CGT/Muziektherapiestudie 22/5/20
- Trial By Error: mijn brief aan peerreviewer CGT/Muziektherapiepaper van BMJ 28/5/20
- Trial by Error: commentaar van Tack de Krak op BMJ’s “haalbaarheidsstudie” over CGT/Muziektherapie 28/5/20
- Trial By Error: twee brieven aan Dagbladet over hun ME-verslaggeving 30/5/20
- Trial By Error: brief aan BMJ Paediatrics Open over die CGT/Muziektherapiestudie 31/5/20
- Trial By Error: een paar lezenswaardige blogposts 2/6/20
- Trial By Error: reactie van Dagbladet 3/6/20
- Trial By Error: nog een paar lezenswaardige blogposts 9/6/20
- Trial By Error: persbericht King’s College London verbergt slecht nieuws 11/6/20
- Trial By Error: brief aan KCL, nog een brief aan BMJ 15/6/20
- Trial By Error: een stel studies toont limieten van CGT voor Somatisch Onverklaarde Lichamelijke Klachten 17/6/20
- Trial By Error: BMJ beantwoordt oproep over Noorse CGT-muziektherapiestudie 18/6/20
- Trial By Error: meer vragen over CODES-studie over CGT voor dissociatieve aanvallen 23/6/20
- Trial By Error: VK financiert Geneticaproject; mijn brief aan CODES-onderzoekers 25/6/20
- Trial By Error: CODES-studiecommentaar promoot ‘op eminentie gebaseerde geneeskunde’ 26/6/20
- Trial By Error: mijn brief aan auteur van CODES-commentaar 27/6/20
- Trial By Error: nu is er ook CGT voor “gezondheidsangst” bij CVS 2/7/20
- Trial By Error: herinnering aan BMJ over muziektherapie; brief aan expert “gezondheidsangst” 3/7/20
- Trial By Error: NICE over lichaamsbeweging en post-Covid-syndroom 15/7/20
- Trial By Error: geen bewijs voor CGT e.a. als therapieën voor “conversiestoornis” 20/7/20
- Trial By Error: nog een brief over BMJ’s muziektherapiestudie 21/7/20
- Trial By Error: experts Columbia vragen BMJ dringend om intrekking problematische studie 25/7/20
- Trial By Error: desinformatie over behandelingen voor post-Covid-syndroom 28/7/20
- Trial By Error: van de Britse National Health Service, “Your COVID Recovery” 5/8/20
- Trial By Error: En nu – geen verrassing – CGT voor post-Covid-vermoeidheid 8/8/20
