27 oktober 2020.
Ik heb dit jaar veel berichten geschreven over een Noorse studie naar cognitieve gedragstherapie plus muziektherapie als behandeling voor chronische vermoeidheid na een acute EBV-infectie (ook wel mononucleose of klierkoorts/Pfeiffer genoemd). De studie stond propvol methodologische en ethische fouten en had nooit gepubliceerd mogen worden.
De onderzoekers stelden hun onderzoek voor als een haalbaarheidsstudie, met het oog op gegevensverzameling om de financiering van een studie met volledige statistische kracht te rechtvaardigen. In feite was ze ontworpen als een studie met volledige statistische kracht, maar de rekruteringsdoelstellingen werden niet gehaald en de resultaten waren barslecht. De valse omschrijving van de studie was slechts één van de vele bedenkingen die ik samen met verschillende collega’s aan de kaak stelde in een brief van 31 mei aan het vakblad en aan Dr Fiona Godlee, BMJ’s redactioneel directeur. (Michiel Tack, een pientere patiënt en pleitbezorger uit België had eerder al een overtuigende brief aan het vakblad geschreven, waarin hij de belangrijkste kwesties uiteenzette).
Afgelopen donderdag meldde Retraction Watch dat BMJ Paediatrics Open de eerste paper had ingetrokken en had vervangen door een nieuwe paper. Dezelfde dag ontving ik een e-mail van BMJ, waarin ze mij van dat feit op de hoogte stelden.
Dit is als oplossing niet voldoende. De nieuwe versie is nog steeds ondermaats, ook al wordt ze correct voorgesteld als een gerandomiseerde proef die uiteindelijk niet voldoende statistisch krachtig bleek. De Noorse blogger Nina Steinkopf, die deze kwestie vanaf het begin heeft gevolgd, heeft haar analyse van de nieuwe versie uiteengezet.
Ook h et intrekkingsbericht zelf is problematisch. Ten eerste beweert men transparant te zijn, maar vermeldt men niets over het spaak gelopen peerreviewproces. Ik zal hier op een ander moment meer over schrijven. Voorlopig post ik hieronder het bericht dat ik afgelopen donderdag van BMJ heb ontvangen, gevolgd door mijn reactie.
**********
Beste Dr. Tuller,
Bedankt om deze publicatie onder onze aandacht te brengen.
We hebben een interne evaluatie uitgevoerd in onze redactionele en peerreviewprocedures en we hebben een aantal gebieden ontdekt waar ons proces beter had gekund. We zijn het ermee eens dat het document voorgesteld had moeten worden als een niet voldoende krachtig gerandomiseerd gecontroleerd onderzoek in plaats van een haalbaarheidsstudie. Wij zijn het ermee eens dat de statistische evaluatie grondiger had moeten verlopen. We hebben het document ingetrokken en we hebben de auteurs uitgenodigd om hun manuscript opnieuw in te dienen, na een volledige redactionele controle en peerreview. We hebben hun onderzoek intussen opnieuw gepubliceerd.
Met vriendelijke groet,
Simone Ragavooloo
Coördinator Onderzoeksintegriteit
BMJ
**********
Beste mevrouw Ragavooloo,
Dank u voor uw late reactie. Ik ben van plan om met mijn collega’s te overleggen, maar ik heb nu al een paar bedenkingen.
De BMJ-redactie heeft blijkbaar maanden geleden besloten dat de eerste versie moest worden ingetrokken. Het is dan ook verontrustend dat de paper zonder kanttekening bleef staan totdat de revisie klaar was om gepubliceerd te worden. Kunt u uitleggen waarom BMJ Paediatrics Open een nietig verklaarde paper in de literatuur heeft laten staan nadat de redactie had erkend dat ze niet gepubliceerd had mogen worden? Dat BMJ zijn lezers niet informeert dat een gelezen artikel op het punt staat om ingetrokken te worden, geeft de indruk dat het blad niet veel belang hecht aan onderzoeksintegriteit.
Ook moet worden opgemerkt dat de nieuwe versie onder andere nog steeds postexertionele malaise als resultaat bevat, ook al werd deze maatstaf niet genoemd in het protocol of het statistische analyseplan, zoals mijn collega’s en ik in onze eerste brief met bedenkingen hebben aangegeven. Dit suggereert op zijn minst nog maar eens dat het peerreviewproces tekort is geschoten. (Of staat BMJ Paediatrics Open misschien toe dat onderzoekers uitkomsten toevoegen die niet werden genoemd in het protocol of het statistische analyseplan?)
Is deze nieuwe versie daadwerkelijk gepeerreviewed? Zo ja, bent u van plan om de reviews te plaatsen, in overeenstemming met het beleid van BMJ Paediatrics Open? Zo nee, waarom niet?
Zoals u weet, is het de BMJ-redactie in de eerste ronde niet opgevallen dat één van de twee recensenten toegaf dat hij “niet verder dan het abstract” had gelezen. Hoe kunnen uw lezers er, gezien dat gênante voorval, zeker van zijn dat dit geen tweede keer zal gebeuren?
Vriendelijke groet,
David
David Tuller, DrPH
Senior Fellow in Volksgezondheid en Journalistiek
Center for Global Public Health
School of Public Health
University of California, Berkeley
© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.
Trial By Error: Update over BMJ’s CGT-Muziektherapietudie (petje af voor Steinkopf and Tack!)
David Tuller, DrPH, Virology Blog, 23 november 2020
Ik heb dit jaar meerdere berichten geschreven over een Noorse studie naar cognitieve gedragstherapie plus muziektherapie als behandeling voor chronische vermoeidheid na een acute EBV-infectie (ook wel mononucleose of klierkoorts/Pfeiffer genoemd). De studie, gepubliceerd in april door BMJ Paediatrics Open, stond bol van de methodologische en ethische fouten. Ze had überhaupt nooit aanvaard mogen worden voor publicatie.
Eén van de vele problemen was, dat de onderzoekers hun onderzoek voorstelden als een haalbaarheidsstudie met het oog op gegevensverzameling om de financiering van een volledig aangedreven proef te rechtvaardigen. In werkelijkheid was ze ontworpen als een studie met volledige statistische kracht, maar de rekruteringsdoelstellingen werden niet gehaald en de resultaten waren barslecht. De studie bevatte ook een uitkomstmaat – postexertionele malaise – die niet was opgenomen in de studieregistratie of het protocol. Hoe die in de studie terechtkwam, werd niet uitgelegd.
De Noorse pleitbezorger Nina Steinkopf blogde begin mei over de problemen in het onderzoek. Niet lang daarna plaatste het vakblad een reactie op de studie van een andere pleitbezorger, Michiel Tack, die ook meerdere ernstige fouten onderstreepte. Op dat moment ben ik begonnen met één van de dingen waar ik vrij goed ik ben: ervoor zorgen dat het onderwerp meer aandacht kreeg door erover te bloggen en door brieven te sturen, samen met collega’s of in mijn eentje, naar de redactie van het vakblad en van BMJ.
De valse beschrijving van de studie was slechts een van de vele bedenkingen die ik samen met verschillende collega’s aan de kaak stelde in een brief van 31 mei aan het vakblad en aan Dr. Fiona Godlee, BMJ’s redactioneel directeur. Ik volgde dit op met verdere brieven, in een poging om het proces mee te sturen. BMJ antwoordde dat ze bezig waren met het aanpakken van de verschillende problemen, maar toch plaatsten ze in de tussentijd geen mededeling bij de problematische paper.
Op 21 oktober meldde de uitstekende blog Retraction Watch dat het tijdschrift het onderzoek had ingetrokken en had vervangen door een nieuwe versie. Deze manier van omgaan met met problematische papers heeft de laatste jaren aan populariteit gewonnen. Rond dezelfde tijd ontving ik een brief van BMJ’s onderzoeksintegriteitscoördinator over deze oplossing van de zaak. Na het lezen van de vervangingspaper en het intrekkingsbericht heb ik mijn ongenoegen geuit, omdat ik vind dat BMJ verzaakt aan zijn verplichtingen. Ik heb die uitwisseling hier (cf. supra) gepost.
Het intrekkingsbericht bedankte Michiel Tack, maar gaf geen accuraat beeld van wat er misgelopen was. Volgens het tijdschrift “hebben we een fout in het redactionele proces geïdentificeerd die heeft geleid tot deze verkeerde voorstelling van het uitgevoerde onderzoek”. Er werd geen verdere uitleg gegeven. Maar uit de relevante beschikbare documentatie blijkt dat deze schets van de omstandigheden in tegenspraak is met de feiten. Als er andere informatie bestaat die de versie van de feiten van BMJ Paediatric Open over een “fout” bevestigt, dan moet het tijdschrift die informatie ter beschikking stellen. Het intrekkingsbericht vermeldde niets over het PEM-probleem en andere bedenkingen die over de oorspronkelijke paper werden geuit, en ook in de vervangingspaper worden vele van de bedenkingen niet behandeld.
Nogmaals: wat BMJ beweert over de feiten, komt niet overeen met de beschikbare documentatie. De peerreviews die samen met de intussen ingetrokken versie van de paper werden gepost, lieten niets aan de verbeelding over. Eén van de recensenten erkende dat hij het document niet had doorgenomen en gaf toe dat hij “niet verder dan het abstract” had gelezen. (BMJ zei in het intrekkingsbericht niets over dit mankement in het peerreviewproces.) De andere peerreviewer vond het studieontwerp onduidelijk en stelde een eenvoudige vraag: werd dit onderzoek ontworpen als een haalbaarheidsstudie of als een studie met volledige statistische kracht? De peerreviewer vroeg aan de onderzoekers om dit te verduidelijken.
De onderzoekers konden hier maar twee dingen op antwoorden. Eén van de twee mogelijke antwoorden was het juiste antwoord, het andere het foute. Het ene antwoord was waar en het andere niet. Gelet op de feiten is de verwijzing in het intrekkingsbericht naar een “fout” van de redactie raadselachtig en absurd. Een fout? Deze studie was ontworpen als een studie met volledige statistische kracht, en bleek die kracht uiteindelijk ondermaats. In plaats van dat uit te leggen, kozen de onderzoekers ervoor om op de vraag van de peerreviewer te antwoorden door het tegenovergestelde te verklaren, nl. dat de studie was ontworpen als een haalbaarheidsstudie.
Wat was dan die redactionele “fout”? Heeft een BMJ-redacteur de onderzoekers geadviseerd om te doen alsof hun ondermaats uitgevallen studie een haalbaarheidsstudie was, terwijl dat niet het geval was? In dat geval moet BMJ dat openbaar maken. Nu klinkt het vage intrekkingsbericht eerder als een poging om slecht gedrag van de onderzoekers te verbloemen. Deze stiekeme strategie zorgt er zeker voor dat BMJ Paediatrics Open makkelijker kan voorkomen dat ze de onderzoekers onder druk moeten zetten om uitleg of rechtvaardiging te geven voor de overduidelijk foute voorstelling van hun werk, iets dat ongetwijfeld voldoet aan de basisdefinitie van wetenschappelijk wangedrag.
De nieuwe versie van de paper van de onderzoekers is nog steeds rotslecht en er zijn nog steeds meerdere dingen niet pluis, net als in de eerste versie. Maar in ieder geval doet de nieuwe versie zich niet voor als haalbaarheidsstudie. Nochtans weigert BMJ Paediatrics Open om de peerreviews voor deze vervangingsversie te posten, terwijl dat in schending is met hun eigen beleidsverklaring. In de brief (zie hieronder) die ik onlangs van hen ontving, zeggen ze zelfs dat de lezers “zeker mogen zijn” van de robuustheid van hun peerreviewproces.
**********
De laatste nieuwe brief van BMJ’s onderzoeksintegriteitscoördinator
Zoals hierboven al vermeldde, heb ik met enig ongenoegen gereageerd op de eerste brief van BMJ, waarin ik op de hoogte werd gesteld van de intrekking en vervanging. Hieronder staat de volgende (en ik veronderstel de laatste) brief over deze zaak van de onderzoeksintegriteitscoördinator, die ik ontving op 12 november.
Beste Dr. Tuller,
Bedankt voor uw e-mail.
Zoals u wellicht weet, is er onenigheid onder uitgevers over het tijdstip waarop uitingen van bezorgdheid moeten worden gepubliceerd. De aanpak van het intrekken en vervangen wordt aanbevolen in de COPE-intrekkingsrichtlijnen en in dit geval leek het ons best om deze gelijktijdig uit te voeren. We zagen geen urgent probleem omtrent de veiligheid van de patiënt waardoor de paper onmiddellijk zou moeten worden ingetrokken.
De hoofdredacteur, Imti Choonara, zou van u graag een korte e-reactie op het artikel ontvangen, waarin u uw standpunt duidelijk maakt over de uitkomst “postexertionele malaise” en wij zullen de auteurs vragen om te reageren. We hebben ons ervan vergewist dat hier geen sprake is van wetenschappelijk wangedrag.
Uit onze vorige reactie aan u weet u, dat deze nieuwe inzending een volledige redactionele controle en peerreview heeft ondergaan. We gaan de peerreviews niet bij dit artikel plaatsen. Het peerreviewproces is gebaseerd op vertrouwen en de lezers mogen er zeker van zijn dat we geleerd hebben uit onze eerdere fouten en dat onze procedures nu robuuster zijn.
Wij beschouwen deze zaak hiermee als afgesloten en zullen geen verdere correspondentie meer voeren over het redactionele proces. Mocht u echter in het vakblad willen reageren op de uitkomst “postexertionele malaise”, dan mag u dat gerust doen.
Met vriendelijke groet,
Simone Ragavooloo
Onderzoeksintegriteitsteam BMJ
Namens Fiona Godlee, Redactioneel Directeur
Vanuit mijn perspectief is BMJ’s gedrag in deze zaak alles behalve wetenschappelijk integer. Wanneer ik de tijd vind om haar terug te schrijven, zal ik dit aan de onderzoeksintegriteitscoördinator duidelijk maken, evenals aan de hoofdredacteur van BMJ Paediatrics Open en aan Dr. Godlee, BMJ’s redactioneel directeur.
********
Steinkopf en Tack reageren op “intrekken en vervangen”.
Inmiddels hebben zowel Nina Steinkopf als Michiel Tack reacties ingediend op de nieuwe publicatie in BMJ Paediatrics Open. Geen van beide reacties is tot op heden geplaatst, om onbekende redenen. Steinkopf heeft hier geblogd over de situatie. “Helaas blijven in de vervangingsversie van de paper de meeste van de aangekaarte problemen onopgelost”, schrijft ze.
Met de toestemming van Tack post ik hieronder de opmerking die hij heeft ingediend bij het vakblad in reactie op de nieuwe paper. Vergeet niet dat het vakblad hem in het intrekkingsbericht bedankte voor het onder de aandacht brengen van deze belangrijke kwesties.
***
Dit is een heringediende versie van een ingetrokken paper en veel problemen blijven onopgelost.
Ongerijmdheden in het intrekkingsbericht
Het is jammer dat de website van BMJ Paediatrics Open niet duidelijk maakt dat dit een gewijzigde, heruitgegeven versie is van een paper waarover meerdere methodologische kwesties aan de orde zijn gesteld [1] en die uiteindelijk is ingetrokken [2]. De publicatiegeschiedenis vermeldt bijvoorbeeld niet de ingetrokken versie. Pas helemaal aan het einde van het artikel onder “Oorsprong en peerreview” wordt een link gelegd naar de vorige versie. Ik vermoed dat weinig lezers dit zullen merken. Hopelijk zal BMJ Paediatrics Open bovenaan de pagina een duidelijker zichtbare melding plaatsen, bijvoorbeeld de melding die boven het intrekkingsbericht werd geplaatst [3].
Omdat dit een nieuwe publicatie is die een eigen DOI-nummer heeft gekregen, is de kritiek op de ingetrokken paper [1, 4] niet meer zichtbaar. Dit is jammer, want, zoals ik in dit commentaar zal proberen te verduidelijken, lost deze heruitgegeven versie vele van de aangehaalde problemen niet op.
In het intrekkingsbericht legt BMJ Paediatrics Open uit dat de ingetrokken paper verkeerd werd voorgesteld als een haalbaarheidsstudie, als gevolg van een fout in het redactionele proces en dat dit niet te wijten is aan een fout van de auteurs. Zoals ik hieronder zal uitleggen, is dit een twijfelachtige verklaring gezien de informatie die op dit moment beschikbaar is. Uit de recensiegeschiedenis blijkt dat één van de recensenten het verwarrend vond hoe de auteurs hun resultaten oorspronkelijk presenteerden. Zij verklaarde: “Uit de doelstellingen van de studie en de manier waarop de studie is omschreven, wordt me niet helemaal duidelijk of dit nu bedoeld was als een haalbaarheidsstudie, nl. om te kijken naar de haalbaarheid (is dit uitvoerbaar?), aanvaardbaarheid (hoe ervaren patiënten het?) en om een eerste idee te geven van de mogelijke effectgrootte, ter staving van een toekomstige grotere studie, óf dat dit bedoeld was als een volledige studie. Ik denk dat dit algemeen duidelijk moet worden gemaakt aan de lezer, en dat interpretaties/conclusies in overeenstemming moeten zijn met de vooropgestelde doelstellingen.”
Hierop hebben de auteurs gereageerd: “Dank u. Wij zijn het hiermee eens – deze studie moet beschouwd worden [als] een haalbaarheidsstudie, en het manuscript is dienovereenkomstig geherformuleerd.” Dus het lijkt erop dat de auteurs expliciet hebben gezegd dat deze studie als een haalbaarheidsstudie moet worden beschouwd, terwijl dat niet het geval was. Deze informatie is in strijd met het bericht van de redactie dat de auteurs geen fout hadden gemaakt. Ik denk dat er meer informatie moet worden gedeeld om deze tegenstrijdigheid op te helderen.
Het is jammer dat de peerreviewgeschiedenis van deze heruitgegeven versie niet openbaar is gemaakt. Op de website beweert BMJ Paediatrics Open zelf dat het zich inzet voor een open peerreview en stelt het volgende: “Als onderdeel van deze verbintenis maken wij de peerreviewgeschiedenis van elk artikel dat wij publiceren openbaar”. Het is onduidelijk waarom de peerreview van deze heruitgegeven versie een uitzondering lijkt te maken op deze verbintenis. In de peerreview van de ingetrokken versie gaf een recensent toe dat hij niet verder had gelezen dan het abstract. Gezien de problemen rond dit werk lijkt het bijzonder belangrijk dat de lezers het reviewproces kunnen lezen en de beslissingen van het vakblad en de auteurs kunnen begrijpen.
De paper legt niet uit dat het onderzoek bedoeld was om een grote effectgrootte te testen.
Een opmerkelijk aspect van deze studie is, dat het aantal deelnemers dat de auteurs probeerden te rekruteren (n = 60) veel lager lag dan het aantal dat volgens de krachtanalyse nodig was om een verschil van matige effectgrootte te detecteren (n = 120). Met andere woorden, het gebrek aan kracht was niet alleen te wijten aan rekruteringsproblemen of uitvallers; het lag ook aan het ontwerp van het onderzoek.
Uit het statistische analyseplan [5] blijkt dat de studie in staat was om een grote effectgrootte te testen, namelijk 0,8 keer de geschatte standaardafwijking van de primaire uitkomstmaten (ongeveer 2000 stappen per dag). De auteurs rechtvaardigden dit door te zeggen dat, aangezien “van CGT alleen aangetoond is dat het een matige effectgrootte heeft bij CVS/ME, enkel een substantiële effectgrootte van direct klinisch belang is. Analoog hieraan is enkel een beduidend behandelingseffect interessant, als het gaat om de markers van de pathofysiologie”. In het protocol stellen zij ook dat “de FITNET-studie suggereert dat er grotere behandelingseffecten kunnen worden verondersteld bij adolescente CVS/ME-patiënten in vergelijking met volwassenen”. [6]
Niets in deze heruitgegeven versie van het manuscript wijst er echter op dat de auteurs een grote effectgrootte hadden verwacht en dat de studie op deze hypothese was afgestemd. Het feit dat de auteurs ermee instemden om deze studie voor te stellen als een haalbaarheidsstudie (terwijl dit duidelijk niet het geval was), doet vermoeden dat ze bereid waren om te negeren dat de interventie niet de verwachte effectgrootte opleverde. Ook al vermijdt de heruitgegeven versie de term ‘haalbaarheidsstudie’, het probleem blijft hetzelfde.
Er zijn amper gegevens die de conclusie ondersteunen dat de interventie “haalbaar en aanvaardbaar” is.
Aangezien de interventie niet de effectgrootte had die in de statistische analyse en het protocol werden vooropgesteld, richtte het ingetrokken document zich op andere aspecten dan de doeltreffendheid van de interventie, zoals de haalbaarheid en de aanvaardbaarheid. Hetzelfde geldt voor deze heruitgegeven versie die benadrukt dat “CGT in combinatie met muziektherapie haalbaar en aanvaardbaar is bij postinfectieuze CV bij adolescenten”.
De gegevens ondersteunen deze conclusie niet. Meer dan de helft van de in aanmerking komende personen (n=48) stemde niet in met deelname. Van degenen die met het programma begonnen, vielen er 6 van de 21 of 28% uit, tegenover slechts 4,5% in de controlegroep. De bewering dat de interventie acceptabel is, lijkt enkel gebaseerd te zijn op de trouwe deelname van 15 patiënten die wel zijn gestart en zijn gebleven in de interventiearm van het onderzoek.
De auteurs wijzen ook op een gebrek aan statistisch significante verschillen in bijwerkingen tussen de interventie- en de controlegroep. Maar aangezien het onderzoek “veel te weinig statistische kracht” had om de effectiviteit van de interventie te testen, kan dezelfde redenering ook gelden voor ongewenste voorvallen.
Ook moet worden opgemerkt dat in de studieregistratie [7] ongeveer 20 verschillende uitkomstmaten voor deze proef worden vermeld, en met uitzondering van de bijwerkingen was geen van deze maatstaven gericht op de aanvaardbaarheid van de interventie. De hoofdconclusie van de heruitgegeven versie van dit document blijft dan ook ongerechtvaardigd.
De uitkomstmaat voor postexertionele malaise werd post-hoc toegevoegd.
In het discussiegedeelte stellen de auteurs: “We zagen een gelijktijdige tendens tot verbetering van vele symptoomscores, waaronder vermoeidheid en postexertionele malaise, in de interventiegroep.” De auteurs vermelden niet dat voor dit onderzoek ongeveer 20 uitkomstmaten zijn geregistreerd, maar dat de uitkomst ‘postexertionele malaise’ post-hoc werd toegevoegd: ze staat niet als uitkomst vermeld in het protocol (1), het statistische analyseplan (2), of de studieregistratie (3).
De neigingen tot verbetering waren allemaal vrij klein. Het grootste verschil dat werd gevonden was voor de primaire uitkomstmaat, waarbij de patiënten in de interventiegroep het slechter deden dan die in de controlegroep. Patiënten in de interventiegroep hadden een gemiddelde van 6198 stappen per dag na de behandeling, 2059 stappen minder dan de controlegroep. In de tekst van de paper wordt niet vermeld dat dit verschil statistische significantie haalde in de analyse volgens protocol.
De gerapporteerde herstelpercentages dreigen lezers te misleiden
In plaats daarvan wordt in het resultaatgedeelte een trend richting een hoger herstelpercentage in de interventiegroep belicht. De auteurs definieerden herstel als een score lager dan 4 punten op de Vermoeidheidsschaal van Chalder met behulp van een tweeledige scoremethode (bereik 0-11 punten). Een score van 4 of hoger op de Vermoeidheidsschaal van Chalder werd echter al gebruikt als deelnamecriterium. Dit betekent dat deelnemers konden worden ingedeeld als hersteld door rapportage van een verbetering van slechts 1 punt op de Vermoeidheidsschaal van Chalder.
Ook moet worden opgemerkt dat de Vermoeidheidsschaal van Chalder de intensiteit of impact van de vermoeidheid niet beoordeelt. In plaats daarvan beoordeelt de schaal of deelnemers last hebben van vermoeidheidsverschijnselen, zoals “problemen met het starten van activiteiten” of het “het juiste woord moeilijker vinden” dan gewoonlijk. Daarom lijkt het ongepast om de term “herstelpercentage” te gebruiken voor het percentage deelnemers dat lager scoort dan de drempel van 4 punten op de Vermoeidheidsschaal van Chalder. Na de behandeling was er geen verschil tussen de interventie- en de controlegroep in het percentage aan patiënten dat deze 4-puntendrempel haalde.
Verder rapporteerde men de behandelingsintentieanalyse volgens de ordinale score (bereik 0-33) op de Vermoeidheidsschaal van Chalder, en hieruit bleek weinig verschil tussen de twee groepen. Een plausibele verklaring voor wat de auteurs omschrijven als “een trend richting een hoger herstelpercentage in de interventiegroep” is het hoge uitvalpercentage. Bij de opvolging telde de interventiegroep slechts 13 patiënten. In de analyse van de herstelpercentages die door de auteurs worden vermeld, wordt geen rekening gehouden met de 8 personen die zich in de interventiegroep bevonden, maar verloren zijn gegaan bij opvolging. Er is geen goede reden om te veronderstellen dat er in de interventiegroep meer patiënten hersteld zouden zijn dan in de controlegroep. Het is jammer dat de auteurs deze term in hun manuscript hebben gebruikt.
Referenties
[1] Tuller D. Trial By Error: More on that Norwegian CBT/Music Therapy Study. Virology Blog. May 16, 2020. https://www.virology.ws/2020/05/16/trial-by-error-more-on-that-norwegian-cbt-music-therapy-study/
[2] Marcus A. BMJ journal retracts, replaces study on chronic fatigue in children. Retraction Watch. October 21, 2020. https://retractionwatch.com/2020/10…odBA9xf5vDnNPlIWayQ6mwr5JOVhslbloUjiRFmHwkL-k
[3] BMJ Paediatrics Open. Retraction: Cognitive–behavioural therapy combined with music therapy for chronic fatigue following Epstein-Barr virus infection in adolescents: a feasibility study. http://dx.doi.org/10.1136/bmjpo-2019-000620ret
[4] Tack M. Inaccuracy in reporting CEBA part II. BMJ Paediatrics Open. https://bmjpaedsopen.bmj.com/content/4/1/e000620.responses
[5] Statistical analysis plan – CEBA part 2. https://bmjpaedsopen.bmj.com/conten…/bmjpo-2020-000797supp002_data_supplement.pdf
[6] Akershus University Hospital. Research Protocol – processing. Mental training for chronic fatigue syndrome (CFS/ME) following EBV infection in adolescents: a randomised controlled trial. Available from: https://www.ahus.no/seksjon/forskning/Documents/Forskningsgrupper/Barne- og ungdomsklinikken/Paedia/Forskningsprotokoll – behandling.pdf
[7] ClinicalTrials.gov Identifier: NCT02499302. Available from: https://clinicaltrials.gov/ct2/show/NCT02499302
© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.
Trial By Error: Mijn brief aan BMJ Paediatrics Open over de CGT-Muziektherapiestudie
David Tuller, DrPH, Virology Blog, 25 november 2020
Op 12 november ontving ik de laatste brief van BMJ’s zogenaamde onderzoeksintegriteitsbureau over het mogelijk geval van wetenschappelijk wangedrag, beter bekend als de pediatrische studie over cognitieve gedragstherapie en muziektherapie als behandeling voor chronische vermoeidheid na acute EBV. Deze studie werd in april gepubliceerd door BMJ Paediatrics Open en kwam meteen (o.a. van mijn kant) onder scherpe en terechte kritiek te staan.
Eerder deze week postte ik de brief die ik van het onderzoeksintegriteitsbureau heb ontvangen. Ik post hem hieronder opnieuw, samen met mijn reactie. Natuurlijk ligt mijn probleem niet bij de onderzoeksintegriteitscoördinator. Ze doet gewoon haar werk, vermoedelijk in opdracht van iemand van hogerop bij BMJ. De schuld voor dit fiasco ligt dubbel en dik bij de mensen aan de top, die liever vaag blijven dan transparant te zijn in hun aanpak van methodologische en ethische fouten in papers die onder de BMJ-paraplu worden gepubliceerd. Dat is tenminste mijn ervaring.
**********
BMJ Pediatrics Open’s meest recente brief aan mij
Beste Dr. Tuller
Bedankt voor uw e-mail.
Zoals u wellicht weet, is er onenigheid onder uitgevers over het tijdstip waarop uitingen van bezorgdheid moeten worden gepubliceerd. De aanpak van het intrekken en vervangen wordt aanbevolen in de COPE-intrekkingsrichtlijnen en in dit geval leek het ons best om deze gelijktijdig uit te voeren. We zagen geen urgent probleem omtrent de veiligheid van de patiënt waardoor de paper onmiddellijk zou moeten worden ingetrokken.
De hoofdredacteur, Imti Choonara, zou van u graag een korte e-reactie op het artikel ontvangen, waarin u uw standpunt duidelijk maakt over de uitkomst “postexertionele malaise” en wij zullen de auteurs vragen om te reageren. We hebben ons ervan vergewist dat hier geen sprake is van wetenschappelijk wangedrag.
Uit onze vorige reactie aan u weet u, dat deze nieuwe inzending een volledige redactionele controle en peerreview heeft ondergaan. We gaan de peerreviews niet bij dit artikel plaatsen. Het peerreviewproces is gebaseerd op vertrouwen en de lezers mogen er zeker van zijn dat we geleerd hebben uit onze eerdere fouten en dat onze procedures nu robuuster zijn.
Wij beschouwen deze zaak nu als afgesloten en zullen geen verdere correspondentie meer voeren over het redactionele proces. Mocht u echter in het vakblad willen reageren op de uitkomst “postexertionele malaise”, dan mag u dat gerust doen.
Met vriendelijke groet,
Simone Ragavooloo
Onderzoeksintegriteitsteam BMJ
Namens Fiona Godlee, Redactioneel Directeur
**********
Mijn antwoord op BMJ
Beste mevrouw Ragavooloo,
De manier waarop BMJ Paediatics Open deze studie over cognitieve gedragstherapie en muziektherapie voor chronische vermoeidheid na acute EBV aanpakt, blijft verontrustend genoeg om verder commentaar te geven.
Zoals u opmerkt, heeft BMJ Paediatrics Open gekozen voor de aanpak van “intrekken en vervangen”. Het vervangingsdocument bevat vele van de fouten van de ingetrokken versie, maar ik zal me op twee kwesties concentreren: de aanwezigheid van de uitkomstmaat postexertionele malaise (PEM) in de ingetrokken en de vervangende documenten, en het verhaal dat in het intrekkingsbericht wordt opgehangen over waarom de onderzoekers hun studie met volledige statistische kracht verkeerd voorstelden door ze in de ingetrokken paper te omschrijven als een haalbaarheidsstudie.
Eén van de vele bedenkingen die aanvankelijk werden geuit over de ingetrokken paper was, dat PEM niet vooropgesteld stond als uitkomstmaat in de studieregistratie of het protocol. Dat betekent dat er in de ingetrokken paper geen legitieme reden was om PEM op te nemen als uitkomstmaat, en er net zo goed geen legitieme reden is om het op te nemen in de vervangingspaper. Het opnemen van uitkomstmaten die niet werden vermeld in de registratie of het protocol van een studie, is een schending van de wetenschappelijk basisbeginselen en wordt door BMJ’s eigen strenge normen verboden.
De juiste oplossing zou zijn om het vervangingsdocument te corrigeren door de foute uitkomstmaat te verwijderen, met daarbij misschien ook een verklaring waarom het redactionele proces van BMJ Paediatric Open nu al twee keer heeft gefaald om deze specifieke fout te verbeteren. In uw meest recente brief stelt u voor dat de juiste oplossing is dat BMJ Paediatrics Open een briefwisseling publiceert tussen de onderzoekers en mij, in plaats van het probleem aan te pakken. Deze voorgestelde oplossing is in deze omstandigheden ontoereikend en is onvoldoende als bescherming van de medische literatuur. De suggestie geeft ook aan dat BMJ Paediatrics Open weigerachtig staat tegenover het glasheldere beleid inzake selectieve resultaatrapportage van BMJ zelf. Ik zal daarom niet ingaan op uw uitnodiging tot indiening van een brief voor publicatie bij BMJ Paediatrics Open.
Met betrekking tot het intrekkingsbericht werd slechts in één kwestie orde op zaken gesteld, namelijk dat de onderzoekers het onderzoek presenteerden als een haalbaarheidsstudie, terwijl het in feite was ontworpen als een volledige klinische studie. In het bericht zegt BMJ Paediatrics Open dat de verantwoordelijkheid voor deze verkeerde voorstelling van zaken niet bij de onderzoekers ligt. (Het is onduidelijk waarom het intrekkingsbericht niets zei over de PEM-uitkomstmaat en andere problemen in de ingetrokken paper, en de vervangingspaper ook geen aandacht schenkt aan vele kwesties.)
Het intrekkingsbericht vermeldde het volgende: “We identificeerden een fout in het redactionele proces die leidde tot deze verkeerde voorstelling van het onderzoek dat werd uitgevoerd. Helaas gebeuren er soms redactionele beoordelingsfouten. Wij willen onze fout op transparante wijze erkennen”. Er werd geen verdere uitleg of detail gegeven over deze “fout”. Het is oneerlijk en gewoon onzinnig dat BMJ Paediatrics Open zichzelf “transparant” noemt omdat het een fout erkent, terwijl het niet transparant is over wat de fout was en hoe ze tot stand kwam.
Bovendien blijkt duidelijk uit de relevante beschikbare documentatie dat het intrekkingsbericht de zaken niet juist voorstelt. Als BMJ Paediatrics Open informatie heeft die documenteert dat een redactionele “fout” kan verklaren waarom de onderzoekers er zélf voor kozen om hun onderzoek verkeerd voor te stellen, dan zou het tijdschrift die informatie zeker bekend moeten maken.
Volgens de richtlijnen van BMJ Paediatrics Open worden de peerreviews naast de papers zelf gepost. De peerreviews die bij de ingetrokken paper stonden gepost, waren meer dan duidelijk. Eén van de recensenten erkende dat hij “niet verder dan het abstract” had gelezen. ( BMJ Paediatrics Open besloot om in het intrekkingsbericht niets te zeggen over dit mankement tijdens het peerreviewproces, wat aangeeft dat er grenzen zijn aan hun zogenaamde verbintenis tot transparantie.) De andere recensent uitte verwarring over het studieontwerp en stelde een eenvoudige vraag: werd dit onderzoek ontworpen als een haalbaarheidsstudie of als een volledige studie?
De onderzoekers konden hier maar twee dingen op antwoorden. Eén van de twee mogelijke antwoorden was het juiste antwoord, het andere het foute. Het ene antwoord was waar en het andere niet. Zoals we weten, hadden de onderzoekers dit onderzoek ontworpen als een studie met volledige statistische kracht. Toch reageerden ze op de vraag om opheldering door hun onderzoek fout en ten onrechte voor te stellen als een haalbaarheidsstudie.
Het is mij dan ook een raadsel waarom het intrekkingsbericht de verkeerde voorstelling van zaken toeschreef aan een “fout in het redactionele proces”. Wat was die redactionele “fout” die de onderzoekers ertoe dreef om te doen alsof ze een haalbaarheidsstudie hadden uitgevoerd terwijl dat niet klopte? Heeft een BMJ-redacteur tijdens de ontwerprevisiefase de onderzoekers geadviseerd of gedwongen om hun onderzoek op een oneerlijke manier te omschrijven? Als dat het geval is, dan moeten de lezers daarvan zeker op de hoogte worden gebracht. Zo niet, dan moeten de onderzoekers misschien eens uitleggen waarom ze onder valse voorwendselen hun volledige onderzoek degradeerden tot niet meer dan een haalbaarheidsstudie.
Kortom, het ondoorzichtige intrekkingsbericht van BMJ Paediatrics Open is er niet in geslaagd om vele van de bedenkingen op te klaren. Bovendien negeert het vakblad zijn eigen richtlijnen door de peerreviews voor het vervangingsdocument niet openbaar te maken. In antwoord op mijn vraag over dit punt bevestigt uw brief dat dit afwijkt van de gangbare praktijk, maar er wordt geen rechtvaardiging voor geboden. Dat geeft niet het gevoel dat de redactie van BMJ Paediatrics Open de doorlichting van deze studie op een integere manier heeft uitgevoerd, en zeker omdat het niet de eerste keer is dit gebeurt.
Uw brief merkt tot slot op dat “de lezers er zeker van mogen zijn dat we geleerd hebben uit onze eerdere fouten en dat onze procedures nu robuuster zijn”. Helaas is het moeilijk te geloven dat de lezers er “zeker” van mogen zijn. Niets in heel dit fiasco wijst erop dat BMJ en BMJ Paediatrics Open iets geleerd hebben uit hun fouten of dat de redactionele procedures nu “robuuster” zijn. Integendeel.
Vriendelijke groet,
David
David Tuller, DrPH
Senior Fellow in Volksgezondheid en Journalistiek
Center for Global Public Health
School of Public Health
University of California, Berkeley
© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.
Lees ook
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (1)
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (2)
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (3)
- Onderzoekers van de PACE-studie antwoorden David Tuller
- David Tuller reageert op de PACE-onderzoekers
- Petitie : Misleidende claims van PACE-studie moeten teruggetrokken worden
- Trial by error, vervolgd: heeft de PACE-studie echt een “strikt criterium” voor herstel toegepast?
- Trial by error, vervolg: Waarom is het “zusteronderzoek” van de PACE-studie “verdwenen” en vergeten?
- Overheid beveelt vrijgave van de gegevens van de PACE-studie
- Proffen schrijven open brief aan The Lancet en vragen herevaluatie van PACE-resultaten
- Open brief van Invest in ME over de PACE-studie aan de redacteur van The Lancet
- Trial by error, vervolgd: Het werk van het PACE-team voor verzekeringsmaatschappijen “houdt geen verband” met PACE. Echt waar?
- In het kielzog van het onderzoek van David Tuller, publiceren de PACE-onderzoekers een follow-upstudie
- ME Association: We betwisten het follow-uprapport van de PACE-studie
- Professor Jonathan Edwards: PACE-studie is “waardeloos”
- Oninterpreteerbaar: Fatale fouten in het PACE follow-uponderzoek van het chronisch vermoeidheidssyndroom
- Waarom de wetenschappelijke wereld het nodig heeft dat de PACE-gegevens worden vrijgegeven
- Reporter hekelt studie naar chronisch vermoeidheidssyndroom: ik stopte bij 14.000 woorden – genoeg was genoeg
- Een “moreel equivalent van oorlog” en de PACE-studie over chronisch vermoeidheidssyndroom
- Waarom ME-patiënten kritisch zijn over de PACE-studie
- Was onafhankelijke peerreview van de papers over de PACE-studie mogelijk?
- James Coyne over de “objectiviteit” van NHS Choices en het belachelijk maken van ME/CVS-patiënten
- Wat er voor nodig is voor Queen Mary om een verzoek om wetenschappelijke gegevens als “ergerlijk” te verklaren
- Update van mijn formeel verzoek voor het vrijgeven van de gegevens van de PACE-studie
- Formeel verzoek aan PLOS One om een Uitdrukking van Bezorgdheid uit te vaardigen voor de PACE-studie
- Waarom ik niet weet hoe PLOS zal reageren op de weigering van de auteurs om de data vrij te geven
- Antwoord van PLOS One op de bezorgdheid over de weigering van King’s College om de PACE-data te delen
- Proffen verzoeken om de gegevens van de PACE-studie
- King’s College London rekt tijd nog wat meer door weigering te herhalen om PACE-onderzoeksdata vrij te geven
- Herkennen wanneer het “beschermen van de privacy van patiënten” louter een excuus is voor het niet delen van de data
- Herzien van de economische analyse van de PACE-studie in PLoS One
- Een inkijk in de aanval op het delen van data
- Trial By Error, vervolgd: vragen voor Dr. White en zijn collega’s van de PACE-studie
- Niet-bekendgemaakte belangenconflicten in reviewprotocol van interventies voor medisch onverklaarde symptomen
- Trial by error, vervolgd: heeft de PACE-studie werkelijk bewezen dat graduele oefentherapie veilig is?
- Trial by error, vervolgd: meer nonsens van The Lancet Psychiatry
- We zijn tenminste niet ergerlijk
- Verdere inzichten in de oorlog tegen het delen van data
- Trial by error, vervolgd: een paar woorden over pesterijen
- Het heroverwegen van het beleid rond het onderzoek naar en de behandeling van ME/CVS
- Opnieuw een open brief aan de Lancet
- What About ME? Deel 1: ME-patiënten vragen patiëntenorganisaties kleur te bekennen t.a.v. PACE
- Ook België steunt in open brief de globale oproep om de PACE-data vrij te geven
- Lezing Dr. David Tuller en Prof. Frans Visser tijdens Nederlandse première Forgotten Plague
- Petitie met 12.000 handtekeningen aan The Lancet bezorgd om de PACE-studiedata vrij te geven
- Open brief Prof. Malcolm Hooper aan The Lancet
- Een half jaar gaat voorbij zonder de vrijgave van PACE-studiedata uit PLOS One
- PACE-Gate: de controverse over de grootste studie naar CGT en GET bij ME/cvs
- Proffen schrijven open brief aan PLoS One i.v.m. PACE-studie naar CGT/GET
- Correctie van PLoS verwijdert geanonimiseerde patiëntengegevens in studie naar CVS (& zet ze daarna terug)
- “Hun mond viel open van verbazing over de PACE-trial naar CGT en GET.”
- Rechtbank eist vrijgave van de gegevens van de PACE-studie naar CGT en GET voor ME/CVS
- Queen Mary University of London “bestudeert” de regelgeving om de PACE-data vrij te geven
- The Lancet struikelt opnieuw over de PACE-studie
- Trial by error, vervolgd: mijn vragen voor de hoofdredacteur van The Lancet, Richard Horton
- Vrijgave data PACE-team volgens originele protocol
- Verklaring QMUL: bekendmaking van de data van de PACE-studie onder de Wet op de Vrijheid van Informatie
- Persbericht. De vrijgave van de PACE-data is een fundamentele overwinning voor mensen met ME/cvs
- Stop studies naar graduele oefentherapie voor ME/CVS
- Prof. Van der Meer waarschuwt voor delen van data met “je vijanden”
- Geen “herstel” in de PACE-studie, blijkt uit nieuwe analyse
- Slechte wetenschap heeft miljoenen ME/cvs-patiënten misleid. Hier leest u hoe we terugvochten.
- Belangrijkste punten uit de analyse van de ruwe data voor “herstel” van de PACE-studie
- Bewijs voor aanbevolen behandelingen voor ME en CVS houdt geen stand
- Trial by error, vervolgd: de echte data van de PACE-studie
- Erger dan de ziekte
- De PACE-studie: waar “herstel” niet betekent dat je terug gezond bent
- Hoe de brief van Alem Matthees het mysterie van ME/cvs hielp oplossen
- Een open brief aan Psychological Medicine over “herstel” en de PACE-trial (Update)
- Opnieuw een open brief aan Psychological Medicine!
- De bal misslaan bij ME/cvs
- Trial by error, vervolgd: de nieuwe FITNET-studie voor kinderen
- Trial by error, vervolgd: een vervolgpost over FITNET-NHS
- Trial by error, vervolgd: de Nederlandse studies (opnieuw!), en een Esther Crawley-bonus
- Trial by error, vervolgd: mijn lasterlijk bloggen op Virology Blog
- Trial by error, vervolgd: een open brief aan het bestuur van het CFS/ME Research Collaborative (CMRC)
- Trial by error, vervolgd: CFS/ME Research Collaborative aan Virology Blog: “Rot op!”
- Trial by error, vervolgd: Het CMRC bevestigt volledige steun aan Lasterlijke Esther
- Trial by error, vervolgd: ME Research UK stapt uit het CFS/ME Research Collaborative
- Trial by error, vervolgd: mijn “scheur-het-aan-flarden”-toespraak bij Invest in ME
- David Tuller zamelt geld in voor Virology Blogs Trial by error: verslaggeving over PACE, ME/cvs en verwante onderwerpen
- Trial by error, vervolgd: mijn brief aan de University of Bristol
- Crowdfundingcampagne David Tuller in teken van ME: nog twee weken te gaan…
- David Tuller komt op voor ME: de laatste tien dagen van de campagne…
- Trial by error, vervolgd: is PACE een geval van wetenschappelijk wangedrag?
- Trial by error, vervolgd: de reis van Julie Rehmeyer “Through The Shadowlands”
- Trial by error, vervolgd: meer over graduele oefentherapie van Peter White en The Lancet
- Trial by error: De CDC schrappen cognitieve gedragstherapie (CGT) en graduele oefentherapie (GET) voor ME/cvs
- Trial by error: De NICE-richtlijnen, en meer over de CDC
- Trial by error: NICE weigert om namen van experts te onthullen
- Trial by error: NICE verwerpt mijn verzoek op basis van vrijheid van informatie
- De PACE-trial, of hoe een medisch schandaal tot stand kwam
- Waarop moet je letten in de Speciale Editie van het Journal of Health Psychology over de PACE-trial
- Deel 2: Waarop moet je letten in de Speciale Editie van het Journal of Health Psychology over de PACE-trial
- Trial by error: de wanhopige pogingen van het Science Media Center om PACE te verdedigen
- Trial by error: gepensioneerde PACE-onderzoeker Peter White en Swiss Re
- Trial by error: mijn e-mailuitwisseling met de directeur van NICE
- Trial by error: geen ethische review van de studie van Crawley over afwezigheid op school
- Trial by error: verzoek om meer details over de studie van Crawley over afwezigheid op school
- Trial by error: de rapporten van de “deskundigen ter zake” van NICE
- Trial by error: MEGA’s nieuwst mislukking
- Trial by error: NICE verwerpt huidige richtlijn, plant “volledige update”
- Trial by error: NIH geeft een subsidie van 2,1 miljoen dollar aan de Britse Biobank!
- Trial by error: nog een brief aan de directeur van NICE
- Trial by error: huidige NICE-richtlijn blijft, voorlopig toch
- Trial by error: de verrassende nieuwe gids voor beste praktijken van BMJ [voor ME/cvs]
- Trial by error: mijn korte ontmoeting met Professor Crawley
- Trial by error: Hé, Bristol! Waar is mijn ‘cease and desist’-brief*?
- Trial by error: de Crawley-kronieken (vervolg)
- Trial by error: mijn eenzijdige correspondentie met professor Crawley
- Trial by error: de niet-openbaar gemaakte uitkomstenverwisseling van de SMILE-studie
- SMILE-studie Lightning Process voor kinderen met CVS: Resultaten te mooi om waar te zijn?
- Trial by error: mijn vragen voor het Science Media Center
- Trial by error: de klacht van Bristol aan Berkeley
- David Tuller en de (s)PACEcake-eters
- Trial by error: de studie naar afwezigheid op school, tweede ronde
- Trial by error: COPE aan BMJ Open: meer details alstublieft!
- Trial by error: mijn halfjaaroverzicht
- Trial by error: de valse beweringen van professor Crawley op BuzzFeed
- Trial by error: een brief aan Archives of Disease in Childhood
- Trial by error: brief van CPET-experts aan het British Journal of Sports Medicine
- Trial by error: QMUL en FOI, Nature en Cochrane, het Pineapple Fund
- Trial by error: een brief aan BMJ Open
- Trial by error: onze gedachtenwisseling met BMJ Open
- Trial by error: mijn briefwisseling met het vakblad Archives of Diseases in Childhood
- Trial by error: nieuws over mijn plannen
- Trial by error: het nieuws van het CFS/ME Research Collaborative
- Trial by error: de Nederlandse review; mijn trip; Bristols stilzwijgen
- Trial by error: de stand van zaken in Australië en de nieuwe functie van professor Crawley
- Trial by error: ik meld me even vanuit Melbourne en Canberra…
- Trial by error: de volgende ronde met BMJ Open 26/3
- Trial by error: vragenronde met Schots Parlementslid Carol Monaghan 28/3
- Trial by error op Virology Blog: verslaggeving over ME/CVS. Crowdfundingscampagne voor David Tuller! 29/3
- Trial by error: mijn door Berkeley ondersteunde crowdfundingscampagne 2/4
- Trial by error: onze nieuwste tango met BMJ Open… 2/4
- Trial by error: een fantastisch stuk over ME/CVS op de Australische TV 4/4
- Trial by error: een post over Andrew Lloyd 4/4
- Trial by error: mijn Australische tour, vervolg 11/4
- Trial by error: twee podcastinterviews en “belangenconflicten” 16/4
- Trial by error, gastpost: crowdfunding David Tuller is geen belangenconflict 16/4
- Trial by error: Professor Michael Sharpes flater op de Australische Radio 18/4/18
- Trial by error: de steun die Andrew Lloyd in het verleden gaf aan PACE 24/4/18
- Trial by error: de winkeltasstudie en de vernieuwde website van de staat New York 24/4/18
- Trial by error: tot ziens Australië; en twee updates 25/4/18
- Trial by error: Vraag en antwoord met Leonard Jason met betrekking tot gevalsdefinities 2/5/18
- Trial by error: mijn bezoeken aan Alem Matthees 7/5/18
- Trial by error: Australiës online bijscholingsprogramma over GET/CGT 14/5/18
- Trial by error: meer over de CDC; Reader’s Digest; Newsbeat op BBC 23/5/18
- Trial by error: NICE neemt het Lightning Process in beschouwing 28/5/18
- Trial by error: mijn woordenwisseling met de hoofdonderzoekers van PACE, in NY Times in 2011 29/5/18
- Trial by error: BMJ “onderzoekt” nog steeds de paper over het Lightning Process 4/6/18
- Trial by error: mijn brief aan Parlementslid Monaghan over BMJ-studies 5/6/18
- Trial by error: een brief aan gezondheidsambtenaren over de lakse redactionele maatstaven van BMJ 6/6/18
- Trial By Error: mijn brief over de BMJ-studie aan het Science Media Centre 6/6/18
- Trial By Error: nog enkele brieven over BMJ’s gebrekkige pediatrische studies 11/6/18
- Trial By Error: een leerplan voor behandeling van CVS met CGT 13/6/18
- Trial by error: een brief aan NICE over het IAPT-programma 18/6/18
- Trial by error: Sir Simon trapt bal in eigen doel 18/6/18
- Trial by error: een open brief aan The Lancet, twee jaar later 19/6/18
- Trial by error: Professor Sharpes driftige opmerkingen – in wiens naam spreekt hij eigenlijk? 25/6/18
- Trial by error: mijn gesprek met professor Bishop 25/6/18
- Trial by error: Professor Sharpes briefing aan Monaghan vóór de hoorzitting 2/7/18
- Trial by error: mijn brief aan Fiona Godlee 2/7/18
- Trial by error: zijn alle experts in klinische studies fan van PACE? 9/7/18
- Trial by error: nog maar eens een oproep aan The Lancet, met meer handtekeningen 10/7/18
- Trial by error: wachten op Godlee 11/7/18
- Trial by error: mijn brief aan het Wetenschappelijk en Technisch Comité van het Parlement 11/7/18
- Trial by error: de inhoudsloze “noot van de redactie” bij de studie over het Lightning Process 16/7/18
- Trial by error: de update van CDC voor zorgverstrekkers 30/7/18
- Trial by error: Mayo blijft pleiten voor GET 6/8/18
- Trial by error: open brief aan The Lancet, versie 3.0 13/8/18
- Trial by error: de BPS-brigade trapt bal wéér in eigen doel 15/8/18
- Trial by error: meer Mayo alsjeblieft 20/8/18
- Trial by error: rekruteringsadvertentie voor FITNET-NHS maakt reclame voor “herstel” 20/8/18
- Trial by error: mijn brief aan Red Whale/GP Update 22/8/18
- Trial by error: nog een brief aan BMJ’s Dr Godlee 27/8/18
- Trial by error: Professor Edward brief aan Fiona Watt van MRC 28/8/18
- Trial by error: de Cochranecontroverse 3/9/18
- Trial by error: hoe staat het eigenlijk met de MAGENTA-studie? 17/9/18
- Trial by error: Bruce Levin over “hoe je een gerandomiseerde klinische studie NIET uitvoert” 18/9/18
- Trial by error: de open brief aan Netflix over Afflicted 24/9/18
- Over lichamelijke symptomen die afgewimpeld worden als “tussen de oren” 27/9/18
- Trial by error: de conferentie van de CFS/ME Research Collaborative 1/10/18
- Trial by error: mijn meest recente brief aan Archives of Disease in Childhood 8/10/18
- Trial by error: mijn eerste post over het IAPT-programma 10/10/18
- Trial by error: Per Fink in New York 16/10/18
- Trial by error: de zielige reactie van de Psychosomatische Conferentie 17/10/18
- ME/CVS is geen psychosomatische ziekte 18/10/18
- Mijn brief aan organisator van 4 e Psychosomatiekconferentie aan Columbia 19/10/18
- Trial by error: Cochrane trekt gebrekkige review over lichaamsbeweging in 19/10/18
- Een steunbetuiging aan Cochrane 23/10/18
- Trial by error: waar blijft die verontschuldiging, BMJ Open? 24/10/18
- Trial by error: drie jaar verder… 28/10/18
- Trial by error: wéér een brief over de studie over het Lightning Process 7/11/18
- Trial by error: een Australische uitwisseling met professor Sharpe 8/11/18
- Trial by error: hoe ontwijk je ethische review? 12/11/18
- Trial by error: enkele bedenkingen over NICE 19/11/18
- Trial by error: goed nieuws over Cochrane 3/12/18
- Trial by error: BMJ zag Bristols ethische vrijstellingen door de vingers 4/12/18
- Trial by error: een nieuwe zet van Cochrane 10/12/18
- Trial by error: het Noorse perspectief 12/12/18
- Trial by error: de nieuwe studie over interferon voor “CVS” 19/12/18
- Trial by error: Australisch ontwerprapport nodigt uit tot commentaar 24/12/18
- Trial by error: “Geen woorden, maar daden!”, zeggen patiënten tegen NIH 26/12/18
- Trial by error: mijn brief aan de seniorauteur van de studie over het Lightning Process 7/1/19
- Trial by error: verdere bedenkingen over de interferonstudie 7/1/19
- Trial by error: weer een Parlementair Debat voor Carol Monaghan 21/1/19
- Trial by error: mijn zesmaandelijks overzicht 22/1/19
- Trial by error: het werkgerelateerd advies van Action for ME 23/1/19
- Trial by error: Steve Brines verontrustende uitspraak in het parlementaire ME-debat 28/1/19
- Trial by error: mijn brief aan Professor Chew-Graham over METRIC 28/1/19
- Trial by error: Bristol onderzoekt Crawleypapers 31/1/19
- Trial by error: enkele bedenkingen over een aanstaand artikel 31/1/19
- Trial by error: de vragen van de verslaggever voor professor Racaniello 31/1/19
- Trial by error: wat meer over Bristols onderzoek 1/2/19
- Trial by error: een terugblik op de studie over de afwezigheid op school 3/2/19
- Trial by error: en nog een “repliek vooraf”… 5/2/19
- Trial by error: HRA-rapport praat PACE niet goed 6/2/19
- Trial by error: BMJ past PACE-artikel van vorige week aan 12/2/19
- Trial by error: mijn vragen aan de PACE-professoren 13/2/19
- Trial by error: Brieven aan Fiona Godlee en Nigel Hawkes 18/2/19
- Trial by error: Professor Sharpe vraagt om intrekking van artikels 18/2/19
- Trial by error: de kostprijs van SOLK 25/2/19
- Trial by error: wie heeft de documenten over de schoolstudie? 4/3/19
- Trial by error: stomme studies 6/3/19
- Trial by error: grote Amerikaanse zorgverzekeraar wijzigt koers! 11/3/19
- Trial by error: mijn brief aan professor Hotopf over Bristols schoolafwezigheidsstudie 18/3/19
- Trial by error: update van Cochrane en laatste brief van Caroline Struthers 20/2/19
- Trial by error: Cochranes rapport over Courtneys klacht 12/3/19
- Trial by error: mijn verslaggeving over ME/cvs en aanverwante controverses 27/3/19
- Trial by error: mijn brief aan Kate Kelland 18/3/19
- Trial by error: de zielige reactie van CDC aan Reuters 25/3/19
- Trial by error: meer over Kaiser Permanente 1/4/19
- Trial by error: april is crowfundingmaand aan Berkeley 1/4/19
- Trial by error: Amerikaanse Top voor ME/cvs-artsen 2/4/19
- Trial by error: crowdfunding, week 1 8/4/19
- Trial by error: mijn meest recente brief aan Bristol 9/4/19
- Trial by error: crowdfunding, week 2 en meer over Sharpe en Chalder 15/4/19µ
- Trial by error: update over Reuters 18/4/19
- Trial by error: ik kom even terug op het verhaal in Reuters 21/4/19
- Trial by error: crowdfunding, week 3: je donatie wordt verdubbeld 22/4/19
- Trial by error: Jennie Spotila over toespraak directeur NIH 23/4/19
- Trial by error: weer een brief aan de juridische dienst van Bristol 29/4/19
- Trial by error: mijn opvolgingsbrief aan Reuters 30/4/19
- Trial by error: mijn brief over SOLK aan British Journal of General Practice 6/5/19
- Trial by error: mijn gesprek met British Journal of Medical Practice 7/5/19
- Trial by error: ik schreef nog maar eens aan Bristol 13/5/19
- Trial by error: crowdfunding is ten einde! 14/5/19
- Trial by error: pleidooi aan Fiona Godlee over een bekend thema 16/5/19
- Trial by error: mijn opvolgbrief aan het British Journal of Medical Practice 20/5/19
- Trial by error: Lightning Process “doeltreffend”? Dat meen je toch niet? 20/5/19
- Trial By Error: mijn meest recente brief over de studie over het Lightning Process: update 22/5/19
- Trial by error: British Journal of Medical Practice stemt in met correctie over SOLK 29/5/19
- Trial by error: Professor Edwards schrijft naar Dr Godlee van BMJ over de LP-studie 3/6/19
- Trial By Error: tijd om de LP-studie in te trekken; Brief aan Archives of Disease in Childhood 3/6/19
- Trial By Error: een FOI-aanvraag aan Bristol over LP-studie 3/6/19
- Trial By Error: terugkijk op mijn vragen aan Science Media Centre over Bristols LP-studie 3/6/19
- Trial By Error: een tweede brief aan seniorauteur LP-studie 5/6/19
- Trial By Error: opvolging van mijn opvolgingsbrief aan Dr. Segal over citatie LP-studie 5/6/19
- Trial by error: hé BJGB, waar blijft die correctie over de kostprijs van SOLK? 10/6/19
- Trial by error: BJGP-correctie op komst; BMJ blijft ons hardnekkig negeren 11/6/19
- Trial by Error: een brief aan Bristol over mijn recente FOI-verzoek; plus update 12/6/19
- Trial By Error: weer een review die de LP-studie vernoemt, dus ik klim weer in mijn pen 24/6/19
- Trial By Error: een update over de pediatrische SOLK-review 26/6/19
- Trial By Error: FOI-antwoord uit Bristol over LP-studie; correctie in BJGP over SOLK /1/7/19
- Trial By Error: mijn brief aan Professor Chew-Graham over de kostprijs van SOLK 1/7/19
- Trial By Error: bedenkingen over SOLK en Bermingham; Brief aan Professor Payne 8/7/19
- Trial By Error: Mary Dimmock over de nieuwe bewijsreview van de CDC 10/7/19
- Trial By Error: ons contact met vakblad BMJ over “correctie” LP-studie 15/7/19
- Trial By Error: Britse klinieken gaan te laks om met schade door behandeling, zegt studie 16/7/19
- Trial By Error: nieuwe GET-onzin uit Australië 29/7/19
- Trial By Error: een slecht geïnformeerd artikel in The Guardian 13/8/19
- Trial By Error: mijn interview met de Australische Dr. Don Lewis 19/8/19
- Trial By Error: Joan McParlands getuigenis over het Lightning Process 21/8/19
- Trial By Error: BMJ’s gedrag is moreel failliet – open brief aan Dr. Godlee 28/8/19
- Trial By Error: oproep tot intrekking van de LP-studie 3/9/19
- Trial By Error: hoofdauteur nieuwe bias-richtlijn Cochrane was coauteur LP-studie 31/8/19
- Trial By Error: meer over Cochranes nieuwe tool i.v.m. risico op bias 4/9/19
- Trial By Error: nog meer experts roepen Godlee op tot intrekking LP-studie 9/9/19
- Trial By Error: Dr. Godlee krijgt weer keiharde brieven van experts 11/9/19
- Trial By Error: nieuwe lading brieven aan Dr. Godlee over BMJ’s flaters i.v.m. LP-studie 16/9/19
- Trial By Error: mijn brief aan professor Chalder over de PRINCE-studie 16/9/19
- Trial By Error: mijn brief aan BMJ Open i.v.m. foute bewering over SOLK 18/9/19
- Trial By Error: hoe zit het met de Cochranereview over bewegingstherapie? 24/9/19
- Trial By Error: waar blijft Bristols rapportage over Professor Crawleys ethische misstappen? 2/10/19
- Trial By Error: meer over de herziene Cochranereview over bewegingstherapie 9/10/19
- Trial By Error: Bristols rapport op komst; slides van mijn lezing in Oxford 21/10/19
- Trial By Error: brief van HRA over doorlichting Bristolstudies 28/10/19
- Trial By Error:“Bristol, hoog tijd om uw klacht tegen Berkeley in te trekken” 29/10/19
- Trial By Error: hoe ontwijk je ethische review? (herneming) 30/10/19
- Trial By Error: Brief van HRA aan Rector van Berkeley 2/11/19
- Trial By Error: opvolgingsbrief aan Bristol 15/11/19
- Trial By Error: BMJ’s gedrag is moreel failliet – tweede open brief aan Dr. Godlee 22/11/19
- Trial By Error: nog meer experts roepen Godlee op tot intrekking LP-studie 2/12/19
- Trial By Error: Fiona Godlee blijft studie Lightning Process steunen 6/12/19
- Trial By Error: Mayo’s flutwebsite 10/12/19
- Trial By Error: mijn opiniestuk over BMJ en dr. Godlee 16/12/19
- Trial By Error: PEM is vreselijk en Fukuda is dat ook, zegt nieuwe studie 24/12/19
- Trial By Error: wankel bewijs voor tekenen van Functionele Neurologische Stoornissen 30/12/19
- Trial By Error: mijn gedachtewisseling uit 2011 met White et al over gevalsdefinitie 31/12/20
- Trial By Error: nog wat bedenkingen over Functionele Neurologische Stoornis 7/1/20
- Trial By Error: de open brief van de Deense ME-Vereniging 8/1/20
- Trial By Error: 2018 – PACE-heranalyse en expertbeoordeling van Science Media Centre 13/1/2020
- Trial By Error: CGT geeft geen voordeel voor patiënten met vergevorderde kanker, zegt studie 15/1/20
- Trial By Error: CGT en prikkelbaredarmsyndroom 24/1/20
- Trial By Error: een commerciële deal voor het digitale CGT-programma voor PDS van King’s College London 27/1/20
- Trial By Error: aanvraag bij King’s College London i.h.k.v. Vrijheid van Informatie; brief aan Mahana Therapeutics 27/1/20
- Trial By Error: meer over de deal met Mahana Therapeutics 28/1/20
- Trial By Error: mijn brief aan Professor Moss-Morris 3/2/20
- Trial By Error: mijn brief aan een van de adviseurs gastro-enterologie van Mahana 5/2/20
- Trial By Error: mijn opvolgingsbrief aan professor Rona Moss-Morris 10/2/20
- Trial By Error: nog een brief aan twee Mahana-adviseurs gastro-enterologie 11/2/20
- Trial By Error: mijn brief aan Mahana’s CEO en medestichter 11/2/20
- Trial By Error: mijn opvolgbrief aan CEO van Mahana Therapeutics 17/2/20
- Trial by error: een Australisch radio-interview met dr. Mark Guthridge uit Melbourne 19/2/20
- Trial By Error: nog een brief over Mahana; BerkeleyWellness over PDS-studie 24/2/20
- Trial By Error: nieuwe biopsychosociale studie over vermoeidheid bij HIV-patiënten 2/3/20
- Trial By Error: wat nu? 18/3/20
- Trial By Error: King’s College London wijst mijn FOI-aanvraag af (deze post gaat niet over COVID) 7/4/20
- Trial by error: een bericht over Lupus en SOLK, niet over COVID 8/4/20
- Trial By Error: mijn verslaggeving over ME, cvs, “somatisch onverklaarde lichamelijke klachten” e.a. 9/4/20
- Trial By Error: terug naar Mahana en prikkelbaredarmsyndroom… 15/4/20
- Trial By Error: Oxford-NHS adviseert GET/CGT voor post-COVID-“CVS”-patiënten 16/4/20
- Trial By Error: Opvolging van mijn opvolgingsbrief aan Mahana 18/4/20
- Trial By Error: mijn FOI-brief over Oxfords pamflet over vermoeidheid na COVID-19 18/4/20
- Trial By Error: opvolging aanvraag Vrijheid van Informatie bij Oxford Health 20/4/20
- Een update over mijn lopende crowdfunding 20/4/20
- Trial By Error: Meer over het Mahanagedoe… 25/4/20
- Trial By Error: nog een bericht aan Mahana’s gastro-enterologische adviseurs 28/4/20
- Trial By Error: Noors studievoorstel over Lightning Process 2/5/20
- Trial By Error: reactie van Oxford Health op mijn aanvraag i.h.k.v. Vrijheid van Informatie 2/5/20
- Trial By Error: Mijn brief aan corresponderend auteur PDS-studie 5/5/20
- Trial By Error: Merck Manual adviseert nog steeds GET/CGT 6/5/20
- Trial By Error: meer over die Noorse studie over CGT/Muziektherapie 16/5/20
- Trial By Error: meer over die rare Noorse CGT/muziektherapie-studie 18/5/20
- Trial By Error: Noorwegen krijgt dubbele dosis wazige wetenschap 20/5/20
- Trial By Error: mijn brief aan senior auteur van Noorse CGT/Muziektherapiestudie 22/5/20
- Trial By Error: mijn brief aan peerreviewer CGT/Muziektherapiepaper van BMJ 28/5/20
- Trial by Error: commentaar van Tack de Krak op BMJ’s “haalbaarheidsstudie” over CGT/Muziektherapie 28/5/20
- Trial By Error: twee brieven aan Dagbladet over hun ME-verslaggeving 30/5/20
- Trial By Error: brief aan BMJ Paediatrics Open over die CGT/Muziektherapiestudie 31/5/20
- Trial By Error: een paar lezenswaardige blogposts 2/6/20
- Trial By Error: reactie van Dagbladet 3/6/20
- Trial By Error: nog een paar lezenswaardige blogposts 9/6/20
- Trial By Error: persbericht King’s College London verbergt slecht nieuws 11/6/20
- Trial By Error: brief aan KCL, nog een brief aan BMJ 15/6/20
- Trial By Error: een stel studies toont limieten van CGT voor Somatisch Onverklaarde Lichamelijke Klachten 17/6/20
- Trial By Error: BMJ beantwoordt oproep over Noorse CGT-muziektherapiestudie 18/6/20
- Trial By Error: meer vragen over CODES-studie over CGT voor dissociatieve aanvallen 23/6/20
- Trial By Error: VK financiert Geneticaproject; mijn brief aan CODES-onderzoekers 25/6/20
- Trial By Error: CODES-studiecommentaar promoot ‘op eminentie gebaseerde geneeskunde’ 26/6/20
- Trial By Error: mijn brief aan auteur van CODES-commentaar 27/6/20
- Trial By Error: nu is er ook CGT voor “gezondheidsangst” bij CVS 2/7/20
- Trial By Error: herinnering aan BMJ over muziektherapie; brief aan expert “gezondheidsangst” 3/7/20
- Trial By Error: prima berichtgeving over Britse Geneticastudie in The Times 8/7/20
- Trial By Error: NICE over lichaamsbeweging en post-Covid-syndroom 15/7/20
- Trial By Error: geen bewijs voor CGT e.a. als therapieën voor “conversiestoornis” 20/7/20
- Trial By Error: nog een brief over BMJ’s muziektherapiestudie 21/7/20
- Trial By Error: experts Columbia vragen BMJ dringend om intrekking problematische studie 25/7/20
- Trial By Error: desinformatie over behandelingen voor post-Covid-syndroom 28/7/20
- Trial By Error: enkele interessante dingen om te lezen en te bekijken, van Rivka, Natalie en Anil 3/8/20
- Trial By Error: “Your COVID Recovery” van de Britse National Health Service 5/8/20
- Trial By Error: En nu – geen verrassing – CGT voor post-Covid-vermoeidheid 8/8/20
- Trial By Error: meer CGT-onderzoek van Sir Simon en Professor Chalder 12/8/20
- Trial By Error: FITNET-NHS vindt niet genoeg deelnemers 18/8/20
- Trial By Error: Lighting Process – de bliksem slaat weer in! 27/8/20
- Trial By Error: wat is het Dynamic Neural Retraining System? 2/9/20
- Trial By Error: wat leesvoer over langdurige Covid, BMJ en ME 10/9/20
- Trial By Error: Britse dokters spreken zich uit over langdurige covid; Mayo wijzigt koers (een beetje) 15/9/20
- Trial By Error: een korte lezing voor Britse artsen en onderzoekers 17/9/20
- Trial By Error: Meer CGT-onderzoek van Sir Simon en Professor Chalder, deel 2 20/9/20
- Trial By Error: CDC-vergadering voor belanghebbenden 28/9/20
- Trial By Error: rapportage over ME, CVS, ME/cvs, “somatisch onverklaarde lichamelijke klachten” en aanverwante kwesties. 1/10/20
- Trial By Error: dat webinar van Royal Society of Medicine over langdurige COVID 1/10/20
- Trial By Error: Meer over het webinar van de Royal Society of Medicine 4/10/20
- Trial By Error: ontwerprichtlijn NICE over ME/cvs op komst 8/10/20
- Trial By Error: hoe de nachtmerrie begon voor Professor Lubet 14/10/20
- Trial By Error: het sprookje van Professor Chalder en haar PRINCE 14/10/20
- Trial By Error: een paar bedenkingen over langdurige COVID, ME/cvs en SOLK 20/10/20
- Trial By Error: Professor Chew-Graham geen fan meer van GET/CGT? 21/10/20
- Trial By Error: komende ontwerprichtlijn NICE over ME/cvs 25/10/20
- Trial By Error: British Association for CFS/ME wijzigt koers 27/10/20
- Trial By Error: BMJ trekt CGT-Muziektherapiestudie in, maar… 27/10/20
- Trial By Error: geen verband tussen “ouderlijke scheiding” en ernst van ME bij kinderen 3/11/20
- Trial By Error: mijn voorspellingen over ME/cvs-richtlijn van NICE, herneming 7/11/20
- Trial By Error: Trump de deur uit, GET/CGT ook? 9/11/20
- Trial By Error: NICE-ontwerp verwerpt GET, Lightning Process en CGT-als-genezende-behandeling 10/11/20
- Trial By Error: nieuwsberichten over nieuw NICE-ontwerp van Science Media Centre en Britse pers 20/11/20
- Trial By Error: Update over BMJ’s CGT-Muziektherapietudie (petje af voor Steinkopf and Tack!) 23/11/20
- Trial By Error: Mijn brief aan BMJ Paediatrics Open over de CGT-Muziektherapiestudie 25/11/20
