Trial By Error: mijn brief aan senior auteur van Noorse CGT/Muziektherapiestudie
David Tuller, DrPH, Virology Blog, 22 mei 2020
In de voorbije week heb ik drie posts geschreven over een Noorse studie van cognitieve gedragstherapie plus muziektherapie voor adolescenten met chronische vermoeidheid na acute infectie met Epstein-Barrvirus – een ziekte die bekend is als Pfeiffer in Nederland, en als klierkoorts in België. De corresponderende auteur van de studie is Vegard Bruun Wyller, een professor aan het Instituut voor Klinische Geneeskunde van de Universiteit van Oslo.
Professor Wyller is ook betrokken bij een geplande Noorse studie over het Lightning Process, dat tot heel wat controverse en misleidende verslaggeving heeft geleid in Dagbladet, een veelgelezen krant. Op donderdag stuurde ik een brief naar Professor Wyller, om hem uit te nodigen om op Virology Blog te reageren op mijn bedenkingen. De eerste brief vind je hieronder.
Ik stuurde ook een brief aan Dagbladet, waarin ik o.a. opmerkte dat de journalist vergat te vermelden wat mijn functie en academische referenties zijn aan Berkeley. Ik zal de krant wat tijd geven om de brief te publiceren, voordat ik hem zelf post.
**********
Geachte Professor Wyller,
Ik ben een onderzoeksjournalist en een academische fellow aan de School of Public Health aan University of California in Berkeley. Ik schrijf regelmatig over onderzoek uit het veld van cvs, ME en andere zogenaamde somatisch onverklaarde lichamelijke klachten. Een groot deel van mijn werk verschijnt op Virology Blog, een wetenschapssite onder het beheer van Professor Vincent Racaniello, een microbioloog aan Columbia University. (Ik heb Professor Racaniello bij deze e-mail in CC gezet.)
Ik heb intussen drie posts geschreven voor Virology Blog, waarin ik me kritisch uitlaat over een onlangs gepubliceerde studie over cognitieve gedragstherapie in combinatie met muziektherapie, als behandeling voor adolescenten met chronische vermoeidheid na acute infectie met Epstein-Barrvirus. Aangezien u de corresponderende auteur bent, wilde ik u de kans bieden om te reageren op mijn bedenkingen. Als u mij uw commentaar stuurt, van eender welke lengte, zal ik hem in zijn volledigheid posten op Virology Blog, zonder redactionele onderbrekingen. (Ik zou wellicht reageren op uw commentaar, maar dan in een volledig aparte post.)
De drie posts op Virology Blog over de studie staan hier, hier en hier.
Zoals ik al vermeldde, zal ik eender wat posten dat u me wil sturen. Maar ik ben vooral geïnteresseerd in een antwoord op volgende vragen:
- Waarom beschreef de paper het onderzoek als een haalbaarheidsstudie, zonder daarbij te vermelden dat ze gestart was als een kleine, maar volledige gerandomiseerde studie?
- Waarom werd in de conclusies in het abstract en in de volledige tekst niets gezegd over de slechte resultaten voor de primaire uitkomst?
- Waarom werd PEM voorgesteld als uitkomst, hoewel het niet vermeld stond in het protocol, de registratie of het statistisch analyseplan?
- Waarom werd de uitkomst van “herstel” niet vermeld in de registratie en het statistisch analyseplan?
- Hoe kan het dat deelnemers die het slechter deden op de objectieve primaire uitkomst, toch beschouwd werden als “hersteld” in de studie, op basis van resultaten voor een subjectieve secundaire uitkomst?
- Er was sprake van grote uitval in de interventiegroep; waarom benadrukte de paper dan voor “herstel” de analyse volgens het protocol, maar voor andere uitkomsten de analyse volgens behandelingsintentie?
- Vond u het niet zorgwekkend dat één van de reviewers enkel het abstract had gelezen, en vond u het niet vreemd dat de redacteurs ervoor kozen om geen review van de paper zelf in de plaats te vragen?
- Weet u of de redacteurs en/of peerreviewers het studieprotocol, de registratie en het statistisch analyseplan nagekeken hebben?
Hartelijk dank, Professor Wyller. Ik kijk uit naar uw reactie.
Vriendelijke groet,
David Tuller, DrPH
Senior Fellow Volksgezondheid en Journalistiek
Center for Global Public Health
School of Public Health
University of California, Berkeley
© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.
Trial By Error: mijn brief aan peerreviewer CGT/Muziektherapiepaper van BMJ
David Tuller, DrPH, Virology Blog, 28 mei 2020
Onlangs schreef ik enkele posts (hier, hier en hier) over een studie in BMJ Paediatrics Open die wordt geplaagd door meerdere methodologische en ethische problemen. Dit is zeker niet de eerste keer dat dit gebeurt in een BMJ-vakblad. Vorige week stuurde ik een brief naar de senior auteur van de studie, om hem te vragen of hij wilde reageren, zodat ik zijn reactie op Virology Blog kon posten. Ik heb nog niets van hem gehoord.
BMJ Paediatrics Open werkt met open (d.w.z. niet-anonieme) peerreview. Ik wil nog steeds proberen te snappen hoe een volledige gerandomiseerde studie die zwakker uitviel dan verwacht, gepubliceerd werd alsof ze van meet af aan bedoeld was als haalbaarheidsstudie, uitgevoerd om staving te vinden voor een volledige gerandomiseerde studie. Ik heb volgende brief verstuurd naar één van de twee peerreviewers die de paper effectief heeft gelezen. (Eén van hen proclameerde botweg dat hij “niet verder dan het abstract” had gelezen.)
Dr. Maria Loades is docent aan het departement psychologie van de University of Bath. Ik stuurde haar deze ochtend volgende brief: (Hoewel ik schreef dat ik Professor Racaniello in CC had gezet, was ik dat uiteindelijk vergeten, dus ik heb deze brief achteraf naar hem doorgestuurd. Gewoon voor alle duidelijkheid.)
**********
Geachte Dr. Loades,
Ik ben journalist en academische fellow aan de School of Public Health aan University of California in Berkeley. Ik schrijf regelmatig over onderzoek uit het veld van cvs, ME en andere zogenaamde somatisch onverklaarde lichamelijke klachten. Een groot deel van mijn werk verschijnt op Virology Blog, een wetenschapssite onder het beheer van Professor Vincent Racaniello, een microbioloog aan Columbia University. (Ik heb Professor Racaniello bij deze e-mail in CC gezet.)
Deze maand plaatste ik op Virology Blog drie posts, waarin ik me vragen stelde bij een studie die onlangs werd gepubliceerd door BMJ Paediatrics Open, met als titel “Cognitieve gedragstherapie in combinatie met muziektherapie voor chronisch vermoeidheidssyndroom na infectie met Epstein-Barrvirus bij adolescenten: een haalbaarheidsstudie”. De drie posts op Virology Blog vindt u hier, hier en hier.
In december jl. deed u de peerreview van een kladversie van deze studie, binnen de open peerreviewprocedure van het vakblad. Op dat moment verwees de titel naar de studie als “een verkennende gerandomiseerde studie”. Hoewel u de paper in het algemeen goede commentaar gaf, zei u wel dat de oorspronkelijke doelstelling van de onderzoekers u niet helemaal duidelijk was. Dit is wat u schreef:
“Uit de doelstellingen van de studie en de manier waarop de studie is omschreven, wordt me niet helemaal duidelijk of dit nu bedoeld was als een haalbaarheidsstudie, nl. om te kijken naar de haalbaarheid (is dit uitvoerbaar?), aanvaardbaarheid (hoe ervaren patiënten het?) en om een eerste idee te geven van de mogelijke effectgrootte, ter staving van een toekomstige grotere studie, óf dat dit bedoeld was als een volledige studie. Ik denk dat dit algemeen duidelijk moet worden gemaakt aan de lezer, en dat interpretaties/conclusies in overeenstemming moeten zijn met de vooropgestelde doelstellingen.”
In reactie schreven de onderzoekers het volgende: “Dank u. Wij zijn het hiermee eens – deze studie moet beschouwd worden [als] een haalbaarheidsstudie, en het manuscript is dienovereenkomstig geherformuleerd.”
En dit is hoe de gepubliceerde paper de doelstelling omschreef: “De doelstelling van deze studie was om de haalbaarheid te onderzoeken van dit mentale trainingsprogramma bij adolescenten die lijden aan cv na acute EBV-infectie, en om preliminaire effectinschattingen te maken, als basis voor een volledige studie in de toekomst.”
Dr. Loades, ik begrijp dat u in de war was na uw lezing van de eerste kladversie van de paper. Ik begrijp ook dat u om opheldering vroeg over de doelstelling van het onderzoek. Maar in plaats van de zaken op te helderen, geeft de gepubliceerde versie een verslag dat aanzienlijk afwijkt van de belangrijkste studiedocumenten.
Zoals duidelijk wordt uit een lezing van het studieprotocol, de registratie en het statistisch analyseplan, werd het onderzoek ontworpen als kleine, maar volledige studie – en dus niet als haalbaarheidsstudie, zoals wordt beweerd in de gepubliceerde paper. Jammer genoeg voor de onderzoekers viel de rekrutering flink tegen, en was er een hoge uitval in de groep die CGT en muziektherapie kreeg, en ook de resultaten waren teleurstellend.
Maar de versie die gepubliceerd werd door BMJ Paediatrics Open, omschrijft de studie niet als een volledige studie die de verhoopte resultaten niet had gehaald. Hoewel u de onderzoekers de suggestie gaf dat hun interpretatie en conclusies “in overeenstemming moeten zijn met de vooropgestelde doelstellingen”, ziet het ernaar uit dat zij hun interpretatie en conclusies hebben opgesteld in overeenstemming met hoe ze die doelstelling achteraf hebben bijgesteld.
Dr. Loades, wist u dat de gepubliceerde versie zo aanzienlijk afweek van het studieprotocol, de registratie en het statistisch analyseplan? Vindt u het niet vreemd dat de onderzoekers op uw commentaren antwoordden door te zeggen hoe de studie “beschouwd moet worden” eens ze klaar was, in plaats van hoe ze oorspronkelijk ontworpen was? Indien u de gereviseerde versie hebt gereviewd en goedgekeurd, staat u dan nu nog steeds achter die goedkeuring?
Ik stuurde vorige week een brief naar de corresponderende auteur, met de vraag of hij deze onregelmatigheid kon uitleggen, naast enkele andere verbluffende aspecten van dit onderzoek. Hij heeft hier nog niet op gereageerd.
Ik kijk uit naar uw reactie. Voor alle duidelijkheid: ik ben van plan om deze brief te posten op Virology Blog.
Vriendelijke groet, David
David Tuller, DrPH
Senior Fellow Volksgezondheid en Journalistiek
Center for Global Public Health
School of Public Health
University of California, Berkeley
© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.
Trial by Error: commentaar van Tack de Krak op BMJ’s “haalbaarheidsstudie” over CGT/Muziektherapie
David Tuller, DrPH, Virology Blog, 28 mei 2020
Iedereen weet dat het mij altijd opvalt als slimme patiënten slecht onderzoek analyseren. Zo ben ik ook in heel deze mallemolen terecht gekomen – door te lezen wat patiënten hadden geschreven over de PACE-studie. (In dat geval wees ik de bedenkingen in eerste instantie van de hand, toen ik las dat deelnemers die zieker waren geworden, toch geteld konden worden als hersteld. Ik ging ervan uit dat de patiënten het bij het foute eind hadden. Ik kende geen enkel geloofwaardig vakblad dat zo’n studie zou publiceren – en al zeker geen dat het niet zou intrekken als het probleem aan het licht zou komen.)
Eén van de analyses waar ik altijd aandacht aan besteed, zijn die van Michiel Tack. Hij nam deel aan een levendige discussie op het forum Science for ME over de zogenaamde “haalbaarheidsstudie” over cognitieve gedragstherapie plus muziektherapie als behandeling voor chronische vermoeidheid na acute infectie met Epstein-Barrvirus, die ik hier, hier en hier heb voorzien van commentaar. In feite publiceerde het vakblad, BMJ Paediatrics Open, een volledige gerandomiseerde studie, die niet de verwachte resultaten voortbracht, alsof de studie van meet af aan bedoeld was als haalbaarheidsstudie voor een volledige gerandomiseerde studie.
Michiel diende een krachtig en nauwkeurig beargumenteerd commentaar in bij het vakblad, maar heeft nog geen reactie ontvangen. Intussen heeft hij zijn commentaar gepost op de site van PubPeer, hier. Ik herpost het met zijn toestemming op Virology Blog.
**********
Malik et al. voerden een gerandomiseerde studie uit over cognitieve gedragstherapie (CGT) in combinatie met muziektherapie voor adolescenten met chronische vermoeidheid (cv) na infectie met Epstein-Barrvirus. (1) Jammer genoeg zijn er verschillende fouten gebeurd bij de rapportage van deze studie.
Ten eerste ziet het ernaar uit dat de studie geherformuleerd werd tot haalbaarheidsstudie, toen bleek dat de interventie niet de gewenste effectgrootte bereikte. De statistische kracht van studie was enkel gericht op grote effecten en zowel het protocol (2) als het statistisch analyseplan (3) doen vermoeden dat de auteurs verwacht hadden dat ze grote verbetering zouden vinden in de interventiegroep. In hun berekeningen van de statistische kracht voor de primaire uitkomst (gemiddeld aantal stappen per dag) schreven ze: “In deze studie is de kracht om een verhoging van 2000 stappen/dag te detecteren ten minste 80% (α=0.05). Deze effectgrootte ligt tamelijk hoog (0.8 keer de standaardafwijking); maar aangezien uit documentatie blijkt dat CGT alleen bij CVS/ME een kleine tot gemiddelde effectgrootte heeft, is enkel een aanzienlijke effectgrootte klinisch interessant. Bovendien suggereert de FITNET-studie dat men grotere behandelingseffecten mag verwachten bij adolescenten met CVS/ME, in vergelijking met volwassen patiënten (Nijhof 2012).” (2) Het protocol (2) en de studieregistratie (4) bevatten meer dan 20 uitkomstmaten die doen vermoeden dat de studie tot doel had om de doeltreffendheid te testen, eerder dan de haalbaarheid van de interventie.
Ten tweede concluderen Malik et al. dat “een combinatie van CGT en muziektherapie haalbaar en aanvaardbaar is voor postinfectieuze cv bij adolescenten.” (1) De auteurs verwijzen naar een goede naleving en een gebrek aan statistisch significante verschillen in gerapporteerde schade tussen de interventiegroep en de controlegroep. Dit kan echter mede verklaard worden door een gebrek aan statistische kracht, aangezien de studie slechts 43 deelnemers telde, en enkel in staat was om grote verschillen tussen de groepen te detecteren. Er waren ook enkele indicaties dat de interventie misschien niet zo aanvaardbaar was voor patiënten. Meer dan de helft van de in aanmerking komende adolescenten weigerde deelname aan de studie. In het protocol (2) en het statistisch analyseplan (3), veronderstelden de auteurs dat slechts 5 procent de deelname zou weigeren. Verder was er ook een hoge graad van uitval in de interventiegroep (29%) in vergelijking met de controlegroep (5%).
Ten derde zou, volgens Malik et al., “de studie erop wijzen dat het mentale trainingsprogramma symptomen zou kunnen verbeteren en na verloop van tijd zou kunnen leiden tot een hogere graad van herstel.” (1) Deze uitspraak wordt niet onderbouwd door de data. De primaire uitkomstmaat was het gemiddelde aantal stappen per dag, geëvalueerd via een stappenteller op 12 weken na de randomisering. Op deze uitkomst vertoonde de interventiegroep een lager activiteitsniveau dan de controlegroep, een verschil dat statistische significantie bereikte in de analyse volgens protocol, maar niet in de analyse volgens behandelingsintentie. Jammer genoeg zeggen de auteurs niks over deze nogal verbazingwekkende bevinding. Patiënten in de controlegroep kregen enkel “gewoonlijke zorg”. De paper legt uit dat “gewoonlijke zorg” betekent dat de personen in kwestie helemaal geen zorg zouden krijgen voor hun cv-aandoening in de opvolgingsperiode, “behalve dan de opvolgingsafspraken voor deze studie.” (1) Dus het lijkt erop dat de interventie op de primaire uitkomst slechtere resultaten gaf dan helemaal niks doen. De tijd en energie die gespendeerd moesten worden aan CGT en muziektherapie, zorgden er misschien voor dat de patiënten hun normale activiteiten niet konden hervatten. Deze verklaring komt overeen met het feit dat de interventiegroep een hoge mate van uitval kende, en dat meer dan de helft van de in aanmerking komende patiënten deelname aan de studie weigerde.
Ten vierde spreken de auteurs over trends richting statistische significantie, hoewel er meer dan 20 secundaire uitkomstmaten werden gebruikt in de studie (elk gemeten op twee tijdstippen), en er toch geen correcties werden uitgevoerd voor meervoudige vergelijkingen. Het lijkt dus ongepast dat men van de interventie zegt dat die “[…] symptomen van postexertionele malaise zou kunnen verbeteren, wat een volledige studie rechtvaardigt”. Postexertionele malaise werd gemeten a.d.h.v. één enkele vraag die achteraf toegevoegd lijkt te zijn, aangezien ze niet in de lijst van uitkomsten staat in het protocol (1), het statistische analyseplan (2) of de studieregistratie (3). Het maximale verschil voor postexertionele malaise tussen de interventie en de controlegroep was slechts 0.5 punten, een derde van de standaardafwijking voor de interventiegroep bij aanvang. In de analyse volgens behandelingsintentie daalt dit verschil tot 0.2 punten bij opvolging. Het is onduidelijk waarom deze resultaten een volledige studie zouden rechtvaardigen, aangezien de interventiegroep het slechter deed op de primaire uitkomst dan de controlegroep.
Ten vijfde benadrukt het abstract ook een trend richting een hogere herstelgraad in de interventiegroep. De auteurs definieerden herstel als een score lager dan vier punten op de Vermoeidheidsschaal van Chalder, via een gedichotomiseerde puntentelling (van 0 tot 11 punten). Een score van vier of hoger op de Vermoeidheidsschaal van Chalder werd echter al gebruikt als criterium voor deelname. Dit betekent dat deelnemers als hersteld ingedeeld konden worden, ook al rapporteerden ze slechts één punt verbetering op de Vermoeidheidsschaal van Chalder. Merk ook op dat de Vermoeidheidsschaal van Chalder de intensiteit of impact van vermoeidheid niet meet. In plaats daarvan evalueert het of deelnemers vermoeidheidsgerelateerde symptomen ervaren, zoals meer “problemen met taken aanvatten” of meer “moeilijkheden met het vinden van het juiste woord”. Daarom lijkt het dus niet gepast om de term “herstelgraad” te gebruiken voor het percentage aan deelnemers die lager scoren dan de drempel van vier punten op de Vermoeidheidsschaal van Chalder. Na de behandeling was er tussen de interventiegroep en de controlegroep geen verschil in het percentage aan deelnemers die deze drempel van vier punten haalde. De analyse volgens behandelingsintentie van de ordinale scores op de Vermoeidheidsschaal van Chalder (van 0 tot 33 punten) werd ook gerapporteerd en liet weinig verschil zien tussen de groepen. Een plausibele verklaring voor wat de auteurs beschrijven als “een trend richting hogere herstelgraad in de interventiegroep”, is de hoge mate van uitval. Bij opvolging telde de interventiegroep nog slechts 13 patiënten. De analyse die de auteurs naar voren brachten, houdt geen rekening met de 8 personen die in de interventiegroep zaten, maar verloren waren bij opvolging. Er zijn zo goed als geen aanwijzingen dat er meer patiënten in de interventiegroep herstelden dan in de controlegroep. Het is jammer dat de auteurs [de term “herstel”] hebben gebruikt in hun manuscript.
Samengevat: CGT in combinatie met muziektherapie leidde tot een hoge graad van uitval en een lager activiteitsniveau dan deelnemers die geen behandeling kregen. In tegenstelling tot wat Malik et al. concluderen, stellen deze resultaten in vraag of een volledige klinische studie gerechtvaardigd zou zijn.
Referenties
1. Malik S, Asprusten TT, Pedersen M, Mangersnes J, Trondalen G, Roy B van, et al. Cognitive–behavioural therapy combined with music therapy for chronic fatigue following Epstein-Barr virus infection in adolescents: a feasibility study. BMJ Paediatr Open. 2020 Apr 1;4(1):e000620.
2. Akershus University Hospital. Research Protocol – processing. Mental training for chronic fatigue syndrome (CFS/ME) following EBV infection in adolescents: a randomised controlled trial. Available from: https://www.ahus.no/seksjon/forskning/Documents/Forskningsgrupper/Barne- og ungdomsklinikken/Paedia/Forskningsprotokoll – behandling.pdf
3. Akershus University Hospital. Statistical analysis plan – CEBA part 2. Available from: https://www.ahus.no/seksjon/forskning/Documents/Forskningsgrupper/Barne- og ungdomsklinikken/Paedia/Statistisk analyseplan del 2.pdf
4. ClinicalTrials.gov Identifier: NCT02499302. Available from: https://clinicaltrials.gov/ct2/show/NCT02499302
© David Tuller en Michiel Tack voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.
Trial By Error: brief aan BMJ Paediatrics Open over die CGT/Muziektherapiestudie
David Tuller, DrPH, Virology Blog, 31 mei 2020
UPDATE: Kort nadat ik de brief met bedenkingen gestuurd heb, stuurde ik de volgende correctie naar Dr. Choonara.
Geachte Dr. Choonara,
Ik wilde een kleine correctie aanbrengen in punt #3 hieronder. De eerste zin had moeten luiden: “Waarom stond de uitkomst van herstel niet vermeld in de studieregistratie en het statistisch analyseplan maar werd het wél in de verf gezet in de paper?” Zoals ik eerder op Virology Blog rapporteerde, was de uitkomst van herstel vermeld in het protocol maar niet in de andere twee studiedocumenten. Mijn excuses voor de fout.
Vriendelijke groet, David
David Tuller, DrPH
Senior Fellow Volksgezondheid en Journalistiek
Center for Global Public Health
School of Public Health
University of California, Berkeley
Berkeley, Californië, VS
Vandaag stuurde ik volgende brief naar de hoofdredacteur van BMJ Paediatrics Open, Imti Choonara, Emeritus Professor Kindergezondheid aan University of Nottingham. In CC zette ik Fiona Godlee, redactioneel directeur van BMJ, om haar aandacht te vestigen op het verontrustende nieuws dat er wéér één van haar bekende vakbladen onderzoek heeft gepubliceerd van de ideologische CGT-brigade die wetenschappelijk kernprincipes met voeten treedt.
**********
Geachte Professor Choonara,
BMJ Paediatrics Open publiceerde onlangs een studie met als titel “cognitieve gedragstherapie in combinatie met muziektherapie voor chronische vermoeidheid na infectie met Epstein-Barrvirus bij adolescenten: een haalbaarheidsstudie”. Wij schrijven u om u onze bezorgdheid uit te drukken over het feit dat deze paper aanzienlijke methodologische problemen bevat.
De wetenschapssite Virology Blog heeft drie kritische posts geschreven over de paper, nl. hier, hier en hier. Een krachtig en nauwkeurig onderbouwd commentaar, dat gepost werd onder het artikel zelf, haalt vele gelijkaardige punten aan. (Virology Blog is een wetenschapssite onder het beheer van Vincent Racaniello, microbioloog aan Colombia University en één van de ondertekenaars van deze brief. De posts in kwestie werden geschreven door David Tuller, journalist en volksgezondheidsexpert aan UC Berkeley. Ook hij ondertekende deze brief.)
De primaire uitkomst van de studie was een objectieve uitkomst: gemiddeld aantal stappen per dag, gemeten met een stappenteller die gedurende één week zou worden gedragen. Tot grote verbazing van de onderzoekers, daalde het gemiddelde aantal stappen in beide studiearmen, en de interventiegroep deed het op deze meting zelfs slechter dan de groep die gewoonlijke zorg kreeg. Secundaire uitkomsten die vermeld werden in de paper, waaronder postexertionele malaise (PEM) en vermoeidheid, waren subjectief. De onderzoekers kwamen tot het besluit dat een volledige studie gerechtvaardigd zou kunnen zijn.
Dit zijn enkele van de vele bedenkingen waarvan wij vinden dat ze behandeld moeten worden:
1) Zowel het studieprotocol, als de registratie en het statistisch analyseplan, beschrijven het onderzoek als een volledige studie en niet als een haalbaarheidsstudie. Maar de rekrutering voor de studie verliep blijkbaar niet zo goed als men had gehoopt, de interventiegroep kende een grote uitval en de resultaten waren teleurstellend. Waarom publiceerde BMJ Paediatrics Open een volledige studie die slechter uitviel dan verwacht als een haalbaarheidsstudie, die net bedoeld is om te onderzoeken of een volledige gerandomiseerde studie zinvol is?
2) Waarom werd PEM in de verf gezet als uitkomst in de gepubliceerde paper, terwijl het niet vermeld werd in het studieprotocol, de registratie of het statistisch analyseplan? Heeft iemand bij BMJ Paediatrics Open het studieprotocol, de registratie en het statistisch analyseplan ingekeken, om na te kijken of de onderzoekers zich schuldig hebben gemaakt aan uitkomstverwisseling?
3) Waarom stond de uitkomst van herstel niet vermeld in het studieprotocol en het statistisch analyseplan, maar werd het wél in de verf gezet in de paper? Waarom lag de focus in de hoofdtekst op een analyse van deze bevindingen volgens het protocol, in plaats van op een analyse volgens behandelingsintentie, wat een lagere graad van herstel zou hebben gegeven voor de interventiearm, door rekening te houden met de hoge uitval?
4) Waarom construeerden de onderzoekers een definitie van herstel die de resultaten van de objectieve primaire uitkomst van de studie zelf wegliet en enkel voortging op een subjectieve secundaire uitkomst? Als deelnemers het slechter deden op vlak van aantal stappen per dag dan voor de interventie, hoe kan men dan zeggen dat ze hersteld zijn, of tenminste “hersteld” in de normale betekenis van het woord?
5) De onderzoekers zeggen dat een verdere studie gerechtvaardigd zou kunnen zijn, maar waarom repten ze dan in de conclusies van het abstract en de volledige paper met geen woord over de slechte resultaten voor de primaire objectieve uitkomst en steunden ze in plaats daarvan uitsluitend op de subjectieve, secundaire uitkomsten? Waarom maakten de conclusies geen melding van de moeilijkheden waarmee de onderzoekers geconfronteerd werden tijdens de rekrutering, en van de hoge uitval in de interventiegroep?
Bij het bekijken van de geschiedenis van de peerreview, stelden we ons ook vragen over hoe streng BMJ Paediatrics Open zich redactioneel opstelt. Alhoewel één reviewer botweg zei dat hij “niet verder dan het abstract” had gelezen, leek dat voor BMJ Paediatrics Open blijkbaar geen struikelblok voor publicatie. Vindt u als vakblad dat een peerreview van een abstract een evenwaardige vervanging is voor een peerreview van een volledige paper?
Bovendien zei de andere reviewer – die wellicht de volledige paper wél gelezen had – dat ze niet begrepen had of de onderzoekers het hadden over een volledige studie of over een haalbaarheidsstudie. De reviewer vroeg hen om te verduidelijken wat de oorspronkelijke doelstelling was van het onderzoek.
In plaats van de oorspronkelijke doelstelling te verduidelijken, herschreven de onderzoekers de geschiedenis van het project, door het voor te stellen alsof het van meet af aan een haalbaarheidsstudie was geweest. Heeft BMJ Paediatrics Open, gezien de verwarring bij de reviewer, de herziening nagekeken aan de hand van de studiedocumenten, om te verzekeren dat de nieuwe studiebeschrijving van de onderzoekers een transparante en correcte weergave was van hun intenties?
U kan toch onmogelijk beweren dat deze studie een peerreviewprocedure heeft doorstaan die voldoet aan de normen waar BMJ zelf voor pleit? Onder de huidige omstandigheden, zou BMJ Paediatrics Open de paper tijdelijk moeten intrekken en hem opnieuw laten reviewen. Elke nieuwe peerreviewer moet beloven dat hij/zij meer dan alleen het abstract zal lezen en in het kader van de review moeten de studiedocumenten én de paper grondig onderzocht worden. Als uit de nieuwe review en uit het onderzoek van BMJ Paediatrics Open zelf blijkt dat er inderdaad een verschil is tussen wat de onderzoekers beloofd hadden en wat ze gepubliceerd hebben, dan moet de studie worden ingetrokken.
Voor alle duidelijkheid: deze brief zal later gepost worden op Virology Blog. Gezien de ernstige methodologische overtredingen die hier gebeurd zijn, en het duidelijk tekortschietende redactionele toezicht van BMJ Paediatrics Open, zetten wij in CC Dr. Fiona Godlee, redactioneel directeur van BMJ.
Wij hopen dat u de kwesties in deze problematisch paper zo snel mogelijk aanpakt.
Vriendelijke groet,
Jonathan C.W. Edwards, MD
Emeritus Professor Geneeskunde University College London
Londen, Engeland, VK
Mady Hornig, MA, MD
Hoofddocent Epidemiologie
Columbia University Mailman School of Public Health
New York, New York, VSA
Vincent R. Racaniello, PhD
Professor Microbiologie en Immunologie
Columbia University
New York, New York, VSA
John Swartzberg, MD
Klinisch Professor Emeritus
School of Public Health
University of California, Berkeley
Berkeley, Californië, VSA
David Tuller, DrPH
Senior Fellow in Volksgezondheid en Journalistiek
Center for Global Public Health
School of Public Health
University of California, Berkeley
Berkeley, Californië, VSA
© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.
Lees ook
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (1)
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (2)
- Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (3)
- Onderzoekers van de PACE-studie antwoorden David Tuller
- David Tuller reageert op de PACE-onderzoekers
- Petitie : Misleidende claims van PACE-studie moeten teruggetrokken worden
- Trial by error, vervolgd: heeft de PACE-studie echt een “strikt criterium” voor herstel toegepast?
- Trial by error, vervolg: Waarom is het “zusteronderzoek” van de PACE-studie “verdwenen” en vergeten?
- Overheid beveelt vrijgave van de gegevens van de PACE-studie
- Proffen schrijven open brief aan The Lancet en vragen herevaluatie van PACE-resultaten
- Open brief van Invest in ME over de PACE-studie aan de redacteur van The Lancet
- Trial by error, vervolgd: Het werk van het PACE-team voor verzekeringsmaatschappijen “houdt geen verband” met PACE. Echt waar?
- In het kielzog van het onderzoek van David Tuller, publiceren de PACE-onderzoekers een follow-upstudie
- ME Association: We betwisten het follow-uprapport van de PACE-studie
- Professor Jonathan Edwards: PACE-studie is “waardeloos”
- Oninterpreteerbaar: Fatale fouten in het PACE follow-uponderzoek van het chronisch vermoeidheidssyndroom
- Waarom de wetenschappelijke wereld het nodig heeft dat de PACE-gegevens worden vrijgegeven
- Reporter hekelt studie naar chronisch vermoeidheidssyndroom: ik stopte bij 14.000 woorden – genoeg was genoeg
- Een “moreel equivalent van oorlog” en de PACE-studie over chronisch vermoeidheidssyndroom
- Waarom ME-patiënten kritisch zijn over de PACE-studie
- Was onafhankelijke peerreview van de papers over de PACE-studie mogelijk?
- James Coyne over de “objectiviteit” van NHS Choices en het belachelijk maken van ME/CVS-patiënten
- Wat er voor nodig is voor Queen Mary om een verzoek om wetenschappelijke gegevens als “ergerlijk” te verklaren
- Update van mijn formeel verzoek voor het vrijgeven van de gegevens van de PACE-studie
- Formeel verzoek aan PLOS One om een Uitdrukking van Bezorgdheid uit te vaardigen voor de PACE-studie
- Waarom ik niet weet hoe PLOS zal reageren op de weigering van de auteurs om de data vrij te geven
- Antwoord van PLOS One op de bezorgdheid over de weigering van King’s College om de PACE-data te delen
- Proffen verzoeken om de gegevens van de PACE-studie
- King’s College London rekt tijd nog wat meer door weigering te herhalen om PACE-onderzoeksdata vrij te geven
- Herkennen wanneer het “beschermen van de privacy van patiënten” louter een excuus is voor het niet delen van de data
- Herzien van de economische analyse van de PACE-studie in PLoS One
- Een inkijk in de aanval op het delen van data
- Trial By Error, vervolgd: vragen voor Dr. White en zijn collega’s van de PACE-studie
- Niet-bekendgemaakte belangenconflicten in reviewprotocol van interventies voor medisch onverklaarde symptomen
- Trial by error, vervolgd: heeft de PACE-studie werkelijk bewezen dat graduele oefentherapie veilig is?
- Trial by error, vervolgd: meer nonsens van The Lancet Psychiatry
- We zijn tenminste niet ergerlijk
- Verdere inzichten in de oorlog tegen het delen van data
- Trial by error, vervolgd: een paar woorden over pesterijen
- Het heroverwegen van het beleid rond het onderzoek naar en de behandeling van ME/CVS
- Opnieuw een open brief aan de Lancet
- What About ME? Deel 1: ME-patiënten vragen patiëntenorganisaties kleur te bekennen t.a.v. PACE
- Ook België steunt in open brief de globale oproep om de PACE-data vrij te geven
- Lezing Dr. David Tuller en Prof. Frans Visser tijdens Nederlandse première Forgotten Plague
- Petitie met 12.000 handtekeningen aan The Lancet bezorgd om de PACE-studiedata vrij te geven
- Open brief Prof. Malcolm Hooper aan The Lancet
- Een half jaar gaat voorbij zonder de vrijgave van PACE-studiedata uit PLOS One
- PACE-Gate: de controverse over de grootste studie naar CGT en GET bij ME/cvs
- Proffen schrijven open brief aan PLoS One i.v.m. PACE-studie naar CGT/GET
- Correctie van PLoS verwijdert geanonimiseerde patiëntengegevens in studie naar CVS (& zet ze daarna terug)
- “Hun mond viel open van verbazing over de PACE-trial naar CGT en GET.”
- Rechtbank eist vrijgave van de gegevens van de PACE-studie naar CGT en GET voor ME/CVS
- Queen Mary University of London “bestudeert” de regelgeving om de PACE-data vrij te geven
- The Lancet struikelt opnieuw over de PACE-studie
- Trial by error, vervolgd: mijn vragen voor de hoofdredacteur van The Lancet, Richard Horton
- Vrijgave data PACE-team volgens originele protocol
- Verklaring QMUL: bekendmaking van de data van de PACE-studie onder de Wet op de Vrijheid van Informatie
- Persbericht. De vrijgave van de PACE-data is een fundamentele overwinning voor mensen met ME/cvs
- Stop studies naar graduele oefentherapie voor ME/CVS
- Prof. Van der Meer waarschuwt voor delen van data met “je vijanden”
- Geen “herstel” in de PACE-studie, blijkt uit nieuwe analyse
- Slechte wetenschap heeft miljoenen ME/cvs-patiënten misleid. Hier leest u hoe we terugvochten.
- Belangrijkste punten uit de analyse van de ruwe data voor “herstel” van de PACE-studie
- Bewijs voor aanbevolen behandelingen voor ME en CVS houdt geen stand
- Trial by error, vervolgd: de echte data van de PACE-studie
- Erger dan de ziekte
- De PACE-studie: waar “herstel” niet betekent dat je terug gezond bent
- Hoe de brief van Alem Matthees het mysterie van ME/cvs hielp oplossen
- Een open brief aan Psychological Medicine over “herstel” en de PACE-trial (Update)
- Opnieuw een open brief aan Psychological Medicine!
- De bal misslaan bij ME/cvs
- Trial by error, vervolgd: de nieuwe FITNET-studie voor kinderen
- Trial by error, vervolgd: een vervolgpost over FITNET-NHS
- Trial by error, vervolgd: de Nederlandse studies (opnieuw!), en een Esther Crawley-bonus
- Trial by error, vervolgd: mijn lasterlijk bloggen op Virology Blog
- Trial by error, vervolgd: een open brief aan het bestuur van het CFS/ME Research Collaborative (CMRC)
- Trial by error, vervolgd: CFS/ME Research Collaborative aan Virology Blog: “Rot op!”
- Trial by error, vervolgd: Het CMRC bevestigt volledige steun aan Lasterlijke Esther
- Trial by error, vervolgd: ME Research UK stapt uit het CFS/ME Research Collaborative
- Trial by error, vervolgd: mijn “scheur-het-aan-flarden”-toespraak bij Invest in ME
- David Tuller zamelt geld in voor Virology Blogs Trial by error: verslaggeving over PACE, ME/cvs en verwante onderwerpen
- Trial by error, vervolgd: mijn brief aan de University of Bristol
- Crowdfundingcampagne David Tuller in teken van ME: nog twee weken te gaan…
- David Tuller komt op voor ME: de laatste tien dagen van de campagne…
- Trial by error, vervolgd: is PACE een geval van wetenschappelijk wangedrag?
- Trial by error, vervolgd: de reis van Julie Rehmeyer “Through The Shadowlands”
- Trial by error, vervolgd: meer over graduele oefentherapie van Peter White en The Lancet
- Trial by error: De CDC schrappen cognitieve gedragstherapie (CGT) en graduele oefentherapie (GET) voor ME/cvs
- Trial by error: De NICE-richtlijnen, en meer over de CDC
- Trial by error: NICE weigert om namen van experts te onthullen
- Trial by error: NICE verwerpt mijn verzoek op basis van vrijheid van informatie
- De PACE-trial, of hoe een medisch schandaal tot stand kwam
- Waarop moet je letten in de Speciale Editie van het Journal of Health Psychology over de PACE-trial
- Deel 2: Waarop moet je letten in de Speciale Editie van het Journal of Health Psychology over de PACE-trial
- Trial by error: de wanhopige pogingen van het Science Media Center om PACE te verdedigen
- Trial by error: gepensioneerde PACE-onderzoeker Peter White en Swiss Re
- Trial by error: mijn e-mailuitwisseling met de directeur van NICE
- Trial by error: geen ethische review van de studie van Crawley over afwezigheid op school
- Trial by error: verzoek om meer details over de studie van Crawley over afwezigheid op school
- Trial by error: de rapporten van de “deskundigen ter zake” van NICE
- Trial by error: MEGA’s nieuwst mislukking
- Trial by error: NICE verwerpt huidige richtlijn, plant “volledige update”
- Trial by error: NIH geeft een subsidie van 2,1 miljoen dollar aan de Britse Biobank!
- Trial by error: nog een brief aan de directeur van NICE
- Trial by error: huidige NICE-richtlijn blijft, voorlopig toch
- Trial by error: de verrassende nieuwe gids voor beste praktijken van BMJ [voor ME/cvs]
- Trial by error: mijn korte ontmoeting met Professor Crawley
- Trial by error: Hé, Bristol! Waar is mijn ‘cease and desist’-brief*?
- Trial by error: de Crawley-kronieken (vervolg)
- Trial by error: mijn eenzijdige correspondentie met professor Crawley
- Trial by error: de niet-openbaar gemaakte uitkomstenverwisseling van de SMILE-studie
- SMILE-studie Lightning Process voor kinderen met CVS: Resultaten te mooi om waar te zijn?
- Trial by error: mijn vragen voor het Science Media Center
- Trial by error: de klacht van Bristol aan Berkeley
- David Tuller en de (s)PACEcake-eters
- Trial by error: de studie naar afwezigheid op school, tweede ronde
- Trial by error: COPE aan BMJ Open: meer details alstublieft!
- Trial by error: mijn halfjaaroverzicht
- Trial by error: de valse beweringen van professor Crawley op BuzzFeed
- Trial by error: een brief aan Archives of Disease in Childhood
- Trial by error: brief van CPET-experts aan het British Journal of Sports Medicine
- Trial by error: QMUL en FOI, Nature en Cochrane, het Pineapple Fund
- Trial by error: een brief aan BMJ Open
- Trial by error: onze gedachtenwisseling met BMJ Open
- Trial by error: mijn briefwisseling met het vakblad Archives of Diseases in Childhood
- Trial by error: nieuws over mijn plannen
- Trial by error: het nieuws van het CFS/ME Research Collaborative
- Trial by error: de Nederlandse review; mijn trip; Bristols stilzwijgen
- Trial by error: de stand van zaken in Australië en de nieuwe functie van professor Crawley
- Trial by error: ik meld me even vanuit Melbourne en Canberra…
- Trial by error: de volgende ronde met BMJ Open 26/3
- Trial by error: vragenronde met Schots Parlementslid Carol Monaghan 28/3
- Trial by error op Virology Blog: verslaggeving over ME/CVS. Crowdfundingscampagne voor David Tuller! 29/3
- Trial by error: mijn door Berkeley ondersteunde crowdfundingscampagne 2/4
- Trial by error: onze nieuwste tango met BMJ Open… 2/4
- Trial by error: een fantastisch stuk over ME/CVS op de Australische TV 4/4
- Trial by error: een post over Andrew Lloyd 4/4
- Trial by error: mijn Australische tour, vervolg 11/4
- Trial by error: twee podcastinterviews en “belangenconflicten” 16/4
- Trial by error, gastpost: crowdfunding David Tuller is geen belangenconflict 16/4
- Trial by error: Professor Michael Sharpes flater op de Australische Radio 18/4/18
- Trial by error: de steun die Andrew Lloyd in het verleden gaf aan PACE 24/4/18
- Trial by error: de winkeltasstudie en de vernieuwde website van de staat New York 24/4/18
- Trial by error: tot ziens Australië; en twee updates 25/4/18
- Trial by error: Vraag en antwoord met Leonard Jason met betrekking tot gevalsdefinities 2/5/18
- Trial by error: mijn bezoeken aan Alem Matthees 7/5/18
- Trial by error: Australiës online bijscholingsprogramma over GET/CGT 14/5/18
- Trial by error: meer over de CDC; Reader’s Digest; Newsbeat op BBC 23/5/18
- Trial by error: NICE neemt het Lightning Process in beschouwing 28/5/18
- Trial by error: mijn woordenwisseling met de hoofdonderzoekers van PACE, in NY Times in 2011 29/5/18
- Trial by error: BMJ “onderzoekt” nog steeds de paper over het Lightning Process 4/6/18
- Trial by error: mijn brief aan Parlementslid Monaghan over BMJ-studies 5/6/18
- Trial by error: een brief aan gezondheidsambtenaren over de lakse redactionele maatstaven van BMJ 6/6/18
- Trial By Error: mijn brief over de BMJ-studie aan het Science Media Centre 6/6/18
- Trial By Error: nog enkele brieven over BMJ’s gebrekkige pediatrische studies 11/6/18
- Trial By Error: een leerplan voor behandeling van CVS met CGT 13/6/18
- Trial by error: een brief aan NICE over het IAPT-programma 18/6/18
- Trial by error: Sir Simon trapt bal in eigen doel 18/6/18
- Trial by error: een open brief aan The Lancet, twee jaar later 19/6/18
- Trial by error: Professor Sharpes driftige opmerkingen – in wiens naam spreekt hij eigenlijk? 25/6/18
- Trial by error: mijn gesprek met professor Bishop 25/6/18
- Trial by error: Professor Sharpes briefing aan Monaghan vóór de hoorzitting 2/7/18
- Trial by error: mijn brief aan Fiona Godlee 2/7/18
- Trial by error: zijn alle experts in klinische studies fan van PACE? 9/7/18
- Trial by error: nog maar eens een oproep aan The Lancet, met meer handtekeningen 10/7/18
- Trial by error: wachten op Godlee 11/7/18
- Trial by error: mijn brief aan het Wetenschappelijk en Technisch Comité van het Parlement 11/7/18
- Trial by error: de inhoudsloze “noot van de redactie” bij de studie over het Lightning Process 16/7/18
- Trial by error: de update van CDC voor zorgverstrekkers 30/7/18
- Trial by error: Mayo blijft pleiten voor GET 6/8/18
- Trial by error: open brief aan The Lancet, versie 3.0 13/8/18
- Trial by error: de BPS-brigade trapt bal wéér in eigen doel 15/8/18
- Trial by error: meer Mayo alsjeblieft 20/8/18
- Trial by error: rekruteringsadvertentie voor FITNET-NHS maakt reclame voor “herstel” 20/8/18
- Trial by error: mijn brief aan Red Whale/GP Update 22/8/18
- Trial by error: nog een brief aan BMJ’s Dr Godlee 27/8/18
- Trial by error: Professor Edward brief aan Fiona Watt van MRC 28/8/18
- Trial by error: de Cochranecontroverse 3/9/18
- Trial by error: hoe staat het eigenlijk met de MAGENTA-studie? 17/9/18
- Trial by error: Bruce Levin over “hoe je een gerandomiseerde klinische studie NIET uitvoert” 18/9/18
- Trial by error: de open brief aan Netflix over Afflicted 24/9/18
- Over lichamelijke symptomen die afgewimpeld worden als “tussen de oren” 27/9/18
- Trial by error: de conferentie van de CFS/ME Research Collaborative 1/10/18
- Trial by error: mijn meest recente brief aan Archives of Disease in Childhood 8/10/18
- Trial by error: mijn eerste post over het IAPT-programma 10/10/18
- Trial by error: Per Fink in New York 16/10/18
- Trial by error: de zielige reactie van de Psychosomatische Conferentie 17/10/18
- ME/CVS is geen psychosomatische ziekte 18/10/18
- Mijn brief aan organisator van 4 e Psychosomatiekconferentie aan Columbia 19/10/18
- Trial by error: Cochrane trekt gebrekkige review over lichaamsbeweging in 19/10/18
- Een steunbetuiging aan Cochrane 23/10/18
- Trial by error: waar blijft die verontschuldiging, BMJ Open? 24/10/18
- Trial by error: drie jaar verder… 28/10/18
- Trial by error: wéér een brief over de studie over het Lightning Process 7/11/18
- Trial by error: een Australische uitwisseling met professor Sharpe 8/11/18
- Trial by error: hoe ontwijk je ethische review? 12/11/18
- Trial by error: enkele bedenkingen over NICE 19/11/18
- Trial by error: goed nieuws over Cochrane 3/12/18
- Trial by error: BMJ zag Bristols ethische vrijstellingen door de vingers 4/12/18
- Trial by error: een nieuwe zet van Cochrane 10/12/18
- Trial by error: het Noorse perspectief 12/12/18
- Trial by error: de nieuwe studie over interferon voor “CVS” 19/12/18
- Trial by error: Australisch ontwerprapport nodigt uit tot commentaar 24/12/18
- Trial by error: “Geen woorden, maar daden!”, zeggen patiënten tegen NIH 26/12/18
- Trial by error: mijn brief aan de seniorauteur van de studie over het Lightning Process 7/1/19
- Trial by error: verdere bedenkingen over de interferonstudie 7/1/19
- Trial by error: weer een Parlementair Debat voor Carol Monaghan 21/1/19
- Trial by error: mijn zesmaandelijks overzicht 22/1/19
- Trial by error: het werkgerelateerd advies van Action for ME 23/1/19
- Trial by error: Steve Brines verontrustende uitspraak in het parlementaire ME-debat 28/1/19
- Trial by error: mijn brief aan Professor Chew-Graham over METRIC 28/1/19
- Trial by error: Bristol onderzoekt Crawleypapers 31/1/19
- Trial by error: enkele bedenkingen over een aanstaand artikel 31/1/19
- Trial by error: de vragen van de verslaggever voor professor Racaniello 31/1/19
- Trial by error: wat meer over Bristols onderzoek 1/2/19
- Trial by error: een terugblik op de studie over de afwezigheid op school 3/2/19
- Trial by error: en nog een “repliek vooraf”… 5/2/19
- Trial by error: HRA-rapport praat PACE niet goed 6/2/19
- Trial by error: BMJ past PACE-artikel van vorige week aan 12/2/19
- Trial by error: mijn vragen aan de PACE-professoren 13/2/19
- Trial by error: Brieven aan Fiona Godlee en Nigel Hawkes 18/2/19
- Trial by error: Professor Sharpe vraagt om intrekking van artikels 18/2/19
- Trial by error: de kostprijs van SOLK 25/2/19
- Trial by error: wie heeft de documenten over de schoolstudie? 4/3/19
- Trial by error: stomme studies 6/3/19
- Trial by error: grote Amerikaanse zorgverzekeraar wijzigt koers! 11/3/19
- Trial by error: mijn brief aan professor Hotopf over Bristols schoolafwezigheidsstudie 18/3/19
- Trial by error: update van Cochrane en laatste brief van Caroline Struthers 20/2/19
- Trial by error: Cochranes rapport over Courtneys klacht 12/3/19
- Trial by error: mijn verslaggeving over ME/cvs en aanverwante controverses 27/3/19
- Trial by error: mijn brief aan Kate Kelland 18/3/19
- Trial by error: de zielige reactie van CDC aan Reuters 25/3/19
- Trial by error: meer over Kaiser Permanente 1/4/19
- Trial by error: april is crowfundingmaand aan Berkeley 1/4/19
- Trial by error: Amerikaanse Top voor ME/cvs-artsen 2/4/19
- Trial by error: crowdfunding, week 1 8/4/19
- Trial by error: mijn meest recente brief aan Bristol 9/4/19
- Trial by error: crowdfunding, week 2 en meer over Sharpe en Chalder 15/4/19µ
- Trial by error: update over Reuters 18/4/19
- Trial by error: ik kom even terug op het verhaal in Reuters 21/4/19
- Trial by error: crowdfunding, week 3: je donatie wordt verdubbeld 22/4/19
- Trial by error: Jennie Spotila over toespraak directeur NIH 23/4/19
- Trial by error: weer een brief aan de juridische dienst van Bristol 29/4/19
- Trial by error: mijn opvolgingsbrief aan Reuters 30/4/19
- Trial by error: mijn brief over SOLK aan British Journal of General Practice 6/5/19
- Trial by error: mijn gesprek met British Journal of Medical Practice 7/5/19
- Trial by error: ik schreef nog maar eens aan Bristol 13/5/19
- Trial by error: crowdfunding is ten einde! 14/5/19
- Trial by error: pleidooi aan Fiona Godlee over een bekend thema 16/5/19
- Trial by error: mijn opvolgbrief aan het British Journal of Medical Practice 20/5/19
- Trial by error: Lightning Process “doeltreffend”? Dat meen je toch niet? 20/5/19
- Trial By Error: mijn meest recente brief over de studie over het Lightning Process: update 22/5/19
- Trial by error: British Journal of Medical Practice stemt in met correctie over SOLK 29/5/19
- Trial by error: Professor Edwards schrijft naar Dr Godlee van BMJ over de LP-studie 3/6/19
- Trial By Error: tijd om de LP-studie in te trekken; Brief aan Archives of Disease in Childhood 3/6/19
- Trial By Error: een FOI-aanvraag aan Bristol over LP-studie 3/6/19
- Trial By Error: terugkijk op mijn vragen aan Science Media Centre over Bristols LP-studie 3/6/19
- Trial By Error: een tweede brief aan seniorauteur LP-studie 5/6/19
- Trial By Error: opvolging van mijn opvolgingsbrief aan Dr. Segal over citatie LP-studie 5/6/19
- Trial by error: hé BJGB, waar blijft die correctie over de kostprijs van SOLK? 10/6/19
- Trial by error: BJGP-correctie op komst; BMJ blijft ons hardnekkig negeren 11/6/19
- Trial by Error: een brief aan Bristol over mijn recente FOI-verzoek; plus update 12/6/19
- Trial By Error: weer een review die de LP-studie vernoemt, dus ik klim weer in mijn pen 24/6/19
- Trial By Error: een update over de pediatrische SOLK-review 26/6/19
- Trial By Error: FOI-antwoord uit Bristol over LP-studie; correctie in BJGP over SOLK /1/7/19
- Trial By Error: mijn brief aan Professor Chew-Graham over de kostprijs van SOLK 1/7/19
- Trial By Error: bedenkingen over SOLK en Bermingham; Brief aan Professor Payne 8/7/19
- Trial By Error: Mary Dimmock over de nieuwe bewijsreview van de CDC 10/7/19
- Trial By Error: ons contact met vakblad BMJ over “correctie” LP-studie 15/7/19
- Trial By Error: Britse klinieken gaan te laks om met schade door behandeling, zegt studie 16/7/19
- Trial By Error: nieuwe GET-onzin uit Australië 29/7/19
- Trial By Error: een slecht geïnformeerd artikel in The Guardian 13/8/19
- Trial By Error: mijn interview met de Australische Dr. Don Lewis 19/8/19
- Trial By Error: Joan McParlands getuigenis over het Lightning Process 21/8/19
- Trial By Error: BMJ’s gedrag is moreel failliet – open brief aan Dr. Godlee 28/8/19
- Trial By Error: oproep tot intrekking van de LP-studie 3/9/19
- Trial By Error: hoofdauteur nieuwe bias-richtlijn Cochrane was coauteur LP-studie 31/8/19
- Trial By Error: meer over Cochranes nieuwe tool i.v.m. risico op bias 4/9/19
- Trial By Error: nog meer experts roepen Godlee op tot intrekking LP-studie 9/9/19
- Trial By Error: Dr. Godlee krijgt weer keiharde brieven van experts 11/9/19
- Trial By Error: nieuwe lading brieven aan Dr. Godlee over BMJ’s flaters i.v.m. LP-studie 16/9/19
- Trial By Error: mijn brief aan professor Chalder over de PRINCE-studie 16/9/19
- Trial By Error: mijn brief aan BMJ Open i.v.m. foute bewering over SOLK 18/9/19
- Trial By Error: hoe zit het met de Cochranereview over bewegingstherapie? 24/9/19
- Trial By Error: waar blijft Bristols rapportage over Professor Crawleys ethische misstappen? 2/10/19
- Trial By Error: meer over de herziene Cochranereview over bewegingstherapie 9/10/19
- Trial By Error: Bristols rapport op komst; slides van mijn lezing in Oxford 21/10/19
- Trial By Error: brief van HRA over doorlichting Bristolstudies 28/10/19
- Trial By Error:“Bristol, hoog tijd om uw klacht tegen Berkeley in te trekken” 29/10/19
- Trial By Error: hoe ontwijk je ethische review? (herneming) 30/10/19
- Trial By Error: Brief van HRA aan Rector van Berkeley 2/11/19
- Trial By Error: opvolgingsbrief aan Bristol 15/11/19
- Trial By Error: BMJ’s gedrag is moreel failliet – tweede open brief aan Dr. Godlee 22/11/19
- Trial By Error: nog meer experts roepen Godlee op tot intrekking LP-studie 2/12/19
- Trial By Error: Fiona Godlee blijft studie Lightning Process steunen 6/12/19
- Trial By Error: Mayo’s flutwebsite 10/12/19
- Trial By Error: mijn opiniestuk over BMJ en dr. Godlee 16/12/19
- Trial By Error: PEM is vreselijk en Fukuda is dat ook, zegt nieuwe studie 24/12/19
- Trial By Error: wankel bewijs voor tekenen van Functionele Neurologische Stoornissen 30/12/19
- Trial By Error: mijn gedachtewisseling uit 2011 met White et al over gevalsdefinitie 31/12/20
- Trial By Error: nog wat bedenkingen over Functionele Neurologische Stoornis 7/1/20
- Trial By Error: de open brief van de Deense ME-Vereniging 8/1/20
- Trial By Error: 2018 – PACE-heranalyse en expertbeoordeling van Science Media Centre 13/1/2020
- Trial By Error: CGT geeft geen voordeel voor patiënten met vergevorderde kanker, zegt studie 15/1/20
- Trial By Error: CGT en prikkelbaredarmsyndroom 24/1/20
- Trial By Error: een commerciële deal voor het digitale CGT-programma voor PDS van King’s College London 27/1/20
- Trial By Error: aanvraag bij King’s College London i.h.k.v. Vrijheid van Informatie; brief aan Mahana Therapeutics 27/1/20
- Trial By Error: meer over de deal met Mahana Therapeutics 28/1/20
- Trial By Error: mijn brief aan Professor Moss-Morris 3/2/20
- Trial By Error: mijn brief aan een van de adviseurs gastro-enterologie van Mahana 5/2/20
- Trial By Error: mijn opvolgingsbrief aan professor Rona Moss-Morris 10/2/20
- Trial By Error: nog een brief aan twee Mahana-adviseurs gastro-enterologie 11/2/20
- Trial By Error: mijn brief aan Mahana’s CEO en medestichter 11/2/20
- Trial By Error: mijn opvolgbrief aan CEO van Mahana Therapeutics 17/2/20
- Trial by error: een Australisch radio-interview met dr. Mark Guthridge uit Melbourne 19/2/20
- Trial By Error: nog een brief over Mahana; BerkeleyWellness over PDS-studie 24/2/20
- Trial By Error: wat nu? 18/3/20
- Trial By Error: King’s College London wijst mijn FOI-aanvraag af (deze post gaat niet over COVID) 7/4/20
- Trial by error: een bericht over Lupus en SOLK, niet over COVID 8/4/20
- Trial By Error: mijn verslaggeving over ME, cvs, “somatisch onverklaarde lichamelijke klachten” e.a. 9/4/20
- Trial By Error: terug naar Mahana en prikkelbaredarmsyndroom… 15/4/20
- Trial By Error: Oxford-NHS adviseert GET/CGT voor post-COVID-“CVS”-patiënten 16/4/20
- Trial By Error: Opvolging van mijn opvolgingsbrief aan Mahana 18/4/20
- Trial By Error: mijn FOI-brief over Oxfords pamflet over vermoeidheid na COVID-19 18/4/20
- Trial By Error: opvolging aanvraag Vrijheid van Informatie bij Oxford Health 20/4/20
- Een update over mijn lopende crowdfunding 20/4/20
- Trial By Error: Meer over het Mahanagedoe… 25/4/20
- Trial By Error: nog een bericht aan Mahana’s gastro-enterologische adviseurs 28/4/20
- Trial By Error: Mijn brief aan corresponderend auteur PDS-studie 5/5/20
- Trial By Error: meer over die Noorse studie over CGT/Muziektherapie 16/5/20
- Trial By Error: meer over die rare Noorse CGT/muziektherapie-studie 18/5/20
- Trial By Error: Noorwegen krijgt dubbele dosis wazige wetenschap 20/5/20
- Trial By Error: mijn brief aan senior auteur van Noorse CGT/Muziektherapiestudie 22/5/20
- Trial By Error: mijn brief aan peerreviewer CGT/Muziektherapiepaper van BMJ 28/5/20
- Trial by Error: commentaar van Tack de Krak op BMJ’s “haalbaarheidsstudie” over CGT/Muziektherapie 28/5/20
- Trial By Error: brief aan BMJ Paediatrics Open over die CGT/Muziektherapiestudie 31/5/20
