Trial By Error: King’s College London wijst mijn FOI-aanvraag af (deze post gaat niet over COVID)

David Tuller, DrPH, Virology Blog, 7 april 2020

Voordat het coronavirus zijn intrede deed, was ik aan het schrijven over een grote studie over cognitieve gedragstherapie voor prikkelbaredarmsyndroom. De studie testte het effect van cognitieve gedragstherapie via telefoon en online CGT in vergelijking met gewoonlijke zorg, op de ernst van PDS-symptomen en andere algemenere gebieden.

Hoewel het pre-COVID-tijdperk voelt als een eeuwigheid geleden, schreef ik mijn laatste post over de PDS-studie op 24 januari, dus niet veel meer dan een maand geleden. Op 9 maart – de dag waarop ik normaal gezien in Bristol moest aankomen voor de conferentie van CFS/ME Research Collaborative – kreeg ik reactie van King’s College London op een aanvraag die ik had gestuurd in het kader van vrijheid van informatie. Ik wou meer details over een licentieovereenkomst voor het online CGT-programma die de universiteit had ondertekend met een start-up uit San Francisco, Mahana Therapeutics.

Uit de studie bleek dat het online programma, in vergelijking met de gewoonlijke zorg, de symptoomernst niet klinisch significant verminderde. En toch prees Mahana Therapeutics de bevindingen over de symptoomernst aan en noemde het de gerapporteerde resultaten “drastisch” en “mogelijk levensveranderend”. Dat zijn absurde uitspraken. Ze worden niet ondersteund door de studiedata.

Het zal niemand verbazen dat King’s College London commerciële redenen aanhaalt om mijn aanvraag om informatie over deze dubieuze deal van de hand te wijzen. Ik heb de brief hieronder geplakt.

**********

Beste David,

Aanvraag om informatie onder de Wet op Vrijheid van Informatie uit 2000 (“de Wet”)

In verband met uw recente aanvraag om informatie die in het bezit is van King’s College London, schrijf ik u om u te bevestigen dat de gevraagde informatie in het bezit is van de universiteit.

Uw aanvraag

Wij ontvingen uw aanvraag om informatie op 27 januari 2020 en hebben ze behandeld als een aanvraag om informatie onder sectie 1(1) van de Wet.

U vroeg om volgende informatie:

1. Het bedrag dat Mahana Therapeutics heeft betaald voor de licentie op de interventie en hoe lang die geldig blijft.
2. De som geld die betaald zal worden door Mahana Therapeutics en ontvangen zal worden door de onderzoekers.
3. Hoeveel de National Health Service zal moeten betalen per patiënt die de interventie krijgt.
4. Een kopie van de overeenkomst met de persoonlijke informatie eruit verwijderd.

Ons antwoord

1.-4. De universiteit deelt de informatie niet, onder volgende uitzondering: Sectie 43. De Universiteit stipt aan dat de timing van deze aanvraag doorslaggevend is voor het inroepen van S43(2). De Universiteit erkent dat, na verloop van tijd, de gevoeligheid van de onder deze uitzonderingen niet gedeelde informatie wellicht zal verminderen, wat de Universiteit de kans zal geven om haar reactie opnieuw te bekijken:

Sectie 43(2)

Sectie 43(2) laat toe informatie vrij te stellen van openbaarmaking, als openbaarmaking onder deze Wet mogelijk nadelig kan zijn voor iemands commerciële belangen. De Universiteit is van mening dat, gezien de hoge mate van competitiviteit bij het afsluiten van licentieovereenkomsten en het feit dat deze overeenkomst erg recent is, de informatie die vervat zit in deze overeenkomst en het aanverwante kostenplaatje nog steeds commercieel gevoelige informatie is.

Universiteiten moeten op een uiterst competitieve markt concurreren met andere instellingen voor hoger onderwijs, en details over dealstructuren, ontwikkelingsplannen en Mahana’s commerciële bedoelingen, zouden schadelijk kunnen zijn voor toekomstige financieringsopportuniteiten van de universiteit.

Het is om die reden dat, hoewel de Universiteit het publieke belang erkent van verantwoording te tonen via openheid over het licentieproces, in dit geval de commerciële belangen van de universiteit geschaad zouden kunnen worden. Dat de universiteit in staat blijft om een bron van inkomst te behouden buiten publieke financiering om, behoort ook voor een groot deel tot het publieke belang. Op dit moment is het dus van publiek belang dat deze informatie niet wordt vrijgegeven.

Wij beschouwen het antwoord van de universiteit op uw aanvraag om informatie hiermee voltooid.

[De rest gaat over mijn recht om beroep aan te tekenen bij het Bureau van de Commissaris voor Informatie.]

© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.

https://www.virology.ws/2020/04/15/trial-by-error-revisiting-mahana-and-irritable-bowel-syndrome/

Trial By Error: terug naar Mahana en prikkelbaredarmsyndroom…

David Tuller, DrPH, Virology Blog, 15 april 2020

Terwijl de wereld worstelt met de coronavirusepidemie, roept President Trump Amerika op om terug aan het werk te gaan. Dus ik ga dan maar weer om antwoord vragen bij Mahana Therapeutics, dat in januari aankondigde dat het een licentie had genomen op een online programma voor cognitieve gedragstherapie voor prikkelbaredarmsyndroom van King’s College London.

Volgens de resultaten van de grote studie waarin het programma werd uitgetest, waren de voordelen qua symptoomernst op 12 maanden statistisch significant beter dan gewoonlijke zorg, maar klinisch niet significant, en op 24 maanden waren ze noch statistisch, noch klinisch significant. Met andere woorden: het online programma bleek een flop. En toch maakt Mahana valse reclame voor deze resultaten op hun website alsof ze “drastisch” en “mogelijk levensveranderend” zijn.

Blijkbaar zijn deze woorden onlangs verwijderd – ik zag ze vanochtend in elk geval niet meer op de website van Mahana staan. Dat is alvast een stap in de goeie richting. Maar toch blijven er enkele misleidende uitspraken op de website staan. Vanochtend stuurde ik onderstaande brief naar Robert Paull, CEO en medestichter van Mahana.

**********

Beste Mr. Paull,

In februari, voordat het coronavirus heel de wereld overspoelde, stuurde ik u twee brieven omtrent de uitgebreide, maar onjuiste beweringen die Mahana Therapeutics doet over zijn nieuwe online programma voor cognitieve gedragstherapie voor prikkelbaredarmsyndroom. Ik kreeg daar geen reactie op. Ik heb ook drie van Mahana’s gastro-enterologische adviseurs gecontacteerd. Niemand reageerde.

Ik vat het nog even samen: Mahana kondigde onlangs aan dat het een licentie heeft genomen op het online CGT-programma van King’s College London. Mijn bedenkingen gingen over uitspraken in een persbericht over de deal en op de website van Mahana, waarin klaarblijkelijk dingen gezegd werden die verder gingen dan de data uit de studie in kwestie. Het persbericht omschreef de impact van het online programma op de symptoomernst als “aanzienlijk” en “langdurig”. De website noemde de impact “drastisch” en “mogelijk levensveranderend”.

Zoals ik herhaaldelijk heb aangetoond, zijn dit onterechte beschrijvingen. Op 12 maanden waren de gerapporteerde voordelen van het online programma, in vergelijking met de gewoonlijke zorg, op de maatstaf van symptoomernst, statistisch significant, maar klinisch niet significant. Op 24 maanden waren deze gerapporteerde voordelen noch statistisch, noch klinisch significant. Met zulke zwakke resultaten als kernindicator, is het onbegrijpelijk dat Mahana überhaupt een licentie wou nemen op het product.

Intussen blijkt dat Mahana de omschrijving van de zogenaamde voordelen op zijn website heeft veranderd en ze niet meer “drastisch” en “mogelijk levensveranderend” noemt. Ik ben blij dat het bedrijf mijn bedenkingen ernstig neemt. Maar nu staat er op website te lezen dat “patiënten die deelnamen aan een digitaal CGT-programma met minimaal contact, een aanzienlijke en klinisch zinvolle vermindering ervoeren in de ernst van hun PDS.”

Dit is een holle frase, want ze zou zelfs kloppen als er slechts twee patiënten in de online arm deze “aanzienlijke en klinisch significante vermindering” in symptoomernst hadden bereikt. Het kan net zo goed gezegd worden over de arm die gewoonlijke zorg kreeg, aangezien sommige patiënten in die arm ook een “aanzienlijke en klinisch zinvolle vermindering” in symptoomernst bereikten. De vraag is hier vooral of het programma een klinisch zinvol voordeel heeft dat veel hoger ligt dan wat men kan bereiken via gewoonlijke zorg – en het belangrijkste resultaat op de schaal voor symptoomernst toont aan dat dat niet zo is.

De twee datapunten die nog steeds op uw website te zien zijn, over deze zogenaamde voordelen, zijn niet de kernbevindingen van de maatstaf PDS-symptoomernst. Ze op deze manier citeren is hoogst misleidend. Dit heb ik al eerder uitgelegd op Virology Blog, maar blijkbaar moet ik het nog eens moet uitleggen.

Volgens Mahana’s website “rapporteerde 66% van de patiënten een aanzienlijke en klinisch zinvolle vermindering in de ernst van hun PDS”.

Het klopt dat 66% van diegenen in de online CGT-arm die op 12 maanden reageerden, een scorevermindering hadden op de schaal voor PDS-symptoomernst van 50 punten of meer. (Een reductie van 50 punten of meer wordt beschouwd als klinisch significant.) Maar het klopt niet dat de meeste van die veranderingen toegeschreven kunnen worden aan het online programma, wat de uitspraken op de website wél suggereren. Mahana vermeldt niet dat 44% van diegenen in de arm die gewoonlijke zorg kreeg op 12 maanden ook een vermindering rapporteerden van 50 punten of meer op diezelfde schaal. Als je die cijfers bekijkt, dan lijkt het logisch dat velen of de meesten van die 66% in de online arm die verbeteringen sowieso gerapporteerd zouden hebben.

Bovendien maakt de site niet duidelijk dat slechts 70% van de studiedeelnemers data verschaften op 12 maanden. We kunnen niet weten wat het uiteindelijke resultaat zou zijn geweest voor de overige 30%. Dat betekent dat we geen idee hebben welk gevoel de uitgevallen deelnemers van het online programma hadden bij de behandelingen en of de behandeling hen heeft geholpen. In epidemiologische termen noemt men dat “verloren bij opvolging”.

In elk geval gebruikte de studie in haar belangrijkste analyse van de symptoomernstscores de strategie van “behandelingsintentie”, wat probeert rekening te houden met dit soort afwezige gegevens. Zoals ik al zei, lag op 12 maanden de gemiddelde score voor de online groep 35.2 punten lager dan de groep die gewoonlijke zorg kreeg – heel wat minder dan het verschil van 50 punten dat een klinisch significant verschil weergeeft voor een individu.

De website van Mahana zegt ook: “De reductie in ernst van PDS was gemiddeld tweemaal zo groot als die van patiënten die gewoonlijke zorg kregen.”

Dit is weer correct, en weer misleidend. Als de mate van verbetering klein is, dan is een mate van verbetering die twee keer zo groot is, nog steeds klein. Dat iets dubbel zo groot is, betekent niet automatisch dat er een klinisch significante verandering heeft plaatsgevonden. Statistisch gezien is vaak niet het relatieve verschil tussen twee groepen belangrijk – wat in bovenstaande bewering wordt aangehaald over de gemiddelde vermindering in PDS-ernst – maar wel het absolute verschil. Zoals ik al had opgemerkt, kwam in dit geval het absolute verschil in score tussen de gemiddelden van de groepen op 35.2 punten – een flink stuk onder de 50 punten die nodig zijn voor een klinisch significante verandering voor een individu op die schaal.

Het is jammer voor Mahana, maar dit product kan niet eerlijk in de markt worden gezet als een product met een bewezen, klinisch zinvolle impact op symptoomernst die meer effect heeft dan gewoonlijke zorg. Wellicht had Mahana de eigenlijke studieresultaten beter moeten bestuderen voordat de deal werd gesloten.

De coronavirusepidemie maakt doeltreffende online therapieën vast en zeker aantrekkelijker, maar dat verandert niks aan de onweerlegbare feiten over dit specifieke programma. Terwijl de huidige toestand natuurlijk voor wat vertraging heeft gezorgd in mijn onderzoek, roept President Trump ons op om weer aan het werk te gaan, dus daarom ga ik weer aan de slag.

Terwijl we langzaamaan weer uit de lockdown komen, ga ik de mensen opnieuw wijzen op het verschil tussen Mahana’s reclamecampagne en de eigenlijke studieresultaten. Ik hoor natuurlijk graag uw reactie.

Vriendelijke groet,

David Tuller, DrPH

Senior Fellow Volksgezondheid en Journalistiek

Center for Global Public Health

School of Public Health

University of California, Berkeley

© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.

https://www.virology.ws/2020/04/18/trial-by-error-a-follow-up-to-the-follow-up-letter-to-mahana/

Trial By Error: Opvolging van mijn opvolgingsbrief aan Mahana

David Tuller, DrPH, Virology Blog, 18 april 2020

Op de website van Mahana Therapeutics staat een verklaring van Robert Paull, de CEO en medestichter, waarin hij uitlegt dat hij persoonlijke interesse heeft in de ontwikkeling van behandelingen voor gastro-intestinale problemen omdat iemand in zijn familie daar al lange tijd last van heeft. Zijn verhaal klinkt oprecht en overtuigend.

Spijtig genoeg hebben Meneer Paull en zijn bedrijf op het verkeerde paard gewed. De enige verklaring die ik kan vinden voor deze deal met King’s College London, is dat ze hun huiswerk niet hebben gemaakt. Mahana heeft de rechten opgekocht van een product dat op geen enkele eerlijke manier in de markt kan worden gezet als bewezen doeltreffende behandeling voor het verminderen van symptoomernst voor patiënten die lijden aan prikkelbaredarmsyndroom.

Mr. Paull heeft waarschijnlijk geen idee waarom ik me zo in deze kwestie vastbijt, en ik niet van plan ben om los te laten. Ik dacht dat het misschien een goed idee was om de context aan hem uit te leggen. Dus stuurde ik hem vanochtend volgende brief.

**********

Geachte Mr. Paull,

Allereerst zou ik u willen zeggen dat ik het mooi vind dat u graag verlichting wil bieden aan patiënten die lijden aan gastro-intestinale problemen, zoals u oprecht uitlegt in uw persoonlijke verhaal op de website van Mahana Therapeutics. Het verhaal dat u vertelt over uw familie is pakkend, en ik twijfel geen moment aan uw eerlijkheid.

Voor alle duidelijkheid: ik heb absoluut niks tegen psychotherapeutische interventies voor mensen met ernstige aandoeningen, als hulpmiddel om zich aan te passen aan hun toestand en om emotionele problemen aan te pakken. Maar ik verzet me wel tegen beweringen die niet worden ondersteund door bewijs – zoals duidelijk het geval is bij dit online programma cognitieve gedragstherapie voor prikkelbaredarmsyndroom.

Misschien is het een goed idee dat ik wat toelichting geef bij mijn bedenkingen, want dat zal u helpen begrijpen waarom ik mij toespits op de licentieovereenkomst tussen Mahana en King’s College London.

In het VK is er een invloedrijke groep onderzoekers die er sterk van overtuigd is dat CGT de beste behandeling is voor zogenaamde “somatisch onverklaarde lichamelijke klachten” of SOLK. Sommigen van hen fungeren als adviseur voor de National Health Service, die psychologische behandelingen voor SOLK wil aanzwengelen. Volgens de NHS behoren zowel chronisch vermoeidheidssyndroom als prikkelbaredarmsyndroom tot die categorie. Spijtig genoeg is een deel van het onderzoek dat deze groep voortbrengt van zeer bedenkelijke kwaliteit.

Ik schrijf al enkele jaren over de PACE-studie, waarin CGT en een gradueel oefenprogramma werden getest als behandeling voor cvs. De eerste resultaten werden in 2011 gepubliceerd in The Lancet. Eén van de drie hoofdonderzoekers van PACE was ook één van de twee hoofdonderzoekers van de PDS-studie die het online CGT-programma onderzocht. Een lid van het Britse Parlement noemde PACE “één van de grootste medische schandalen van de 21ste eeuw”.

Als u PACE nog niet kent, dan stel ik voor dat u mijn 15.000 woorden tellende onderzoek leest over de flagrante methodologische en ethische fouten in die studie. Mijn onderzoek werd in oktober 2015 gepubliceerd op Virology Blog. (Virology Blog wordt beheerd door Vincent Racaniello, een professor microbiologie van Columbia University; ik heb hem bij deze brief in CC gezet.) U zou misschien ook de open brief kunnen lezen die ik opstelde over de studie en in augustus 2018 verstuurde naar The Lancet. Die brief, die scherpe kritiek gaf op de fouten in de studie en een onafhankelijke onderzoek eiste, werd ondertekend door meer dan 100 wetenschappers, artsen en andere experts, alsook door meer dan 70 patiëntengroepen uit de hele wereld.

Daar bovenop moesten twee hoofdonderzoekers van de PDS-studie vorige zomer correcties doorvoeren omwille van een grote feitelijke fout in een paper in BMJ Open over een andere klinische studie die zij hadden uitgevoerd. Die correctie werd doorgevoerd nadat ik had aangetoond dat de eerste paragraaf van de paper de kernbevinding van een belangrijke SOLK-studie fout had geciteerd – en dat terwijl de onderzoekers beweren dat ze experts zijn op het gebied van SOLK. Het effect van hun fout was, dat het kostenplaatje van SOLK voor de NHS driemaal hoger leek dan het is.

In feite herhalen leden van deze groep onderzoekers al jarenlang deze foute bewering over de kostprijs van SOLK. De kans dat toekomstig gezondheidsbeleid negatief beïnvloed wordt door valse beweringen in hoog aangeschreven studies, is spijtig genoeg groot. Het is zeker terecht om ander onderzoek van deze onderzoeksgroep met een zekere mate van scepsis te behandelen.

Het is door deze voorgeschiedenis dat mijn aandacht werd getrokken toen KCL de PDS-studie ging promoten, en Mahana vervolgens de licentieovereenkomst aankondigde. Ondanks het feit dat Mahana wellicht goede bedoelingen had, spreken de data voor zich: u bezit nu de rechten tot een programma dat niet op een eerlijke manier verkocht kan worden alsof het de symptoomernst bewezen klinisch significant vermindert, in vergelijking met gewoonlijke zorg. Mahana zou misschien wel het product in de markt kunnen zetten door eerlijk te zijn over het gebrek aan bewijs in verband met symptoomernst, maar wel aan te duiden dat er verbetering werd gerapporteerd in meer algemene domeinen, zoals werk en sociale aanpassing. Maar deze verbeteringen waren op zijn best gezegd magertjes. Bovendien was dit een ongeblindeerde studie die enkel en alleen voortging op subjectieve uitkomsten – een onderzoeksontwerp dat een hoog risico op vooringenomenheid in zich houdt. Dus zelfs deze beperkte verbeteringen kunnen niet zomaar voor waar worden aangenomen.

In elk geval, zoals ik al vaker heb gezegd, ondersteunt de studie simpelweg niet wat Mahana tot hier toe heeft beweerd – zelfs na het verwijderen van overdreven beweringen over “drastische” en “mogelijk levensveranderende” resultaten. Ik hoop dat regulatoren in het VK en de VS die realiteit onder ogen zullen zien.

Vriendelijke groet, David David Tuller, DrPH

Senior Fellow Volksgezondheid en Journalistiek

Center for Global Public Health

School of Public Health

University of California, Berkeley

© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.

https://www.virology.ws/2020/04/25/trial-by-error-more-on-the-mahana-mess/

Trial By Error: Meer over het Mahanagedoe …

25 april 2020

Voor diegenen die dit stuk en/of mijn werk in het algemeen waarderen, geef ik nog even de link naar mijn lopende crowdfunding van UC Berkeley: https://www.me-gids.net/module-ME_CVS_docs-viewpub-tid-1-pid-2274.html [Deze crowdfunding is intussen afgerond en behaalde het vooropgestelde doel van $40.000, n.v.d.r.]

**********

David Tuller, DrPH, Virology Blog, 25 april 2020

Vandaag stuurde ik een derde brief naar Dr. Mel Heyman, een prominente gastro-enteroloog aan de University of California in San Francisco. Dr. Heyman is één van Mahana Therapeutics’ wetenschappelijke adviseurs. Ik probeer al een tijdje uit te vissen waarom dat bedrijf besliste om een licentie te kopen op een online CGT-programma voor prikkelbaredarmsyndroom. Per slot van rekening toonde een grote studie aan dat het programma niet zorgde voor klinisch significante voordelen op vlak van symptoomernst, in vergelijking met gewoonlijke zorg.

Zoals ik voordien al opmerkte, heeft Mahana mijn kritiek indirect bevestigd, door de daling in symptoomernst te beschrijven met de belachelijke woorden “drastisch” en “mogelijk levensveranderend”. Er bestaan natuurlijk marketingtrucjes genoeg om te verdoezelen dat een programma niet het beloofde effect heeft. Maar Mahana’s wetenschappelijke adviseurs zouden wel duidelijk moeten maken of ze al dan niet geloven dat dit programma klinisch significante voordelen biedt in het verminderen van symptoomernst.

**********

Beste Dr. Heyman,

In februari, voor het coronavirus heel de wereld in zijn greep hield, stuurde ik u twee brieven in verband met Mahana Therapeutics’ overdreven beweringen over zijn nieuwe online CGT-programma voor prikkelbaredarmsyndroom. Ik nam ook contact op met andere gastro-enterologische adviseurs, alsook met Rob Paull, de algemeen directeur. (Ik heb Mr. Paull bij deze brief in CC gezet, alsook Vincent Racaniello, de microbioloog van Columbia die mijn posts op Virology Blog beheert.)

Dus na een korte pauze vlieg ik er weer in.

Laat ons nog even samenvatten: in januari kondigde Mahana aan dat het een licentie had genomen op het online CGT-programma van King’s College London. Ik had o.a. bedenkingen over uitspraken in een persbericht en op Mahana’s website waarin de data van de relevante studie duidelijk te fraai werden voorgesteld. Het persbericht beschreef de impact van het online programma op de symptoomernst als “aanzienlijk” en “langdurig”. De website noemde de impact “drastisch” en “mogelijk levensveranderend”.

Zoals ik meermaals heb aangeduid, zijn deze beschrijvingen onterecht. Op 12 maanden waren de gerapporteerde voordelen van het online programma in vergelijking met gewoonlijke zorg op de studiemaatstaf voor symptoomernst statistisch significant, maar klinisch niet significant. Op 24 maanden waren deze gerapporteerde voordelen noch statistisch noch klinisch significant. Gezien de zwakke resultaten op deze kernindicator, kan ik moeilijk begrijpen waarom Mahana overging tot aankoop van de licentie.

Intussen is gebleken dat Mahana de beschrijving van de zogenaamde voordelen van het programma op hun website hebben veranderd, en er niet meer wordt gesproken over “drastische” en “mogelijk levensveranderende” voordelen. Ik ben tevreden met deze wijzigingen. Maar op dit moment zegt de site dat “patiënten die deelnamen aan een digitaal CGT-programma met minimaal persoonlijk contact, een aanzienlijk en klinisch zinvolle vermindering ervoeren in de ernst van hun PDS.”

Dit is een holle frase, want ze zou zelfs kloppen als slechts twee patiënten in de online arm deze “significante en klinisch zinvolle vermindering” in symptoomernst hadden ervaren. Hetzelfde zou ook perfect gezegd kunnen worden voor de arm die gewoonlijke zorg kreeg, aangezien ten minste twee patiënten in die arm ook kwamen tot een “aanzienlijke en klinisch significante vermindering” in symptoomernst. De hamvraag is of het programma klinisch beter scoort dan wat men kan bereiken via gewoonlijke zorg – en de belangrijkste resultaten op de schaal voor symptoomernst tonen aan dat dit niet het geval is.

De twee datapunten die Mahana op de website vermeldt over deze zogenaamde voordelen, zijn niet de centrale bevindingen voor symptoomernst van PDS. Ze op die manier citeren is hoogst misleidend, zoals ik eerder heb uitgelegd op Virology Blog.

Volgens Mahana’s website “rapporteerde 66% van de patiënten een aanzienlijke en klinisch zinvolle vermindering in de ernst van hun PDS”.

Het klopt dat 66% van diegenen in de online CGT-arm die op 12 maanden antwoorden verstrekten, een score hadden op de PDS-Schaal voor Symptoomernst die minstens 50 punten lager lag – de drempel voor klinische significantie. Maar het is niet zo dat de meeste van die veranderingen toegeschreven kunnen worden aan het online programma, terwijl die uitspraak dat wél impliceert. Mahana vermeldt niet dat 44% van diegenen in de arm die gewoonlijke zorg kregen en antwoorden verschaften op 12 maanden, ook een score hadden die minstens 50 punten lager lag op diezelfde schaal. Gezien die cijfers is het waarschijnlijk dat velen of de meesten van die 66% in de online arm die verbetering sowieso gerapporteerd zouden hebben, online programma of niet.

Bovendien wordt op de site niet duidelijk gemaakt dat slechts 70% van de studiedeelnemers op 12 maanden antwoorden verschafte. We kunnen niet weten hoe de resultaten eruit hadden gezien met de overige 30% erbij – diegenen die beschouwd worden als “verloren bij opvolging”. Dat betekent dat we geen idee hebben wat de afvallers in de online arm dachten over de behandeling en of ze ermee geholpen waren. Zoals ik al had aangeduid, lag op 12 maanden de gemiddelde score voor de online groep in de behandelingsintentieanalyse 35.2 punten lager dan voor de groep die gewoonlijke zorg kreeg – heel wat minder dan het verschil van 50 punten dat beschouwd wordt als een klinisch significante verbetering.

Ook nog op Mahana’s website: “Vermindering in PDS-ernst lag gemiddeld dubbel zo hoog als die van patiënten die gewoonlijke zorg kregen.”

Ook dit klopt weer, maar toch is het ook weer misleidend. Als verbetering klein is, dan is dubbel zo veel verbetering nog steeds klein. Dat iets dubbel zo groot is, wil niet zegen dat het opeens klinisch significant wordt. Het belangrijkste cijfer is niet het relatieve verschil tussen de groepen (gebruikt in de uitspraak hierboven over gemiddelde vermindering in PDS-ernst), maar wel het absolute verschil. Zoals ik al had aangeduid, lag in dit geval het absolute verschil in score tussen het gemiddelde van de groepen op 35.2 punten – een flink stuk lager dan de 50 punten die nodig zijn voor een klinisch significante verandering.

Spijtig genoeg voor Mahana, mag dit online CGT-programma niet aangeprezen worden alsof het een klinisch significante impact heeft op de symptoomernst die verder gaat dan gewoonlijke zorg. Tijdens de corona-epidemie komt een doeltreffend online therapieprogramma natuurlijk bijzonder goed van pas, maar de data uit deze studie mogen niet naar believen verdraaid worden tot ze passen.

Dr. Heyman, staat u nog steeds achter de manier waarop Mahana de bevindingen over symptoomernst voor het online programma voorstelt, of hebt u het moeilijk met het selectieve gebruik van de uitkomstdata? Kunt u mij uitleggen waarom Mahana een licentie nam op een programma met zodanig minimale gerapporteerde voordelen in vergelijking met gewoonlijke zorg, qua vermindering van symptoomernst? Hoe bent u bij Mahana terecht gekomen? En ten slotte: krijgt u een vergoeding voor uw functie als adviseur?

Uiteraard kijk ik uit naar uw reactie.

Vriendelijke groet,

David

David Tuller, DrPH

Senior Fellow Volksgezondheid en Journalistiek

Center for Global Public Health

School of Public Health

University of California, Berkeley

© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.

https://www.virology.ws/2020/04/28/trial-by-error-another-nudge-to-Mahana’s-gasteroenterology-advisers/

Trial By Error: nog een bericht aan Mahana’s gastro-enterologische adviseurs

David Tuller, DrPH, Virology Blog, 28 april 2020

In februari jl. schreef ik naar enkele wetenschappelijke adviseurs van Mahana Therapeutics om hen te wijzen op de ongegronde beweringen die het bedrijf deed over de impact van hun online programma op de symptomen van prikkelbaredarmsyndroom. Twee van hen, Dr. Peter Lu en Dr. Carlo di Lorenzo, zijn gastro-enterologen in Nationwide Children’s Hospital, een gerenommeerd medisch centrum in Columbus in Ohio.

Door de coronatoestand heb ik de zaak de voorbije twee maanden even laten rusten. Tijdens diezelfde periode bleef Mahana op zijn website het online programma fout voorstellen. Het bedrijf lijkt nog steeds te hopen dat dit programma zal voldoen aan de normen van de Amerikaanse en Britse regelgevende instanties. Misschien denkt Mahana dat gezondheidsagentschappen niet zullen merken dat de gerapporteerde voordelen van het programma in vergelijking met gewoonlijke zorg, op vlak van vermindering van symptoomernst, echt niet klinisch significant genoemd kunnen worden.

Tijdens het weekend stuurde ik een kort opvolgingsbericht naar Dr. Lu en Dr. di Lorenzo, dat leek op het bericht dat ik eerder verstuurde naar een andere adviseur gastro-enterologie, Dr. Mel Heyman van University of California in San Francisco. In CC zette ik Mahana’s CEO, Rob Paull, en Professor Racaniello.

**********

Beste Dr. Lu en Dr. Di Lorenzo,

In februari, voordat het coronavirus alles overheerste, stuurde ik u een brief in verband met de overdreven beweringen die Mahana Therapeutics doet over zijn nieuwe online CGT-programma voor prikkelbaredarmsyndroom. Ik contacteerde ook Rob Paull, de uitvoerend directeur. (Ik heb Mr. Paull bij deze brief in CC gezet, alsook Professor Vincent Racaniello, een microbioloog van Columbia op wiens website Virology Blog ik mijn werk mag posten.)

Intussen heb ik de zaak terug opgepikt.

Even ter herinnering: in januari kondigde Mahana aan dat het een licentie had genomen op het online CGT-programma van King’s College London. Ik had o.a. bedenkingen over beweringen, in een persbericht en op de website van Mahana, die duidelijk verder gingen dan de data uit de betrokken studie. Het persbericht omschreef de impact van het online programma op de symptoomernst als “aanzienlijk” en “langdurig”. De website noemde de impact “drastisch” en “mogelijk levensveranderend”.

Zoals ik heb aangetoond, zijn deze omschrijvingen niet gegrond. Op 12 maanden waren de gerapporteerde voordelen van het online programma in vergelijking met gewoonlijke zorg op de studiemaatstaf voor symptoomernst statistisch significant, maar klinisch niet significant. Op 24 maanden waren deze gerapporteerde voordelen noch statistisch, noch klinisch significant. Gezien de zwakke resultaten voor deze belangrijke indicator begrijp ik niet waarom Mahana überhaupt een licentie voor dit product wou aankopen.

Intussen is gebleken dat Mahana op zijn website de omschrijving van de zogenaamde voordelen van het programma heeft veranderd en ze niet langer beschrijft als “drastisch” en “mogelijk levensveranderend”. Ik ben blij met deze wijziging. De website stelt op dit moment echter nog steeds dat “patiënten die deelnamen aan een digitaal CGT-programma met minimaal persoonlijk contact een significante en klinisch zinvolle vermindering ervoeren in hun PDS.”

Dit is een holle frase, want ze zou zelfs kloppen als slechts twee patiënten in de online arm deze “significante en klinisch zinvolle vermindering” in symptoomernst hadden ervaren. Hetzelfde zou ook perfect gezegd kunnen worden over de arm die gewoonlijke zorg kreeg, aangezien ten minste twee patiënt in die arm ook kwamen tot een “aanzienlijke en klinisch significante vermindering” in symptoomernst. De hamvraag is of het programma klinisch beter scoort dan wat men kan bereiken via gewoonlijke zorg. De belangrijkste resultaten op de schaal voor symptoomernst tonen aan dat dit niet het geval is.

De twee datapunten die Mahana op de website vermeldt over deze zogenaamde voordelen, zijn niet de centrale bevindingen voor symptoomernst van PDS. Ze op die manier citeren is hoogst misleidend, zoals ik eerder heb uitgelegd op Virology Blog.

Volgens Mahana’s website “rapporteerde 66% van de patiënten een aanzienlijke en klinisch zinvolle vermindering in de ernst van hun PDS”.

Het klopt dat 66% van diegenen in de online CGT-arm die op 12 maanden antwoorden verstrekten, een score hadden op de PDS-Schaal voor Symptoomernst die minstens 50 punten lager lag – de drempel voor klinische significantie. Maar het is niet zo dat de meeste van die veranderingen toegeschreven kunnen worden aan het online programma, terwijl die uitspraak dat wél impliceert. Mahana vermeldt niet dat 44% van diegenen in de arm die gewoonlijke zorg kreeg en antwoorden verschaften op 12 maanden, ook een score hadden die minstens 50 punten lager lag op diezelfde schaal. Gezien die cijfers is het waarschijnlijk dat velen of de meesten van die 66% in de online arm die verbetering sowieso gerapporteerd zouden hebben, online programma of niet.

Bovendien wordt op de site niet duidelijk gemaakt dat slechts 70% van de studiedeelnemers op 12 maanden antwoorden verschaften. We kunnen niet weten hoe de resultaten eruit hadden gezien met de overige 30% erbij – diegenen die beschouwd worden als “verloren bij opvolging”. Dat betekent dat we geen idee hebben wat de afvallers in de online arm dachten over de behandeling en of ze ermee geholpen waren. Zoals ik al had aangeduid, lag op 12 maanden de gemiddelde score voor de online groep in de behandelingsintentieanalyse 35.2 punten lager dan voor de groep die gewoonlijke zorg kreeg – heel wat minder dan het verschil van 50 punten dat beschouwd wordt als een klinisch significante verbetering.

Ook nog op Mahana’s website: “Vermindering in PDS-ernst lag gemiddeld dubbel zo hoog als die van patiënten die gewoonlijke zorg kregen.”

Ook dit klopt weer, maar toch is het ook weer misleidend. Als verbetering klein is, dan is dubbel zo veel verbetering nog steeds klein. Dat iets dubbel zo groot is, wil niet zeggen dat het opeens klinisch significant wordt. Het belangrijkste cijfer is niet het relatieve verschil tussen de groepen (gebruikt in de uitspraak hierboven over gemiddelde vermindering in PDS-ernst), maar wel het absolute verschil. Zoals ik al had aangeduid, lag in dit geval het absolute verschil in score tussen het gemiddelde van de groepen op 35.2 punten – een flink stuk lager dan de 50 punten die nodig zijn voor een klinisch significante verandering.

Spijtig genoeg voor Mahana, mag dit online CGT-programma niet aangeprezen worden alsof het een klinisch significante impact heeft op de symptoomernst die verder gaat dan gewoonlijke zorg. Tijdens de corona-epidemie komt een doeltreffend online therapieprogramma natuurlijk bijzonder goed van pas, maar de data uit deze studie mogen niet naar believen verdraaid worden tot ze passen. Patiënten – én klanten – verdienen eerlijkheid en geen gehypet gedoe.

Dr. Lu en Dr. di Lorenzo, staat u nog steeds achter de manier waarop Mahana de bevindingen over symptoomernst voor het online programma voorstelt, of hebt u het moeilijk met het selectieve gebruik van de uitkomstdata? Kunt u mij uitleggen waarom Mahana een licentie nam op een programma met zodanig minimale gerapporteerde voordelen in vergelijking met gewoonlijke zorg, qua vermindering van symptoomernst? Hoe bent u bij Mahana terecht gekomen? En ten slotte: krijgt u een vergoeding voor uw functie als adviseur?

Uiteraard kijk ik uit naar uw reactie.

Vriendelijke groet, David

David Tuller, DrPH

Senior Fellow Volksgezondheid en Journalistiek

Center for Global Public Health

School of Public Health

University of California, Berkeley

© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.

https://www.virology.ws/2020/05/05/trial-by-error-my-letter-to-ibs-studys-corresponding-author/

Trial By Error: Mijn brief aan corresponderend auteur PDS-studie

David Tuller, DrPH, Virology Blog, 5 mei 2020

Ik ga stilaan weer aan het werk, en ga dus ook weer door met de kwestie rond Mahana Therapeutics, die zijn nieuwe online CGT-programma voor prikkelbaredarmsyndroom nog steeds fout voorstelt. In januari kondigde de start-up aan dat het een licentie had genomen op het programma van King’s College London, gebaseerd op een grootschalige studie die vorig jaar werd gepubliceerd in Gut, een BMJ-vakblad.

De deal lijkt wel een triomf voor de gebakken lucht. Zelfs uit een diagonale lezing van de studieresultaten valt op dat het online programma geen klinisch significante voordelen gaf in vergelijking met de standaardbehandeling, op vlak van het verminderen van symptoomernst op 12 maanden. Om begrijpelijke redenen had ik mijn werk omtrent deze kwestie even stopgezet. Maar intussen ga ik er weer tegenaan. Eerder vandaag stuurde ik volgende brief naar Hazel Everitt, de corresponderende auteur van de studie in Gut. Zij is huisarts en professor eerstelijnszorgonderzoek aan de Engelse University of Southampton.

**********

Beste Dr. Everitt,

Ik ben een senior fellow volksgezondheid en journalistiek aan het Center for Global Public Health aan de University of California in Berkeley. Ik schrijf regelmatig over onderzoek op ziekten uit de categorie van de zogenaamde “somatisch onverklaarde lichamelijke klachten”. Veel van mijn werk verschijnt op Virology Blog, een wetenschapssite die beheerd wordt door Vincent Racaniello, een professor microbiologie aan Columbia.

Ik schrijf u, aangezien u corresponderend auteur bent van de ACTIB-studie, én wetenschappelijk adviseur voor Mahana Therapeutics, zoals op hun website staat geschreven. In januari en februari rapporteerde ik in meerdere posts op Virology Blog dat Mahana ongegronde beweringen deed over het online CGT-programma voor prikkelbaredarmsyndroom dat u en uw collega’s hebben uitgetest in de studie. Ik gaf ook kritiek op de studie zelf.

Het ziet ernaar uit dat het bedrijf het programma wil promoten bij regulatoren in het VK en in de VS, alsof het gaat om een evidence-based behandeling die leidt tot klinisch significante verlichting van de symptoomernst van PDS. Maar deze bewering gaat veel verder dan de resultaten in ACTIB. Mahana zou ten hoogste mogen beweren dat het programma erg matige voordelen aantoonde op meer algemene vlakken, zoals werk en sociale aanpassing.

Voordat de pandemie de kop opstak, had ik al contact opgenomen met Rob Paull, de uitvoerend directeur, en enkele van Mahana’s adviseurs. Ik kreeg van niemand reactie. Op dit moment probeer ik, ondanks de coronatoestand, de draad weer op te pikken, vooral omdat de Mahanawebsite nog steeds misleidende informatie verspreidt.

(Ik heb Mr. Paull in CC gezet, en ook Professor Racaniello. Voor de volledigheid deel ik nog mee dat ik deze brief ook zal posten op Virology Blog.)

Even ter herhaling: in januari kondigde Mahana aan dat het een licentie had genomen op het online CGT-programma van King’s College London. Ik had o.a. bedenkingen over uitspraken in een persbericht en op Mahana’s website die de data van de ACTIB-studie duidelijk te fraai voorstelden. Het persbericht beschreef de impact van het online programma op de symptoomernst als “aanzienlijk” en “langdurig”. De website noemde ze “drastisch” en “mogelijk levensveranderend”.

Zoals ik meermaals heb aangeduid, zijn deze beschrijvingen onterecht. Op 12 maanden waren de gerapporteerde voordelen van het online programma in vergelijking met gewoonlijke zorg op de studiemaatstaf voor symptoomernst statistisch significant maar klinisch niet significant. ­Op 24 maanden waren deze gerapporteerde voordelen noch statistisch noch klinisch significant. Gezien de zwakke resultaten voor deze kernindicator, kan ik moeilijk begrijpen waarom Mahana overging tot aankoop van de licentie.

Intussen is gebleken dat Mahana de beschrijving van de zogenaamde voordelen van het programma op hun website hebben veranderend, en er niet meer wordt gesproken over “drastische” en “mogelijk levensveranderende” voordelen. Ik ben tevreden met deze wijzigingen. De site zegt op dit moment echter dat “patiënten die deelnamen aan een digitaal CGT-programma met minimaal persoonlijk contact, een aanzienlijke en klinisch zinvolle vermindering ervoeren in de ernst van hun PDS.”

Dit is een holle frase, want ze zou zelfs kloppen als slechts twee patiënten in de online arm deze “significante en klinisch zinvolle vermindering” in symptoomernst hadden ervaren. Hetzelfde zou ook perfect gezegd kunnen worden over de arm die gewoonlijke zorg kreeg, aangezien ten minste twee patiënt in die arm ook kwamen tot een “aanzienlijke en klinisch significante vermindering” in symptoomernst.De hamvraag is of het programma klinisch beter scoort dan wat men kan bereiken via gewoonlijke zorg. En de belangrijkste resultaten op de schaal voor symptoomernst tonen aan dat dit niet het geval is, zoals ik eerder al aanduidde.

De twee datapunten die Mahana op de website vermeldt over deze zogenaamde voordelen, zijn niet de centrale bevindingen voor symptoomernst van PDS. Ze zonder context citeren is hoogst misleidend, zoals ik eerder heb uitgelegd op Virology Blog.

Volgens Mahana’s website “rapporteerde 66% van de patiënten een aanzienlijke en klinisch zinvolle vermindering in de ernst van hun PDS”.

Het klopt dat 66% van diegenen in de online CGT-arm die op 12 maanden antwoorden verstrekten, een score hadden op de PDS-Schaal voor Symptoomernst die minstens 50 punten lager lag – de drempel voor klinische significantie. Maar het is niet zo dat de meeste van die veranderingen toegeschreven kunnen worden aan het online programma, terwijl die uitspraak dat wél impliceert. Mahana vermeldt niet dat 44% van diegenen in de arm die gewoonlijke zorg kregen en antwoorden verschaften op 12 maanden, ook een score hadden die minstens 50 punten lager lag op diezelfde schaal. Gezien die cijfers is het waarschijnlijk dat velen of de meesten van die 66% in de online arm die verbetering sowieso gerapporteerd zouden hebben, online programma of niet.

Bovendien wordt op de site niet duidelijk gemaakt dat slechts 70% van de studiedeelnemers op 12 maanden antwoorden verschaften. We kunnen niet weten hoe de resultaten eruit hadden gezien met de overige 30% erbij – diegenen die in epidemiologische termen beschouwd worden als “verloren bij opvolging”. Dat betekent dat we geen idee hebben wat de afvallers in de online arm dachten over de behandeling en of ze ermee geholpen waren. Zoals ik al had aangeduid, lag op 12 maanden de gemiddelde score voor de online groep in de behandelingsintentieanalyse 35.2 punten lager dan voor de groep die gewoonlijke zorg kreeg – heel wat minder dan het verschil van 50 punten dat beschouwd wordt als een klinisch significante verbetering.

Ook nog op Mahana’s website: “Vermindering in PDS-ernst lag gemiddeld dubbel zo hoog als die van patiënten die gewoonlijke zorg kregen.”

Ook dit klopt weer, maar toch is het ook weer misleidend. Als de verbetering klein is, dan is dubbel zo veel verbetering nog steeds klein. Dat iets dubbel zo groot is, wil niet zegen dat het opeens klinisch significant wordt. Het belangrijkste cijfer is niet het relatieve verschil tussen de groepen (gebruikt in de uitspraak hierboven over gemiddelde vermindering in PDS-ernst), maar wel het absolute verschil. Zoals ik al had aangeduid, lag in dit geval het absolute verschil in score tussen het gemiddelde van de groepen op 35.2 punten – een flink stuk lager dan de 50 punten die nodig zijn voor een klinisch significante verandering.

Spijtig genoeg voor Mahana, kan dit online CGT-programma niet aangeprezen worden alsof het een klinisch significante impact heeft op de symptoomernst en meer effect heeft dan gewoonlijke zorg. Tijdens de corona-epidemie komt een doeltreffend online therapieprogramma natuurlijk bijzonder goed van pas, maar de data uit de ACTIB-studie mogen niet naar believen verdraaid worden tot ze passen.

Dr. Everitt, dit zijn mijn vragen aan u:

Staat u nog steeds achter de manier waarop Mahana de bevindingen over symptoomernst voor het online programma voorstelt, of hebt u het moeilijk met het selectieve gebruik van de uitkomstdata?

Kan u mij uitleggen waarom Mahana een licentie nam op een programma met zodanig minimale gerapporteerde voordelen in vergelijking met gewoonlijke zorg, qua vermindering van symptoomernst?

Hoe begon uw eigen samenwerking met Mahana, en wordt u voor uw rol van adviseur vergoed of niet?

Bedankt voor uw aandacht voor deze kwestie.

Vriendelijke groet, David

David Tuller, DrPH

Senior Fellow Volksgezondheid en Journalistiek

Center for Global Public Health

School of Public Health

University of California, Berkeley

© David Tuller voor Virology Blog. Vertaling Abby, redactie Zuiderzon, ME-gids.

Lees ook

• Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (1)
• Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (2)
• Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (3)
• Onderzoekers van de PACE-studie antwoorden David Tuller
• David Tuller reageert op de PACE-onderzoekers
• Petitie : Misleidende claims van PACE-studie moeten teruggetrokken worden
• Trial by error, vervolgd: heeft de PACE-studie echt een “strikt criterium” voor herstel toegepast?
• Trial by error, vervolg: Waarom is het “zusteronderzoek” van de PACE-studie “verdwenen” en vergeten?
• Overheid beveelt vrijgave van de gegevens van de PACE-studie
• Proffen schrijven open brief aan The Lancet en vragen herevaluatie van PACE-resultaten
• Open brief van Invest in ME over de PACE-studie aan de redacteur van The Lancet
• Trial by error, vervolgd: Het werk van het PACE-team voor verzekeringsmaatschappijen “houdt geen verband” met PACE. Echt waar?
• In het kielzog van het onderzoek van David Tuller, publiceren de PACE-onderzoekers een follow-upstudie
• ME Association: We betwisten het follow-uprapport van de PACE-studie
• Professor Jonathan Edwards: PACE-studie is “waardeloos”
• Oninterpreteerbaar: Fatale fouten in het PACE follow-uponderzoek van het chronisch vermoeidheidssyndroom
• Waarom de wetenschappelijke wereld het nodig heeft dat de PACE-gegevens worden vrijgegeven
• Reporter hekelt studie naar chronisch vermoeidheidssyndroom: ik stopte bij 14.000 woorden – genoeg was genoeg
• Een “moreel equivalent van oorlog” en de PACE-studie over chronisch vermoeidheidssyndroom
• Waarom ME-patiënten kritisch zijn over de PACE-studie
• Was onafhankelijke peerreview van de papers over de PACE-studie mogelijk?
• James Coyne over de “objectiviteit” van NHS Choices en het belachelijk maken van ME/CVS-patiënten
• Wat er voor nodig is voor Queen Mary om een verzoek om wetenschappelijke gegevens als “ergerlijk” te verklaren
• Update van mijn formeel verzoek voor het vrijgeven van de gegevens van de PACE-studie
• Formeel verzoek aan PLOS One om een Uitdrukking van Bezorgdheid uit te vaardigen voor de PACE-studie
• Waarom ik niet weet hoe PLOS zal reageren op de weigering van de auteurs om de data vrij te geven
• Antwoord van PLOS One op de bezorgdheid over de weigering van King’s College om de PACE-data te delen
• Proffen verzoeken om de gegevens van de PACE-studie
• King’s College London rekt tijd nog wat meer door weigering te herhalen om PACE-onderzoeksdata vrij te geven
• Herkennen wanneer het “beschermen van de privacy van patiënten” louter een excuus is voor het niet delen van de data
• Herzien van de economische analyse van de PACE-studie in PLoS One
• Een inkijk in de aanval op het delen van data
• Trial By Error, vervolgd: vragen voor Dr. White en zijn collega’s van de PACE-studie
• Niet-bekendgemaakte belangenconflicten in reviewprotocol van interventies voor medisch onverklaarde symptomen
• Trial by error, vervolgd: heeft de PACE-studie werkelijk bewezen dat graduele oefentherapie veilig is?
• Trial by error, vervolgd: meer nonsens van The Lancet Psychiatry
• We zijn tenminste niet ergerlijk
• Verdere inzichten in de oorlog tegen het delen van data
• Trial by error, vervolgd: een paar woorden over pesterijen
• Het heroverwegen van het beleid rond het onderzoek naar en de behandeling van ME/CVS
• Opnieuw een open brief aan de Lancet
• What About ME? Deel 1: ME-patiënten vragen patiëntenorganisaties kleur te bekennen t.a.v. PACE
• Ook België steunt in open brief de globale oproep om de PACE-data vrij te geven
• Lezing Dr. David Tuller en Prof. Frans Visser tijdens Nederlandse première Forgotten Plague
• Petitie met 12.000 handtekeningen aan The Lancet bezorgd om de PACE-studiedata vrij te geven
• Open brief Prof. Malcolm Hooper aan The Lancet
• Een half jaar gaat voorbij zonder de vrijgave van PACE-studiedata uit PLOS One
• PACE-Gate: de controverse over de grootste studie naar CGT en GET bij ME/cvs
• Proffen schrijven open brief aan PLoS One i.v.m. PACE-studie naar CGT/GET
• Correctie van PLoS verwijdert geanonimiseerde patiëntengegevens in studie naar CVS (& zet ze daarna terug)
• “Hun mond viel open van verbazing over de PACE-trial naar CGT en GET.”
• Rechtbank eist vrijgave van de gegevens van de PACE-studie naar CGT en GET voor ME/CVS
• Queen Mary University of London “bestudeert” de regelgeving om de PACE-data vrij te geven
• The Lancet struikelt opnieuw over de PACE-studie
• Trial by error, vervolgd: mijn vragen voor de hoofdredacteur van The Lancet, Richard Horton
• Vrijgave data PACE-team volgens originele protocol
• Verklaring QMUL: bekendmaking van de data van de PACE-studie onder de Wet op de Vrijheid van Informatie
• Persbericht. De vrijgave van de PACE-data is een fundamentele overwinning voor mensen met ME/cvs
• Stop studies naar graduele oefentherapie voor ME/CVS
• Prof. Van der Meer waarschuwt voor delen van data met “je vijanden”
• Geen “herstel” in de PACE-studie, blijkt uit nieuwe analyse
• Slechte wetenschap heeft miljoenen ME/cvs-patiënten misleid. Hier leest u hoe we terugvochten.
• Belangrijkste punten uit de analyse van de ruwe data voor “herstel” van de PACE-studie
• Bewijs voor aanbevolen behandelingen voor ME en CVS houdt geen stand
• Trial by error, vervolgd: de echte data van de PACE-studie
• Erger dan de ziekte
• De PACE-studie: waar “herstel” niet betekent dat je terug gezond bent
• Hoe de brief van Alem Matthees het mysterie van ME/cvs hielp oplossen
• Een open brief aan Psychological Medicine over “herstel” en de PACE-trial (Update)
• Opnieuw een open brief aan Psychological Medicine!
• De bal misslaan bij ME/cvs
• Trial by error, vervolgd: de nieuwe FITNET-studie voor kinderen
• Trial by error, vervolgd: een vervolgpost over FITNET-NHS
• Trial by error, vervolgd: de Nederlandse studies (opnieuw!), en een Esther Crawley-bonus
• Trial by error, vervolgd: mijn lasterlijk bloggen op Virology Blog
• Trial by error, vervolgd: een open brief aan het bestuur van het CFS/ME Research Collaborative (CMRC)
• Trial by error, vervolgd: CFS/ME Research Collaborative aan Virology Blog: “Rot op!”
• Trial by error, vervolgd: Het CMRC bevestigt volledige steun aan Lasterlijke Esther
• Trial by error, vervolgd: ME Research UK stapt uit het CFS/ME Research Collaborative
• Trial by error, vervolgd: mijn “scheur-het-aan-flarden”-toespraak bij Invest in ME
• David Tuller zamelt geld in voor Virology Blogs Trial by error: verslaggeving over PACE, ME/cvs en verwante onderwerpen
• Trial by error, vervolgd: mijn brief aan de University of Bristol
• Crowdfundingcampagne David Tuller in teken van ME: nog twee weken te gaan…
• David Tuller komt op voor ME: de laatste tien dagen van de campagne…
• Trial by error, vervolgd: is PACE een geval van wetenschappelijk wangedrag?
• Trial by error, vervolgd: de reis van Julie Rehmeyer “Through The Shadowlands”
• Trial by error, vervolgd: meer over graduele oefentherapie van Peter White en The Lancet
• Trial by error: De CDC schrappen cognitieve gedragstherapie (CGT) en graduele oefentherapie (GET) voor ME/cvs
• Trial by error: De NICE-richtlijnen, en meer over de CDC
• Trial by error: NICE weigert om namen van experts te onthullen
• Trial by error: NICE verwerpt mijn verzoek op basis van vrijheid van informatie
• De PACE-trial, of hoe een medisch schandaal tot stand kwam
• Waarop moet je letten in de Speciale Editie van het Journal of Health Psychology over de PACE-trial
• Deel 2: Waarop moet je letten in de Speciale Editie van het Journal of Health Psychology over de PACE-trial
• Trial by error: de wanhopige pogingen van het Science Media Center om PACE te verdedigen
• Trial by error: gepensioneerde PACE-onderzoeker Peter White en Swiss Re
• Trial by error: mijn e-mailuitwisseling met de directeur van NICE
• Trial by error: geen ethische review van de studie van Crawley over afwezigheid op school
• Trial by error: verzoek om meer details over de studie van Crawley over afwezigheid op school
• Trial by error: de rapporten van de “deskundigen ter zake” van NICE
• Trial by error: MEGA’s nieuwst mislukking
• Trial by error: NICE verwerpt huidige richtlijn, plant “volledige update”
• Trial by error: NIH geeft een subsidie van 2,1 miljoen dollar aan de Britse Biobank!
• Trial by error: nog een brief aan de directeur van NICE
• Trial by error: huidige NICE-richtlijn blijft, voorlopig toch
• Trial by error: de verrassende nieuwe gids voor beste praktijken van BMJ [voor ME/cvs]
• Trial by error: mijn korte ontmoeting met Professor Crawley
• Trial by error: Hé, Bristol! Waar is mijn ‘cease and desist’-brief*?
• Trial by error: de Crawley-kronieken (vervolg)
• Trial by error: mijn eenzijdige correspondentie met professor Crawley
• Trial by error: de niet-openbaar gemaakte uitkomstenverwisseling van de SMILE-studie
• SMILE-studie Lightning Process voor kinderen met CVS: Resultaten te mooi om waar te zijn?
• Trial by error: mijn vragen voor het Science Media Center
• Trial by error: de klacht van Bristol aan Berkeley
• David Tuller en de (s)PACEcake-eters
• Trial by error: de studie naar afwezigheid op school, tweede ronde
• Trial by error: COPE aan BMJ Open: meer details alstublieft!
• Trial by error: mijn halfjaaroverzicht
• Trial by error: de valse beweringen van professor Crawley op BuzzFeed
• Trial by error: een brief aan Archives of Disease in Childhood
• Trial by error: brief van CPET-experts aan het British Journal of Sports Medicine
• Trial by error: QMUL en FOI, Nature en Cochrane, het Pineapple Fund
• Trial by error: een brief aan BMJ Open
• Trial by error: onze gedachtenwisseling met BMJ Open
• Trial by error: mijn briefwisseling met het vakblad Archives of Diseases in Childhood
• Trial by error: nieuws over mijn plannen
• Trial by error: het nieuws van het CFS/ME Research Collaborative
• Trial by error: de Nederlandse review; mijn trip; Bristols stilzwijgen
• Trial by error: de stand van zaken in Australië en de nieuwe functie van professor Crawley
• Trial by error: ik meld me even vanuit Melbourne en Canberra…
• Trial by error: de volgende ronde met BMJ Open 26/3
• Trial by error: vragenronde met Schots Parlementslid Carol Monaghan 28/3
• Trial by error op Virology Blog: verslaggeving over ME/CVS. Crowdfundingscampagne voor David Tuller! 29/3
• Trial by error: mijn door Berkeley ondersteunde crowdfundingscampagne 2/4
• Trial by error: onze nieuwste tango met BMJ Open… 2/4
• Trial by error: een fantastisch stuk over ME/CVS op de Australische TV 4/4
• Trial by error: een post over Andrew Lloyd 4/4
• Trial by error: mijn Australische tour, vervolg 11/4
• Trial by error: twee podcastinterviews en “belangenconflicten” 16/4
• Trial by error, gastpost: crowdfunding David Tuller is geen belangenconflict 16/4
• Trial by error: Professor Michael Sharpes flater op de Australische Radio 18/4/18
• Trial by error: de steun die Andrew Lloyd in het verleden gaf aan PACE 24/4/18
• Trial by error: de winkeltasstudie en de vernieuwde website van de staat New York 24/4/18
• Trial by error: tot ziens Australië; en twee updates 25/4/18
• Trial by error: Vraag en antwoord met Leonard Jason met betrekking tot gevalsdefinities 2/5/18
• Trial by error: mijn bezoeken aan Alem Matthees 7/5/18
• Trial by error: Australiës online bijscholingsprogramma over GET/CGT 14/5/18
• Trial by error: meer over de CDC; Reader’s Digest; Newsbeat op BBC 23/5/18
• Trial by error: NICE neemt het Lightning Process in beschouwing 28/5/18
• Trial by error: mijn woordenwisseling met de hoofdonderzoekers van PACE, in NY Times in 2011 29/5/18
• Trial by error: BMJ “onderzoekt” nog steeds de paper over het Lightning Process 4/6/18
• Trial by error: mijn brief aan Parlementslid Monaghan over BMJ-studies 5/6/18
• Trial by error: een brief aan gezondheidsambtenaren over de lakse redactionele maatstaven van BMJ 6/6/18
• Trial By Error: mijn brief over de BMJ-studie aan het Science Media Centre 6/6/18
• Trial By Error: nog enkele brieven over BMJ’s gebrekkige pediatrische studies 11/6/18
• Trial By Error: een leerplan voor behandeling van CVS met CGT 13/6/18
• Trial by error: een brief aan NICE over het IAPT-programma 18/6/18
• Trial by error: Sir Simon trapt bal in eigen doel 18/6/18
• Trial by error: een open brief aan The Lancet, twee jaar later 19/6/18
• Trial by error: Professor Sharpes driftige opmerkingen – in wiens naam spreekt hij eigenlijk? 25/6/18
• Trial by error: mijn gesprek met professor Bishop 25/6/18
• Trial by error: Professor Sharpes briefing aan Monaghan vóór de hoorzitting 2/7/18
• Trial by error: mijn brief aan Fiona Godlee 2/7/18
• Trial by error: zijn alle experts in klinische studies fan van PACE? 9/7/18
• Trial by error: nog maar eens een oproep aan The Lancet, met meer handtekeningen 10/7/18
• Trial by error: wachten op Godlee 11/7/18
• Trial by error: mijn brief aan het Wetenschappelijk en Technisch Comité van het Parlement 11/7/18
• Trial by error: de inhoudsloze “noot van de redactie” bij de studie over het Lightning Process 16/7/18
• Trial by error: de update van CDC voor zorgverstrekkers 30/7/18
• Trial by error: Mayo blijft pleiten voor GET 6/8/18
• Trial by error: open brief aan The Lancet, versie 3.0 13/8/18
• Trial by error: de BPS-brigade trapt bal wéér in eigen doel 15/8/18
• Trial by error: meer Mayo alsjeblieft 20/8/18
• Trial by error: rekruteringsadvertentie voor FITNET-NHS maakt reclame voor “herstel” 20/8/18
• Trial by error: mijn brief aan Red Whale/GP Update 22/8/18
• Trial by error: nog een brief aan BMJ’s Dr Godlee 27/8/18
• Trial by error: Professor Edward brief aan Fiona Watt van MRC 28/8/18
• Trial by error: de Cochranecontroverse 3/9/18
• Trial by error: hoe staat het eigenlijk met de MAGENTA-studie? 17/9/18
• Trial by error: Bruce Levin over “hoe je een gerandomiseerde klinische studie NIET uitvoert” 18/9/18
• Trial by error: de open brief aan Netflix over Afflicted 24/9/18
• Over lichamelijke symptomen die afgewimpeld worden als “tussen de oren” 27/9/18
• Trial by error: de conferentie van de CFS/ME Research Collaborative 1/10/18
• Trial by error: mijn meest recente brief aan Archives of Disease in Childhood 8/10/18
• Trial by error: mijn eerste post over het IAPT-programma 10/10/18
• Trial by error: Per Fink in New York 16/10/18
• Trial by error: de zielige reactie van de Psychosomatische Conferentie 17/10/18
• ME/CVS is geen psychosomatische ziekte 18/10/18
• Mijn brief aan organisator van 4 ^e Psychosomatiekconferentie aan Columbia 19/10/18
• Trial by error: Cochrane trekt gebrekkige review over lichaamsbeweging in 19/10/18
• Een steunbetuiging aan Cochrane 23/10/18
• Trial by error: waar blijft die verontschuldiging, BMJ Open? 24/10/18
• Trial by error: drie jaar verder… 28/10/18
• Trial by error: wéér een brief over de studie over het Lightning Process 7/11/18
• Trial by error: een Australische uitwisseling met professor Sharpe 8/11/18
• Trial by error: hoe ontwijk je ethische review? 12/11/18
• Trial by error: enkele bedenkingen over NICE 19/11/18
• Trial by error: goed nieuws over Cochrane 3/12/18
• Trial by error: BMJ zag Bristols ethische vrijstellingen door de vingers 4/12/18
• Trial by error: een nieuwe zet van Cochrane 10/12/18
• Trial by error: het Noorse perspectief 12/12/18
• Trial by error: de nieuwe studie over interferon voor “CVS” 19/12/18
• Trial by error: Australisch ontwerprapport nodigt uit tot commentaar 24/12/18
• Trial by error: “Geen woorden, maar daden!”, zeggen patiënten tegen NIH 26/12/18
• Trial by error: mijn brief aan de seniorauteur van de studie over het Lightning Process 7/1/19
• Trial by error: verdere bedenkingen over de interferonstudie 7/1/19
• Trial by error: weer een Parlementair Debat voor Carol Monaghan 21/1/19
• Trial by error: mijn zesmaandelijks overzicht 22/1/19
• Trial by error: het werkgerelateerd advies van Action for ME 23/1/19
• Trial by error: Steve Brines verontrustende uitspraak in het parlementaire ME-debat 28/1/19
• Trial by error: mijn brief aan Professor Chew-Graham over METRIC 28/1/19
• Trial by error: Bristol onderzoekt Crawleypapers 31/1/19
• Trial by error: enkele bedenkingen over een aanstaand artikel 31/1/19
• Trial by error: de vragen van de verslaggever voor professor Racaniello 31/1/19
• Trial by error: wat meer over Bristols onderzoek 1/2/19
• Trial by error: een terugblik op de studie over de afwezigheid op school 3/2/19
• Trial by error: en nog een “repliek vooraf”… 5/2/19
• Trial by error: HRA-rapport praat PACE niet goed 6/2/19
• Trial by error: BMJ past PACE-artikel van vorige week aan 12/2/19
• Trial by error: mijn vragen aan de PACE-professoren 13/2/19
• Trial by error: Brieven aan Fiona Godlee en Nigel Hawkes 18/2/19
• Trial by error: Professor Sharpe vraagt om intrekking van artikels 18/2/19
• Trial by error: de kostprijs van SOLK 25/2/19
• Trial by error: wie heeft de documenten over de schoolstudie? 4/3/19
• Trial by error: stomme studies 6/3/19
• Trial by error: grote Amerikaanse zorgverzekeraar wijzigt koers! 11/3/19
• Trial by error: mijn brief aan professor Hotopf over Bristols schoolafwezigheidsstudie 18/3/19
• Trial by error: update van Cochrane en laatste brief van Caroline Struthers 20/2/19
• Trial by error: Cochranes rapport over Courtneys klacht 12/3/19
• Trial by error: mijn verslaggeving over ME/cvs en aanverwante controverses 27/3/19
• Trial by error: mijn brief aan Kate Kelland 18/3/19
• Trial by error: de zielige reactie van CDC aan Reuters 25/3/19
• Trial by error: meer over Kaiser Permanente 1/4/19
• Trial by error: april is crowfundingmaand aan Berkeley 1/4/19
• Trial by error: Amerikaanse Top voor ME/cvs-artsen 2/4/19
• Trial by error: crowdfunding, week 1 8/4/19
• Trial by error: mijn meest recente brief aan Bristol 9/4/19
• Trial by error: crowdfunding, week 2 en meer over Sharpe en Chalder 15/4/19µ
• Trial by error: update over Reuters 18/4/19
• Trial by error: ik kom even terug op het verhaal in Reuters 21/4/19
• Trial by error: crowdfunding, week 3: je donatie wordt verdubbeld 22/4/19
• Trial by error: Jennie Spotila over toespraak directeur NIH 23/4/19
• Trial by error: weer een brief aan de juridische dienst van Bristol 29/4/19
• Trial by error: mijn opvolgingsbrief aan Reuters 30/4/19
• Trial by error: mijn brief over SOLK aan British Journal of General Practice 6/5/19
• Trial by error: mijn gesprek met British Journal of Medical Practice 7/5/19
• Trial by error: ik schreef nog maar eens aan Bristol 13/5/19
• Trial by error: crowdfunding is ten einde! 14/5/19
• Trial by error: pleidooi aan Fiona Godlee over een bekend thema 16/5/19
• Trial by error: mijn opvolgbrief aan het British Journal of Medical Practice 20/5/19
• Trial by error: Lightning Process “doeltreffend”? Dat meen je toch niet? 20/5/19
• Trial By Error: mijn meest recente brief over de studie over het Lightning Process: update 22/5/19
• Trial by error: British Journal of Medical Practice stemt in met correctie over SOLK 29/5/19
• Trial by error: Professor Edwards schrijft naar Dr Godlee van BMJ over de LP-studie 3/6/19
• Trial By Error: tijd om de LP-studie in te trekken; Brief aan Archives of Disease in Childhood 3/6/19
• Trial By Error: een FOI-aanvraag aan Bristol over LP-studie 3/6/19
• Trial By Error: terugkijk op mijn vragen aan Science Media Centre over Bristols LP-studie 3/6/19
• Trial By Error: een tweede brief aan seniorauteur LP-studie 5/6/19
• Trial By Error: opvolging van mijn opvolgingsbrief aan Dr. Segal over citatie LP-studie 5/6/19
• Trial by error: hé BJGB, waar blijft die correctie over de kostprijs van SOLK? 10/6/19
• Trial by error: BJGP-correctie op komst; BMJ blijft ons hardnekkig negeren 11/6/19
• Trial by Error: een brief aan Bristol over mijn recente FOI-verzoek; plus update 12/6/19
• Trial By Error: weer een review die de LP-studie vernoemt, dus ik klim weer in mijn pen 24/6/19
• Trial By Error: een update over de pediatrische SOLK-review 26/6/19
• Trial By Error: FOI-antwoord uit Bristol over LP-studie; correctie in BJGP over SOLK /1/7/19
• Trial By Error: mijn brief aan Professor Chew-Graham over de kostprijs van SOLK 1/7/19
• Trial By Error: bedenkingen over SOLK en Bermingham; Brief aan Professor Payne 8/7/19
• Trial By Error: Mary Dimmock over de nieuwe bewijsreview van de CDC 10/7/19
• Trial By Error: ons contact met vakblad BMJ over “correctie” LP-studie 15/7/19
• Trial By Error: Britse klinieken gaan te laks om met schade door behandeling, zegt studie 16/7/19
• Trial By Error: nieuwe GET-onzin uit Australië 29/7/19
• Trial By Error: een slecht geïnformeerd artikel in The Guardian 13/8/19
• Trial By Error: mijn interview met de Australische Dr. Don Lewis 19/8/19
• Trial By Error: Joan McParlands getuigenis over het Lightning Process 21/8/19
• Trial By Error: BMJ’s gedrag is moreel failliet – open brief aan Dr. Godlee 28/8/19
• Trial By Error: oproep tot intrekking van de LP-studie 3/9/19
• Trial By Error: hoofdauteur nieuwe bias-richtlijn Cochrane was coauteur LP-studie 31/8/19
• Trial By Error: meer over Cochranes nieuwe tool i.v.m. risico op bias 4/9/19
• Trial By Error: nog meer experts roepen Godlee op tot intrekking LP-studie 9/9/19
• Trial By Error: Dr. Godlee krijgt weer keiharde brieven van experts 11/9/19
• Trial By Error: nieuwe lading brieven aan Dr. Godlee over BMJ’s flaters i.v.m. LP-studie 16/9/19
• Trial By Error: mijn brief aan professor Chalder over de PRINCE-studie 16/9/19
• Trial By Error: mijn brief aan BMJ Open i.v.m. foute bewering over SOLK 18/9/19
• Trial By Error: hoe zit het met de Cochranereview over bewegingstherapie? 24/9/19
• Trial By Error: waar blijft Bristols rapportage over Professor Crawleys ethische misstappen? 2/10/19
• Trial By Error: meer over de herziene Cochranereview over bewegingstherapie 9/10/19
• Trial By Error: Bristols rapport op komst; slides van mijn lezing in Oxford 21/10/19
• Trial By Error: brief van HRA over doorlichting Bristolstudies 28/10/19
• Trial By Error:“Bristol, hoog tijd om uw klacht tegen Berkeley in te trekken” 29/10/19
• Trial By Error: hoe ontwijk je ethische review? (herneming) 30/10/19
• Trial By Error: Brief van HRA aan Rector van Berkeley 2/11/19
• Trial By Error: opvolgingsbrief aan Bristol 15/11/19
• Trial By Error: BMJ’s gedrag is moreel failliet – tweede open brief aan Dr. Godlee 22/11/19
• Trial By Error: nog meer experts roepen Godlee op tot intrekking LP-studie 2/12/19
• Trial By Error: Fiona Godlee blijft studie Lightning Process steunen 6/12/19
• Trial By Error: Mayo’s flutwebsite 10/12/19
• Trial By Error: mijn opiniestuk over BMJ en dr. Godlee 16/12/19
• Trial By Error: PEM is vreselijk en Fukuda is dat ook, zegt nieuwe studie 24/12/19
• Trial By Error: wankel bewijs voor tekenen van Functionele Neurologische Stoornissen 30/12/19
• Trial By Error: mijn gedachtewisseling uit 2011 met White et al over gevalsdefinitie 31/12/20
• Trial By Error: nog wat bedenkingen over Functionele Neurologische Stoornis 7/1/20
• Trial By Error: de open brief van de Deense ME-Vereniging 8/1/20
• Trial By Error: 2018 – PACE-heranalyse en expertbeoordeling van Science Media Centre 13/1/2020
• Trial By Error: CGT geeft geen voordeel voor patiënten met vergevorderde kanker, zegt studie 15/1/20
• Trial By Error: CGT en prikkelbaredarmsyndroom 24/1/20
• Trial By Error: een commerciële deal voor het digitale CGT-programma voor PDS van King’s College London 27/1/20
• Trial By Error: aanvraag bij King’s College London i.h.k.v. Vrijheid van Informatie; brief aan Mahana Therapeutics 27/1/20
• Trial By Error: meer over de deal met Mahana Therapeutics 28/1/20

• Trial By Error: mijn brief aan Professor Moss-Morris 3/2/20
• Trial By Error: mijn brief aan een van de adviseurs gastro-enterologie van Mahana 5/2/20
• Trial By Error: mijn opvolgingsbrief aan professor Rona Moss-Morris 10/2/20
• Trial By Error: nog een brief aan twee Mahana-adviseurs gastro-enterologie 11/2/20
• Trial By Error: mijn brief aan Mahana’s CEO en medestichter 11/2/20
• Trial By Error: mijn opvolgbrief aan CEO van Mahana Therapeutics 17/2/20
• Trial by error: een Australisch radio-interview met dr. Mark Guthridge uit Melbourne 19/2/20
• Trial By Error: nog een brief over Mahana; BerkeleyWellness over PDS-studie 24/2/20
• Trial By Error: wat nu? 18/3/20
• Trial By Error: King’s College London wijst mijn FOI-aanvraag af (deze post gaat niet over COVID) 7/4/20
• Trial by error: een bericht over Lupus en SOLK, niet over COVID 8/4/20
• Trial By Error: mijn verslaggeving over ME, cvs, “somatisch onverklaarde lichamelijke klachten” e.a. 9/4/20
• Trial By Error: terug naar Mahana en prikkelbaredarmsyndroom… 15/4/20
• Trial By Error: Oxford-NHS adviseert GET/CGT voor post-COVID-“CVS”-patiënten 16/4/20
• Trial By Error: Opvolging van mijn opvolgingsbrief aan Mahana 18/4/20
• Trial By Error: mijn FOI-brief over Oxfords pamflet over vermoeidheid na COVID-19 18/4/20
• Trial By Error: opvolging aanvraag Vrijheid van Informatie bij Oxford Health 20/4/20
• Een update over mijn lopende crowdfunding 20/4/20
• Trial By Error: Meer over het Mahanagedoe… 25/4/20
• Trial By Error: nog een bericht aan Mahana’s gastro-enterologische adviseurs 28/4/20
• Trial By Error: Mijn brief aan corresponderend auteur PDS-studie 5/5/20