Home » Nieuwsartikels » David Tuller » Trial By Error: terug naar het online programma voor cognitieve gedragstherapie (CGT) voor prikkelbaredarmsyndroom (PDS) van Mahana Therapeutics

Trial By Error: terug naar het online programma voor cognitieve gedragstherapie (CGT) voor prikkelbaredarmsyndroom (PDS) van Mahana Therapeutics

Geplaatst door ME-Gids
op 02/06/2020

Laatste bijwerking op 02/06/2020

Bron:

David Tuller, Virology Blog

| 5922 x gelezen

Trial By Error: King’s College London wijst mijn FOI-aanvraag af (deze post gaat niet over COVID)

David Tuller, DrPH, Virology Blog, 7 april 2020

Voordat het coronavirus zijn intrede deed, was ik aan het schrijven over een grote studie over cognitieve gedragstherapie voor prikkelbaredarmsyndroom. De studie testte het effect van cognitieve gedragstherapie via telefoon en online CGT in vergelijking met gewoonlijke zorg, op de ernst van PDS-symptomen en andere algemenere gebieden.

Hoewel het pre-COVID-tijdperk voelt als een eeuwigheid geleden, schreef ik mijn laatste post over de PDS-studie op 24 januari, dus niet veel meer dan een maand geleden. Op 9 maart – de dag waarop ik normaal gezien in Bristol moest aankomen voor de conferentie van CFS/ME Research Collaborative – kreeg ik reactie van King’s College London op een aanvraag die ik had gestuurd in het kader van vrijheid van informatie. Ik wou meer details over een licentieovereenkomst voor het online CGT-programma die de universiteit had ondertekend met een start-up uit San Francisco, Mahana Therapeutics.

Uit de studie bleek dat het online programma, in vergelijking met de gewoonlijke zorg, de symptoomernst niet klinisch significant verminderde. En toch prees Mahana Therapeutics de bevindingen over de symptoomernst aan en noemde het de gerapporteerde resultaten “drastisch” en “mogelijk levensveranderend”. Dat zijn absurde uitspraken. Ze worden niet ondersteund door de studiedata.

Het zal niemand verbazen dat King’s College London commerciële redenen aanhaalt om mijn aanvraag om informatie over deze dubieuze deal van de hand te wijzen. Ik heb de brief hieronder geplakt.

**********

Beste David,

Aanvraag om informatie onder de Wet op Vrijheid van Informatie uit 2000 (“de Wet”)

In verband met uw recente aanvraag om informatie die in het bezit is van King’s College London, schrijf ik u om u te bevestigen dat de gevraagde informatie in het bezit is van de universiteit.

Uw aanvraag

Wij ontvingen uw aanvraag om informatie op 27 januari 2020 en hebben ze behandeld als een aanvraag om informatie onder sectie 1(1) van de Wet.

U vroeg om volgende informatie:

Het bedrag dat Mahana Therapeutics heeft betaald voor de licentie op de interventie en hoe lang die geldig blijft.
De som geld die betaald zal worden door Mahana Therapeutics en ontvangen zal worden door de onderzoekers.
Hoeveel de National Health Service zal moeten betalen per patiënt die de interventie krijgt.
Een kopie van de overeenkomst met de persoonlijke informatie eruit verwijderd.

Ons antwoord

1.-4. De universiteit deelt de informatie niet, onder volgende uitzondering: Sectie 43. De Universiteit stipt aan dat de timing van deze aanvraag doorslaggevend is voor het inroepen van S43(2). De Universiteit erkent dat, na verloop van tijd, de gevoeligheid van de onder deze uitzonderingen niet gedeelde informatie wellicht zal verminderen, wat de Universiteit de kans zal geven om haar reactie opnieuw te bekijken:

Sectie 43(2)

Sectie 43(2) laat toe informatie vrij te stellen van openbaarmaking, als openbaarmaking onder deze Wet mogelijk nadelig kan zijn voor iemands commerciële belangen. De Universiteit is van mening dat, gezien de hoge mate van competitiviteit bij het afsluiten van licentieovereenkomsten en het feit dat deze overeenkomst erg recent is, de informatie die vervat zit in deze overeenkomst en het aanverwante kostenplaatje nog steeds commercieel gevoelige informatie is.

Universiteiten moeten op een uiterst competitieve markt concurreren met andere instellingen voor hoger onderwijs, en details over dealstructuren, ontwikkelingsplannen en Mahana’s commerciële bedoelingen, zouden schadelijk kunnen zijn voor toekomstige financieringsopportuniteiten van de universiteit.

Het is om die reden dat, hoewel de Universiteit het publieke belang erkent van verantwoording te tonen via openheid over het licentieproces, in dit geval de commerciële belangen van de universiteit geschaad zouden kunnen worden. Dat de universiteit in staat blijft om een bron van inkomst te behouden buiten publieke financiering om, behoort ook voor een groot deel tot het publieke belang. Op dit moment is het dus van publiek belang dat deze informatie niet wordt vrijgegeven.

Wij beschouwen het antwoord van de universiteit op uw aanvraag om informatie hiermee voltooid.

[De rest gaat over mijn recht om beroep aan te tekenen bij het Bureau van de Commissaris voor Informatie.]

https://www.virology.ws/2020/04/15/trial-by-error-revisiting-mahana-and-irritable-bowel-syndrome/

Trial By Error: terug naar Mahana en prikkelbaredarmsyndroom…

David Tuller, DrPH, Virology Blog, 15 april 2020

Terwijl de wereld worstelt met de coronavirusepidemie, roept President Trump Amerika op om terug aan het werk te gaan. Dus ik ga dan maar weer om antwoord vragen bij Mahana Therapeutics, dat in januari aankondigde dat het een licentie had genomen op een online programma voor cognitieve gedragstherapie voor prikkelbaredarmsyndroom van King’s College London.

Volgens de resultaten van de grote studie waarin het programma werd uitgetest, waren de voordelen qua symptoomernst op 12 maanden statistisch significant beter dan gewoonlijke zorg, maar klinisch niet significant, en op 24 maanden waren ze noch statistisch, noch klinisch significant. Met andere woorden: het online programma bleek een flop. En toch maakt Mahana valse reclame voor deze resultaten op hun website alsof ze “drastisch” en “mogelijk levensveranderend” zijn.

Blijkbaar zijn deze woorden onlangs verwijderd – ik zag ze vanochtend in elk geval niet meer op de website van Mahana staan. Dat is alvast een stap in de goeie richting. Maar toch blijven er enkele misleidende uitspraken op de website staan. Vanochtend stuurde ik onderstaande brief naar Robert Paull, CEO en medestichter van Mahana.

**********

Beste Mr. Paull,

In februari, voordat het coronavirus heel de wereld overspoelde, stuurde ik u twee brieven omtrent de uitgebreide, maar onjuiste beweringen die Mahana Therapeutics doet over zijn nieuwe online programma voor cognitieve gedragstherapie voor prikkelbaredarmsyndroom. Ik kreeg daar geen reactie op. Ik heb ook drie van Mahana’s gastro-enterologische adviseurs gecontacteerd. Niemand reageerde.

Ik vat het nog even samen: Mahana kondigde onlangs aan dat het een licentie heeft genomen op het online CGT-programma van King’s College London. Mijn bedenkingen gingen over uitspraken in een persbericht over de deal en op de website van Mahana, waarin klaarblijkelijk dingen gezegd werden die verder gingen dan de data uit de studie in kwestie. Het persbericht omschreef de impact van het online programma op de symptoomernst als “aanzienlijk” en “langdurig”. De website noemde de impact “drastisch” en “mogelijk levensveranderend”.

Zoals ik herhaaldelijk heb aangetoond, zijn dit onterechte beschrijvingen. Op 12 maanden waren de gerapporteerde voordelen van het online programma, in vergelijking met de gewoonlijke zorg, op de maatstaf van symptoomernst, statistisch significant, maar klinisch niet significant. Op 24 maanden waren deze gerapporteerde voordelen noch statistisch, noch klinisch significant. Met zulke zwakke resultaten als kernindicator, is het onbegrijpelijk dat Mahana überhaupt een licentie wou nemen op het product.

Intussen blijkt dat Mahana de omschrijving van de zogenaamde voordelen op zijn website heeft veranderd en ze niet meer “drastisch” en “mogelijk levensveranderend” noemt. Ik ben blij dat het bedrijf mijn bedenkingen ernstig neemt. Maar nu staat er op website te lezen dat “patiënten die deelnamen aan een digitaal CGT-programma met minimaal contact, een aanzienlijke en klinisch zinvolle vermindering ervoeren in de ernst van hun PDS.”

Dit is een holle frase, want ze zou zelfs kloppen als er slechts twee patiënten in de online arm deze “aanzienlijke en klinisch significante vermindering” in symptoomernst hadden bereikt. Het kan net zo goed gezegd worden over de arm die gewoonlijke zorg kreeg, aangezien sommige patiënten in die arm ook een “aanzienlijke en klinisch zinvolle vermindering” in symptoomernst bereikten. De vraag is hier vooral of het programma een klinisch zinvol voordeel heeft dat veel hoger ligt dan wat men kan bereiken via gewoonlijke zorg – en het belangrijkste resultaat op de schaal voor symptoomernst toont aan dat dat niet zo is.

De twee datapunten die nog steeds op uw website te zien zijn, over deze zogenaamde voordelen, zijn niet de kernbevindingen van de maatstaf PDS-symptoomernst. Ze op deze manier citeren is hoogst misleidend. Dit heb ik al eerder uitgelegd op Virology Blog, maar blijkbaar moet ik het nog eens moet uitleggen.

Volgens Mahana’s website “rapporteerde 66% van de patiënten een aanzienlijke en klinisch zinvolle vermindering in de ernst van hun PDS”.

Het klopt dat 66% van diegenen in de online CGT-arm die op 12 maanden reageerden, een scorevermindering hadden op de schaal voor PDS-symptoomernst van 50 punten of meer. (Een reductie van 50 punten of meer wordt beschouwd als klinisch significant.) Maar het klopt niet dat de meeste van die veranderingen toegeschreven kunnen worden aan het online programma, wat de uitspraken op de website wél suggereren. Mahana vermeldt niet dat 44% van diegenen in de arm die gewoonlijke zorg kreeg op 12 maanden ook een vermindering rapporteerden van 50 punten of meer op diezelfde schaal. Als je die cijfers bekijkt, dan lijkt het logisch dat velen of de meesten van die 66% in de online arm die verbeteringen sowieso gerapporteerd zouden hebben.

Bovendien maakt de site niet duidelijk dat slechts 70% van de studiedeelnemers data verschaften op 12 maanden. We kunnen niet weten wat het uiteindelijke resultaat zou zijn geweest voor de overige 30%. Dat betekent dat we geen idee hebben welk gevoel de uitgevallen deelnemers van het online programma hadden bij de behandelingen en of de behandeling hen heeft geholpen. In epidemiologische termen noemt men dat “verloren bij opvolging”.

In elk geval gebruikte de studie in haar belangrijkste analyse van de symptoomernstscores de strategie van “behandelingsintentie”, wat probeert rekening te houden met dit soort afwezige gegevens. Zoals ik al zei, lag op 12 maanden de gemiddelde score voor de online groep 35.2 punten lager dan de groep die gewoonlijke zorg kreeg – heel wat minder dan het verschil van 50 punten dat een klinisch significant verschil weergeeft voor een individu.

De website van Mahana zegt ook: “De reductie in ernst van PDS was gemiddeld tweemaal zo groot als die van patiënten die gewoonlijke zorg kregen.”

Dit is weer correct, en weer misleidend. Als de mate van verbetering klein is, dan is een mate van verbetering die twee keer zo groot is, nog steeds klein. Dat iets dubbel zo groot is, betekent niet automatisch dat er een klinisch significante verandering heeft plaatsgevonden. Statistisch gezien is vaak niet het relatieve verschil tussen twee groepen belangrijk – wat in bovenstaande bewering wordt aangehaald over de gemiddelde vermindering in PDS-ernst – maar wel het absolute verschil. Zoals ik al had opgemerkt, kwam in dit geval het absolute verschil in score tussen de gemiddelden van de groepen op 35.2 punten – een flink stuk onder de 50 punten die nodig zijn voor een klinisch significante verandering voor een individu op die schaal.

Het is jammer voor Mahana, maar dit product kan niet eerlijk in de markt worden gezet als een product met een bewezen, klinisch zinvolle impact op symptoomernst die meer effect heeft dan gewoonlijke zorg. Wellicht had Mahana de eigenlijke studieresultaten beter moeten bestuderen voordat de deal werd gesloten.

De coronavirusepidemie maakt doeltreffende online therapieën vast en zeker aantrekkelijker, maar dat verandert niks aan de onweerlegbare feiten over dit specifieke programma. Terwijl de huidige toestand natuurlijk voor wat vertraging heeft gezorgd in mijn onderzoek, roept President Trump ons op om weer aan het werk te gaan, dus daarom ga ik weer aan de slag.

Terwijl we langzaamaan weer uit de lockdown komen, ga ik de mensen opnieuw wijzen op het verschil tussen Mahana’s reclamecampagne en de eigenlijke studieresultaten. Ik hoor natuurlijk graag uw reactie.

Vriendelijke groet,

David Tuller, DrPH

Senior Fellow Volksgezondheid en Journalistiek

Center for Global Public Health

School of Public Health

University of California, Berkeley

https://www.virology.ws/2020/04/18/trial-by-error-a-follow-up-to-the-follow-up-letter-to-mahana/

Trial By Error: Opvolging van mijn opvolgingsbrief aan Mahana

David Tuller, DrPH, Virology Blog, 18 april 2020

Op de website van Mahana Therapeutics staat een verklaring van Robert Paull, de CEO en medestichter, waarin hij uitlegt dat hij persoonlijke interesse heeft in de ontwikkeling van behandelingen voor gastro-intestinale problemen omdat iemand in zijn familie daar al lange tijd last van heeft. Zijn verhaal klinkt oprecht en overtuigend.

Spijtig genoeg hebben Meneer Paull en zijn bedrijf op het verkeerde paard gewed. De enige verklaring die ik kan vinden voor deze deal met King’s College London, is dat ze hun huiswerk niet hebben gemaakt. Mahana heeft de rechten opgekocht van een product dat op geen enkele eerlijke manier in de markt kan worden gezet als bewezen doeltreffende behandeling voor het verminderen van symptoomernst voor patiënten die lijden aan prikkelbaredarmsyndroom.

Mr. Paull heeft waarschijnlijk geen idee waarom ik me zo in deze kwestie vastbijt, en ik niet van plan ben om los te laten. Ik dacht dat het misschien een goed idee was om de context aan hem uit te leggen. Dus stuurde ik hem vanochtend volgende brief.

**********

Geachte Mr. Paull,

Allereerst zou ik u willen zeggen dat ik het mooi vind dat u graag verlichting wil bieden aan patiënten die lijden aan gastro-intestinale problemen, zoals u oprecht uitlegt in uw persoonlijke verhaal op de website van Mahana Therapeutics. Het verhaal dat u vertelt over uw familie is pakkend, en ik twijfel geen moment aan uw eerlijkheid.

Voor alle duidelijkheid: ik heb absoluut niks tegen psychotherapeutische interventies voor mensen met ernstige aandoeningen, als hulpmiddel om zich aan te passen aan hun toestand en om emotionele problemen aan te pakken. Maar ik verzet me wel tegen beweringen die niet worden ondersteund door bewijs – zoals duidelijk het geval is bij dit online programma cognitieve gedragstherapie voor prikkelbaredarmsyndroom.

Misschien is het een goed idee dat ik wat toelichting geef bij mijn bedenkingen, want dat zal u helpen begrijpen waarom ik mij toespits op de licentieovereenkomst tussen Mahana en King’s College London.

In het VK is er een invloedrijke groep onderzoekers die er sterk van overtuigd is dat CGT de beste behandeling is voor zogenaamde “somatisch onverklaarde lichamelijke klachten” of SOLK. Sommigen van hen fungeren als adviseur voor de National Health Service, die psychologische behandelingen voor SOLK wil aanzwengelen. Volgens de NHS behoren zowel chronisch vermoeidheidssyndroom als prikkelbaredarmsyndroom tot die categorie. Spijtig genoeg is een deel van het onderzoek dat deze groep voortbrengt van zeer bedenkelijke kwaliteit.

Ik schrijf al enkele jaren over de PACE-studie, waarin CGT en een gradueel oefenprogramma werden getest als behandeling voor cvs. De eerste resultaten werden in 2011 gepubliceerd in The Lancet. Eén van de drie hoofdonderzoekers van PACE was ook één van de twee hoofdonderzoekers van de PDS-studie die het online CGT-programma onderzocht. Een lid van het Britse Parlement noemde PACE “één van de grootste medische schandalen van de 21ste eeuw”.

Als u PACE nog niet kent, dan stel ik voor dat u mijn 15.000 woorden tellende onderzoek leest over de flagrante methodologische en ethische fouten in die studie. Mijn onderzoek werd in oktober 2015 gepubliceerd op Virology Blog. (Virology Blog wordt beheerd door Vincent Racaniello, een professor microbiologie van Columbia University; ik heb hem bij deze brief in CC gezet.) U zou misschien ook de open brief kunnen lezen die ik opstelde over de studie en in augustus 2018 verstuurde naar The Lancet. Die brief, die scherpe kritiek gaf op de fouten in de studie en een onafhankelijke onderzoek eiste, werd ondertekend door meer dan 100 wetenschappers, artsen en andere experts, alsook door meer dan 70 patiëntengroepen uit de hele wereld.

Daar bovenop moesten twee hoofdonderzoekers van de PDS-studie vorige zomer correcties doorvoeren omwille van een grote feitelijke fout in een paper in BMJ Open over een andere klinische studie die zij hadden uitgevoerd. Die correctie werd doorgevoerd nadat ik had aangetoond dat de eerste paragraaf van de paper de kernbevinding van een belangrijke SOLK-studie fout had geciteerd – en dat terwijl de onderzoekers beweren dat ze experts zijn op het gebied van SOLK. Het effect van hun fout was, dat het kostenplaatje van SOLK voor de NHS driemaal hoger leek dan het is.

In feite herhalen leden van deze groep onderzoekers al jarenlang deze foute bewering over de kostprijs van SOLK. De kans dat toekomstig gezondheidsbeleid negatief beïnvloed wordt door valse beweringen in hoog aangeschreven studies, is spijtig genoeg groot. Het is zeker terecht om ander onderzoek van deze onderzoeksgroep met een zekere mate van scepsis te behandelen.

Het is door deze voorgeschiedenis dat mijn aandacht werd getrokken toen KCL de PDS-studie ging promoten, en Mahana vervolgens de licentieovereenkomst aankondigde. Ondanks het feit dat Mahana wellicht goede bedoelingen had, spreken de data voor zich: u bezit nu de rechten tot een programma dat niet op een eerlijke manier verkocht kan worden alsof het de symptoomernst bewezen klinisch significant vermindert, in vergelijking met gewoonlijke zorg. Mahana zou misschien wel het product in de markt kunnen zetten door eerlijk te zijn over het gebrek aan bewijs in verband met symptoomernst, maar wel aan te duiden dat er verbetering werd gerapporteerd in meer algemene domeinen, zoals werk en sociale aanpassing. Maar deze verbeteringen waren op zijn best gezegd magertjes. Bovendien was dit een ongeblindeerde studie die enkel en alleen voortging op subjectieve uitkomsten – een onderzoeksontwerp dat een hoog risico op vooringenomenheid in zich houdt. Dus zelfs deze beperkte verbeteringen kunnen niet zomaar voor waar worden aangenomen.

In elk geval, zoals ik al vaker heb gezegd, ondersteunt de studie simpelweg niet wat Mahana tot hier toe heeft beweerd – zelfs na het verwijderen van overdreven beweringen over “drastische” en “mogelijk levensveranderende” resultaten. Ik hoop dat regulatoren in het VK en de VS die realiteit onder ogen zullen zien.

Vriendelijke groet, David David Tuller, DrPH

Senior Fellow Volksgezondheid en Journalistiek

Center for Global Public Health

School of Public Health

University of California, Berkeley

https://www.virology.ws/2020/04/25/trial-by-error-more-on-the-mahana-mess/

Trial By Error: Meer over het Mahanagedoe …

25 april 2020

Voor diegenen die dit stuk en/of mijn werk in het algemeen waarderen, geef ik nog even de link naar mijn lopende crowdfunding van UC Berkeley: https://www.me-gids.net/module-ME_CVS_docs-viewpub-tid-1-pid-2274.html [Deze crowdfunding is intussen afgerond en behaalde het vooropgestelde doel van $40.000, n.v.d.r.]

**********

David Tuller, DrPH, Virology Blog, 25 april 2020

Vandaag stuurde ik een derde brief naar Dr. Mel Heyman, een prominente gastro-enteroloog aan de University of California in San Francisco. Dr. Heyman is één van Mahana Therapeutics’ wetenschappelijke adviseurs. Ik probeer al een tijdje uit te vissen waarom dat bedrijf besliste om een licentie te kopen op een online CGT-programma voor prikkelbaredarmsyndroom. Per slot van rekening toonde een grote studie aan dat het programma niet zorgde voor klinisch significante voordelen op vlak van symptoomernst, in vergelijking met gewoonlijke zorg.

Zoals ik voordien al opmerkte, heeft Mahana mijn kritiek indirect bevestigd, door de daling in symptoomernst te beschrijven met de belachelijke woorden “drastisch” en “mogelijk levensveranderend”. Er bestaan natuurlijk marketingtrucjes genoeg om te verdoezelen dat een programma niet het beloofde effect heeft. Maar Mahana’s wetenschappelijke adviseurs zouden wel duidelijk moeten maken of ze al dan niet geloven dat dit programma klinisch significante voordelen biedt in het verminderen van symptoomernst.

**********

Beste Dr. Heyman,

In februari, voor het coronavirus heel de wereld in zijn greep hield, stuurde ik u twee brieven in verband met Mahana Therapeutics’ overdreven beweringen over zijn nieuwe online CGT-programma voor prikkelbaredarmsyndroom. Ik nam ook contact op met andere gastro-enterologische adviseurs, alsook met Rob Paull, de algemeen directeur. (Ik heb Mr. Paull bij deze brief in CC gezet, alsook Vincent Racaniello, de microbioloog van Columbia die mijn posts op Virology Blog beheert.)

Dus na een korte pauze vlieg ik er weer in.

Laat ons nog even samenvatten: in januari kondigde Mahana aan dat het een licentie had genomen op het online CGT-programma van King’s College London. Ik had o.a. bedenkingen over uitspraken in een persbericht en op Mahana’s website waarin de data van de relevante studie duidelijk te fraai werden voorgesteld. Het persbericht beschreef de impact van het online programma op de symptoomernst als “aanzienlijk” en “langdurig”. De website noemde de impact “drastisch” en “mogelijk levensveranderend”.

Zoals ik meermaals heb aangeduid, zijn deze beschrijvingen onterecht. Op 12 maanden waren de gerapporteerde voordelen van het online programma in vergelijking met gewoonlijke zorg op de studiemaatstaf voor symptoomernst statistisch significant, maar klinisch niet significant. Op 24 maanden waren deze gerapporteerde voordelen noch statistisch noch klinisch significant. Gezien de zwakke resultaten op deze kernindicator, kan ik moeilijk begrijpen waarom Mahana overging tot aankoop van de licentie.

Intussen is gebleken dat Mahana de beschrijving van de zogenaamde voordelen van het programma op hun website hebben veranderd, en er niet meer wordt gesproken over “drastische” en “mogelijk levensveranderende” voordelen. Ik ben tevreden met deze wijzigingen. Maar op dit moment zegt de site dat “patiënten die deelnamen aan een digitaal CGT-programma met minimaal persoonlijk contact, een aanzienlijk en klinisch zinvolle vermindering ervoeren in de ernst van hun PDS.”

Dit is een holle frase, want ze zou zelfs kloppen als slechts twee patiënten in de online arm deze “significante en klinisch zinvolle vermindering” in symptoomernst hadden ervaren. Hetzelfde zou ook perfect gezegd kunnen worden voor de arm die gewoonlijke zorg kreeg, aangezien ten minste twee patiënten in die arm ook kwamen tot een “aanzienlijke en klinisch significante vermindering” in symptoomernst. De hamvraag is of het programma klinisch beter scoort dan wat men kan bereiken via gewoonlijke zorg – en de belangrijkste resultaten op de schaal voor symptoomernst tonen aan dat dit niet het geval is.

De twee datapunten die Mahana op de website vermeldt over deze zogenaamde voordelen, zijn niet de centrale bevindingen voor symptoomernst van PDS. Ze op die manier citeren is hoogst misleidend, zoals ik eerder heb uitgelegd op Virology Blog.

Volgens Mahana’s website “rapporteerde 66% van de patiënten een aanzienlijke en klinisch zinvolle vermindering in de ernst van hun PDS”.

Het klopt dat 66% van diegenen in de online CGT-arm die op 12 maanden antwoorden verstrekten, een score hadden op de PDS-Schaal voor Symptoomernst die minstens 50 punten lager lag – de drempel voor klinische significantie. Maar het is niet zo dat de meeste van die veranderingen toegeschreven kunnen worden aan het online programma, terwijl die uitspraak dat wél impliceert. Mahana vermeldt niet dat 44% van diegenen in de arm die gewoonlijke zorg kregen en antwoorden verschaften op 12 maanden, ook een score hadden die minstens 50 punten lager lag op diezelfde schaal. Gezien die cijfers is het waarschijnlijk dat velen of de meesten van die 66% in de online arm die verbetering sowieso gerapporteerd zouden hebben, online programma of niet.

Bovendien wordt op de site niet duidelijk gemaakt dat slechts 70% van de studiedeelnemers op 12 maanden antwoorden verschafte. We kunnen niet weten hoe de resultaten eruit hadden gezien met de overige 30% erbij – diegenen die beschouwd worden als “verloren bij opvolging”. Dat betekent dat we geen idee hebben wat de afvallers in de online arm dachten over de behandeling en of ze ermee geholpen waren. Zoals ik al had aangeduid, lag op 12 maanden de gemiddelde score voor de online groep in de behandelingsintentieanalyse 35.2 punten lager dan voor de groep die gewoonlijke zorg kreeg – heel wat minder dan het verschil van 50 punten dat beschouwd wordt als een klinisch significante verbetering.

Ook nog op Mahana’s website: “Vermindering in PDS-ernst lag gemiddeld dubbel zo hoog als die van patiënten die gewoonlijke zorg kregen.”

Ook dit klopt weer, maar toch is het ook weer misleidend. Als verbetering klein is, dan is dubbel zo veel verbetering nog steeds klein. Dat iets dubbel zo groot is, wil niet zegen dat het opeens klinisch significant wordt. Het belangrijkste cijfer is niet het relatieve verschil tussen de groepen (gebruikt in de uitspraak hierboven over gemiddelde vermindering in PDS-ernst), maar wel het absolute verschil. Zoals ik al had aangeduid, lag in dit geval het absolute verschil in score tussen het gemiddelde van de groepen op 35.2 punten – een flink stuk lager dan de 50 punten die nodig zijn voor een klinisch significante verandering.

Spijtig genoeg voor Mahana, mag dit online CGT-programma niet aangeprezen worden alsof het een klinisch significante impact heeft op de symptoomernst die verder gaat dan gewoonlijke zorg. Tijdens de corona-epidemie komt een doeltreffend online therapieprogramma natuurlijk bijzonder goed van pas, maar de data uit deze studie mogen niet naar believen verdraaid worden tot ze passen.

Dr. Heyman, staat u nog steeds achter de manier waarop Mahana de bevindingen over symptoomernst voor het online programma voorstelt, of hebt u het moeilijk met het selectieve gebruik van de uitkomstdata? Kunt u mij uitleggen waarom Mahana een licentie nam op een programma met zodanig minimale gerapporteerde voordelen in vergelijking met gewoonlijke zorg, qua vermindering van symptoomernst? Hoe bent u bij Mahana terecht gekomen? En ten slotte: krijgt u een vergoeding voor uw functie als adviseur?

Uiteraard kijk ik uit naar uw reactie.

Vriendelijke groet,

David

David Tuller, DrPH

Senior Fellow Volksgezondheid en Journalistiek

Center for Global Public Health

School of Public Health

University of California, Berkeley

https://www.virology.ws/2020/04/28/trial-by-error-another-nudge-to-Mahana’s-gasteroenterology-advisers/

Trial By Error: nog een bericht aan Mahana’s gastro-enterologische adviseurs

David Tuller, DrPH, Virology Blog, 28 april 2020

In februari jl. schreef ik naar enkele wetenschappelijke adviseurs van Mahana Therapeutics om hen te wijzen op de ongegronde beweringen die het bedrijf deed over de impact van hun online programma op de symptomen van prikkelbaredarmsyndroom. Twee van hen, Dr. Peter Lu en Dr. Carlo di Lorenzo, zijn gastro-enterologen in Nationwide Children’s Hospital, een gerenommeerd medisch centrum in Columbus in Ohio.

Door de coronatoestand heb ik de zaak de voorbije twee maanden even laten rusten. Tijdens diezelfde periode bleef Mahana op zijn website het online programma fout voorstellen. Het bedrijf lijkt nog steeds te hopen dat dit programma zal voldoen aan de normen van de Amerikaanse en Britse regelgevende instanties. Misschien denkt Mahana dat gezondheidsagentschappen niet zullen merken dat de gerapporteerde voordelen van het programma in vergelijking met gewoonlijke zorg, op vlak van vermindering van symptoomernst, echt niet klinisch significant genoemd kunnen worden.

Tijdens het weekend stuurde ik een kort opvolgingsbericht naar Dr. Lu en Dr. di Lorenzo, dat leek op het bericht dat ik eerder verstuurde naar een andere adviseur gastro-enterologie, Dr. Mel Heyman van University of California in San Francisco. In CC zette ik Mahana’s CEO, Rob Paull, en Professor Racaniello.

**********

Beste Dr. Lu en Dr. Di Lorenzo,

In februari, voordat het coronavirus alles overheerste, stuurde ik u een brief in verband met de overdreven beweringen die Mahana Therapeutics doet over zijn nieuwe online CGT-programma voor prikkelbaredarmsyndroom. Ik contacteerde ook Rob Paull, de uitvoerend directeur. (Ik heb Mr. Paull bij deze brief in CC gezet, alsook Professor Vincent Racaniello, een microbioloog van Columbia op wiens website Virology Blog ik mijn werk mag posten.)

Intussen heb ik de zaak terug opgepikt.

Even ter herinnering: in januari kondigde Mahana aan dat het een licentie had genomen op het online CGT-programma van King’s College London. Ik had o.a. bedenkingen over beweringen, in een persbericht en op de website van Mahana, die duidelijk verder gingen dan de data uit de betrokken studie. Het persbericht omschreef de impact van het online programma op de symptoomernst als “aanzienlijk” en “langdurig”. De website noemde de impact “drastisch” en “mogelijk levensveranderend”.

Zoals ik heb aangetoond, zijn deze omschrijvingen niet gegrond. Op 12 maanden waren de gerapporteerde voordelen van het online programma in vergelijking met gewoonlijke zorg op de studiemaatstaf voor symptoomernst statistisch significant, maar klinisch niet significant. Op 24 maanden waren deze gerapporteerde voordelen noch statistisch, noch klinisch significant. Gezien de zwakke resultaten voor deze belangrijke indicator begrijp ik niet waarom Mahana überhaupt een licentie voor dit product wou aankopen.

Intussen is gebleken dat Mahana op zijn website de omschrijving van de zogenaamde voordelen van het programma heeft veranderd en ze niet langer beschrijft als “drastisch” en “mogelijk levensveranderend”. Ik ben blij met deze wijziging. De website stelt op dit moment echter nog steeds dat “patiënten die deelnamen aan een digitaal CGT-programma met minimaal persoonlijk contact een significante en klinisch zinvolle vermindering ervoeren in hun PDS.”

Dit is een holle frase, want ze zou zelfs kloppen als slechts twee patiënten in de online arm deze “significante en klinisch zinvolle vermindering” in symptoomernst hadden ervaren. Hetzelfde zou ook perfect gezegd kunnen worden over de arm die gewoonlijke zorg kreeg, aangezien ten minste twee patiënt in die arm ook kwamen tot een “aanzienlijke en klinisch significante vermindering” in symptoomernst. De hamvraag is of het programma klinisch beter scoort dan wat men kan bereiken via gewoonlijke zorg. De belangrijkste resultaten op de schaal voor symptoomernst tonen aan dat dit niet het geval is.

Volgens Mahana’s website “rapporteerde 66% van de patiënten een aanzienlijke en klinisch zinvolle vermindering in de ernst van hun PDS”.

Het klopt dat 66% van diegenen in de online CGT-arm die op 12 maanden antwoorden verstrekten, een score hadden op de PDS-Schaal voor Symptoomernst die minstens 50 punten lager lag – de drempel voor klinische significantie. Maar het is niet zo dat de meeste van die veranderingen toegeschreven kunnen worden aan het online programma, terwijl die uitspraak dat wél impliceert. Mahana vermeldt niet dat 44% van diegenen in de arm die gewoonlijke zorg kreeg en antwoorden verschaften op 12 maanden, ook een score hadden die minstens 50 punten lager lag op diezelfde schaal. Gezien die cijfers is het waarschijnlijk dat velen of de meesten van die 66% in de online arm die verbetering sowieso gerapporteerd zouden hebben, online programma of niet.

Bovendien wordt op de site niet duidelijk gemaakt dat slechts 70% van de studiedeelnemers op 12 maanden antwoorden verschaften. We kunnen niet weten hoe de resultaten eruit hadden gezien met de overige 30% erbij – diegenen die beschouwd worden als “verloren bij opvolging”. Dat betekent dat we geen idee hebben wat de afvallers in de online arm dachten over de behandeling en of ze ermee geholpen waren. Zoals ik al had aangeduid, lag op 12 maanden de gemiddelde score voor de online groep in de behandelingsintentieanalyse 35.2 punten lager dan voor de groep die gewoonlijke zorg kreeg – heel wat minder dan het verschil van 50 punten dat beschouwd wordt als een klinisch significante verbetering.

Ook nog op Mahana’s website: “Vermindering in PDS-ernst lag gemiddeld dubbel zo hoog als die van patiënten die gewoonlijke zorg kregen.”

Ook dit klopt weer, maar toch is het ook weer misleidend. Als verbetering klein is, dan is dubbel zo veel verbetering nog steeds klein. Dat iets dubbel zo groot is, wil niet zeggen dat het opeens klinisch significant wordt. Het belangrijkste cijfer is niet het relatieve verschil tussen de groepen (gebruikt in de uitspraak hierboven over gemiddelde vermindering in PDS-ernst), maar wel het absolute verschil. Zoals ik al had aangeduid, lag in dit geval het absolute verschil in score tussen het gemiddelde van de groepen op 35.2 punten – een flink stuk lager dan de 50 punten die nodig zijn voor een klinisch significante verandering.

Dr. Lu en Dr. di Lorenzo, staat u nog steeds achter de manier waarop Mahana de bevindingen over symptoomernst voor het online programma voorstelt, of hebt u het moeilijk met het selectieve gebruik van de uitkomstdata? Kunt u mij uitleggen waarom Mahana een licentie nam op een programma met zodanig minimale gerapporteerde voordelen in vergelijking met gewoonlijke zorg, qua vermindering van symptoomernst? Hoe bent u bij Mahana terecht gekomen? En ten slotte: krijgt u een vergoeding voor uw functie als adviseur?

Uiteraard kijk ik uit naar uw reactie.

Vriendelijke groet, David

David Tuller, DrPH

Senior Fellow Volksgezondheid en Journalistiek

Center for Global Public Health

School of Public Health

University of California, Berkeley

https://www.virology.ws/2020/05/05/trial-by-error-my-letter-to-ibs-studys-corresponding-author/

Trial By Error: Mijn brief aan corresponderend auteur PDS-studie

David Tuller, DrPH, Virology Blog, 5 mei 2020

Ik ga stilaan weer aan het werk, en ga dus ook weer door met de kwestie rond Mahana Therapeutics, die zijn nieuwe online CGT-programma voor prikkelbaredarmsyndroom nog steeds fout voorstelt. In januari kondigde de start-up aan dat het een licentie had genomen op het programma van King’s College London, gebaseerd op een grootschalige studie die vorig jaar werd gepubliceerd in Gut, een BMJ-vakblad.

De deal lijkt wel een triomf voor de gebakken lucht. Zelfs uit een diagonale lezing van de studieresultaten valt op dat het online programma geen klinisch significante voordelen gaf in vergelijking met de standaardbehandeling, op vlak van het verminderen van symptoomernst op 12 maanden. Om begrijpelijke redenen had ik mijn werk omtrent deze kwestie even stopgezet. Maar intussen ga ik er weer tegenaan. Eerder vandaag stuurde ik volgende brief naar Hazel Everitt, de corresponderende auteur van de studie in Gut. Zij is huisarts en professor eerstelijnszorgonderzoek aan de Engelse University of Southampton.

**********

Beste Dr. Everitt,

Ik ben een senior fellow volksgezondheid en journalistiek aan het Center for Global Public Health aan de University of California in Berkeley. Ik schrijf regelmatig over onderzoek op ziekten uit de categorie van de zogenaamde “somatisch onverklaarde lichamelijke klachten”. Veel van mijn werk verschijnt op Virology Blog, een wetenschapssite die beheerd wordt door Vincent Racaniello, een professor microbiologie aan Columbia.

Ik schrijf u, aangezien u corresponderend auteur bent van de ACTIB-studie, én wetenschappelijk adviseur voor Mahana Therapeutics, zoals op hun website staat geschreven. In januari en februari rapporteerde ik in meerdere posts op Virology Blog dat Mahana ongegronde beweringen deed over het online CGT-programma voor prikkelbaredarmsyndroom dat u en uw collega’s hebben uitgetest in de studie. Ik gaf ook kritiek op de studie zelf.

Het ziet ernaar uit dat het bedrijf het programma wil promoten bij regulatoren in het VK en in de VS, alsof het gaat om een evidence-based behandeling die leidt tot klinisch significante verlichting van de symptoomernst van PDS. Maar deze bewering gaat veel verder dan de resultaten in ACTIB. Mahana zou ten hoogste mogen beweren dat het programma erg matige voordelen aantoonde op meer algemene vlakken, zoals werk en sociale aanpassing.

Voordat de pandemie de kop opstak, had ik al contact opgenomen met Rob Paull, de uitvoerend directeur, en enkele van Mahana’s adviseurs. Ik kreeg van niemand reactie. Op dit moment probeer ik, ondanks de coronatoestand, de draad weer op te pikken, vooral omdat de Mahanawebsite nog steeds misleidende informatie verspreidt.

(Ik heb Mr. Paull in CC gezet, en ook Professor Racaniello. Voor de volledigheid deel ik nog mee dat ik deze brief ook zal posten op Virology Blog.)

Even ter herhaling: in januari kondigde Mahana aan dat het een licentie had genomen op het online CGT-programma van King’s College London. Ik had o.a. bedenkingen over uitspraken in een persbericht en op Mahana’s website die de data van de ACTIB-studie duidelijk te fraai voorstelden. Het persbericht beschreef de impact van het online programma op de symptoomernst als “aanzienlijk” en “langdurig”. De website noemde ze “drastisch” en “mogelijk levensveranderend”.

Zoals ik meermaals heb aangeduid, zijn deze beschrijvingen onterecht. Op 12 maanden waren de gerapporteerde voordelen van het online programma in vergelijking met gewoonlijke zorg op de studiemaatstaf voor symptoomernst statistisch significant maar klinisch niet significant. Op 24 maanden waren deze gerapporteerde voordelen noch statistisch noch klinisch significant. Gezien de zwakke resultaten voor deze kernindicator, kan ik moeilijk begrijpen waarom Mahana overging tot aankoop van de licentie.

Intussen is gebleken dat Mahana de beschrijving van de zogenaamde voordelen van het programma op hun website hebben veranderend, en er niet meer wordt gesproken over “drastische” en “mogelijk levensveranderende” voordelen. Ik ben tevreden met deze wijzigingen. De site zegt op dit moment echter dat “patiënten die deelnamen aan een digitaal CGT-programma met minimaal persoonlijk contact, een aanzienlijke en klinisch zinvolle vermindering ervoeren in de ernst van hun PDS.”

Dit is een holle frase, want ze zou zelfs kloppen als slechts twee patiënten in de online arm deze “significante en klinisch zinvolle vermindering” in symptoomernst hadden ervaren. Hetzelfde zou ook perfect gezegd kunnen worden over de arm die gewoonlijke zorg kreeg, aangezien ten minste twee patiënt in die arm ook kwamen tot een “aanzienlijke en klinisch significante vermindering” in symptoomernst.De hamvraag is of het programma klinisch beter scoort dan wat men kan bereiken via gewoonlijke zorg. En de belangrijkste resultaten op de schaal voor symptoomernst tonen aan dat dit niet het geval is, zoals ik eerder al aanduidde.

De twee datapunten die Mahana op de website vermeldt over deze zogenaamde voordelen, zijn niet de centrale bevindingen voor symptoomernst van PDS. Ze zonder context citeren is hoogst misleidend, zoals ik eerder heb uitgelegd op Virology Blog.

Volgens Mahana’s website “rapporteerde 66% van de patiënten een aanzienlijke en klinisch zinvolle vermindering in de ernst van hun PDS”.

Bovendien wordt op de site niet duidelijk gemaakt dat slechts 70% van de studiedeelnemers op 12 maanden antwoorden verschaften. We kunnen niet weten hoe de resultaten eruit hadden gezien met de overige 30% erbij – diegenen die in epidemiologische termen beschouwd worden als “verloren bij opvolging”. Dat betekent dat we geen idee hebben wat de afvallers in de online arm dachten over de behandeling en of ze ermee geholpen waren. Zoals ik al had aangeduid, lag op 12 maanden de gemiddelde score voor de online groep in de behandelingsintentieanalyse 35.2 punten lager dan voor de groep die gewoonlijke zorg kreeg – heel wat minder dan het verschil van 50 punten dat beschouwd wordt als een klinisch significante verbetering.

Ook nog op Mahana’s website: “Vermindering in PDS-ernst lag gemiddeld dubbel zo hoog als die van patiënten die gewoonlijke zorg kregen.”

Ook dit klopt weer, maar toch is het ook weer misleidend. Als de verbetering klein is, dan is dubbel zo veel verbetering nog steeds klein. Dat iets dubbel zo groot is, wil niet zegen dat het opeens klinisch significant wordt. Het belangrijkste cijfer is niet het relatieve verschil tussen de groepen (gebruikt in de uitspraak hierboven over gemiddelde vermindering in PDS-ernst), maar wel het absolute verschil. Zoals ik al had aangeduid, lag in dit geval het absolute verschil in score tussen het gemiddelde van de groepen op 35.2 punten – een flink stuk lager dan de 50 punten die nodig zijn voor een klinisch significante verandering.

Spijtig genoeg voor Mahana, kan dit online CGT-programma niet aangeprezen worden alsof het een klinisch significante impact heeft op de symptoomernst en meer effect heeft dan gewoonlijke zorg. Tijdens de corona-epidemie komt een doeltreffend online therapieprogramma natuurlijk bijzonder goed van pas, maar de data uit de ACTIB-studie mogen niet naar believen verdraaid worden tot ze passen.

Dr. Everitt, dit zijn mijn vragen aan u:

Staat u nog steeds achter de manier waarop Mahana de bevindingen over symptoomernst voor het online programma voorstelt, of hebt u het moeilijk met het selectieve gebruik van de uitkomstdata?

Kan u mij uitleggen waarom Mahana een licentie nam op een programma met zodanig minimale gerapporteerde voordelen in vergelijking met gewoonlijke zorg, qua vermindering van symptoomernst?

Hoe begon uw eigen samenwerking met Mahana, en wordt u voor uw rol van adviseur vergoed of niet?

Bedankt voor uw aandacht voor deze kwestie.

Vriendelijke groet, David

David Tuller, DrPH

Senior Fellow Volksgezondheid en Journalistiek

Center for Global Public Health

School of Public Health

University of California, Berkeley