Home » Nieuwsartikels » David Tuller » Trial by Error: toonde de PDS-studie echt aan dat online CGT significant klinisch effectief is?

Trial by Error: toonde de PDS-studie echt aan dat online CGT significant klinisch effectief is?

Geplaatst door Zuiderzon
op 24/10/2021

Laatste bijwerking op 24/10/2021

Bron:

David Tuller, DrPH, Virology Blog

| 13988 x gelezen

24 juni 2021.

Vorig jaar schreef ik een aantal berichten over de ACTIB-studie, een grootschalig onderzoek naar telefonische en online cognitieve gedragstherapie (TCGT en OCGT) voor het prikkelbaredarmsyndroom (PDS). In tegenstelling tot de manier waarop de resultaten werden voorgesteld door diegenen met reputationele en financiële belangen bij het promoten ervan, toonde de studie aan dat OCGT geen klinisch significante voordelen bood ten opzichte van de gebruikelijke behandeling voor de twee primaire uitkomsten. Tenminste, dat is hoe ik de gegevens interpreteer.

Beide primaire uitkomstmaten waren zelfgerapporteerd: een schaal voor symptoomernst en een maatstaf voor impact op werk en sociaal functioneren. (Meer daarover hieronder.) Zoals het gerenommeerde vakblad Journal of Psychosomatic Research onlangs opmerkte, lopen dit soort uitkomsten een bijzonder risico op vertekening wanneer de blindering niet streng genoeg is. Aangezien in dit geval blindering niet mogelijk is, gezien de aard van de interventies, weten we al op voorhand dat de resultaten doordrenkt zijn van een onbekende hoeveelheid vooringenomenheid. Met andere woorden, marginale of bescheiden gerapporteerde voordelen vallen ruim binnen het verwachte bereik, gezien de vertekening die inherent is aan een niet-geblindeerd onderzoek dat gebaseerd is op subjectieve uitkomsten.

In januari 2020 kondigde Mahana Therapeutics, een start-up uit San Francisco, aan dat het de licentierechten op het webgebaseerde programma had gekocht. In de studie heette het programma Regul8; Mahana doopte het om tot Parallel. (Snapt iemand die nieuwe naam? Parallel aan wat?) Ik merkte in blogposts en in brieven aan Mahana-vertegenwoordigers en -adviseurs op dat het bedrijf overdreven beweringen deed over de vermeende voordelen van het programma.

Sindsdien heeft de Amerikaanse Food and Drug Administration het goedgekeurd voor de markt, hoewel een product als dit niet wordt beoordeeld volgens dezelfde (zogenaamd) strenge normen die voor geneesmiddelen worden gebruikt. Het heeft ook een CE-markering gekregen in het VK, waardoor het blijkbaar ook daar kan worden verkocht. (Gezien de Brexit zijn de implicaties van de CE-markering voor de Europese verkoop voor mij, of voor eender wie, niet helemaal duidelijk.) De regelgevende lat lig in dit geval niet erg hoog. Volgens de relevante Britse overheidsinstantie “is de CE-markering geen keurmerk, noch een garantie dat het product voldoet aan alle vereisten van de relevante EU-wetgeving inzake productveiligheid.”

Niet lang geleden heeft hetzelfde onderzoeksteam kosteneffectiviteitsgegevens uit de PDS-studie gepubliceerd. Mijn vriend en collega Keith Geraghty, een onderzoeker aan University of Manchester, heeft getweet over dit nieuwe artikel en enkele van de aannames erin. Ik heb er nog niet diepgaand naar gekeken, maar wat ik niet snap is hoe een interventie kosteneffectief kan zijn als ze niet echt klinisch effectief is. Hoe kan zoiets kosteneffectief zijn?

De samenvatting van de nieuwe kosteneffectiviteitsstudie begint met de volgende zin: “Telefoontherapeut heeft CGT (TCGT) en online CGT (OCGT) geleverd, het is aangetoond dat ze significant klinisch effectiever zijn dan behandeling zoals gewoonlijk (TAU) bij het verminderen van symptoomernst van PDS en impact na 12 maanden bij volwassenen met refractaire PDS.”

We moeten hierbij opmerken dat de resultaten voor TCGT en OCGT in de PDS-studie niet hetzelfde waren. TCGT scoorde over het algemeen beter op primaire en secundaire maatstaven. Dat is niet verwonderlijk. Het grotere persoonlijke contact kan mogelijk leiden tot grotere therapeutische effecten; het kan ook leiden tot een grotere vertekening in de reacties van deelnemers. Het is heel moeilijk om die twee fenomenen van elkaar te onderscheiden.

Maar Mahana brengt OCGT op de markt, niet TCGT – en sleutelfiguren in het academisch onderzoek hebben financiële belangen bij het product. De verklaring dat de interventies “aanzienlijk meer klinisch effectief zijn dan de gebruikelijke behandeling” in het nieuwe rapport over kosteneffectiviteit, bracht me ertoe om nog eens te kijken naar de resultaten op 12 maanden van ACTIB voor de twee co-primaire uitkomsten. (Secundaire uitkomsten zijn secundaire uitkomsten; ze mogen niet naar voren worden geschoven als bewijs van succes wanneer primaire uitkomsten nulresultaten opleveren.) En als het gaat om “het verminderen van de ernst en de impact van PDS-symptomen na 12 maanden”, lijkt de bovenstaande zin uit het rapport over kosteneffectiviteit niet consistent te zijn met de specifieke OCGT-gegevens voor de primaire uitkomsten.

**********

Twee co-primaire uitkomsten voor de PDS-studie

De twee co-primaire uitkomsten waren de resultaten op 12 maanden voor de PDS-Schaal voor Symptoomernst (PDS-SSE) en de Werk- en Sociale Aanpassingsschaal (WSAS). In eerdere berichten heb ik me gericht op de resultaten voor de eerste – een schaal van 500 punten waarin hogere scores ernstigere symptomen vertegenwoordigen. Een vermindering van ten minste 50 punten vertegenwoordigt wat wordt beschouwd als een klinisch significante vermindering van de symptoomernst van een individu. In deze studie had de OCGT-groep na 12 maanden een gemiddelde score van 35,2 punten lager dan de TAU-arm. Dat is een stuk minder dan het verschil van 50 punten dat als klinisch significant wordt beschouwd voor een individu.

Ondanks deze drempel van 50 punten lijken de onderzoekers een soort van statistische uitweg te hebben gecreëerd. Dit is wat ze schreven: “PDS-SSE wordt veel gebruikt in PDS-onderzoeken en een verandering van 50 punten bij een deelnemer ten opzichte van het beginpunt wordt als klinisch significant beschouwd. Wij gebruikten een verandering van 35 punten tussen de groepen als ons minimaal klinisch relevant verschil (MKRV), uitgaande van enige verbetering in de TAU-arm (15 punten placeborespons) zoals in de MIBS-studie.”

Aangezien de bevinding van 35,2 punten voor de WSAS in de OCGT-arm de door de onderzoekers aangegeven drempel van 35 punten overschrijdt, zouden ze deze resultaten als klinisch significant kunnen beschouwen. Maar het is onduidelijk waarom ze het MKRV-doel voor hun interventie met 15 punten zouden moeten verlagen vanwege een veronderstelde placeborespons, ook al rapporteerde een eerdere studie een dergelijke bevinding.

De TAU-aandoening is bedoeld om min of meer de gebruikelijke zorg te repliceren die patiënten ontvangen. Om als effectief te worden beschouwd, moet de interventie een klinisch significant voordeel aantonen in vergelijking met TAU - niet in vergelijking met het beginpunt. In feite verwijst de eerste zin van de samenvatting van het nieuwe artikel over kosteneffectiviteit specifiek naar de vergelijking met TAU - niet met de beginpuntcijfers. Klinische onderzoeken zijn immers bedoeld om de effecten van interventies te beoordelen, naast veranderingen bij degenen die ze niet krijgen.

De onderzoekers rapporteerden dan weer wel dat een groter percentage van degenen die de PDS-SSE beantwoordden na 12 maanden in de OCGT-arm, een verbetering van ten minste 50 punten rapporteerden, vergeleken met het percentage in de TAU-arm. Maar 30% van de deelnemers gaf op 12 maanden geen respons voor de PDS-SSE, dus hun antwoorden zijn onbekend. Dat maakt de interpretatie van deze gegevens lastig. Misschien waren degenen die de interventie ontvingen, meer geneigd om positieve resultaten te rapporteren dan degenen die alleen TAU kregen, zelfs als die laatsten ook vonden dat ze in dezelfde mate waren verbeterd. We weten het gewoon niet.

Met andere woorden, deze gerapporteerde bevindingen houden geen rekening met de grote hoeveelheid ontbrekende gegevens. Daarentegen werden de aangewezen primaire uitkomsten – de verschillen in de gemiddelde scores van de armen na 12 maanden – specifiek aangepast om dat probleem aan te pakken.

De andere co-primaire uitkomstmaat, de WSAS, is een schaal van 40 punten om te beoordelen hoe een ziekte of medische aandoening het werk en het sociale leven beïnvloedt. Net als bij de PDS-SSE vertegenwoordigen lagere scores betere resultaten. In de PDS-studie waren de verschillen in gemiddelde scores na 12 maanden tussen de interventie-armen en de TAU-armen bescheiden: een verschil van 3,5 punten voor TCGT en een verschil van 3 punten voor OCGT. De paper bevatte geen MKRV voor die maatregel, in tegenstelling tot de PDS-SSE.

Leden van hetzelfde onderzoeksteam hebben onlangs echter een studie gepubliceerd over CGT als behandeling voor zogenaamde “aanhoudende lichamelijke klachten” (ALK), een categorie die PDS omvat; in feite rekruteerde de proef een aanzienlijk aantal deelnemers uit de gastro-enterologie. In dit geval wezen de onderzoekers de WSAS aan als de enige primaire uitkomstmaat en identificeerden ze verder een verschil van 3,6 punten als het MKRV voor die meting. Zoals gemeld, vielen de voordelen voor de interventie ruim onder het MKRV voor die meting.

Als het MKRV van een verschil van 3,6 punten op de WSAS wordt toegepast op de bevindingen van het PDS-onderzoek – en ik zie geen reden waarom dat niet zo zou zijn, vooral gezien de overlap in onderzoeksteams en patiëntenpopulaties – is de conclusie duidelijk. Noch de TCGT, noch de OCGT leverden klinisch significante voordelen op ten opzichte van TAU op die maatstaf.

Toch beweren de onderzoekers nog steeds in de eerste zin van het abstract van hun nieuwe kosteneffectiviteitsrapport dat zowel TCGT als OCGT een klinisch significant effect hebben op het verminderen van de ernst en impact van de symptomen. En het OCGT-programma wordt met hetzelfde argument op de markt gebracht. Aangezien de co-primaire resultaten van de grote studie van OCGT geen klinisch significante vermindering aantonen in de symptoomernst en geen klinisch significant effect aantonen op het verbeteren van werk en sociale aanpassing na 12 maanden, zijn deze beweringen zeer twijfelachtig.