Home » Nieuwsartikels » David Tuller » Trial by error, vervolgd: meer nonsens van The Lancet Psychiatry

Trial by error, vervolgd: meer nonsens van The Lancet Psychiatry

Geplaatst door ME-Gids
op 17/03/2016

Laatste bijwerking op 17/03/2016

Bron:

| 10722 x gelezen

Virology Blog, David Tuller, Dr.PH, 19 januari 2016

David Tuller is een wetenschappelijk coördinator van het huidige masterprogramma in volksgezondheid en journalistiek aan de Universiteit van Californië, Berkeley.

De PACE-auteurs hebben lange tijd een grote vaardigheid getoond in het ontwijken van vragen die zij niet willen beantwoorden. Zij deden dit in hun reactie op correspondentie over de originele paper in The Lancet uit 2011. Zij deden dit opnieuw in de correspondentie over de paper over herstel uit 2013, en in hun reactie op mijn serie op Virology Blog. Nu hebben zij dit gedaan in hun antwoord op kritiek op hun meest recente paper over de follow-updata, in oktober vorig jaar [2015] gepubliceerd in The Lancet Psychiatry.

(Ze publiceerden de paper slechts een week nadat mijn onderzoek werd gepubliceerd. Was dat geen gelukkig toeval?)

De resultaten van de follow-up in The Lancet Psychiatry waren nihil: Na twee jaar of langer na randomisatie waren er geen verschillen in de gerapporteerde niveaus van vermoeidheid en fysiek functioneren tussen degenen die werden toegewezen aan een van de groepen. De resultaten lieten zien dat cognitieve gedragstherapie en graduele oefentherapie geen langetermijnvoordelen opleverden, omdat degenen in de andere twee groepen verbeteringen rapporteerden gedurende het jaar of langer nadat de studie was afgerond. Toch probeerden de auteurs, opnieuw, een draai te geven aan deze zooi alsof het een succes was.

In hun brieven leverden James Coyne, Keith Laws, Frank Twisk* en Charles Shepherd allen scherpe en effectieve kritiek op de follow-upstudie. Ik zal anderen de tegenwerpingen over het ontwerp van de studie en de statistische analyse onderuit laten halen. Ik wil mij opnieuw focussen op het onderwerp van de nieuwsbrief voor deelnemers tijdens de PACE-studie, die zij in hun antwoord in Lancet Psychiatry opnieuw verdedigen.

*Lees ook

Gedragstherapie en graduele oefentherapie zijn niet effectief voor CVS en ME

Hier is wat zij schrijven: “Een van deze nieuwsbrieven bevatte positieve citaten van deelnemers. Omdat deze deelnemers uit al onze vier behandelingsgroepen kwamen (die niet werden genoemd) waren deze citaten [geen] … bron van vooringenomenheid.”

Laten we eens samenvatten wat ik hierover in mijn onderzoek geschreven heb. De nieuwsbrief werd in december 2008 gepubliceerd, toen ten minste een derde van de steekproef van de studie nog steeds onder behandeling was. De nieuwsbrief bevatte zes enthousiaste getuigenissen van deelnemers over hun positieve ervaringen met de studie, naast een zevende verklaring van een huisarts van een van de deelnemers. Geen enkele van de zeven uitspraken vertelde negatieve uitkomsten, en brengt daarbij vermoedelijk aan de resterende deelnemers over dat de studie een tevredenheidspercentage van 100% produceerde. De auteurs argumenteren dat de afwezigheid van de specifieke namen van de studiegroepen betekent dat deze citaten geen “bron van vooringenomenheid” konden zijn.

Dit is een absurde bewering. De PACE-auteurs geloven blijkbaar dat het geen probleem is om al je deelnemers in een positieve richting te beïnvloeden, en dat dit geen vooringenomenheid bewerkstelligt. Zij hebben dit argument meerdere malen herhaald. Ik vind het moeilijk te geloven dat zij het serieus nemen, maar misschien doen zij dit werkelijk. In ieder geval, niemand anders zou dit moeten doen. Zoals ik al eerder heb geschreven, hebben zij geen idee hoe de getuigenissen iemand zouden kunnen hebben beïnvloeden in elk van de vier groepen – dus hebben zij geen grond om te beweren dat deze ongecontroleerde co-interventie hun resultaten niet veranderde.

Bovendien negeren de auteurs nu de andere significante poging in die nieuwsbrief om de mening van de deelnemers te beïnvloeden: publicatie van een artikel dat stelt dat een federale commissie voor klinische richtlijnen cognitieve gedragstherapie en graduele oefentherapie als effectieve behandelingen had geselecteerd “gebaseerd op het best beschikbare bewijs.” Gezien het feit dat de studie zelf verondersteld werd de doeltreffendheid van deze behandelingen te onderzoeken, maakte het informeren van deelnemers dat deze behandelingen al als effectief beschouwd werden, het waarschijnlijk dat de antwoorden van de deelnemers beïnvloed zijn. De PACE-auteurs zijn het hier blijkbaar niet mee eens.

We mogen niet vergeten wat topexperts over de publicatie van deze nieuwsbrief gezegd hebben en haar invloed ervan op de resultaten van de studie. “Om deelnemers te laten weten dat interventies geselecteerd zijn door een regeringscommissie ‘gebaseerd op het best beschikbare bewijs’ komt op mij over als het toppunt van amateurisme in klinisch onderzoek,” vertelde Bruce Levin mij, een biostatisticus aan Columbia University.

Mijn collega van Berkeley, epidemioloog Arthur Reingold, zei dat hij verbijsterd was toen hij zag dat de onderzoekers materiaal hadden verspreid om de interventies die onderzocht werden te promoten, of die nu genoemd werden of niet. Alleen dit feit al, stelde hij, deed hem zich afvragen of andere aspecten van de studie ook methodologische of ethische zorgen zouden oproepen.

“Gezien de subjectieve aard van de primaire uitkomsten, zou het rondbazuinen van getuigenissen van degenen die de bestudeerde interventies hadden ondergaan , een basisbeginsel van onderzoeksontwerp geweld aandoen en potentieel substantiële rapportage- en informatievooroordelen introduceren,” zei hij. “Ik kan met moeite een precedent oproepen voor een dergelijke benadering in andere therapeutische studies. Onder deze omstandigheden zou een onafhankelijke beoordeling van de studie, uitgevoerd door experts die niet betrokken waren bij het ontwerp of de uitvoering van de studie, erg op z’n plaats lijken.”