Robert Courtney (op Engelstalige fora beter bekend als ‘Bob’) heeft zich, samen met andere ME-patiënten, enorm ingezet voor het intrekken van de Cochranereview over bewegingstherapie voor ‘CVS’.
-In de eerste blog vertelt Coyne, a.d.h.v. zijn persoonlijke briefwisseling met Bob, over de gedwongen opname die mogelijk mede tot Bobs overlijden hebben geleid. Deze tekst is niet geschikt voor gevoelige lezers.
-In de tweede blog post Coyne integraal de klachtenbrief van Robert Courtney aan Cochrane.
De klachtenbrief aan Cochrane is erg lang. Voor wie moeite heeft met lange stukken tekst, geven we hier (met dank aan James Coyne) directe links naar de twee belangrijkste delen van de tekst, nl. een kernfragment uit de brief en een opsomming van de belangrijkste punten van de klacht.
Het verloren laatste jaar van één van de twee sleutelfiguren voor het intrekken van de Cochranereview over lichaamsbeweging
James C Coyne, Coyne of the Realm, 19 oktober 2018
Een onvolledig verhaal dat dringend verteld moet worden. We moeten een debat op gang trekken.
Heeft de strijd voor het intrekken van de Cochranereview geleid tot de dood van Robert Courtney? Of gebeurde het omdat zijn basismensenrechten geschonden werden door het medische systeem?
LONDEN, 17 oktober (Reuters) – Een gerespecteerd vakblad gaat een vaak geciteerde bewijsreview intrekken over een ziekte die bekend staat als chronisch vermoeidheidssyndroom (CVS), onder felle kritiek en druk van activisten en patiënten.
Foto Robert Courtney
Burgerwetenschappers en patiënt-belangenbehartigers Tom Kindlon en Robert Courtney speelden een beslissende rol in de terugtrekking van de Cochranereview. [N.v.d.r.: Zoals eerder gemeld, bleek uit een noot van de redactie van Cochrane dat ze de review niet verwijderd hebben. Inmiddels is d.d. 30 november 2018 nog een nieuwe wijziging aangebracht door Cochrane, zie kader hieronder.]
https://www.cochranelibrary.com/cdsr/doi/10.1002/14651858.CD003200.pub7/information#history
30 november 2018
Gewijzigd
Toevoeging van nieuwe gepubliceerde nota: “Het auteursteam heeft een gereviseerde versie van deze review opnieuw ingediend, na een klacht van Robert Courtney. De Hoofdredacteur en collega’s erkennen dat het auteursteam heeft getracht om te reageren op de kritiek van Mr Courtney, maar zijn van mening dat meer werk moet gebeuren om ervoor te zorgen dat de review voldoet aan de vereiste kwaliteitsnormen, en hebben als gevolg daarvan de publicatie van de herindiening niet goedgekeurd. De review is ook aanzienlijk verouderd en moet geüpdatet worden.
Cochrane onderkent het belang van deze review en legt zich toe op het leveren van een hoogkwalitatieve review die het beste huidige bewijs weerspiegelt om te komen tot geïnformeerde beslissingen.
De Hoofdredacteur is momenteel in gesprek met collega’s en het auteursteam om te beslissen welke reeks stappen ondernomen moeten worden om te komen tot een volledige update van deze review. Deze gesprekken zullen zo snel mogelijk afgerond worden.”
In de komende dagen zal ik de begeleidende brief posten die Robert Courtney stuurde aan David Tovey, hoofdredacteur van Cochrane, samen met zijn laatste beslissende bijdrage. Robert is intussen overleden.
Ik zal ook links toevoegen naar Tom Kindlons bijdragen, die net zo belangrijk zijn.
Lezers zullen kunnen zien in deze bijdragen, die David Tuller krachtig, overtuigend en onbetwistbaar noemt, dat deze twee de titel ‘burgerwetenschapper’ meer dan verdiend hebben.
Achtergrond
Sinds 2015 was ik in contact met een adviesgroep van een twaalftal patiënten met myalgische encefalomyelitis/chronisch vermoeidheidssyndroom (ME/cvs). Ik stuur e-mails naar mezelf met deze groep in blinde kopie. De idee was dat eender wie van hen zou kunnen antwoorden, zonder dat iemand anders hun antwoord kon zien. Een aantal patiënten wenste dat soort vertrouwelijkheid, gezien de verdeeldheid binnen de patiëntengemeenschap.
Robert Courtney was een gewaardeerd, actief lid van die groep, tot hij in januari 2017 op mysterieuze wijze verdween. Patiënten hebben zo hun eigen redenen om al dan niet sociaal engagement aan te gaan. Soms kondigen ze hun afwezigheid aan, soms niet. Ik heb geleerd om afwezigheden zonder tegenspraak te respecteren, maar soms vraag ik eens rond. In het geval van Robert kwam ik van andere patiënten niets te weten, behalve dan dat het niet goed ging met hem.
In februari 2018 kwam Robert weer tevoorschijn met de e-mail die hieronder staat. Ik was ervan uitgegaan dat zijn herstel verder zou gaan en dat hij zijn verhaal zou gaan vertellen. Er waren natuurlijk nog veel meer details te vertellen, maar een paar weken later stapte hij uit het leven.
Lange, ononderbroken periodes aan huis en vaak aan bed gebonden zijn, is een van de vervloekte gevolgen van ernstige ME/cvs. Gezonde mensen moeten begrijpen dat niet alle patiënten even graag mensen thuis uitnodigen. Zelfs niet gezonde mensen die het gevoel hebben dat ze een sterke band hebben gesmeed met patiënten via sociale media.
Toch bied ik soms aan om iemand op te zoeken, als ik door Europa reis. Meestal antwoorden ze iets als: “Sorry, ik kan enkel het huis uit voor doktersafspraken en twee keer per jaar voor vakantie met familie”.
We moeten leren om dat niet als belediging aan te voelen.
Als gevolg daarvan, hebben de meeste mensen die geraakt zijn door Robert Courtney en zijn inzet, hem nooit ontmoet. De meesten kennen hem enkel van zijn sterke aanwezigheid op sociale media.
Uit MEpedia, een via crowdsourcing opgestelde encyclopedie over de wetenschap en geschiedenis rond ME en cvs:
Robert Courtney (overleden op 7 maart 2018) was een patiënt-belangenbehartiger voor Myalgische Encefalomyelitis/chronisch vermoeidheidssyndroom (ME/cvs) en een scherp criticus van de PACE-studie en het biopsychosociale model van chronisch vermoeidheidssyndroom. Hij heeft verschillende brieven geschreven over de PACE-studie die gepubliceerd werden in medische vakbladen, en hij deed ook een aanvraag op basis van de vrijheid van informatie, in een poging om ervoor te zorgen dat de auteurs van de PACE-studie de volledige data van de studie zouden vrijgeven aan het publiek voor grondig onderzoek.
De dag nadat ik onderstaande e-mail ontving, stuurde Robert Courtney zijn laatste commentaren naar David Tovey, hoofdredacteur van Cochrane.
De e-mail beschrijft de vreselijke situatie waarin hij zich in zijn laatste jaar bevond, en hoe slecht het medische systeem hem behandeld had en hem zijn elementaire mensenrechten had ontzegd. Ik denk dat het bekendmaken van zijn verhaal mensen wakker zou kunnen schudden, en zo kan dit nóg een bijdrage zijn van hem aan de waardigheid en rechten van de patiëntengemeenschap.
Een fragment uit de e-mail, onderaan herhaald.
Het ziet ernaar uit dat dit soort van mishandeling veel te vaak voorkomt bij ME-patiënten. Sinds ik uit het ziekenhuis weg ben, hebben vele patiënten mij verteld dat ze gelijkaardige voedingsmoeilijkheden hebben, en dat ze te bang zijn om medische hulp te vragen, en dat velen van hen bedreigd zijn met dwangopname of dat sommigen effectief onder dwang zijn opgenomen zijn onder de mental health act [Britse wet omtrent dwangopname in geestelijke gezondheidszorg, n.v.d.r.]. De situatie is veel erger dan ik ooit had gedacht.
– Robert “Bob” Courtney
We zullen nooit weten of Bobs vastberaden inzet voor de intrekking van de review, geleid heeft tot het instorten van zijn gezondheid. Daarover speculeren gaat verder dan het stompzinnige idee dat “stress moordend is”. Een van de belangrijkste, kenmerkende symptomen van myalgische encefalomyelitis is postexertionele malaise.
We denken meestal dat inspanning fysiek is, maar patiënten met de ernstige vorm van de ziekte leren op den duur dat langdurige emotionele prikkeling hen, binnen de 48 uur of zo, wekenlang bedlegerig kan maken. Dat geldt voor positieve emoties, zoals een verjaardagsfeest, en zeker voor negatieve emoties. In hun pogingen om slechte wetenschap uit de vakliteratuur te krijgen, moesten Bob en andere leden van de patiëntengemeenschap, naast de stress, frustratie en onzekerheid, opboksen tegen grove beledigingen en gaslighting, en dat is vandaag nog steeds aan de gang.
Na de anorexiadiagnose, herdiagnosticeerden ze mijn ME-symptomen alsof ze onderdeel waren van een somatoforme stoornis, en werd ik in een afdeling voor eetstoornispatiënten geplaatst.
– Robert “Bob” Courtney
Op zat, 17 feb, 2018 om 14:44 schreef Bob <brightonbobbob@yahoo.co.uk> :
Dag James,
Ik weet niet of je mij nog kent. Ik ben een ME-patiënt die regelmatig met je in contact was in 2016. Spijtig genoeg ging mijn gezondheid begin 2017 fel achteruit en was ik bijna tot het einde van dat jaar gehospitaliseerd. Ik had ernstige voedselintoleranties ontwikkeld en aanverwante problemen met eten en voedingsstoffen. Toen ik mezelf liet opnemen in het ziekenhuis, werd daar snel beslist dat er niets medisch aan de hand was met me, en ze gaven me de diagnose anorexia (tot mijn ontzetting en verbijstering), en ik werd geïnterneerd onder de mental health act [Britse wet omtrent dwangopname in geestelijke gezondheidszorg, n.v.d.r.] . Ik heb geen anorexia. De mate van onwetendheid, mishandeling, verwaarlozing, misbruik en slechte communicatie was onthutsend. Na de diagnose anorexia, herdiagnosticeerden ze mijn ME-symptomen alsof ze deel uitmaakten van een somatoforme stoornis, en plaatsten ze me in een afdeling voor eetstoornispatiënten. Dan kreeg ik gedwongen voeding. Het is een erg lang en verontrustend verhaal en ik zal je de details besparen. Ik zou graag willen dat een journalist mijn verhaal zou opschrijven, maar dat zal moeten wachten tot ik mijn aanhoudende gezondheidsproblemen heb aangepakt.
Spijtig genoeg lijkt het erop dat dit soort van mishandeling veel te vaak voorkomt bij ME-patiënten. Sinds ik uit het ziekenhuis weg ben, hebben vele patiënten mij verteld dat ze gelijkaardige voedingsmoeilijkheden hebben, en dat ze te bang zijn om medische hulp te vragen, en dat velen van hen bedreigd zijn met dwangopname of dat sommigen effectief onder dwang zijn opgenomen zijn onder de mental health act [Britse wet omtrent dwangopname in geestelijke gezondheidszorg, n.v.d.r.]. De situatie is veel erger dan ik ooit had gedacht. Het is pas nadat ik mijn verhaal deelde, dat mensen me benaderden en me konden vertellen wat er met hen was gebeurd. Het is zo’n gênante situatie, zowel om eetproblemen te hebben, als om onder dwang opgenomen te worden. De dwangopname is vernederend en de eetproblemen zijn ook ondraaglijk gênant. Problemen hebben met voedsel geeft je het gevoel dat je geen mens meer bent. Dus ik heb ontdekt dat vele patiënten hun verhalen voor zich houden.
Je herinnert je misschien nog dat ik in 2016 vier lange commentaren indiende bij Cochrane, met betrekking tot de review over bewegingstherapie voor chronisch vermoeidheidssyndroom.
Voordat ik naar het ziekenhuis ging, had ik ook een onvolledige kladversie geschreven van een klacht om mijn ingediende commentaar op te volgen, maar de terugval in mijn gezondheid onderbrak dat proces, dus die heb ik nog niet verstuurd.
Ik ben nu weg uit het ziekenhuis en ben klaar met de verbeteringen van de klacht en ik sta op het punt om ze te verzenden. Ik zal jou in blinde kopie zetten bij de klacht, dus deze e-mail was gewoon om je te laten weten dat je die e-mail kan verwachten. Ik zal hem waarschijnlijk binnen de 24 uur versturen. De klacht is niet zo heel bondig of zorgvuldig opgesteld, omdat ik nog steeds erg ziek ben en weinig capaciteit heb.
In elk geval wou ik je dit op voorhand laten weten. Ik hoop dat je het goed stelt. Ik ben tijdens mijn afwezigheid niet op de hoogte kunnen blijven van nieuws en activiteiten, maar ik zie dat er veel gebeurd is. Bedankt voor je voortdurende inzet.
Beste groeten,
Bob (Robert Courtney)
Mijn reacties
James Coyne <jcoynester@gmail.com>
17 feb 2018, 14:50
aan Bob
Bob, ik herinner me je heel goed als een van de helden van de patiëntenbeweging, en als een wel heel voorbeeldige held, omdat je helemaal voldoet aan mijn beeld van de burgerwetenschapper die de data verzamelt, en genoeg weet van methodologie om de ziekte te begrijpen en de PACE-mensen te verslaan. Ik ben zo blij dat je weer verschenen bent. Ik kijk uit naar wat je gaat versturen.
Hartelijke groeten,
Jim
James Coyne <jcoynester@gmail.com>
17 feb 2018, 15:11
aan Bob
Je moet vooral voor jezelf zorgen en je zo actief en goed houden als je kan. Je weet wel, het patiëntenbegrip ‘pacing’. Je bent een belangrijk rolmodel en een bron van informatie voor vele mensen.
Maar als je er klaar voor bent, kijk ik ernaar uit dat je je verhaal kan vertellen en of het overeenkomt met dat van anderen.
Met de hartelijkste groeten,
Jim
© James Coyne. Vertaling Abby, redactie Zuiderzon, ME-gids.
Hoe kan je een gebrekkige systematische review en meta-analyse ingetrokken krijgen? Een gedetailleerd voorbeeld.
James C Coyne, Coyne of the Realm, 21 oktober 2018
Robert Courtneys prachtig gedetailleerde begeleidende brief is waarschijnlijk beslissend gebleken voor de intrekking van de Cochranereview, samen met het werk van een andere burgerwetenschapper en patiënt-belangenbehartiger, Tom Kindlon.
Cochrane vereist normaalgezien instemming van de auteurs voor de intrekking van afgeronde reviews die gepubliceerd zijn. Dat in dit geval intrekking gebeurt ondanks weerstand van de auteurs, is buitengewoon. [N.v.d.r.: Zoals eerder gemeld, blijkt uit een noot van de redactie van Cochrane dat ze de review niet verwijderd hebben.]
Er kan veel geleerd worden uit deze brief en de bijgevoegde documenten: Courtney maakt op een kalme en methodologische manier duidelijk dat er doorslaggevende argumenten zijn voor het intrekken van een review die belangrijke gevolgen heeft gehad voor de klinische praktijken het beleid.
Kijk vooral naar de woordenwisselingen met de auteur Lillebeth Larun, die aan de brief zijn toegevoegd.
Uitweiding: mijn correspondentie met Tom Kindlon over deze blogpost
James Coyne <jcoynester@gmail.com>
18 okt 2018, 12:45 (3 dagen geleden) [op het moment van het schrijven van deze blog, n.v.d.r.]
aan Tom
Ik ga enkele blogposts schrijven over Bob, waaronder één over de details van het verloren jaar van zijn leven (2017), die hij met mij deelde in februari 2018, kort voordat hij stierf. Maar de andere blogpost komt neer op een lange e-mail gepost met commentaar. Ik wil er echt voor zorgen dat jij de gepaste erkenning krijgt en de volledige eer deelt met hem voor het bereiken van de intrekking van de review over lichaamsbeweging. Kan je mij een paar suggesties geven over hoe ik daarvoor kan zorgen? Referenties? Blogs?
Ken jij de details van hoe Bob zijn leven heeft beëindigd? Ik weet dat het een bewuste keuze was, maar was het een begeleide zelfdoding? Meer mensen moeten op de hoogte worden gesteld van zijn gedwongen opname en zijn stomme diagnose van anorexia.
Vriendelijke groeten
Tom Kindlon
Tom Kindlons antwoord aan mij:
Tom Kindlon
18 okt 2018, 13:01 (3 dagen geleden) [op het moment van het schrijven van deze blog, n.v.d.r.]
Dag James/Jim,
Wat goed dat je hierover gaat schrijven.
Ik heb twee lange commentaren ingediend over de Cochranereview over lichaamsbeweging voor CVS, die je hier kan lezen:
Robert Courtney heeft dan ook commentaren geschreven. Toen hij niet tevreden was met de antwoorden, heeft hij een klacht ingediend.
Alle commentaren op de review kan je hier lezen:
https://www.cochranelibrary.com/cdsr/doi/10.1002/14651858.CD003200.pub7/read-comments>
maar als ik het me goed herinner, waren de commentaren van andere mensen, buiten die van Robert en mezelf, niet substantieel.
Ik zal navragen welke details vrijgegeven mogen worden over Bobs dood.
Nogmaals bedankt voor je werk omtrent dit onderwerp.
Tom
De begeleidende brief: doorbrak die de patstelling over de intrekking van de review?
van: Bob <brightonbobbob@yahoo.co.uk>
aan: James Coyne <jcoynester@gmail.com>
datum: 18 feb 2018, 17:06
onderwerp: Fw: Formele klacht – Cochranereview CD003200 Zon, 18 feb, 13:15
DIT IS EEN KOPIE VAN EEN FORMELE KLACHT, VERSTUURD AAN DR DAVID TOVEY
Formele klacht
12 februari 2018
Van: Robert Courtney – UK
Aan: Dr David Tovey
Hoofdredacteur van de Cochrane Library
Cochrane Redactieafdeling
020 7183 7503
dtovey@cochrane.org
Klacht met betrekking tot: Cochrane Database Systematische Reviews.
Larun L, Brurberg KG, Odgaard-Jensen J, Price JR. Exercise therapy for chronic fatigue syndrome. [ Bewegingstherapie voor chronisch vermoeidheidssyndroom] Cochrane Database Syst Rev. 2017; CD003200. DOI: 10.1002/14651858.CD003200.pub7
Geachte Dr David Tovey,
Dit is een formele klacht betreffende de huidige versie van “Exercise therapy for chronic fatigue syndrome” [ Bewegingstherapie voor chronisch vermoeidheidssyndroom] door L. Larun et al. (Cochrane Database Syst Rev. 2017; CD003200.)
Allereerst wil ik mij verontschuldigen voor de lengte van mijn inzendingen betreffende deze klacht. De kwesties zijn technisch en complex en ik hoop dat ik ze makkelijk leesbaar en begrijpbaar heb gemaakt, ondanks de lengte van de tekst.
Ik heb vier PDF-documenten bij deze e-mail gevoegd, waarin ik de details van mijn klacht uiteenzet. In 2016 heb ik elk van deze documenten ingediend in het kader van de commentaarvoorzieningen van Cochrane. Ze zijn intussen gepubliceerd in de geüpdatete versie van de review. (Om het u makkelijker te maken, heb ik de details van deze inzendingen opgelijst op het einde van deze e-mail, met een weblink naar een online versie van elk document.)
Ik vond de antwoorden op mijn commentaren, vanwege L. Larun, de hoofdauteur van de review, ontoereikend, vooral gezien de ernst van sommige van de aangekaarte problemen.
In dit geval is mijn visie dat de review, op bepaalde punten, niet rigoureus en niet helder genoeg is, en misleidend en gebrekkig is. Ik ben ook van mening dat de review (waaronder de discussies, sommige van de analyses en ongeplande wijzigingen aan het protocol) vooringenomen is in het voordeel van de behandelingen die het onderzoekt. [1]
Bewegingstherapie voor chronisch vermoeidheidssyndroom is een erg omstreden onderwerp, en dus moet deze Cochranereview mogelijk meer onafhankelijk toezicht en onderzoek ondergaan dan normaalgezien het geval zou zijn.
Bovenop de technische/methodologische problemen, aangekaart in mijn vier ingediende commentaren, zou ik ook graag willen dat u overweegt of het zou kunnen dat de auteurs van deze review niet helemaal onafhankelijk waren.
Alle auteurs van de review, buiten Price, werken op dit moment samen op een ander Cochraneproject met sommige van de auteurs van de studies die in deze review zijn opgenomen. (Het project omvat het meeschrijven aan een protocol voor een toekomstige Cochranereview) [2]. Een van de vergaderingen die gehouden werden om het protocol voor deze nieuwe review te ontwikkelen, werd gefinancierd door het academische fonds van Peter White [1]. White is de hoofdauteur van de PACE-studie (een studie opgenomen in deze Cochranereview).
Het is belangrijk dat Cochrane aantoont dat het een hoge maatstaf aanhoudt voor onafhankelijkheid, transparantie en nauwkeurigheid.
Gelieve te kijken naar mijn vier aparte inzendingen (bijgevoegd) voor de details van mijn klacht over de inhoud van de review. Ik zal ook kort, louter als inleiding, enkele van de punten bespreken die ik heb aangekaart in mijn vier documenten.
Samengevat richten mijn vier inzendingen zich onder andere op volgende kwesties:
- De auteurs van de review wisselden hun primaire uitkomsten in de review, en gebruikten ongeplande analyses, met als gevolg een belangrijke verschuiving in sommige van de interpretaties en in de rapportage van de primaire uitkomsten van de review.
- De review geeft niet voldoende uitleg of toelichting bij de primaire uitkomstverwisseling en verschaft geen duidelijke gevoeligheidsanalyse. Naar mijn idee slaagt de review er ook niet in om de primaire uitkomstverwisseling te verantwoorden.
- De review rapporteert niet duidelijk genoeg dat er geen significante behandelingseffecten waren bij follow-up voor eender welke combinatie van uitkomsten voor eender welke maatstaven van gezondheid (behalve voor slaap, een secundaire uitkomstmaat). In plaats daarvan geeft de review de indruk dat de meeste uitkomsten bij follow-up belangrijke verbeteringen aantoonden, en dat de behandelingen over het algemeen succesvol waren bij follow-up.
- De review gebruikt een reeks niet gepubliceerde en post-hoc-data uit externe studies, ondanks het feit dat de auteurs van de review beweren dat ze enkel officieel gepubliceerde data en vooraf gespecificeerde uitkomstendata hebben toegevoegd. Het gebruik van post-hoc-data en ongepubliceerde data, wat in tegenspraak is met het protocol van de review en de aangegeven methodologie, kunnen een belangrijk effect hebben gehad op de uitkomsten van de review, en mogelijk heeft dit zelfs de uitkomsten van de review veranderd van niet significant naar significant.
- De belangrijkste discussieonderdelen in de review bevatten foute en misleidende verslagen van de uitkomsten van de review zelf, wat een valse algemene indruk geeft van de doeltreffendheid van de behandelingen die erin besproken worden.
- De review bevat een onjuiste evaluatie van vooringenomenheid (volgens de richtlijnen van Cochrane over vooringenomenheid bij rapportage) wat betreft sommige van de studies die opgenomen werden in de reviewanalyses.
Dit zijn allemaal ernstige problemen die we niet zouden mogen zien in een Cochranereview. [2]
Deze problemen hebben al misverstanden en foute rapportering van de review veroorzaakt in het academisch discours en in publicaties. (Zie verder voor een voorbeeld hiervan.)
Alle problemen die hierboven staan opgelijst, worden in volledig detail uitgelegd in de vier PDF-documenten die in bijlage staan bij deze e-mail. Ze moeten beschouwd worden als basis voor de klacht.
Ten behoeve van deze briefwisseling, zal ik enkele specifieke problemen meer in detail illustreren.
In de review werden volgende gezondheidsindicatoren gebruikt als uitkomstmaten om behandelingseffecten te evalueren: vermoeidheid, fysiek functioneren, algemene gezondheid, pijn, levenskwaliteit, depressie, angsten en slaap. Al deze gezondheidsindicatoren, behalve dan specifiek slaap (een secundaire uitkomst), toonden een niet-significante uitkomst voor gecombineerde behandelingseffecten bij follow-up voor bewegingstherapie versus passieve controle. Maar een lezer komt dit niet te weten bij het lezen van eender welke discussie in de review. Ik heb een lange en gedetailleerde analyse gemaakt van de data in de review voordat ik dit kon doorgronden. Ik zou graag willen dat deze resultaten een prominente plaats krijgen in de review, en dat er op een correcte en heldere manier over wordt gerapporteerd, zodat een oppervlakkige lezer deze belangrijke uitkomsten snel kan begrijpen. Deze uitkomsten haal je niet uit de discussie, en sommige uitkomsten zijn in de discussie onjuist gerapporteerd. Naar mijn mening voldoet Cochrane hier niet aan de verwachte normen.
Spijtig genoeg staat er een markante en belangrijke fout in de review, die volgens mij de foute indruk helpt wekken dat de onderzochte behandelingen over het algemeen doeltreffend waren. Fysiek functioneren en algemene gezondheid (beide bij follow-up) zijn in de algemene discussie fout gerapporteerd als positieve uitkomsten bij follow-up, terwijl het in feite niet-significante uitkomsten waren. Dit lijkt een belangrijke tekortkoming te zijn van de review, en ik zou willen dat dit onderzocht en gecorrigeerd wordt.
Met betrekking tot een van de punten hierboven opgelijst, hier gekopieerd:
“De review rapporteert niet duidelijk genoeg dat er geen significante behandelingseffecten waren bij follow-up voor eender welke combinatie van uitkomsten voor eender welke maatstaven van gezondheid (behalve voor slaap, een secundaire uitkomstmaat). In plaats daarvan geeft de review de indruk dat de meeste uitkomsten bij follow-up belangrijke verbeteringen aantoonden, en dat de behandelingen over het algemeen succesvol waren bij follow-up.”
Dit is één van de meest substantiële problemen die ik naar voren heb gebracht. Dit probleem staat in verband met de primaire uitkomstenverwisseling in de review.
(Dit heeft te maken met het evalueren van vermoeidheid bij follow-up op lange termijn voor bewegingstherapie vs passieve controle.)
Een gewone (d.w.z. oppervlakkige) lezer van de review krijgt al snel het idee dat de review aantoont dat de onderzochte behandeling bijna over de hele lijn positieve effecten heeft op de gezondheid. Maar er waren geen significante behandelingseffecten voor gecombineerde uitkomstenanalyses bij follow-up voor geen enkele van de gezondheidsuitkomsten, buiten slaap (een secundaire uitkomst). Het gebrek aan universele doeltreffendheid van de behandeling bij follow-up wordt helemaal niet duidelijk bij een oppervlakkige lezing van de review, en zelfs niet bij een grondige lezing. In plaats daarvan is een zorgvuldige analyse van de data noodzakelijk om de uitkomsten te begrijpen. Ik vind dat de review de uitkomsten op een onduidelijke manier heeft voorgesteld en een gebrek vertoont aan helderheid.
Deze uitkomsten bij follow-up zijn erg belangrijk voor artsen, patiënten en wetenschappers, maar ik vind dat ze in de discussie van de review op een misleidende en onduidelijke manier voorgesteld worden. Deze kwestie wordt voornamelijk besproken in mijn inzending nr. 4 (zie: mijn lijst van PDF-documenten op het einde van dit bericht), en ook in mindere mate in inzending nr. 3.
Ik zal kort enkele van de specifieke details bespreken, als inleiding, maar gelieve te kijken naar de documenten in bijlage voor de volledige details.
De vooraf gespecificeerde primaire uitkomsten waren gecombineerde behandelingseffecten (d.w.z. met gebruik van gecombineerde data van alle studies die in aanmerking kwamen), onmiddellijk na de behandeling en bij follow-up.
Maar voor vermoeidheid werd deze vooraf gespecificeerde uitkomst (nl. de gecombineerde behandelingseffecten voor de combinatie van data van alle studies die in aanmerking kwamen) verlaten/verwisseld (omwille van redenen die ik twijfelachtig vind) en vervangen door een niet-gecombineerde analyse. In de nieuwe ongeplande analyse werden de data van alle studies die in aanmerking kwamen, niet samengelegd, maar analyseerde men data van studies die gegroepeerd werden volgens de specifieke maatstaf, gebruikt om vermoeidheid te evalueren (d.w.z. gegroepeerd volgens de diverse vragenlijsten om vermoeidheid te evalueren).
Als we kijken naar deze post-hoc-gegroepeerde uitkomsten, voor vermoeidheid bij follow-up, dan hadden twee van de drie gegroepeerde uitkomsten significante behandelingseffecten, en de andere uitkomst was een niet-significant effect. Deze post-hoc-analyse duidt aan dat de meerderheid van de uitkomsten (nl. twee van de drie) een significant behandelingseffect aantoonden, wat echter niet betekent dat de vooraf gespecificeerde gecombineerde analyse van alle studies die in aanmerking kwamen, een positief behandelingseffect aangetoond zou hebben. Zo werkt het verwisselen van uitkomsten en het gebruik van een post-hoc-analyse mogelijke vooringenomenheid van de review in de hand. Het is daadwerkelijk zo dat, bij zorgvuldig inzage van de kleinere details van de review, de vooraf gespecificeerde analyse van gecombineerde uitkomsten een niet-significant behandelingseffect aantoont, voor vermoeidheid bij follow-up (bewegingstherapie versus passieve controle).
De (niet-significante) uitkomst van deze vooraf gespecificeerde gecombineerde analyse van vermoeidheid bij follow-up ligt nogal diep begraven in de datatabellen van de review, en is erg moeilijk te vinden. Het wordt niet duidelijk besproken of toegelicht. Bovendien wordt de verklaring dat de primaire uitkomst verwisseld werd, slechts kort vermeld en wordt dus al snel over het hoofd gezien. Ongewoon genoeg is er, voor de belangrijkste uitkomsten, geen tabel die details beschrijft van de vooraf gespecificeerde gecombineerde analyse van vermoeidheid bij follow-up. Daarentegen krijgt de post-hoc-analyse, die vooral positieve uitkomsten heeft, bijzonder veel aandacht doorheen de review, met weinig of geen uitleg over het feit dat het gaat om een post-hoc uitkomst.
Dus, ik herhaal: de (twee van de drie significante en één niet-significante) post-hoc uitkomsten voor vermoeidheid bij follow-up werden gerapporteerd als primaire uitkomsten in plaats van het (niet-significante) vooraf gespecificeerde gecombineerde behandelingseffect voor alle studies die in aanmerking kwamen. Twee van de drie post-hoc uitkomsten gaven een significant effect, maar het vooraf gespecificeerde gecombineerde behandelingseffect, voor dezelfde maatstaven, was niet significant (voor vermoeidheid bij follow-up – bewegingstherapie versus passieve controle). Bijgevolg transformeerde de uitkomstenverwisseling een van de belangrijkste uitkomsten van de review, van een niet-significant effect naar een grotendeels significant effect.
Bovendien waren alle andere gezondheidsuitkomsten, voor bewegingstherapie versus passieve controle, niet-significant (behalve slaap – een secundaire uitkomst), maar ik denk dat dat aan de oppervlakkige lezer voorbij zal gaan omdat het niet duidelijk of opvallend genoeg uitgelegd wordt in de discussie, en sommige uitkomsten werden in de discussie verkeerdelijk gerapporteerd en aangegeven als significant effect.
Al het bovenstaande staat uitgelegd in mijn vier PDF-inzendingen, met gedetailleerde referentie naar specifieke onderdelen van de review en specifieke tabellen, etc.
Ik vind dat de eigenlijke behandelingseffecten bij follow-up niet overeenkomen met de indruk die men krijgt bij een oppervlakkige lezing, of zelfs bij een zorgvuldige lezing van de review. Het is pas na diepgaande analyse van de volledige review dat deze problemen opgemerkt kunnen worden.
In een volgens mij redelijk verzoek, vroeg ik in mijn inzendingen aan de reviewers om: “duidelijk en ondubbelzinnig te verklaren dat op één na alle gezondheidsindicatoren (nl. vermoeidheid, fysiek functioneren, algemene gezondheid, pijn, levenskwaliteit, depressie en angsten, maar niet slaap) een niet-significante uitkomst aantoonden voor gecombineerde behandelingseffecten bij follow-up voor bewegingstherapie versus passieve controle”. Mijn verzoek werd niet ingewilligd.
De Cochranereviewers gaven een reden op voor het veranderen van het protocol, van een gecombineerde analyse naar analyses van groepen van gemiddelde verschilwaarden: “Wij zijn ons ervan bewust dat het gestandaardiseerd gemiddeld verschil ([standardised mean difference of] SMD) veel moeilijker te conceptualiseren en te interpreteren is dan het normale gemiddelde verschil (MD) […]”.
Dit is echter een bedenkelijke en ongefundeerde bewering, en naar mijn mening is het geen afdoende verklaring of verantwoording voor het veranderen van de primaire uitkomsten; persoonlijk vind ik het eenvoudiger om één enkele gecombineerde analyse te interpreteren dan een groep van verschillende analyses waarbij elke analyse een verschillende niet-gestandaardiseerde schaal gebruikt om vermoeidheid te meten.
Het gebruik van een SMD is een standaardpraktijk bij Cochranereviews; Cochranes richtlijnen raden aan om gecombineerde analyses te gebruiken als de uitkomsten verschillende maatstaven gebruiken, wat in deze review het geval was. Daarom kan ik moeilijk begrijpen waarom het gebruik van een SMD (in een ongeplande wijziging in methodologie) in dit geval door de reviewers als zinvol werd bekeken. Mijn PDF-document nr. 4 stelt de redenering van de reviewers ter discussie, met referentie naar de officiële richtlijnen van Cochrane voor reviewers.
Deze review heeft al geleid tot academische misverstanden en foute rapporteringen van de uitkomsten ervan, wat aangetoond wordt in volgende gepubliceerde brief van een van de co-auteurs van het IPD-protocol…
CMAJ (Canada) adviseert lichaamsbeweging voor CVS [http://www.cmaj.ca/content/188/7/510/tab-e-letters]
De brief beweert het volgende: “Wij baseerden de adviezen op de systematische review van Cochrane die keek naar 8 gerandomiseerde studies over lichaamsbeweging voor chronische vermoeidheid, die samen een consistent bescheiden voordeel van lichaamsbeweging aantoonden overheen de verschillende betrokken patiëntengroepen. Het duidelijke en consistente voordeel suggereert een indicatie, eerder dan een contra-indicatie voor lichaamsbeweging.”
Nochtans was er geen “consistent bescheiden voordeel voor lichaamsbeweging” en er was geen “duidelijk en consistent voordeel”, aangezien er geen significante behandelingseffecten waren voor eender welke vooraf gespecificeerde (gecombineerde) gezondheidsuitkomsten bij follow-up, behalve voor slaap. De eigenlijke uitkomsten van de review lijken haaks te staan op de interpretatie die geformuleerd wordt in de brief.
Zelfs als we de ongeplande analyses betrekken bij onze beschouwingen, dan zou het nog altijd zo zijn dat de meeste uitkomsten geen indicatie geven van een positief behandelingseffect bij follow-up voor bewegingstherapie versus passieve controle. Daarenboven duidde één van de belangrijkste uitkomsten, fysiek functioneren, geen significante verbetering aan bij follow-up (ondanks het feit dat in de discussie verkeerdelijk wordt gesteld dat het een significant effect was).
Twee van mijn inzendingen bespreken andere problemen, die ik hieronder zal schetsen.
Mijn eerste inzending gaat over het volgende…
De review stelt dat alle geanalyseerde data in de desbetreffende gepubliceerde studies voordien officieel gepubliceerd waren en vooraf gespecificeerd waren. Nochtans omvat de review een analyse van externe data die nog niet officieel gepubliceerd waren en post-hoc van aard waren, ondanks het feit dat alternatieve data beschikbaar waren die wel officieel gepubliceerd en vooraf gespecificeerd waren in de desbetreffende studie. De post-hoc-data houden verband met de FINE-studie (Wearden 2010). Het gebruik van deze data was niet in overeenstemming met het protocol van de Cochranereview en is ook in strijd met de door de review vooropgestelde methodologie en de discussie van de review.
Het waren met name de data over vermoeidheid uit de FINE-studie die niet vooraf gespecificeerd waren voor de studie en niet opgenomen waren in de oorspronkelijke literatuur van de FINE-trial. In plaats daarvan werden de data door de onderzoekers van de FINE-trial op een informele manier gepost via de “rapid responses“* van BMJ. [3] [*officiële weg van BMJ om via e-mail te reageren op gepubliceerde artikelen, n.v.d.r.]
De review analyseert post-hoc vermoeidheid uit de FINE-studie die gebaseerd is op het scoresysteem van Likert voor de vermoeidheidsvragenlijst van Chalder, terwijl de officieel gepubliceerde studieliteratuur van FINE dezelfde vermoeidheidsvragenlijst van Chalder gebruikt, maar het bimodale scoresysteem gebruikt, wat verschillende uitkomsten geeft voor dezelfde vragenlijsten voor patiënten. De post-hoc-data voor vermoeidheid via Likert uit de FINE-studie (gebruikt in de review) werden door de FINE-auteurs aanvankelijk alleen gepubliceerd via een “rapid response” in BMJ [3], blijkbaar als een soort idee achteraf.
Dit is het antwoord op mijn eerste brief…
Larun zei dat ze “uiterst bezorgd en teleurgesteld” was over de handelingen van de Cochraneredacteurs. “Ik ben het niet eens met de beslissing en beschouw het als overdreven en onverantwoord”, zei ze.
———————-
Larun zei:
Geachte Robert Courtney,
Dank u voor uw gedetailleerd commentaar op de Cochranereview ‘Exercise Therapy for Chronic Fatigue Syndrome’ [ Bewegingstherapie voor Chronisch Vermoeidheidssyndroom]. We hebben het grootste respect voor uw recht om ons werk van commentaar te voorzien en om het er oneens mee te zijn. Wij nemen ons werk als onderzoekers uiterst serieus en publiceren rapporten die onderworpen zijn aan rigoureuze interne en externe peerreview. In een geest van openheid, transparantie en wederzijds respect, vragen wij beleefd dat u aanvaardt dat we nooit tot overeenstemming zullen komen.
De Vermoeidheidsschaal van Chalder werd gebruikt om vermoeidheid te meten. De resultaten van de studie van Wearden uit 2010 tonen een statistisch significant verschil in het voordeel van een pragmatische revalidatie op 20 weken, ongeacht of de resultaten bereikt werden via bimodale score of op een schaal van 0-3. Het geschatte effect voor de vergelijking op 70 weken met de bimodale berekeningsschaal was -1.00 (CI-2.10 to +0.11; p =.076) en -2.55 (-4.99 to -0.11; p=.040) voor een 0123-scoresysteem. De FINE-data, gemeten via de 33-puntenschaal, werden gepubliceerd in een online “rapid response”, nadat een lezer ernaar vroeg. Wij wisten dus dat de data bestonden, en vroegen aan de auteurs meer details ter verduidelijking om de schattingen te kunnen gebruiken in onze meta-analyse. In onze ongecorrigeerde analyse waren de resultaten gelijkaardig aan de bimodale berekeningsschaal en het schaalsysteem van 0 tot 3, d.w.z. een statistisch significant verschil in het voordeel van revalidatie op 20 weken en een trend die geen statistische significantie bereikt in het voordeel van pragmatische revalidatie op 70 weken. De beslissing om het 0123-scoresysteem te gebruiken heeft geen invloed op de conclusie van de review.
Met vriendelijke groeten,
Lillebeth Larun
——————
In bovenstaand antwoord bespreekt Larun de FINE-studie en citeert ze een effectgrootte voor post-hoc uitkomstdata (vermoeidheid bij follow-up) uit de FINE-studie die opgenomen is in de review. Haar geciteerde cijfers weerspiegelen nauwkeurig de data geciteerd door de FINE-auteurs in hun commentaar in de “rapid response” van BMJ [3], maar verwarrend genoeg wijken deze licht af van de data in de Cochranereview. In haar antwoord stelt Larun dat in de FINE-studie de effectgrootte voor vermoeidheid op 70 weken via Likertdata -2.55 (-4.99 to -0.11; p=.040) is, terwijl de Cochranereview stelt dat het -2.12 [-4.49, 0.25] is.
Deze tegenstrijdigheid maakt de discussie verwarrend. Spijtig genoeg is er geen gezaghebbende bron voor de data, omdat ze niet officieel gepubliceerd waren toen de Cochranereview gepubliceerd werd.
In haar antwoord lijkt het erop dat Larun de data van Wearden et al. [3] uit de “rapid response” van BMJ heeft geciteerd, eerder dan de data uit haar eigen review. In verwijzing naar de data van haar review, zegt Larun dat in “onze ongecorrigeerde analyse de resultaten gelijkaardig waren voor de bimodale berekeningsschaal en de schaal die scores van 0 tot 3 gebruikt, d.w.z. een statistisch significant verschil in het voordeel van revalidatie op 20 weken en een trend die geen statistische significantie bereikt in het voordeel van pragmatische revalidatie op 70 weken”.
Het is niet precies duidelijk waarom er nu twee verschillende Likert-effectgroottes zijn, voor vermoeidheid op 70 weken, maar we kunnen er zeker van zijn dat het gebruik van deze data de bewering van de review onderuit haalt dat “we voor deze geüpdatete review geen ongepubliceerde data verzameld hebben voor onze uitkomsten…”
Deze verwarring toont misschien een van de valkuilen aan van het publiceren van ongepubliceerde data. Het verschil tussen de data gepubliceerd in de review en de data geciteerd door Larun in haar antwoord (die beide zogezegd dezelfde ongepubliceerde data uit de FINE-studie zijn), doet vragen rijzen over welke data precies werden geanalyseerd in de review, en waar ze precies vandaan kwamen. Als het gaat om ongepubliceerde data, en schijnbaar verschillend van aard, hoe kan men dan van lezers verwachten dat ze de Cochrane-analyse kunnen evalueren of vertrouwen?
Met betrekking tot de uitkomsten van de FINE-studie (vermoeidheid op 70 weken bij follow-up) verschafte Larun de gemiddelde verschillen (effectgrootte) voor de (vooraf gespecificeerde) bimodale data en voor (post-hoc) Likert-data. Deze twee verschillende scoremethodes (bimodaal en Likert) worden gebruikt voor identieke vermoeidheidsvragenlijsten van Chalder, en verschaffen verschillende effectgroottes, dus het omwisselen van de scoremethodes voor vermoeidheid kan in de review mogelijk een impact hebben gehad op de primaire uitkomsten voor vermoeidheid.
Larun heeft geen effectinschattingen verschaft voor vermoeidheid op het einde van de behandeling, maar die zouden ook verschil aantonen tussen bimodale score en Likertscore, dus het omwisselen van de uitkomsten kan een significante impact gehad hebben op de primaire uitkomst van de Cochranereview op het einde van behandeling, alsook bij follow-up.
Merk op dat de effectinschattingen uiteengezet in deze briefwisseling, voor de FINE-studie, gemiddelde verschillen zijn (dit zijn de data die komen uit de FINE-studie), eerder dan gestandaardiseerde gemiddelde verschillen (die soms gebruikt worden in de meta-analyses in de Cochranereview). Het is belangrijk om deze twee verschillende statistische analyses niet met elkaar te verwarren.
Larun zei: “De beslissing om de 0123-score [d.w.z. Likert] te gebruiken, was is [sic] niet van invloed op de conclusie van de review.”
Maar de lezer kan dit onmogelijk natrekken omdat Larun geen enkel bewijs heeft toegevoegd om aan te tonen dat het omwisselen van uitkomsten geen effect heeft gehad op de conclusie van de review. D.w.z.: er is geen gevoeligheidsanalyse, ondanks het feit dat de review uitkomsten omwisselt en ongepubliceerde post-hoc-data gebruikt in plaats van gepubliceerde, vooraf gespecificeerde data. Deze verandering in methodologie betekent dat de review zijn eigen protocol en vastgestelde methodologie niet volgt. Dit is een aanzienlijk probleem.
Moeten we de auteur zomaar op haar woord geloven, eerder dan het bewijs zelf te evalueren? Dit is een Cochranereview, befaamd om zijn nauwgezetheid en onpartijdigheid.
Merk op dat Larun heeft erkend dat het correct is wat ik zeg over de in de review gebruikte data van de FINE-studie (nl. dat de data ongepubliceerd waren en geen onderdeel uitmaakten van de officieel gepubliceerde FINE-studie, maar gewoon informeel gepost werden in een “rapid response” van BMJ). Larun bevestigt dat: “… de 33-puntenschaal werd gepubliceerd in een online “rapid response”, nadat een lezer ernaar vroeg. Wij wisten dus dat de data bestonden, en vroegen aan de auteurs meer details…”. Maar dan zegt Larun verwarrend genoeg (voor mij althans) dat we moeten aanvaarden dat we nooit tot overeenstemming zullen komen.
Larun heeft haar literatuur niet aangepast om de situatie op te klaren; Larun heeft haar ongeplande analyse niet terug veranderd naar haar geplande analyses (d.w.z. vooraf gespecificeerde data gebruiken, conform het reviewprotocol, eerder dan ongepubliceerde post-hoc-data); en ze heeft ook de tekst van de review niet aangepast zodat het duidelijk en opvallend aantoont dat de primaire uitkomsten omgewisseld werden. Ook is er geen gevoeligheidsanalyse gepubliceerd die gebruik maakt van de vooraf gespecificeerde data van de FINE-studie.
Merk het verschil op in effectschattingen op 70 weken voor bimodale scores [-1.00 (CI -2.10 tot +0.11; p =.076)] vs Likertscores [-2.55 (-4.99 tot -0.11; p=.040)] (conform de Cochrane-analyse) of -2.12 [-4.49, 0.25] (ook Likertscore) conform Laruns antwoord en de “rapid response” van BMJ, waar de data voor het eerst aan het publiek werden voorgesteld.
Verwarrend genoeg zijn er twee verschillende effectgroottes voor dezelfde data (via Likert); één toont een significant behandelingseffect aan, en de ander toont een niet-significant behandelingseffect aan. Dit lijkt een nogal chaotische situatie voor een Cochranereview. De data zijn noch consistent, noch transparant. de ongeplande Cochrane-analyse gebruikt data die niet gepubliceerd zijn en niet onderzocht kunnen worden.
Bovendien hebben we nu drie reeksen data voor dezelfde uitkomsten. Omdat een ongeplande analyse werd gebruikt in de review, is het bijna onmogelijk om uit te vissen wat wat is.
In haar reactie hierboven zegt Larun dat beide vermoeidheidsuitkomsten (nl. bimodaal & Likert-scoresystemen) op 70 weken niet significant zijn.
Dit klopt voor de data gepubliceerd in de Cochranereview, maar verwarrend genoeg klopt dit niet als we de data bekijken die Larun verschafte in bovenstaande reactie. De bimodale en Likert-data (vermoeidheid op 70 weken) voorgesteld in de review, hebben allebei een niet-significant effect. Maar de Likert-data geciteerd in Laruns correspondentie (die de data weerspiegelen van de “rapid response” van de FINE-auteurs in BMJ) tonen een significante uitkomst. Dit zou een weerslag kunnen zijn van het gebruik van aangepaste vs. onaangepaste data, maar dat is niet duidelijk.
Post-hoc-data gebruiken zou ervoor kunnen zorgen dat er toch vooringenomenheid in de review geslopen is. Zo kan het bijvoorbeeld zijn dat de Cochranereviewers de post-hoc-data voor de FINE-studie gezien hebben, omdat die gepost werden in een “rapid response” in BMJ met open-access [3] voordat de Cochranereview gepubliceerd was. Ik beschuldig de auteurs niet van bewuste vooringenomenheid, maar de richtlijnen van Cochrane zijn er om twijfel uit te sluiten en om striktheid en transparantie te behouden. Ik kan me inbeelden dat een vooringenomen auteur gemerkt zou hebben dat een post-hoc Likert-analyse tot betere resultaten zou leiden voor de rapportage van de FINE-studie. De richtlijnen van Cochrane werden opgesteld om dat soort valkuilen en vooringenomenheid te vermijden, en om verwarring te vermijden die inherent aanwezig is in deze review.
Merk op dat de review nog steeds de onjuiste stelling maakt dat alle data vooraf gepubliceerde data zijn – ook al geeft Larun in de brief toe dat dat niet klopt.
(D.w.z. dat de data niet officieel gepubliceerd werden in een gepeerreviewed vakblad; ik veronderstel dat de review niet refereerde aan de data die misschien informeel gepubliceerd zijn in blogs of magazines e.d., omdat de review beweert dat het enkel officieel gepubliceerde data analyseert.)
De auteurs hebben mijn bedenkingen vrijwel allemaal van de hand gewezen en hebben niets aangepast in de review, ondanks het feit dat ze in hun reactie toegeven dat ze post-hoc-data hebben gebruikt.
Het feit dat dit allemaal erg verwarrend is, zelfs nadat ik het in detail heb bestudeerd, toont aan dat deze problemen uitgeklaard en opgelost moeten worden.
Het zou zeker niet het geval mogen zijn dat er voor een Cochranereview (voor dezelfde uitkomsten) drie reeksen resultaten tevoorschijn worden gehaald, en dat de data gebruikt in een post-hoc-analyse variabel schijnen te zijn in de tijd, en lijken te veranderen van een niet-significant behandelingseffect naar een significant behandelingseffect, afhankelijk van waar het geciteerd wordt. Het feit dat het ongepubliceerd is, maakt een onafhankelijk onderzoek moeilijker.
Ter info: de “rapid response” in BMJ (Wearden et al.) omvat volgende data: “Effectschattingen [95% betrouwbaarheidsintervallen] voor vergelijkingen op 20 weken zijn: PR versus GPTAU -3.84 [-6.17, -1.52], SE 1.18, P=0.001; SL versus GPTAU +0.30 [-1.73, +2.33], SE 1.03, P=0.772. “Effectschattingen [95% betrouwbaarheidsintervallen] voor vergelijkingen op 70 weken zijn: R versus GPTAU -2.55 [-4.99,-0.11], SE 1.24, P=0.040; SL versus GPTAU +0.36 [-1.90, 2.63], SE 1.15, P=0.752.”
Mijn tweede inzending ging over het volgende…
Ik vind dat, als men de officiële Cochranerichtlijnen correct wil toepassen, de review de data van de PACE-trial (White 2011) zou moeten categoriseren als “ongepland” en niet als “vooraf gespecificeerd”. Ook zou het risico op vooringenomenheid met betrekking tot “selectieve rapportering” navenant moeten worden gecategoriseerd. Op dit moment categoriseert de Cochranereview het risico op vooringenomenheid door “selectieve rapportering” voor de PACE-studie als “laag”, terwijl de officiële Cochranerichtlijnen (ondubbelzinnig) aangeven dat het risico op vooringenomenheid voor de PACE-studie op “hoog” zou moeten staan. Ik denk dat mijn argumentatie behoorlijk stevig en waterdicht is.
Dit is de reactie op mijn tweede brief…
Larun zei:
Geachte Robert Courtney,
Dank u voor uw gedetailleerd commentaar op de Cochranereview ‘Exercise Therapy for Chronic Fatigue Syndrome’ [ Bewegingstherapie voor Chronisch Vermoeidheidssyndroom]. We hebben het grootste respect voor uw recht om ons werk van commentaar te voorzien en om het er oneens mee te zijn. Wij nemen ons werk als onderzoekers uiterst serieus en publiceren rapporten die onderworpen zijn aan rigoureuze interne en externe peerreview. In een geest van openheid, transparantie en wederzijds respect, vragen wij beleefd dat u aanvaardt dat we nooit tot overeenstemming zullen komen.
Cochranereviews streven ernaar om het reviewproces op een transparante manier te rapporteren. Zo worden bijvoorbeeld redenen vermeld voor het risico op vooringenomenheid. Wij zijn het er niet mee eens dat Risico op Vooringenomenheid voor de PACE-studie (White 2011) veranderd moet worden, maar hebben het voorgesteld op een manier die het mogelijk maakt om onze redenering te zien. Wij vinden dat we behoorlijk voorzichtig zijn geweest bij het vaststellen van effectschattingen en de zekerheid van de documentatie. Wij merken op dat u dit anders leest.
Vriendelijke groet,
Lillebeth
————————-
Ik begrijp niet wat bedoeld wordt met: “Wij zijn het er niet mee eens dat Risico op Vooringenomenheid voor de PACE-studie (White 2011) veranderd moet worden, maar hebben het voorgesteld op een manier die het mogelijk maakt om onze redenering te zien.” …
De review zegt niets over het feit dat de PACE-data ongepland waren, en ik begrijp eerlijk gezegd niet wat de redenering is achter het niet-corrigeren van de categorie voor het risico op selectieve vooringenomenheid tijdens rapportage. Het antwoord op mijn inzending gaat niet in op de aanzienlijke en ernstige problemen die ik heb aangekaart.
Tot op heden zijn bijna alle kwesties die ik aanhaal in mijn brieven, volledig afgewezen door Larun. Ik vind het verbazingwekkend, vooral gelet op het feit dat sommige van de aangehaalde punten feiten waren (d.w.z. niet meteen open voor interpretatie) en moeilijk te weerleggen. Meer nog, Laruns antwoord aanvaardt zelfs de feitelijke punten die ik aanhaalde, met betrekking tot de FINE-data, maar wimpelt dan verbijsterend genoeg mijn verzoek af om de zaak recht te zetten.
Er staan meer details in de vier PDF-inzendingen die bijgevoegd zijn aan deze e-mail, en die nu gepubliceerd zijn in de laatste versie van de Cochranereview. Ik zal deze e-mail nu afronden om u niet te overweldigen, en om zelf niet in herhaling te vallen.
Ik verontschuldig mij nogmaals voor de complexiteit. Mijn vier inzendingen, in bijlage bij deze e-mail als PDF-documenten, vormen de basis van mijn klacht, dus ik vraag u om ze te beschouwen als de centrale basis van mijn klacht. Ik hoop dat ze voldoende duidelijk zijn.
Ik vertrouw erop dat u deze kwesties zal willen onderzoeken, met het oog op de instandhouding van de hoge normen die verwacht worden van een Cochranereview.
Ik kijk te zijner tijd uit naar uw antwoord. U kan mij altijd en eender wanneer e-mailen met vragen, of als u het nuttig zou vinden om een van de aangekaarte kwesties verder te bespreken.
Vriendelijke groet,
Robert Courtney
Mijn ‘commentaren’ (ingediend bij de auteurs van de Cochranereview)
Merk aub op dat de vier PDF-documenten in bijlage de basis vormen van deze klacht.
Om het voor u eenvoudiger te maken, heb ik een weblink toegevoegd naar een downloadbare online kopie van elk document, en heb ik kopieën bij deze e-mail gevoegd als PDF-bestanden, en de commentaren zijn nu gepubliceerd in de laatste geüpdatete versie van de review.
De data verwijzen naar de datum waarop de commentaren werden ingediend bij Cochrane.
1. Vraag omtrent gebruik van post-hoc ongepubliceerde uitkomstdata: Scoresysteem voor de Chalder vermoeidheidsshaal, Wearden 2010.
Robert Courtney
16 april 2016
2. Evaluatie van Vooringenomenheid door Selectieve Rapportering in White 2011.
Robert Courtney
1 mei 2016
3. Een vraag over de manier waarop uitkomsten voor fysiek functioneren en algemene gezondheid beschreven werden in het abstract, de conclusie en de discussies van de review.
Robert Courtney
12 mei 2016
4. Bedenkingen omtrent het gebruik van ongeplande primaire uitkomsten in de Cochranereview.
Robert Courtney
3 juni 2016
Referenties:
Citaat uit Cochranereferentie CD011040:
“Acknowledgements[…]The author team held three meetings in 2011, 2012 and 2013 which were funded as follows: […]2013 via Peter D White’s academic fund (Professor of Psychological Medicine, Centre for Psychiatry, Wolfson Institute of Preventive Medicine, Barts and The London School of Medicine and Dentistry, Queen Mary University of London).”
Larun L, Odgaard-Jensen J, Brurberg KG, Chalder T, Dybwad M, Moss-Morris RE, Sharpe M, Wallman K, Wearden A, White PD, Glasziou PP. Exercise therapy for chronic fatigue syndrome (individual patient data) (Protocol). Cochrane Database of Systematic Reviews 2014, Issue 4. Art. No.: CD011040.
http://onlinelibrary.wiley.com/doi/10.1002/14651858.CD011040/abstract
Wearden AJ, Dowrick C, Chew-Graham C, et al. Fatigue scale. BMJ Rapid Response. 2010.
http://www.bmj.com/rapid-response/2011/11/02/fatigue-scale-0 (geopend op 21 feb. 2016).
Einde.
Cochrane klachtenprocedure:
http://www.cochranelibrary.com/help/the-cochrane-library-complaints-procedure.html
© James Coyne. Vertaling Abby, redactie Zuiderzon, ME-gids.
Wie met vragen zit over zelfdoding, kan terecht bij
België:
Zelfmoordlijn 1813 (1813 of http://www.zelfmoord1813.be/) of
Tele-Onthaal (106 of www.tele-onthaal.be)
Nederland: 113 Online (0900 – 0113 of https://113online.nl/)
2 reacties
Een stel vooringenomen artsen/psychologen/psychiaters maakt er een puinhoop van. Vervolgens kost het zo verschrikkelijk veel moeite om dit ongedaan te maken. Nog steeds. En intussen leeft Robert ‘Bob’ Cortney niet meer … Onverteerbaar allemaal.
Fake science.