Home » Nieuwsartikels » David Tuller » Trial By Error: brievenronde tegen twee studies over ME bij kinderen

Trial By Error: brievenronde tegen twee studies over ME bij kinderen

Geplaatst door ME-Gids
op 22/07/2018

Laatste bijwerking op 22/07/2018

Bron:

| 13134 x gelezen

David Tuller, DrPH, Virology Blog, 28 mei – 11 juni 2018

David Tuller heeft de voorbije weken een hele reeks brieven geschreven naar organisaties en belanghebbenden, over zijn bedenkingen bij twee studies over behandeling van ME bij kinderen, gepubliceerd in vakbladen van BMJ. Hij argumenteert dat de studies nooit gepubliceerd hadden mogen worden, omdat ze verschillende ethische en/of wetenschappelijk principes met voeten treden.

Een overzicht van de bestemmelingen:

NICE (omdat zij de studies blijkbaar meenemen in het ontwikkelingsproces voor de nieuwe Britse ME-richtlijn)

BMJ (omdat zij de twee studies nooit hadden mogen publiceren)

Schots Parlementslid Carol Monaghan (die onlangs de PACE-fraude ter sprake bracht voor het House of Commons)

verschillende hooggeplaatste gezondheidsambtenaren

het Science Media Centre (omdat zij één van de studies kritiekloos gepromoot hebben)

het CFS/ME Research Collaborative (omdat zij zich bezighouden met ME-onderzoek en beleid)
de Health Research Authority (de Britse belangenverdediger van patiënten en volksgezondheid in onderzoek)
Professor Dorothy Bishop (omdat zij één van de deskundigen was die voor het SMC een opinie schreef ter promotie van één van de studies)

Bij elke mail werd Fiona Godlee, hoofdredacteur van BMJ, in CC gezet. Aangezien de brieven allemaal een gelijkaardige inhoud hebben, posten we ze hier allemaal onder elkaar.

Hartelijk dank aan David Tuller voor zijn niet-aflatende inzet voor ME-patiënten overal ter wereld!

Trial by error: NICE neemt het Lightning Process in beschouwing

David Tuller, DrPH, Virology Blog, 28 mei 2018

Eerder deze maand, voorafgaand aan een vergadering voor belanghebbenden, bracht het National Institute for Health and Care Excellence van het VK een ontwerp van verkennend rapport uit. Het document lijstte de kwesties op die behandeld zouden worden door het comité dat geselecteerd werd om de nieuwe richtlijn te ontwikkelen voor de ziekte die NICE nu ME/CVS noemt. (De richtlijn uit 2007 noemde het CVS/ME; de naamswijziging vertegenwoordigt, volgens mij althans, een mogelijk positief zij het bescheiden teken van verschuiving in de zienswijze van NICE.)

Naar wat we gehoord hebben over de vergadering van vrijdag, leek het debat redelijk goed te gaan. Een formele consultatieperiode van 21 juni tot 19 juli zal mensen de kans geven om verder commentaar in te dienen voordat de laatste hand wordt gelegd aan het verkennend rapport.

Slimme belanghebbenden zullen hopelijk in staat zijn om NICE ter verantwoording te roepen over deze kwestie. Toen ik het klad van het verkennend document diagonaal doornam, was ik niet verrast om graduele oefentherapie en cognitieve gedragstherapie te zien staan in de lijst van niet-farmacologische interventies ter discussie. Maar wat wel in het oog sprong, was de aanwezigheid van het Lightning Process.

Het Lightning Process is de zweverige pseudononsens die mensen traint in het afwijzen van hun ziekte en het maken van positieve affirmaties, naast andere strategieën. Professor Esther Crawley, de pediater van University of Bristol wiens werk propvol ethische en methodologische misstappen zit, publiceerde vorig jaar een studie die beweerde dat ze de effectiviteit ervan bij het behandelen van kinderen aantoonde. Maar de studie overtrad wetenschappelijke kernprincipes, zoals ik heb gedocumenteerd op Virology Blog en in correspondentie met de redacteur van het vakblad dat het heeft gepubliceerd, Archives of Disease in Childhood.

De redacteur heeft geen enkele actie ondernomen. En ook de BMJ niet, die Archives of Disease in Childhood publiceert. Dit plichtsverzuim van redactionele verantwoordelijkheid is zeker verontrustend, aangezien de feiten in deze zaak onbetwistbaar zijn: 56 van de 100 studiedeelnemers werden gerekruteerd vóór de registratie, als onderdeel van een haalbaarheidsstudie, en de uitkomstmaten voor de uiteindelijke paper werden omgewisseld op basis van de resultaten van deze vroeg geregistreerde patiënten. Dit soort manoeuvres leidt ongetwijfeld tot vooringenomenheid en ze zijn onaanvaardbaar vanuit elk wetenschappelijk oogpunt.

Dit is een e-mail die ik vorige donderdag [24 mei 2018, n.v.d.r.] stuurde naar Sir Andrew Dillon en professor Mark Baker, twee belangrijke leden van het uitvoerend orgaan van NICE. Ik zette ook verschillende belanghebbenden in CC, alsook Fiona Godlee, de hoofdredacteur van The BMJ en redactioneel directeur van de BMJ Company.

Volgens de website van het bedrijf is Dr. Godlee “verantwoordelijk voor het verzekeren van de redactionele integriteit van al of [sic] onze producten en diensten.” Gezien Dr. Godlees voortdurend stilzwijgen over de gedocumenteerde ethische inbreuken in de studie over het Lightning Process, lijkt ze deze verantwoordelijkheden niet al te serieus te nemen.

**********

Geachte Sir Andrew en Professor Baker –

Ik ben een onderzoeker volksgezondheid en journalistiek aan het Center for Global Public Health aan de University of California in Berkeley. Ik ben al een paar jaar bezig met onderzoek over de PACE-studie en aanverwant onderzoek naar GET en CGT als behandelingen voor de ziekte die bekend staat als CVS, ME, CVS/ME en ME/CVS (laat ons overeenkomen om de naam SEID te negeren). Samen met vele anderen heb ik NICE eerder al attent gemaakt op de ernstige problemen omtrent de beweringen over de doeltreffendheid van deze behandelingen.

Ik wil nu mijn bezorgdheid uitdrukken over het feit dat het klad van het verkennend rapport het Lightning Process vernoemt als mogelijke behandeling. Ik veronderstel dat deze suggestie gebaseerd is op de studie die vorig najaar verscheen in Archives of Disease in Childhood, een van de vakbladen van de BMJ Company. Zoals commentatoren op een patiëntenforum opmerkten, en zoals ik heb gedocumenteerd op Virology Blog, werd meer dan de helft van de studiedeelnemers gerekruteerd voordat de studie geregistreerd was, als onderdeel van een eerdere haalbaarheidsstudie. Het publiceren van een dergelijke studie is een duidelijke overtreding van het beleid van de BMJ zelf, en ook van het beleid afgekondigd door het Committee on Publication Ethics [Commissie voor Publicatie-ethiek, n.v.d.r.].

Dit is mijn post over de probleempunten in de studie over het Lightning Process: http://www.virology.ws/2017/12/13/trial-by-error-the-smile-trials-undisclosed-outcomes/ [versie in het NL, n.v.d.r.]

De haalbaarheidsstudie over het Lightning Process begon in september 2010 met rekruteren. De volledige studie werd geregistreerd – als een prospectieve studie – in juli 2012. Maar van de 100 deelnemers aan de volledige studie, werden er 56 gerekruteerd voordat ze geregistreerd werden als deelnemers in de haalbaarheidsstudie, in overeenstemming met de beschikbare documentatie. Dus dit was niet echt een prospectieve studie.

Daarbij kwam nog, dat toen de onderzoekers een aanvraag indienden bij de lokale commissie voor onderzoeksethiek om de haalbaarheidsstudie uit te breiden tot een volledige studie, ze tegelijkertijd goedkeuring aanvroegen om de primaire en secundaire uitkomstmaten om te wisselen, op basis van de resultaten van de deelnemers aan de haalbaarheidsstudie. Uitkomsten omwisselen op basis van eerste resultaten van studiedeelnemers leidt overduidelijk tot vooringenomenheid, dus het is verbijsterend dat de commissie voor onderzoeksethiek de aanvraag van de onderzoekers goedkeurde.

De primaire uitkomstmaat van de haalbaarheidsstudie, aanwezigheid op school op zes maanden, werd in de volledige studie een secundaire uitkomst. Intussen werd een secundaire uitkomstmaat van de haalbaarheidsstudie, zelfgerapporteerd fysiek functioneren, de primaire uitkomstmaat in de volledige studie. De onderzoekers presenteerden positieve resultaten voor de nieuwe subjectieve primaire uitkomstmaat van fysiek functioneren. Ze rapporteerden een nulresultaat voor aanwezigheid op school op zes maanden – de aanvankelijke primaire uitkomstmaat die nu een secundaire was geworden. Het is niet verrassend dat de media de positieve resultaten benadrukten voor de gereviseerde primaire uitkomstmaat en het nulresultaat voor de aanvankelijk primaire uitkomstmaat negeerden.

Daarenboven vermeldde de gepubliceerde paper in Archives of Disease in Childhood niet dat meer dan de helft van de deelnemers gerekruteerd werd vóór de studieregistratie, als onderdeel van de haalbaarheidsstudie. Ook onthulde de paper niet het saillante detail dat primaire en secundaire uitkomstmaten halfweg de studie omgewisseld werden, op basis van data verworven uit deze deelnemers aan de haalbaarheidsstudie.

Het Committee on Publication Ethics voert al jarenlang het beleid dat papers waarbij deelnemers gerekruteerd worden voordat de studie geregistreerd is, niet gepubliceerd mogen worden. Ook BMJ voert zo’n beleid. Het is onbetwistbaar dat Archives of Disease in Childhood het beleid van COPE en BMJ geschonden heeft door de studie over het Lightning Process te publiceren.

Op 30 januari stuurden 21 experts een brief naar Archives of Disease in Childhood, waarin ze deze bedenkingen schetsten. De redacteur van het blad beloofde de zaak te onderzoeken en een antwoord te verschaffen. Dat is nu meer dan drie maanden geleden, en er is nog steeds geen reactie gekomen. Het zou de redacteurs niet meer dan een paar minuten tijd kosten om de documentatie na te kijken en te erkennen dat de paper effectief het beleid van het blad heeft geschonden. Het feit dat de redacteur of eender wie bij BMJ deze kwesties niet tijdig beantwoordt, is zorgwekkend.

Dit is de brief naar Archives of Disease in Childhood: http://www.virology.ws/2018/01/30/trial-by-error-a-letter-to-archives-of-disease-in-childhood/ [versie in het NL, n.v.d.r.]

Ik heb enkelen van de belanghebbenden van de NICE-richtlijn bij deze e-mail in CC gezet, alsook Fiona Godlee, hoofdredacteur van The BMJ en redactioneel directeur van BMJ Company. Gezien het stilzwijgen van Archives of Disease in Childhood, kan Dr. Godlee misschien een aanvaardbare verklaring geven over waarom deze studie gepubliceerd werd, ondanks de schending van het beleid van BMJ over studies waarvoor deelnemers gerekruteerd werden vóór registratie – om nog maar te zwijgen over studies waarin primaire en secundaire uitkomstmaten halfweg omgewisseld worden, op basis van de resultaten van meer dan de helft van de deelnemers.

Tenzij Dr. Godlee enig licht kan werpen op de verbijsterende onregelmatigheden in de paper in Archives of Disease in Childhood, zou het Lightning Process als interventie in de toekomst in geen geval in beschouwing genomen mogen worden bij de herziening van de NICE-richtlijn.

Hartelijk dank voor uw welwillendheid in dit verband.

Vriendelijke groet,

David David Tuller, DrPH

Senior Fellow in Public Health and Journalism

Center for Global Public Health

School of Public Health

University of California, Berkeley

Trial by error: BMJ “onderzoekt” nog steeds de paper over het Lightning Process

David Tuller, DrPH, Virology Blog, 4 juni 208

Twee weken geleden stuurde ik een e-mail naar Sir Andrew Dillon en Professor Mark Baker [cf. supra] om hen attent te maken op de knelpunten in de studie over het Lightning Process, die vorig jaar gepubliceerd werd in Archives of Disease in Childhood. Beide mannen zijn lid van het Uitvoerend Orgaan van NICE en zijn betrokken bij het lopende ontwikkelingsproces van misschien wel de eerste ME/CVS-richtlijn van het agentschap. (De richtlijn uit 2007 gaat over CVS/ME, en NICE is de ziekte niet lang geleden ME/CVS beginnen noemen, net als Amerikaanse overheidsagentschappen.)

In mijn e-mail legde ik uit waarom de tekortkomingen van de studie ervoor zorgden dat ze niet geciteerd zou mogen worden als reden om het Lightning Process toe te voegen aan de lijst van niet-farmacologische behandelingen ter discussie. Ik zette verschillende belanghebbenden in het ME/CVS-richtlijnproces in CC, alsook Fiona Godlee, hoofdredacteur van The BMJ en redactioneel directeur bij BMJ Company. Ik besliste om Nick Brown, redacteur van Archives of Disease in Childhood, niet in CC te zetten. Dr. Brown was in januari attent gemaakt op de knelpunten en had tot nu toe geen enkel teken gegeven dat hij de kwestie had aangepakt.

Op zondag stuurde Dr. Brown zelf het volgende naar alle geadresseerden van mijn eerste e-mail:

Geachte Sir Andrew en Professor Baker,

Dr. Tullers e-mail werd naar mij doorgestuurd door Fiona Godlee van BMJ.

We gaven eerder al een ontvangstbevestiging van zijn klachten, onderzoeken ze en zullen, zoals gezegd, een volledig antwoord geven als we klaar zijn.

Nick Brown

Hoofdredacteur, Archives of Disease in Childhood

**********

Deze ochtend stuurde ik het volgende naar Dr. Brown, en alle geadresseerden van mijn eerste e-mail:

Geachte Dr. Brown,

Bedankt voor uw reactie op mijn bedenkingen, uitgedrukt in mijn recente e-mail aan Sir Andrew, Professor Baker en anderen.

Zoals ik aanduidde in die e-mail, ontving u op 30 januari een brief van 21 experts. De brief gaf kritiek op de studie over het Lightning Process voor kinderen, dat Archives of Disease in Childhood vorig jaar publiceerde, met de vaststelling dat meer dan de helft van de deelnemers gerekruteerd werd als onderdeel van een haalbaarheidsstudie die bijna twee jaar vóór de studieregistratie was begonnen. Het publiceren van de studie betekende daarom een duidelijke overtreding van het eenduidige BMJ-beleid om geen studies te publiceren waarvoor deelnemers werden gerekruteerd vóór registratie. Bovendien werden de primaire en de secundaire uitkomstmaten omgewisseld op basis van de resultaten van die deelnemers aan de haalbaarheidsstudie – wat vanzelfsprekend leidt tot vooringenomenheid. Precies dit soort omwisseling van uitkomstmaten vermijden, is wellicht een van de redenen waarom BMJ en andere grote wetenschappelijke tijdschriften hun strikte vereisten voor prospectieve studieregistratie afkondigden.

Het is nu meer dan vier maanden geleden dat ik u die brief stuurde en de problemen op een rijtje zette. Tijdens deze lange periode hebt u niet enkel uw herziening niet voltooid, maar hebt u ook mijn vraag geweigerd om een datum vast te stellen voor het voltooien van uw herziening. Het duurt letterlijk niet meer dan een paar minuten om de juistheid van mijn “klachten”, zoals u ze noemt, vast te stellen, dus dit oponthoud is onbegrijpelijk. Het enige wat u hoeft te doen is de paper zelf herbekijken, en ook de studieregistratie en de aanvraag aan het comité voor onderzoeksethiek waarin de onderzoekers goedkeuring aanvroegen om de deelnemers aan de haalbaarheidsstudie te betrekken bij de volledige studie, en tegelijkertijd de primaire en secundaire uitkomstmaten om te wisselen op basis van de eerste resultaten. Als u een van deze documenten moeilijk kan vinden, stuur ik ze graag naar u door.

Misschien moet ik u erop wijzen dat de studie over het Lightning Process niet gewoon kinderen betrof, maar kinderen die lijden aan een gestigmatiseerde ziekte. Met andere woorden: het ging hier om een kwetsbare groep binnen een al kwetsbare populatie. Gezien die opvallende factor, bovenop de ernst van de gedocumenteerde methodologische dwalingen, is het verbijsterend dat u en andere redacteurs geen enkele vorm van hoogdringendheid tentoonspreiden in deze zaak. Het feit dat uw blad de paper publiceerde, geeft beoefenaars van het Lightning Process het recht om op te scheppen over de doeltreffendheid van hun trainingsprogramma voor kinderen die bewezen zou zijn in een gerandomiseerde studie. De wijdverspreide berichtgeving in de media heeft andere wanhopige ouders aangemoedigd om hun kinderen aan zo’n kuur te onderwerpen. Door geen onmiddellijke stappen te ondernemen om deze kwestie op te lossen, tonen Archives en BMJ een verbazingwekkend nonchalante houding tegenover de belangen en het welzijn van deze gezinnen.

Zoals ik voordien al opmerkte, kozen de onderzoekers van het Lightning Process ervoor om in de Archives-paper geen melding te maken van het feit dat meer dan de helft van de kinderen gerekruteerd werd voordat de studie geregistreerd was, als onderdeel van de haalbaarheidsstudie. De onderzoekers meldden ook niet dat de uitkomstmaten halfweg omgewisseld werden op basis van de resultaten van de haalbaarheidsstudie. Dit soort kritieke informatie weglaten uit het studierapport is diep verontrustend. De onderzoekers beïnvloedden niet enkel hun resultaten door de primaire en secundaire uitkomstmaten om te wisselen, maar ze vergewisten de lezers van de Archives-paper ook niet van deze belangrijke, middenin de studie doorgevoerde wijzigingen.

Dus waarom bent u na vier maanden onderzoek nog steeds niet in staat om te bevestigen dat de studie naar het Lightning Process in overtreding is met het beleid van BMJ zelf over studieregistratie? Waarom geeft u niet toe dat de onderzoekers hun bevindingen beïnvloed hebben door hun uitkomstmaten om te wisselen op basis van resultaten van meer dan de helft van de deelnemers? Waarom hebt u uw lezers niet op de hoogte gesteld van deze methodologische onregelmatigheden? Waarom kwam Dr. Godlee zelf niet tussenbeide om de gepaste vaststellingen te maken, aangezien u en uw redactionele team niet in staat blijken te zijn uw verantwoordelijkheden tijdig af te handelen? Bent u het ermee eens dat deze studie wellicht van invloed is op geneeskundige behandeling en overheidsbeleid voor kinderen, en dat de kwestie snel aanpakken daarom van cruciaal belang is?

In uw e-mail merkte u op dat u “een volledig antwoord” zal geven als u “klaar bent”. Blijkbaar bent u niet alleen nog niet klaar om te antwoorden, maar bent u niet eens bereid om een deadline te stellen voor uw volledige antwoord. Vanuit mijn standpunt is het niet duidelijk wanneer, en of, u of Dr. Godlee ooit een volledig antwoord zullen geven, of tenminste een dat de integriteit en de eerlijkheid bevat die verwacht wordt van redacteurs van een toonaangevend medisch vakblad. Dat is de reden waarom ik besliste dat ik niet anders kon dan de betrokkenen bij de nieuwe NICE-richtlijn te waarschuwen over het feit dat de methodologische fouten in de studie over het Lightning Process ze onaanvaardbaar maakt ter overweging voor eender welk beleidsmakersproces.

Ik zal dat standpunt zo nodig blijven verdedigen tegenover gezondheidsambtenaren, parlementsleden, overheidsfunctionarissen, journalisten en andere relevante belanghebbenden, tot Archives of Disease in Childhood en BMJ stoppen met dwarsliggen en eindelijk iets doen aan de vanzelfsprekende tekortkomingen van de studie over het Lightning Process. Ik zal bij dat soort berichten Dr. Godlee verder in CC zetten.

Vriendelijke groet, David

David Tuller, DrPH

Senior Fellow in Public Health and Journalism

Center for Global Public Health

School of Public Health

University of California, Berkeley

Trial by error: mijn brief aan Parlementslid Monaghan over BMJ-studies

David Tuller, DrPH, Virology Blog, 5 juni 2018

Ik probeer al een tijdje om redacteurs van twee BMJ-bladen ervan te overtuigen verantwoordelijkheid op te nemen voor verkeerde beslissingen. Ondanks aanzienlijk gepor en geduw, ben ik daar niet in geslaagd. De twee papers die ik bekritiseerd heb omdat ze vol staan met methodologische en/of ethische misstappen, zijn deze: “Clinical and cost-effectiveness of the Lightning Process in addition to specialist medical care for paediatric chronic fatigue syndrome: randomised controlled trial” [Klinische en kosteneffectiviteit van Lightning Process in aanvulling op gespecialiseerde medische zorg voor pediatrisch chronisch vermoeidheidssyndroom: gerandomiseerde gecontroleerde trial], vorig jaar gepubliceerd in Archives of Disease in Childhood; en “Unidentified Chronic Fatigue Syndrome/myalgic encephalomyelitis (CFS/ME) is a major cause of school absence: surveillance outcomes from school-based clinics” [Ongeïdentificeerd chronisch vermoeidheidssyndroom/myalgische encefalomyelitis (CVS/ME) is een belangrijke oorzaak van afwezigheid op school: controle-uitkomsten van aan scholen verbonden klinieken], gepubliceerd in 2011 in BMJ Open.

Deze papers omvatten alle twee onderzoek bij kinderen. Ze hebben alle twee het potentieel om publiek beleid en medische behandeling te beïnvloeden. Dus de kwestie publiekelijk bekendmaken en ze dan gepast aanpakken is van zeker belang – althans voor mij. BMJ lijkt dat gevoel van hoogdringendheid niet te delen.

Voor nog onbekende reden hebben redacteurs van beide vakbladen er tot nu toe voor gekozen om de overduidelijke feiten te negeren. (Tenminste publiekelijk; ik heb geen idee van wat ze er privé over denken.) Zo ook Fiona Godlee, hoofdredacteur van The BMJ en redactioneel directeur bij BMJ Company. Volgens de website van BMJ, is Dr. Godlee “verantwoordelijk voor het verzekeren van de redactionele integriteit van al of [sic] onze producten en diensten”. Als dat zo is, zou ze zich onmiddellijk moeten richten op de probleempunten in deze twee papers. Stilzwijgen is niet haalbaar op lange termijn, vooral wanneer het bewijs in beide gevallen onweerlegbaar is.

Twee weken geleden waarschuwde ik enkele van de betrokkenen bij het NICE-richtlijnproces [cf. supra] over de studie over het Lightning Process, aangezien het agentschap in het ontwerp van verkennend rapport deze trainingsmodaliteit had vernoemd als een mogelijke niet-farmacologische behandeling voor ME/CVS. Die eerste e-mail leidde tot een volgende uitwisseling [cf. supra] met Nick Brown, de redacteur van Archives of Disease in Childhood. Dr. Brown stipte aan dat het vakblad de studie over het Lightning Process nog steeds aan het bestuderen was, en dat het “een volledig antwoord” zou geven wanneer ze klaar zijn. Hij legde niet uit waarom het onderzoek al meer dan vier maanden duurde en hoe lang het nog zou duren.

Deze ochtend stuurde ik een e-mail over BMJ naar Carol Monaghan, Parlementslid voor de Scottish National Party. Parlementslid Monaghan, leraar wetenschappen van beroep, heeft een sterke interesse in onderzoeksaansprakelijkheid, én in het lot van ME/CVS-patiënten. In februari organiseerde ze een hoorzitting in het House of Commons over de gebreken van de PACE-studie. Tijdens de zitting noemde ze PACE “een van de grootste medische schandalen van de 21ste eeuw” – een ongetwijfeld nauwkeurige beoordeling, zelfs al is de eeuw pas begonnen. In maart postte ik een vraag- en antwoordronde met haar op Virology Blog.

In de e-mail aan Parlementslid Monaghan van vandaag, hieronder gepost, maakte ik haar attent op de blijkbaar nonchalante benadering van BMJ tegenover overtredingen van wetenschappelijke principes in invloedrijke studies op kinderen. Net als bij de NICE-mail, zette ik Fiona Godlee in CC.

**********

Geachte Parlementslid Monaghan,

Uit uw publieke handelingen en onze recente uitwisselingen, weet ik dat u erg bekommerd bent om de juistheid en betrouwbaarheid van het gepubliceerd bewijs over ME/CVS, waaronder onder andere de PACE-studie. Gezien uw interesse in onderzoeksintegriteit, zou ik graag uw aandacht willen vestigen op twee studies, gepubliceerd door vakbladen van de BMJ-groep: Archives of Disease in Childhood and BMJ Open.

Beide studies betrekken kinderen met de ziekte, en beiden overtreden ze wetenschappelijke en/of ethische basisprincipes. Maar omdat ze in de literatuur staan, kunnen ze weldra van invloed zijn op het volksgezondheidsbeleid en de medische behandeling beschikbaar voor kinderen, of misschien hebben ze die al beïnvloed. Alhoewel de redacteurs van de twee vakbladen op de hoogte werden gesteld van de kwestie, hebben ze tot hier toe geen passende actie ondernomen en geen noodzakelijke correcties doorgevoerd. Dit verzuim zorgt ervoor dat kinderen mogelijk risico lopen op schade en is, naar mijn mening, onbegrijpelijk en onvergeeflijk.

De paper in Archives of Disease in Childhood, met als titel: “Clinical and cost-effectiveness of the Lightning Process in addition to specialist medical care for paediatric chronic fatigue syndrome: randomised controlled trial”, werd vorig jaar gepubliceerd. De paper in BMJ Open, met als titel “Unidentified Chronic Fatigue Syndrome/myalgic encephalomyelitis (CFS/ME) is a major cause of school absence: surveillance outcomes from school-based clinics”, werd gepubliceerd in 2011.

In de studie over het Lightning Process in Archives of Disease in Childhood werd meer dan de helft van de deelnemers gerekruteerd als onderdeel van een haalbaarheidsstudie die van start ging bijna twee jaar vóór de registratie van de studie. Terwijl deze deelnemers aan de haalbaarheidsstudie mee werden opgenomen in de volledige studie, werden ook de primaire en secundaire uitkomstmaten omgewisseld, op basis van hun resultaten – wat leidt tot beïnvloeding van de bevindingen. De paper in Archives of Disease in Childhood rapporteerde positieve resultaten, maar vermeldde deze relevante details niet – een verontrustende weglating. BMJ voert al jarenlang een beleid tegen het publiceren van studies waarbij deelnemers gerekruteerd werden vóór registratie – een beleid dat door de studie over het Lightning Process duidelijk met voeten getreden werd.

In de studie in BMJ Open poogden de onderzoekers de hypothese te testen dat kinderen met chronisch vermoeidheidssyndroom geïdentificeerd zouden kunnen worden via schoolafwezigheidsregisters. Maar ze stelden de studie vrij van ethische review met behulp van de valse redenering dat het een “dienstevaluatie” betrof en geen “onderzoek”. De gepubliceerde paper omvat een hypothese en veralgemeenbare conclusies, en viel terug op primaire data, rechtstreeks verzameld bij gekende deelnemers. Volgens de richtlijnen in het VK kan een studie met deze kenmerken niet geclassificeerd worden als “dienstevaluatie”, maar komt het in aanmerking als “onderzoek” dat ethische review vereist.

Een peerreviewer plaatste heel wat vraagtekens bij de bewering die de studie maakt over dat het een “dienstevaluatie” betreft en geen “onderzoek”. Hoewel de onderzoekers geen afdoend antwoord gaven op het gebrek aan ethische review, zag BMJ Open de kwestie door de vingers en aanvaardde de paper toch. Ironisch genoeg publiceerde het vakblad het onder de hoofding “onderzoek”, maar stelde het zich sindsdien verdedigend op omtrent de beslissing om het te categoriseren als “dienstevaluatie”.

In de volgende posts op Virology Blog kan u meer details lezen over de gedocumenteerde knelpunten in deze studies, alsook de bezorgde brieven die verstuurd werden naar de redacteurs van de twee vakbladen.

Trial By Error: de niet-openbaar gemaakte uitkomstenverwisseling van de SMILE-studie

Trial By Error: een brief aan Archives of Disease in Childhood

Trial By Error: geen ethische review van de studie van Crawley over afwezigheid op school

Trial By Error: een brief aan BMJ Open

Ik heb Fiona Godlee, hoodredacteur van The BMJ en redactioneel directer van BMJ Company, bij deze mail in CC gezet. Misschien kan zij verklaren waarom BMJ-vakbladen het overduidelijke nog niet hebben erkend: de studie in Archives overtrad het BMJ-beleid over registratie van prospectieve studies, en de studie in BMJ Open was geen “dienstevaluatie”, dus sowieso had geen van beide studies aanvaard mogen worden.

Gelooft Dr. Godlee dat deze incidenten erop wijzen dat er nood is aan meer controle op het redactionele proces en het peerreviewproces van BMJ, tenminste als het gaat om dit onderzoeksdomein? Heeft zij suggesties over welke hulpmiddelen beschikbaar zouden moeten zijn als een wetenschappelijk tijdschrift zijn verantwoordelijkheid omtrent het eigen toezicht niet nakomt, met mogelijk negatieve gevolgen voor volksgezondheid en geneeskunde?

Ik breng deze kwesties nu bij u ter sprake omdat dit BMJ-onderzoek het risico loopt om geloofwaardig bevonden te worden bij overleg over publiek beleid dat kinderen betreft, zoals de huidige poging van NICE om een nieuwe richtlijn voor ME/CVS te ontwikkelen. Net als PACE is er geen sprake van dat deze gebrekkige studies geciteerd mogen worden ter ondersteuning van volksgezondheidsinitiatieven of aanbevelingen over geneeskundige zorg voor mensen met deze ziekte. Maar omwille van duidelijke redactionele tekortkomingen bij de vakbladen in kwestie, raakten deze papers op een of andere manier toch door de peerreview, werden ze aanvaard voor publicatie en blijven ze in de literatuur staan.

Hartelijk dank voor uw voortdurende interesse in dit thema.

Vriendelijke groet, David

David Tuller, DrPH

Senior Fellow in Public Health and Journalism

Center for Global Public Health

School of Public Health

University of California, Berkeley

Trial by error: een brief aan gezondheidsambtenaren over de lakse redactionele maatstaven van BMJ

David Tuller, DrPH, Virology Blog, 6 juni 2018

Ik weet niet hoe de zaken staan bij BMJ en waarom zijn redacteurs niet in staat blijken om te erkennen dat hun besluitvorming veel te wensen over laat, als het gaat om twee papers die nooit aanvaard hadden mogen worden voor publicatie. Een ervan overtrad het BMJ-beleid dat zegt dat alle studies eerst correct geregistreerd moeten zijn, alvorens er deelnemers gerekruteerd worden. De andere overtrad officiële Britse richtlijnen door zichzelf op valse gronden vrij te stellen van ethische review.

Bij beide studies waren kinderen betrokken en alle twee kunnen ze geciteerd worden of aangehaald tijdens beleidvormingsbesprekingen op vlak van volksgezondheid en/of geneeskundige zorg. Door niet meteen actie te ondernemen, creëert BMJ in elk geval de indruk dat het blad meer bekommerd is om zijn reputatie dan om de bescherming van het welzijn van kinderen. Deze misplaatste prioriteiten doen vermoeden dat er iets ernstig mis is met de ethische barometer van BMJ. Het feit dat de leidinggevenden van BMJ niet tussenbeide komen en corrigerende maatregelen treffen, toont aan dat het hier eerder gaat om een bedrijfsbreed probleem, dan over een probleem dat slechts twee vakbladen treft.

Hoe dan ook, stel ik mensen die mogelijk betrokken zijn bij het ontwikkelen of evalueren van het beleid ervan op de hoogte dat deze twee papers wetenschappelijke en/of ethische principes overtreden en beter niet in overweging genomen worden wanneer het gaat over gezondheid van kinderen. Mijn meest recente brief, hieronder gepost, is gericht aan Parlementslid Rt Hon Jeremy Hunt, die de Britse Staatssecretaris is voor Volksgezondheid en Sociale Zaken, en aan Professor Dame Sally Davies, die de Chief Medical Officer is voor Engeland. Net als bij de vorige brieven, zet ik Fiona Godlee in CC. Zij is hoofdredacteur van The BMJ en redactioneel directeur van BMJ Company. (Deze brief lijkt op de brief die ik gisteren verstuurde naar Carol Monaghan, parlementslid voor de Scottish National Party die de kritiek op PACE niet schuwt.)

De onderwerpregel van de brief leest als volgt: “BMJ’s nonchalante houding tegenover wetenschappelijke/ethische overtredingen in pediatrisch onderzoek naar ME/CVS”

**********

Geacht Parlementslid Rt Hon Jeremy Hunt en Professor Dame Sally Davies,

Ik ben een onderzoeker volksgezondheid en journalistiek aan het Center for Global Public Health aan de University of California in Berkeley. Al drie jaar neem ik onderzoek onder de loep over behandelingen voor de ziekte die bekend staat onder de verschillende benamingen chronisch vermoeidheidssyndroom, myalgische encefalomyelitis, CVS/ME en ME/CVS. Via mijn artikelenreeks (“Trial By Error”) op een bekende wetenschapssite (Virology Blog) heb ik geholpen om de vele gebreken van de PACE-trial te belichten – een onderwerp dat dit jaar besproken werd in het House of Commons.

Als er wordt gedebatteerd over ME/CVS-onderzoek van slechte kwaliteit, dan gaat het telkens bijna uitsluitend over PACE. Maar het zou niet eerlijk zijn om enkel kritiek te geven op The Lancet voor het promoten van ondermaats onderzoek in dit veld. BMJ-bladen hebben dat ook gedaan. Omdat u een sleutelrol speelt op vlak van volksgezondheid en geneeskundige zorg, vond ik het passend om uw aandacht te vestigen op twee van dit soort problematische studies gepubliceerd in BMJ-vakbladen – Archives of Disease in Childhood en BMJ Open.

Bij beide studies waren kinderen betrokken, en beiden overtraden ze wetenschappelijke en/of ethische kernprincipes. Maar omdat ze in de literatuur staan, kunnen ze weldra van invloed zijn op het volksgezondheidsbeleid en de medische behandeling beschikbaar voor kinderen, of misschien hebben ze die al beïnvloed. Alhoewel de redacteurs van de twee vakbladen op de hoogte werden gesteld van de kwestie, hebben ze tot hier toe geen passende actie ondernomen en geen noodzakelijke correcties doorgevoerd. Dit verzuim zorgt ervoor dat kinderen mogelijk risico lopen op schade.

De paper in Archives of Disease in Childhood, met als titel: “Clinical and cost-effectiveness of the Lightning Process in addition to specialist medical care for paediatric chronic fatigue syndrome: randomised controlled trial” [Klinische en kosteneffectiviteit van Lightning Process in aanvulling op gespecialiseerde medische zorg voor pediatrisch chronisch vermoeidheidssyndroom: gerandomiseerde gecontroleerde trial], werd vorig jaar gepubliceerd. De paper in BMJ Open, met als titel “Unidentified Chronic Fatigue Syndrome/myalgic encephalomyelitis (CFS/ME) is a major cause of school absence: surveillance outcomes from school-based clinics” [Ongeïdentificeerd chronisch vermoeidheidssyndroom/myalgische encefalomyelitis (CVS/ME) is een belangrijke oorzaak van afwezigheid op school: controle-uitkomsten van aan scholen verbonden klinieken], werd gepubliceerd in 2011.

Om vooringenomenheid te vermijden, voeren BMJ en andere toonaangevende vakbladen al jarenlang een beleid tegen het publiceren van studies waarbij deelnemers gerekruteerd werden vóór registratie. Dit beleid werd door de studie over het Lightning Process duidelijk met voeten getreden. En toch blijft Archives of Disease in Medicine beoefenaars van het Lightning Process het recht geven om op te scheppen over de doeltreffendheid van hun pseudowetenschappelijk programma voor kinderen met deze ziekte. De wijdverspreide berichtgeving in de media over de gerapporteerde resultaten heeft mogelijk andere wanhopige ouders aangemoedigd om hun zuurverdiende geld uit te geven aan het Lightning Process.

Volgens de richtlijnen in het VK, kan een studie met deze kenmerken niet geclassificeerd worden als “dienstevaluatie”, maar komt het in aanmerking als “onderzoek” dat ethische review vereist.

Een peerreviewer voor BMJ Open plaatste heel wat vraagtekens bij de bewering die de studie maakte over dat het een “dienstevaluatie” betrof en geen “onderzoek”. Hoewel de onderzoekers geen afdoend antwoord gaven op het gebrek aan ethische review, zag BMJ Open de kwestie door de vingers en aanvaardde de paper toch. Ironisch genoeg publiceerde het vakblad het onder de hoofding “onderzoek”, maar stelde het zich sindsdien verdedigend op omtrent de beslissing om het te categoriseren als “dienstevaluatie”.

Trial By Error: de niet-openbaar gemaakte uitkomstenverwisseling van de SMILE-studie

Trial By Error: een brief aan Archives of Disease in Childhood

Trial By Error: geen ethische review van de studie van Crawley over afwezigheid op school

Trial By Error: een brief aan BMJ Open

Ik heb Fiona Godlee, hoodredacteur van The BMJ en redactioneel directer van BMJ Company, bij deze mail in CC gezet. Misschien kan zij verklaren waarom de vakbladen waar zij de leiding over heeft het overduidelijke nog niet hebben erkend: de studie in Archives overtrad het BMJ-beleid over registratie van prospectieve studies, en de studie in BMJ Open was geen “dienstevaluatie”. Sowieso had geen van beide studies aanvaard mogen worden.

Ik breng deze kwesties nu bij u ter sprake omdat dit BMJ-onderzoek het risico loopt om geloofwaardig bevonden te worden bij overleg over publiek beleid dat kinderen betreft, zoals de huidige poging van NICE om een nieuwe richtlijn voor ME/CVS te ontwikkelen, of de lopende implementering van het problematische programma Improved Access to Psychological Therapy [controversieel nieuw systeem voor toegang tot psychologische behandelingen in het VK, n.v.d.r.]. Net als PACE is er geen sprake van dat deze gebrekkige studies geciteerd mogen worden ter ondersteuning van volksgezondheidsinitiatieven of aanbevelingen over geneeskundige zorg voor mensen met deze ziekte. Maar omwille van duidelijke redactionele tekortkomingen bij de vakbladen in kwestie, raakten deze papers op een of andere manier toch door de peerreview, werden ze aanvaard voor publicatie en blijven ze in de literatuur staan.

Hartelijk dank voor uw aandacht in dit verband. Mocht u vragen hebben over deze twee studies, de PACE-studie of andere papers in deze ondermaatse onderzoekstak, dan beantwoord ik ze graag.

Vriendelijke groet, David Tuller

David Tuller, DrPH

Senior Fellow in Public Health and Journalism

Center for Global Public Health

School of Public Health

University of California, Berkeley

Trial By Error: mijn brief over de BMJ-studie aan het Science Media Centre

David Tuller, DrPH, Virology Blog, 6 juni 2018

Ik stuurde volgende mail naar Edward Sykes, hoofd geestelijke gezondheid en neurowetenschappen aan het Science Media Centre [soort persbureau in het VK dat streeft naar correctere verslaggeving over wetenschappelijke thema’s in de media; hun verslaggeving over ME is echter berucht, n.v.d.r.]. De e-mail gaat over de studie over het Lightning Process die vorig jaar gepubliceerd werd in Archives of Disease in Childhood. Het SMC promootte de bevindingen, wat leidde tot wijdverspreide berichtgeving in de media.

Ik heb Fiona Godlee, hoodredacteur van The BMJ en redactioneel directeur van BMJ Company, bij deze mail in CC gezet, aangezien het redactionele team van Archives of Disease in Childhood deze bekommernissen niet tijdig behandeld heeft. Hierdoor wordt de indruk gewekt dat BMJ een onverschillige of lakse houding heeft tegenover overtredingen van wetenschappelijke basisprincipes, waaronder de principes die door het bedrijf zelf werden afgekondigd, in pediatrisch onderzoek – of tenminste pediatrisch onderzoek over deze ziekte in het bijzonder.

**********

Beste Edward,

Vorig jaar in september promootte het Science Media Centre volgende studie, gepubliceerd door een BMJ-blad, Archives of Disease in Childhood: “Clinical and cost-effectiveness of the Lightning Process in addition to specialist medical care for paediatric chronic fatigue syndrome: randomised controlled trial.” [Klinische en kosteneffectiviteit van Lightning Process in aanvulling op gespecialiseerde medische zorg voor pediatrisch chronisch vermoeidheidssyndroom: gerandomiseerde gecontroleerde trial] Het SMC hield een briefing over de paper, bracht een overzicht uit van deskundigenopinies en publiceerde een gedetailleerde statistische analyse “achter de krantenkoppen”.

Ik wou er zeker van zijn dat u en het SMC op de hoogte waren van het feit dat deze studie in overtreding is met het eigen beleid van BMJ over het niet-publiceren van studies waarvoor deelnemers gerekruteerd werden vóór registratie. Ik heb de zaak terdege gedocumenteerd op Virology Blog, en in januari kreeg Archives of Disease in [Childhood] een brief van 21 experts over de kwestie. Het vakblad heeft tot nog toe de bedenkingen niet weerlegd en heeft geen corrigerende stappen ondernomen. Hieronder twee posts over de kwestie:

Trial By Error: de niet-openbaar gemaakte uitkomstenverwisseling van de SMILE-studie

Trial By Error: een brief aan Archives of Disease in Childhood

De paper over het Lightning Process merkte op dat rekrutering begon in september 2010. Maar de studie zelf werd geregistreerd in juli 2012. Volgens de documentatie werden 56 van de 100 deelnemers gerekruteerd als onderdeel van een haalbaarheidsstudie die bijna twee jaar vóór de registratie van de studie begon. Bovendien werden primaire en secundaire uitkomstmaten halfweg omgewisseld, op basis van gegevens die al verkregen waren van deze deelnemers aan de haalbaarheidsstudie – wat regelrecht leidt tot beïnvloeding van de gerapporteerde resultaten.

Het is geen verrassing dat de onderzoekers positieve resultaten konden rapporteren voor de herziene primaire uitkomstmaten van zelfgerapporteerd fysiek functioneren. De oorspronkelijke primaire uitkomstmaat van het protocol, die een secundaire uitkomstmaat werd in de paper in Archives, was aanwezigheid op school na zes maanden. Deze uitkomstmaat gaf een nulresultaat. Het feit dat 56 van de 100 kinderen in de studie gerekruteerd werden voordat de studie geregistreerd was, werd niet vermeld in de paper in Archives of Disease in Childhood. Ook werd geen melding gemaakt van het feit dat primaire en secundaire uitkomstmaten omgewisseld waren, op basis van gegevens verkregen uit deze vroege deelnemers.

De berichtgeving in de media die voortkwam uit de briefing en andere info van SMC, legde begrijpelijk de focus op de positieve gerapporteerde resultaten voor de herziene primaire uitkomstmaat en negeerde het nulresultaat van de oorspronkelijke primaire uitkomstmaat. Spijtig genoeg maakten de door SMC geconsulteerde deskundigen geen gewag van het feit dat de uitkomstmaten halfweg de studie omgewisseld werden op basis van gegevens uit de haalbaarheidsstudie. Bent u het ermee eens dat deze methodologische keuzes de resultaten beïnvloed hebben, en dat de beslissing om deze informatie weg te laten uit de publicatie afbreuk doet aan de principes van transparantie in de wetenschap? Waarom werden deze problemen over het hoofd gezien door diegenen die de studie voor SMC evalueerden?

Is het SMC, in het licht van deze onregelmatigheden, van plan om contact op te nemen met journalisten die de briefing bijwoonden of online infomateriaal ontvingen over de studie over het Lightning Process, om hen op de hoogte te stellen van de zaak? Ziet u het als uw verantwoordelijkheid om opvolging te geven als blijkt dat door u gepromote studies wetenschappelijke basisprincipes schenden, zoals de noodzaak om te vermelden dat uitkomstmaten omgewisseld werden op basis van gegevens verworven uit meer dan de helft van de deelnemers aan een studie?

Ik heb Fiona Godlee bij deze e-mail in CC gezet. Misschien kan zij verklaren waarom een vakblad waar zij de leiding over heeft, nog steeds het overduidelijke niet heeft erkend: de studie over het Lightning Process overtrad het BMJ-beleid over registratie van prospectieve studies, en had sowieso niet aanvaard mogen worden voor publicatie. Als mijn bedenkingen voortvloeiden uit een foute interpretatie of een misverstand, dan zou Archives of Disease in Childhood toch niet meer dan vier maanden nodig hebben om ze te weerleggen.

Ik breng deze kwestie nu bij u ter sprake omdat de paper in Archives of Disease in Childhood het risico loopt om geloofwaardig bevonden te worden bij overleg over publiek beleid dat kinderen betreft, zoals de huidige poging van NICE om een nieuwe richtlijn voor ME/CVS te ontwikkelen, of de lopende implementering van het problematische programma Improved Access to Psychological Therapy [controversieel nieuw systeem voor toegang tot psychologische behandelingen in het VK, n.v.d.r.]. Er is geen sprake van dat deze gebrekkige studies geciteerd mogen worden ter ondersteuning van volksgezondheidsinitiatieven of aanbevelingen over geneeskundige zorg. Maar omwille van klaarblijkelijke redactionele tekortkomingen bij BMJ, raakte de paper op een of andere manier toch door de peerreview, werd hij aanvaard voor publicatie en blijft hij in de literatuur staan.

Gezien de rol die SMC speelde in het verspreiden van de bevindingen van de studie over het Lightning Process, zou u of diegenen die een deskundige opinie verschaften voor het overzicht, een paar minuten tijd moeten nemen om de relevante documenten door te nemen. Deze documenten zijn: de paper zelf, de studieregistratie, en de goedkeuringsaanvraag aan het comité voor onderzoeksethiek om de haalbaarheidsstudie uit te breiden tot een volledige studie en tegelijkertijd de primaire en secundaire uitkomstmaten om te wisselen

Dan zou het SMC de zaak voor eens en voor altijd kunnen oplossen door een van deze twee dingen te bevestigen: ofwel werden alle deelnemers aan de studie over het Lightning Process gerekruteerd na registratie van de studie, ofwel werd meer dan de helft gerekruteerd vóór registratie van de studie en werden de uitkomstmaten omgewisseld op basis van hun gegevens. Als u vaststelt dat dat laatste het geval is, kan u ook bevestigen dat het publiceren van zo’n studie niet enkel BMJ’s eigen beleid schond, maar ook het beleid dat het Comité voor Publicatie-ethiek ogenschijnlijk al jarenlang naleeft.

Hartelijk dank voor uw aandacht in dit verband.

Vriendelijke groet, David

David Tuller, DrPH

Senior Fellow in Public Health and Journalism

Center for Global Public Health

School of Public Health

University of California, Berkeley

Trial By Error: nog enkele brieven over BMJ’s gebrekkige pediatrische studies

David Tuller, DrPH, Virology Blog, 11 juni 2018

Vanochtend stuurde ik nog drie e-mails om betrokken partijen attent te maken op mijn bedenkingen bij twee BMJ-studies over kinderen met ME/CVS. Bij onderzoek zijn kinderen al een kwetsbare groep op zich, laat staan kinderen met een gestigmatiseerde ziekte. Daarom vind ik het zowel verbazingwekkend als verontrustend dat BMJ weinig interesse lijkt te hebben in het aanpakken van de ethische en/of methodologische overtredingen die Virology Blog over deze pediatrische studies gedocumenteerd heeft.

Ik stuurde eerst een e-mail naar de raad van bestuur van het CFS/ME Research Collaborative. Aangezien het CMRC in de toekomst wellicht een rol zal blijven spelen in zowel onderzoek als gezondheidsbeleid, vind ik dat de bewindvoerders van die organisatie op de hoogte moeten worden gesteld van ernstige problemen in hoog aangeschreven studies over de ziekte, vooral omdat het kinderen betreft.

Daarna stuurde ik een e-mail naar Jonathan Montgomery en Teresa Allen, die, respectievelijk, de voorzitter en de interim algemeen directeur zijn van de Health Research Authority, een tak van de National Health Service die onder andere toezicht houdt over het proces waardoor onderzoekers goedkeuring krijgen van lokale comités voor onderzoeksethiek. Als laatste stuurde ik een e-mail naar Professor Dorothy Bishop, een bekende neuropsycholoog aan Oxford, die in september jl. een verklaring leverde aan het Science Media Centre voor hun overzicht van deskundigenopinies over één van de studies.

Zoals ik herhaaldelijk heb aangestipt, zijn de BMJ-bladen in kwestie – Archives of Disease in Childhood en BMJ Open – hun redactionele verantwoordelijkheden niet nagekomen. Intussen ligt de verantwoordelijkheid bij redactioneel directeur van BMJ, Fiona Godlee, om te verklaren hoe de vakbladen de bal zo mis konden slaan en waarom ze geweigerd hebben de knelpunten te erkennen, zelfs als ze onweerlegbaar bewijs voorgeschoteld krijgen. Verder zou ze ook moeten uitleggen waarom BMJ in dit geval meer belang lijkt te hechten aan zijn reputationele en institutionele belangen dan aan het welzijn van kinderen.

Ik heb Dr. Godlee in mijn e-mails in CC gezet, zodat ze onmiddellijk kan antwoorden als ze dat wil. Bij mijn e-mail aan Professor Bishop heb ik ook Edward Sykes in CC gezet, hoofd geestelijke gezondheid en neurowetenschap van het Science Media Centre.

**********

Brief aan de Raad van Bestuur van het CMRC

Geachte leden van de Raad van Bestuur van het CMRC:

Velen van u ontvingen een reeks omstreden e-mails die ik vorig jaar verstuurde nadat ik valselijk beschuldigd werd van laster. Nu de situatie veranderd is, wil ik het CMRC graag feliciteren omwille van zijn beslissing om een andere weg in te slaan. Professor Pontings publieke verklaring over ME/CVS werd zeer op prijs gesteld en doet vermoeden dat er reden is tot optimisme. Ik hoop dat ons contact vanaf nu productiever zal zijn.

Zoals u waarschijnlijk allemaal weet, geef ik al een tijd scherpe kritiek op de PACE-studie. Maar het zou niet eerlijk zijn om enkel The Lancet met de vinger te wijzen, als het gaat om ondermaats onderzoek in het veld van ME/CVS. Gezien de centrale rol van het CMRC op het domein van ME/CVS, vond ik het gepast om u attent te maken op twee problematische pediatrische studies, gepubliceerd in BMJ-vakbladen – Archives of Disease in Childhood en BMJ Open.

Beide studies betreffen kinderen die lijden aan deze ziekte – een gestigmatiseerde groep in een populatie die al kwetsbaar is op zich. Bovendien schonden beide studies wetenschappelijke en/of ethische basisprincipes. Toch kan dit onderzoek van invloed worden (of misschien is het dat al) op volksgezondheidsbeleid en de geneeskundige behandelingen die beschikbaar zijn voor kinderen, en kan het aanleiding geven tot opvolgingsstudies. Hoewel de redacteurs van de twee vakbladen op de hoogte werden gesteld van deze knelpunten, hebben ze tot nog toe geen gepaste en noodzakelijke correcties uitgevoerd. Dit verzuim zorgt ervoor dat kinderen mogelijk risico lopen op schade.

De paper in Archives of Disease in Childhood, met als titel “Clinical and cost-effectiveness of the Lightning Process in addition to specialist medical care for paediatric chronic fatigue syndrome: randomised controlled trial” [Klinische en kosteneffectiviteit van Lightning Process in aanvulling op gespecialiseerde medische zorg voor pediatrisch chronisch vermoeidheidssyndroom: gerandomiseerde gecontroleerde trial] werd vorig jaar gepubliceerd. De paper in BMJ Open heette “Unidentified Chronic Fatigue Syndrome/myalgic encephalomyelitis (CFS/ME) is a major cause of school absence: surveillance outcomes from school-based clinics” [Ongeïdentificeerd chronisch vermoeidheidssyndroom/myalgische encefalomyelitis (CVS/ME) is een belangrijke oorzaak van afwezigheid op school: controle-uitkomsten van aan scholen verbonden klinieken] en werd gepubliceerd in 2011.

Om vooringenomenheid te vermijden, voeren BMJ en andere toonaangevende vakbladen al jarenlang een beleid tegen het publiceren van studies waarvoor deelnemers gerekruteerd werden vóór registratie. Dit beleid werd door de studie over het Lightning Process duidelijk met voeten getreden. En toch blijft Archives of Disease in Childhood beoefenaars van het Lightning Process het recht geven om op te scheppen over de doeltreffendheid van hun pseudowetenschappelijk programma voor kinderen met deze ziekte, omdat het bewezen zou zijn in een gerandomiseerde studie. De berichtgeving in de media over de gerapporteerde resultaten heeft mogelijk andere wanhopige ouders aangemoedigd om hun zuurverdiende geld uit te geven aan het Lightning Process.

Volgens de richtlijnen in het VK, kan een studie met deze kenmerken niet geclassificeerd worden als “dienstevaluatie”, maar komt het in aanmerking als “onderzoek” dat ethische review vereist.

Een peerreviewer voor BMJ Open plaatste heel wat vraagtekens bij de bewering die de studie maakte over dat het een “dienstevaluatie” betrof en geen “onderzoek”. Hoewel de onderzoekers geen afdoend antwoord gaven, zag BMJ Open de kwestie door de vingers en aanvaardde de paper toch, zonder ethische review. Ironisch genoeg publiceerde het vakblad het onder de hoofding “onderzoek”, maar stelde het zich sindsdien verdedigend op omtrent de beslissing om het te categoriseren als “dienstevaluatie”.

In onderstaande posts op Virology Blog kan u meer details lezen over de gedocumenteerde knelpunten in deze studies, alsook de bezorgde brieven die verstuurd werden naar de redacteurs van de vakbladen door meer dan een dozijn wetenschappers, clinici en andere experts:

Trial By Error: de niet-openbaar gemaakte uitkomstenverwisseling van de SMILE-studie

Trial By Error: een brief aan Archives of Disease in Childhood

Trial By Error: geen ethische review van de studie van Crawley over afwezigheid op school

Trial By Error: een brief aan BMJ Open

Ik heb Fiona Godlee, hoodredacteur van The BMJ en redactioneel directer van BMJ Company, bij deze e-mail in CC gezet. Misschien kan zij verklaren waarom de vakbladen waar zij de leiding over heeft, het overduidelijke nog niet hebben erkend: de studie in Archives overtrad het BMJ-beleid over registratie van prospectieve studies, en de studie in BMJ Open was geen “dienstevaluatie”. Sowieso had geen van beide studies aanvaard mogen worden voor publicatie.

Ik kaart deze kwestie nu aan bij het CMRC omdat bij deze BMJ-studies het risico bestaat dat ze geloofwaardig bevonden worden bij overleg over publiek beleid dat kinderen betreft, of geciteerd worden als basis voor verder onderzoek. Net als PACE is er geen plaats voor dit soort studies in het ontwikkelingsproces van volksgezondheidsinitiatieven, klinische richtlijnen of aanbevelingen over geneeskundige zorg. Ook mogen ze geen dienst doen als basis voor verder onderzoek door aan CMRC verbonden onderzoekers of anderen.

Hartelijk dank voor uw aandacht in dit verband.

Vriendelijke groet, David

David Tuller, DrPH

Senior Fellow in Public Health and Journalism

Center for Global Public Health

School of Public Health

University of California, Berkeley

**********

Brief aan de Health Research Authority

Geachte Jonathan Montgomery en Teresa Allen,

Voor zover ik heb begrepen, is het uw bedoeling om toekomstige problemen aan te pakken en niet bekommernissen uit het verleden. Toch zou het voor uw werk nuttig kunnen zijn om na te kijken in welke gevallen de kwaliteit van de resultaten van het comité voor onderzoeksethiek (REC) niet optimaal waren. Om die reden wil ik u attent maken op twee studies die gepubliceerd werden door BMJ-bladen – één in Archives of Disease in Childhood en een andere BMJ Open.

Beide studies betreffen kinderen die lijden aan een ziekte – met ander woorden: deze deelnemers behoren tot een op zich al kwetsbare populatie met een gestigmatiseerde aandoening. En beide studies schonden wetenschappelijke en/of ethische basisprincipes. Toch kan dit onderzoek van invloed worden (of misschien is het dat al) op volksgezondheidsbeleid en de geneeskundige behandelingen die beschikbaar zijn voor kinderen. Hoewel de redacteurs van de twee vakbladen op de hoogte werden gesteld van deze knelpunten, hebben ze tot nog toe geen gepaste en noodzakelijke correcties uitgevoerd. Dit verzuim zorgt ervoor dat kinderen mogelijk risico lopen op schade.

De paper in Archives of Disease in Childhood, met als titel “Clinical and cost-effectiveness of the Lightning Process in addition to specialist medical care for paediatric chronic fatigue syndrome: randomised controlled trial” [Klinische en kosteneffectiviteit van Lightning Process in aanvulling op gespecialiseerde medische zorg voor pediatrisch chronisch vermoeidheidssyndroom: gerandomiseerde gecontroleerde trial] werd vorig jaar gepubliceerd. In dit geval keurde een subcomité van de lokale REC een aanvraag goed voor een aanzienlijke wijziging in het protocol dat de studieresultaten sowieso zou beïnvloeden.

De paper in BMJ Open heette “Unidentified Chronic Fatigue Syndrome/myalgic encephalomyelitis (CFS/ME) is a major cause of school absence: surveillance outcomes from school-based clinics” [Ongeïdentificeerd chronisch vermoeidheidssyndroom/myalgische encefalomyelitis (CVS/ME) is een belangrijke oorzaak van afwezigheid op school: controle-uitkomsten van aan scholen verbonden klinieken] en werd gepubliceerd in 2011. In dit geval citeerden de onderzoekers een REC-beslissing over eerder onderzoek om deze compleet ongerelateerde studie met een totaal andere manier van gegevensverzameling, vrij te stellen van ethische review, onder de valse bewering dat het ging om een “dienstevaluatie” en niet om “onderzoek”.

In de studie over het Lightning Process in Archives of Disease in Childhood, werd meer dan de helft van de deelnemers – 56 van de 100 – gerekruteerd als onderdeel van een haalbaarheidsstudie die begon in september 2010. De studie zelf werd geregistreerd in juli 2012 – bijna twee jaar later. Op het moment van de registratie vroegen de onderzoekers aan de lokale REC ook toestemming om tegelijkertijd de haalbaarheidsstudie uit te breiden tot een volledige studie, én de primaire en secundaire uitkomstmaten om te wisselen. Aangezien dit overduidelijk zou leiden tot vooringenomenheid, hadden de onderzoekers deze aanvraag niet mogen doen; eens de aanvraag ingediend was, had ze geweigerd moeten worden. In plaats daarvan, keurden twee leden van een subcomité van de REC het goed. Een verontrustende lacune was, dat de paper in Archives geen melding maakte van de omwisseling van de uitkomstmaten halfweg, op basis van gegevens van meer dan de helft van de deelnemers aan de studie.

Om vooringenomenheid te vermijden, voeren BMJ en andere toonaangevende vakbladen al jarenlang een beleid tegen het publiceren van studies waarbij deelnemers gerekruteerd werden vóór registratie. Dit beleid werd door de studie over het Lightning Process duidelijk met voeten getreden. En toch blijft de paper in Archives beoefenaars van het Lightning Process het recht geven om op te scheppen over de doeltreffendheid van hun pseudowetenschappelijk programma voor kinderen met deze ziekte, omdat het bewezen zou zijn in een gerandomiseerde studie. De berichtgeving in de media over de gerapporteerde resultaten heeft mogelijk andere wanhopige ouders aangemoedigd om hun zuurverdiende geld uit te geven aan het Lightning Process.

In de studie in BMJ Open poogden de onderzoekers de hypothese te testen dat kinderen met chronisch vermoeidheidssyndroom geïdentificeerd zouden kunnen worden via schoolafwezigheidsregisters. Maar ze stelden de studie vrij van ethische review met behulp van de valse redenering dat het een “dienstevaluatie” betrof en geen “onderzoek”, en ze citeerden een REC-besluit dat niets te maken had met het nieuwe onderzoek of de methode van gegevensverzameling. De studie viel terug op primaire data, rechtstreeks verzameld bij gekende deelnemers, en niet op anonieme secundaire data. Bovendien omvatte ze een hypothese en veralgemeenbare conclusies. Volgens de geldende richtlijnen kan een studie met deze karakteristieken niet geclassificeerd worden als “dienstevaluatie”, maar wel als “onderzoek”, en is ethische review vereist.

Een peerreviewer voor BMJ Open plaatste heel wat vraagtekens bij de bewering die de studie maakte over dat het een “dienstevaluatie” betrof en geen “onderzoek”. Hoewel de onderzoekers geen afdoend antwoord gaven, zag BMJ Open de kwestie door de vingers en aanvaardde de paper toch, zonder ethische review. Ironisch genoeg publiceerde het vakblad het onder de hoofding “onderzoek”, maar stelde het zich sindsdien verdedigend op omtrent de beslissing om het te categoriseren als “dienstevaluatie”.

Trial By Error: de niet-openbaar gemaakte uitkomstenverwisseling van de SMILE-studie

Trial By Error: een brief aan Archives of Disease in Childhood

Trial By Error: geen ethische review van de studie van Crawley over afwezigheid op school

Trial By Error: een brief aan BMJ Open

Zoals ik al vermeldde, begrijp ik dat terugkijken naar fouten uit het verleden geen deel uitmaakt van uw takenpakket. Maar ik wilde u attent maken op deze studies, zodat u het systeem zo kan vormgeven dat er in de toekomst geen mogelijkheid meer is tot misbruik van het REC-proces. Tegen vakbladen die overduidelijke problemen weigeren te erkennen, zoals de problemen gedocumenteerd in de twee studies in kwestie, zouden maatregelen getroffen moeten worden, omdat ze hun reputationele en institutionele belangen boven het publiek belang zetten.

Hartelijk dank voor uw aandacht in dit verband.

Vriendelijke groet, David

David Tuller, DrPH

Senior Fellow in Public Health and Journalism

Center for Global Public Health

School of Public Health

University of California, Berkeley

**********

Brief aan Professor Dorothy Bishop

Geachte Professor Bishop,

In september jl. publiceerde Archives of Disease in Childhood een studie met als titel: “Clinical and cost-effectiveness of the Lightning Process in addition to specialist medical care for paediatric chronic fatigue syndrome: randomised controlled trial.” [Klinische en kosteneffectiviteit van Lightning Process in aanvulling op gespecialiseerde medische zorg voor pediatrisch chronisch vermoeidheidssyndroom: gerandomiseerde gecontroleerde trial]

Als onderdeel van de promotie van de studie door het Science Media Centre, verschafte u een verklaring, die voorzichtige steun uitsprak aan de bevindingen, en die wijd verspreid werd door de media. Hoewel u bedenkingen uitsprak over het Lightning Process zelf, merkte u op dat de gerapporteerde voordelen “wel solide lijken” en dat de statistische analyse van “hoog niveau” leek te zijn.

In december, dankzij tips van enkele scherpzinnige patiënten en belangenbehartigers, documenteerde ik op Virology Blog dat de studie over het Lightning Process inbreuk maakte op methodologische en wetenschappelijke basisprincipes. Dit is een link naar die post:

Trial By Error de niet-openbaar gemaakte uitkomstenverwisseling van de SMILE-studie

Die schending van principes omvatte ook BMJ’s eigen strikte beleid waaronder ze geen studies publiceren waarvoor deelnemers gerekruteerd werden vóór studieregistratie. Voor de studie over het Lightning Process werden 56 van de 100 kinderen gerekruteerd voordat de studie geregistreerd was, in het kader van een haalbaarheidsstudie. Bovendien werden primaire en secundaire uitkomstmaten omgewisseld op basis van gegevens van de deelnemers aan deze haalbaarheidsstudie – een methode die zeker leidt tot beïnvloeding van de resultaten. Verontrustend genoeg, vermeldde de gepubliceerde paper niets over deze saillante en belangrijke details.

Samen met 20 andere experts, maakte ik Archives of Disease in Childhood op 30 januari attent op deze onregelmatigheden. Dit is een link naar die brief:

Trial By Error: een brief aan Archives of Disease in Childhood

Hoewel dat nu meer dan vier maanden geleden is, heeft Archives of Disease in Childhood nog niet geantwoord en nog geen correcties aangebracht. Ook heeft het geen datum vooropgesteld tegen wanneer ze dit wel zouden doen. Het uitstel is onverklaarbaar: dit was een belangrijke studie die waarschijnlijk van impact zou zijn op behandelingen beschikbaar voor kinderen, en de relevante documenten nakijken kost niet meer dan een paar minuten tijd. Als de bedenkingen een voortvloeisel waren uit het verkeerd begrijpen van de feiten, zou het vakblad de zaak onmiddellijk opgeklaard hebben. Gezien de omstandigheden is de onvermijdelijke conclusie dat het ethische kompas van de BMJ niet naar behoren werkt, of tenminste toch als het gaat om dit onderzoeksveld.

Door deze studie onder de aandacht te brengen via een briefing, een reeks deskundigenopinies en een statistische analyse, heeft het SMC ook nagelaten het gepaste toezicht uit te oefenen. Vermoedelijk las niemand bij de organisatie de ondersteunende documenten en realiseerde niemand zich dat de helft van de deelnemers aan de studie gerekruteerd werd voordat de studie geregistreerd was, en dat de onderzoekers hun uitkomstmaten omgewisseld hadden op basis van resultaten van die eerste ingeschrevenen. Maar het SMC is op de hoogte gesteld van de zaak en heeft er, net als BMJ, nog niets aan gedaan.

De publiciteit van het SMC leidde tot grote media-aandacht. Het is begrijpelijk dat deze berichten de positieve resultaten aanprezen voor de herziene primaire uitkomstmaten van zelfgerapporteerd fysiek functioneren, en dat ze de nulresultaten negeerden van de oorspronkelijke primaire uitkomstmaat, nl. aanwezigheid op school op zes maanden. Had men de primaire en secundaire uitkomstmaten niet omgewisseld nadat men van meer dan de helft van de deelnemers al data had verworven, dan hadden de nieuwsberichten er natuurlijk anders uitgezien. Zoals de zaken er nu voor staan, hebben mensen die het Lightning Process aanbieden, het recht om op te scheppen over de doeltreffendheid van deze pseudowetenschappelijke interventie van neurolinguïstische programmering voor het behandelen van deze ernstige ziekte bij kinderen.

Dit zijn links naar een post over de strategie van het SMC voor het promoten van de study en één over mijn recente brief aan het SMC over deze kwestie:

Trial By Error: Mijn vragen voor het Science Media Centre

Trial By Error: Mijn brief over de BMJ-studie aan het Science Media Centre [cf. supra]

BMJ en het SMC moeten stoppen met dwarsliggen en moeten deze situatie aanpakken. Gezien de rol van uw commentaar bij de promotie van deze uiterst gebrekkige studie, zou u een deel van de schade kunnen helpen beperken door te pleiten voor ethisch verantwoord gedrag in de wetenschap en de studieregistratie en andere relevante documentatie door te nemen, in te zien dat de misstappen van de studie ze diskwalificeerde, en uw vorige verklaring te herzien, die wellicht gebaseerd was op onvolledige informatie.

Bij deze mail in CC staan Fiona Godlee, hoodredacteur van The BMJ, en Edward Sykes, hoofd geestelijke gezondheid en neurowetenschap bij SMC, zodat ze rechtstreeks kunnen reageren op deze bedenkingen, moesten zij dit willen.

Hartelijk dank voor uw spoedige aandacht in dit verband.

Vriendelijke groet, David

David Tuller, DrPH

Senior Fellow in Public Health and Journalism

Center for Global Public Health

School of Public Health

University of California, Berkeley