Trial by error: de studie naar afwezigheid op school, tweede ronde

David Tuller, DrPH, Virology Blog, 2 januari 2018

Deze post gaat over een ernstige kwestie – ethische goedkeuring voor onderzoek op kinderen. Het gaat ook over hoe machtige instellingen, zoals toonaangevende medische tijdschriften, op bedenkingen reageren. Maar het verhaal is echt te lang en gecompliceerd. Ik raad het alleen aan voor de mensen die de dingen op de voet volgen of voor wie om welke reden dan ook houdt van dit soort detailgerichte, ietwat obsessieve analyse.

Elders heeft Tom Chivers op BuzzFeed een geweldig stuk geschreven over het cultachtige Lightning Process, zijn oprichter Phil Parker, en professor Esther Crawleys SMILE-trial – het verhaal werd in het weekend gepost. Chivers legt de zweverigheid van het Lightning Process vast met veel details over wat het inhoudt, vanuit het perspectief van patiënten die het ondergaan hebben.

Het stuk gaat niet in op de methodologische gebreken van SMILE (uiteengezet in deze post op Virology Blog. Maar Chivers voegt belangrijke observaties toe van Jonathan Edwards, Charles Shepherd, Peter Rowe en anderen. Hij benadrukt ook Professor Crawleys niet-onderbouwde beschuldiging dat ik haar belasterd heb en de inspanning van de Bristol University om mij onder druk te zetten door tegen Berkeley te klagen. Zeker de moeite waard om te lezen.

**********

In augustus heb ik een kritische analyse gepost van een studie uit 2011 van professor Esther Crawley en collega’s. Het artikel, gepubliceerd in de BMJ Open, heette “Unidentified Chronic Fatigue Syndrome/myalgic encephalomyelitis (CFS/ME) is a major cause of school absence: surveillance outcomes from school-based clinics.” [Ongeïdentificeerd chronisch vermoeidheidssyndroom/myalgische encefalomyelitis (CVS/ME) is een belangrijke oorzaak van afwezigheid op school: controle-uitkomsten van aan scholen verbonden klinieken.] In mijn post heb ik BMJ Open bekritiseerd voor hoe het de paper behandelde en ook hoe de redacteurs omgingen met de zorgen die geuit werden over de paper.

Studies waarbij mensen betrokken zijn en die brede conclusies trekken, hebben normaal gezien goedkeuring nodig van een ethische onderzoeksreviewcommissie. Opmerkelijk is dat professor Crawley en haar medeonderzoekers besloten hebben dat deze studie naar schoolafwezigheid vrijgesteld was van zo’n review. De paper bevatte de vindingrijke bewering dat de studie er geen nodig had omdat het gekwalificeerd was als iets wat “dienstevaluatie” genoemd wordt. Bij het publiceren van de paper onderschreef BMJ Open impliciet dit twijfelachtige argument.

Waarom herneem ik nu het onderwerp? Na mijn post over de paper over afwezigheid op school, presenteerde een wetenschappelijk tijdschrift een samenvatting van exact dezelfde situatie aan de Commissie voor Publicatie-ethiek. Het verhaal van het wetenschappelijk tijdschrift werd gepubliceerd als onderdeel van de agenda voor de meeting in november van wat het COPE-forum genoemd wordt – een groep redacteurs die debatteren over dilemma’s bij het publiceren.

Deze COPE-inzendingen zijn anoniem – ze bevatten niet de namen van wetenschappelijke tijdschriften, redacteurs of studieauteurs. Niemand van BMJ Open of COPE heeft mij officieel op de hoogte gebracht dat deze inzending aan het forum betrekking heeft op de paper over afwezigheid op school van professor Crawley. Maar de details komen overeen. Bovendien is de verklaring aan COPE geparafeerd met AA. De redacteur van de BMJ Open is Adrian Aldcroft, die vorig jaar geprobeerd heeft om de bedenkingen af te ketsen die over de paper geuit werden door een oplettende lezer.

Jammer genoeg is het verslag dat aan het COPE-forum gepresenteerd werd, wanneer je het leest als een anonieme versie van de gebeurtenissen met betrekking tot de BMJ Open en Professor Crawleys studie naar afwezigheid op school, misleidend en onnauwkeurig.

In dit bericht zal ik terugblikken op de studie zelf. Dan zal ik de officiële richtlijnen uitleggen over de verschillen tussen “onderzoek” en “dienstevaluatie,” en bespreken hoe deze richtlijnen betrekking hebben op de studie. Daarna zal ik kijken naar de eerdere reacties van de BMJ Open op de bedenkingen. Tot slot zal ik de verklaring aan COPE posten, en daarop reageren.

In een volgende post zal ik het antwoord bespreken van het COPE-forum op de vragen, gesteld door BMJ Open. Het antwoord van de groep was redelijk, gezien de informatie of verkeerde informatie die verstrekt werd.

(Voor de duidelijkheid en het gemak zal ik de termen “BMJ Open” en “Professor Crawley” vervangen tijdens het bespreken van het “wetenschappelijk tijdschrift” en “auteur” die genoemd werden in de inzending bij COPE. Gezien de parallellen tussen het anoniem verslag en publiek gedocumenteerde gebeurtenissen, zouden de vervangende termen accuraat zijn zelfs al zou blijken dat het een verschillend vakblad was dat een totaal ander geval beschrijft.)

**********

De studie:

De studie naar afwezigheid op school van professor Crawley onderzocht wat het een “proefproject klinische dienst” noemde – een nieuwe interventie om gegevens van schoolafwezigheid te gebruiken als een manier om leerlingen te identificeren die lijden aan ongediagnosticeerde en/of onbehandelde CVS/ME. In samenwerking met het onderzoeksteam reviewden drie scholen in ZW-Engeland hun gegevens en identificeerden een totaal van 146 leerlingen met significante afwezigheid om onverklaarde redenen.

De scholen stuurden brieven naar de families van deze leerlingen en vroegen hen om op privégesprek te komen met een schoolbeambte (in de meeste gevallen was dit de leerplichtambtenaar) en een pediater – d.w.z. professor Crawley. In deze bijeenkomst evalueerde professor Crawley persoonlijk de leerlingen, waarbij degenen waarbij een verdenking bestond op CVS/ME, doorverwezen werden naar een gespecialiseerde CVS/ME-dienst in Bath voor verdere diagnose.

Van het totaal dat deze bijeenkomsten bijwoonde, bleken er uiteindelijk 28 de ziekte te hebben. Laten we het op een andere manier stellen: voor dit proefproject klinische dienst, ontvingen de families van 118 leerlingen die uiteindelijk geen diagnose CVS/ME kregen, potentieel verontrustende brieven die hen uitnodigden op een bijeenkomst over een gevoelig onderwerp met een arts en een schoolbeambte.

De studie bevatte zowel een “hypothese” (“Veel kinderen met CVS/ME blijven ongediagnosticeerd en onbehandeld, ondanks bewijs dat behandeling doeltreffend is bij kinderen”) en een “onderzoeksvraag” (“Zijn op school gebaseerde klinieken een haalbare manier om kinderen met CVS/ME te identificeren en behandeling te bieden?”) De studie vergeleek leerlingen gediagnosticeerd met CVS/ME door middel van de pilootinterventie met degenen die doorverwezen werden naar de gespecialiseerde CVS/ME-kliniek via gezondheidsnetwerken.

Onder de “conclusies” van de studie: “Chronische vermoeidheid is een belangrijke oorzaak van onverklaarde afwezigheid op school” en op school gebaseerde instellingen “hebben het potentieel om kinderen met CVS/ME te identificeren.” BMJ Open heeft deze studie gepubliceerd onder volgende hoofding: “Onderzoek.”

Onder “ethische goedkeuring” nam de paper de volgende verklaring op : “De klinische dienst in deze studie werd aangeboden als een hulpverlening van de gespecialiseerde CVS/ME-dienst in Bath. De Ethische Onderzoekscommissie van North Somerset en South Bristol besliste dat de verzameling en analyse van gegevens van kinderen en jonge mensen die gezien werden door de gespecialiseerde CVS/ME-dienst deel uitmaakten van de dienstevaluatie en als zodanig geen ethische review vereisten door de Ethische Onderzoekscommissie van de NHS of goedkeuring van de R&D-afdeling van de NHS (REC reference number 07/Q2006/48).”

Met andere woorden stelde de studie zichzelf vrij van de ethische review omdat de gegevens verzameld werden als onderdeel van wat we dienstevaluatie noemden. Uit de formulering van deze verklaring van ethische goedkeuring was het niet duidelijk of de ethische onderzoekscommissie specifiek de studie naar schoolafwezigheid reviewde.

**********

Richtlijnen van de Toezichthoudende Autoriteit voor Gezondheidsonderzoek

Volgens de richtlijnen van de Britse Toezichthoudende Autoriteit voor Gezondheidsonderzoek, hebben “onderzoeks”studies betrekking op de “poging om generaliseerbare of overdraagbare nieuwe kennis af te leiden om vragen te beantwoorden met wetenschappelijk klinkende methodes waaronder studies die erop gericht zijn om hypotheses te genereren evenals studies die erop gericht zijn om ze te testen, in aanvulling op eenvoudige beschrijvende studies.” Studies m.b.t. “dienstevaluatie” daarentegen zijn “uitsluitend ontworpen en uitgevoerd om de huidige zorg te definiëren of te beoordelen” en “brengen een minimaal extra risico, last of inmenging voor deelnemers met zich mee.”

(Deze officiële definities van wat “onderzoek” en “dienstevaluatie” betekenen met het oog op het verkrijgen van ethische goedkeuring, zijn in essentie jarenlang onveranderd gebleven.)

In de studie naar afwezigheid op school zijn de feiten duidelijk. De studie ging niet over lopende zorg, verstrekt aan patiënten die al naar een kliniek gingen, dus het kon redelijkerwijs niet gecategoriseerd worden als dienstevaluatie. Bovendien werd de interventie – brieven sturen naar families van kinderen die geen patiënten waren maar vaak afwezig waren op school – gepresenteerd als een “proefproject klinische dienst”, dus het kon redelijkerwijs niet aangeduid worden als “een interventie tijdens gebruik” zoals vereist voor een dienstevaluatie.

De paper bevatte ook een hypothese en veralgemeenbare conclusies – kenmerken van wat de Toezichthoudende Autoriteit voor Gezondheidsonderzoek beschouwt als zijnde “onderzoek.” De studie bevatte belangrijke kanttekeningen over de conclusies, en verklaarde daarbij dat “resultaten mogelijk niet veralgemeenbaar zijn naar regio’s zonder een CVS/ME-dienst of naar regio’s met verschillende socio-economische factoren die een impact hebben op schoolaanwezigheid.” Maar veel studies bevatten beperkingen over de veralgemeenbaarheid van hun bevindingen. Wat opvalt, is dat de bevindingen niet gepresenteerd werden als beperkt tot leerlingen van deze drie specifieke scholen.

De University of Bristol zelf promootte de studie als onderzoek dat veralgemeenbare conclusies oplevert. Hier is het begin van het persbericht van de universiteit: “Nieuw onderzoek naar de oorzaak van afwezigheid op school vindt dat tot één procent van de leerlingen secundair onderwijs mogelijk aan chronische vermoeidheid leidt…”

Het persbericht van Bristol bevatte citaten van professor Crawley, waarin ze al even brede conclusies trok: “Deze bevindingen onthullen de omvang van hoeveel kinderen getroffen zijn door invaliderende chronische vermoeidheid die hen ervan weerhoudt om naar school te gaan, en hoe weinig er gediagnosticeerd zijn en hulp aangeboden krijgen… Onze bevindingen suggereren dat toezicht op school voor vermoeidheid van potentieel nut zou kunnen zijn.”

In navolging van professor Crawley en de Bristol University, werden deze conclusies in de media als nieuwswaardig aangeprezen. Dit is hoe The Guardian de studie typeerde: “Volgens onderzoek missen veel meer kinderen dan eerder gedacht vaak school omwille van chronisch vermoeidheidssyndroom dat niet gediagnosticeerd werd.”

Hoe je het ook draait of keert, deze studie naar afwezigheid op school kan niet beschouwd worden als een dienstevaluatie.

In feite zou een dergelijke claim vragen moeten opgeroepen hebben die verhelderd hadden kunnen worden door de brief van de ethische onderzoekscommissie uit 2007 te onderzoeken waarnaar verwezen wordt in de verklaring van de ethische goedkeuring van de paper. Professor Crawley had deze documentatie vermoedelijk beschikbaar kunnen stellen aan BMJ Open, als iemand erom verzocht had.

De brief van de ethische onderzoekscommissie uit 2007 ondersteunde niet de bewering van de onderzoekers dat er geen ethische review vereist was. De brief had betrekking op een andere reeks omstandigheden en had niets te maken met de pilootinterventie die gerapporteerd werd in de studie naar afwezigheid op school.

De brief van 2007 was geschreven in antwoord op een aanvraag om de gegevensverzameling uit te breiden onder kinderen die de gespecialiseerde CVS/ME-kliniek in Bath bezochten, die onder leiding staat van professor Crawley. Patiënten in de kliniek hadden reeds zelfgerapporteerde vragenlijsten ingevuld ter evaluatie bij aanvang en na 12 maanden. De aanvraag vroeg om goedkeuring om twee bijkomende evaluaties voor kinderen na zes weken en na zes maanden toe te voegen, waarvan verwacht werd dat deze telkens niet meer dan 20 minuten extra zouden duren om in te vullen. De vragenlijsten bevatten metingen voor aanwezigheid op school, wat als de primaire uitkomst vermeld was.

De aanvraag van 2007 bevatte een vraag over hoe patiënten voor dit uitgebreide vragenlijstregime zouden “geïdentificeerd,” “benaderd,” en “gerekruteerd” worden. Als reactie hierop stelden de onderzoekers dat “er geen verandering zal zijn in de manier waarop potentiële deelnemers geïdentificeerd worden.” Met andere woorden, de aanvraag voorzag, vermeldde of verzocht geen goedkeuring voor de nieuwe acties met betrekking tot het implementeren en evalueren van de pilootinterventie.

Na het reviewen van de aanvraag stuurde de Ethische Onderzoekscommissie (REC) van North Somerset & South Bristol een brief op datum van 1 mei 2007. Dit is de relevante bewoording: “Leden [van de REC] beschouwden dit project als een dienstevaluatie. Daarom vereist het geen ethische review door een Ethische Onderzoekscommissie van de NHS of goedkeuring van de R&D-afdeling van de NHS.”

De goedkeuringsbrief refereerde specifiek aan “dit project” als “dienstevaluatie” – dat wil zeggen, de goedkeuring was voor de extra vragenlijsten voor kinderen die op dat moment patiënten van de gespecialiseerde CVS/ME-dienst waren. Professor Crawley en haar co-auteurs lijken daarom de betekenis van de brief overgeïnterpreteerd te hebben wanneer ze in hun paper schreven dat de ethische onderzoekscommissie “besloten heeft dat de verzameling en analyse van gegevens van kinderen en jonge mensen die gezien worden door de gespecialiseerde CVS/ME-dienst, deel uitmaakten van de dienstevaluatie en als zodanig geen ethische review vereisten.”

De brief van de ethische onderzoekscommissie heeft geen zo’n allesomvattende beslissing genomen. De brief verleende professor Crawley en haar medeonderzoekers niet het recht of de toestemming om de term “dienstevaluatie” toe te passen op andere gegevensverzamelingsprojecten die door de gespecialiseerde dienst werden uitgevoerd, waaronder uitgebreide hulpverlening aan leerlingen die op dat moment niet onder klinische zorg waren. Kortom, de ethische onderzoekscommissie heeft niet de studie naar afwezigheid op school, uitgevoerd door Professor Crawley, gereviewd of bepaald dat het een “dienstevaluatie” was. De claim dat de brief van 2007 van toepassing is op de gegevensverzameling voor de pilootinterventie, houdt geen stand.

Ik heb deze discrepantie niet ontdekt. Zoals vaak het geval is, wees een opmerkzame waarnemer me op dit probleem. Ze had toegang gehad tot de documenten door middel van verzoeken op basis van Vrijheid van Informatie en had geprobeerd om duidelijkheid te krijgen van de BMJ Open. Ontevreden over de reactie van het wetenschappelijk tijdschrift, contacteerde ze mij en gaf me kopies van de brief van de ethische onderzoekscommissie uit 2007 en bijhorende documentatie.

**********

Eerste antwoord van de BMJ Open

Toen deze opmerkzame waarnemer voor het eerst naar de BMJ Open schreef, erkende Adrian Aldcroft in zijn antwoord dat “het artikel dat in de BMJ Open gepubliceerd was, geen strikte dienstevaluatie was.” Maar Aldcroft argumenteerde dat het artikel niettemin vrijgesteld was van ethische review, en citeerde daarbij een verklaring uit mei 2017 ter ondersteuning van professor Crawleys onderzoek van de University of Bristol. Deze verklaring, zoals de brief uit 2007 van de ethische onderzoekscommissie, had niet te maken met de gegevensverzameling van de studie naar afwezigheid op school.

De verklaring van Bristol in mei 2017 betrof een apart onderwerp. Het werd getiteld “Verklaring van de University of Bristol over de National Outcome Database (NOD) voor CVS/ME.” Deze Nationale Outcome Database bevatte informatie verzameld van patiënten uit reguliere klinieken. De pilootinterventie was een hulpverlening aan niet-patiënten en was geen onderdeel van de National Outcome Database. Maar in zijn reactie op de oplettende lezer die de kwestie had opgemerkt, citeerde de redacteur van BMJ Open, Aldcroft, de volgende zin uit de verklaring van Bristols National Outcome Database voor CVS/ME:

“REC-review is niet vereist voor de volgende types van onderzoek: onderzoek beperkt tot secundair gebruik van informatie die eerder verzameld is in de loop van de normale zorg (zonder een intentie om het te gebruiken voor onderzoek op het moment van verzameling), op voorwaarde dat de patiënten of dienstengebruikers niet identificeerbaar zijn voor het onderzoeksteam bij het uitvoeren van het onderzoek.”

Aldcroft verklaarde dan in zijn e-mail: “De gegevens in het artikel van de BMJ Open voldoen aan deze criteria.”

Aldcrofts verklaring klopte niet – de gegevens in het artikel in de BMJ Open voldeden niet aan de criteria die vermeld werden in de verklaring van Bristol. De pilootinterventie die beschreven is in de paper in de BMJ Open, verschafte nieuwe gegevens voor analyse, dus de studie was niet gebaseerd op “secundair gebruik van informatie die eerder verzameld werd in de loop van de normale zorg.” En zoals ik opgemerkt heb, waren de leerlingen in de studie naar afwezigheid op school duidelijk “identificeerbaar”, niet anoniem, aangezien professor Crawley ze persoonlijk evalueerde en het onderzoek uitvoerde.

Afgelopen zomer schreef ik naar redacteur Aldcroft van de BMJ Open terwijl ik mijn post voor Virology Blog voorbereidde. Ik hoorde niets van hem terug maar wel van de hoofdredacteur van de BMJ Open, Dr. Trish Groves. Zij argumenteerde – niet overtuigend vanuit mijn perspectief – dat de auteurs van de studie naar afwezigheid op school de bedenkingen afdoende hadden beantwoord en de juiste procedures hadden gevolgd bij het nemen van hun beslissingen over ethische review.

Dr. Groves legde niet uit waarom Aldcroft reeds erkend had, als antwoord op de opmerkzame lezer, dat de studie “geen strikte” dienstevaluatie was. Ze verklaarde niet waarom Aldcroft ter verdediging een verklaring van de Bristol University had aangehaald die niets te maken had met de studie naar afwezigheid op school. Noch verklaarde ze waarom het wetenschappelijk tijdschrift ervoor gekozen had om de paper onder de kop “onderzoek” te publiceren als het beschouwd wordt als een dienstevaluatie.

Dit zijn enkele vragen die ik gesteld heb aan Dr. Groves in deze post op Virology Blog, plus enkele opmerkingen:

“Voelt zij [Dr. Groves] zich er echt comfortabel bij dat – als onderdeel van een studie die gedefinieerd is als een dienstevaluatie – meer dan honderd families wiens kinderen geen CVS/ME hadden, toch schoolbrieven toegestuurd kregen over een gevoelig onderwerp en uitgenodigd werden om professor Crawley te ontmoeten? Gelooft Dr. Groves echt dat het uittesten van een nieuwe strategie om patiënten te identificeren die niet bekend zijn bij de klinische dienst, in aanmerking komen als dienstevaluatie voor routinematige zorg? Ik betwijfel of ze dat echt gelooft, maar wie weet? Slimme mensen kunnen zichzelf overtuigen om veel stomme dingen te geloven. Hoe dan ook, bij het afwijzen van deze zorgen heeft BMJ Open aangetoond dat er iets ernstig mis is met hun ethisch kompas.”

**********

De verklaring van het Anoniem Vakblad aan COPE

Dienstevaluatie als onderzoek in een controversieel domein van de geneeskunde

We hebben een e-mail ontvangen van een lezer met betrekking tot de ethische verklaring in een onderzoeksartikel dat in 2011 gepubliceerd werd. Het artikel presenteerde data die verzameld werden in een kliniek met betrekking tot een controversieel domein in de geneeskunde. De ethische verklaring in het artikel geeft aan dat, in overeenstemming met regionale richtlijnen, de ethische onderzoekscommissie van mening was dat de studie een dienstevaluatie was en formele ethische review niet vereist was.

Met behulp van het referentienummer dat in het artikel werd genoemd, verkreeg de lezer de relevante documenten van de ethische onderzoekscommissie via een verzoek op basis van vrijheid van informatie. De lezer argumenteerde dat de documenten van de ethische commissie betrekking hadden op gegevens die dateerden van vóór het artikel. Een beoordeling van de documenten gaf aan dat dit het geval leek te zijn. Daarnaast voerde de lezer aan dat dienstevaluaties niet voorgesteld moesten worden als onderzoeksartikels aangezien dit twee aparte dingen zijn.

De redacteur van het wetenschappelijk tijdschrift schreef naar de auteur van het artikel en vroeg om commentaar over de aangehaalde problemen. De auteur antwoordde dat er regelmatig contact was geweest met de ethische commissie aangezien de dienstperiode van de kliniek uitgebreid werd, en de ethische commissie bleef aangeven dat de gegevens verzameld werden als onderdeel van een dienstevaluatie en verdere ethische review niet vereist was. Bovendien werden de gegevens anoniem verzameld, wat de studie verder zou vrijstellen van formele ethische goedkeuring. De ethische commissie gaf de auteurs ook een brief waarin stond dat “deze brief…aan een wetenschappelijk tijdschrift of andere instantie verstrekt mag worden als bewijs dat ethische goedkeuring niet vereist is onder [de regionale] regelingen van het onderzoeksbestuur.

De auteur gaf aan dat soortgelijke verzoeken in het verleden gemaakt waren en dat, omwille van het controversieel gebied van het werk, veel pogingen werden ondernomen om artikels terug te trekken die gegevens van de kliniek gebruikten. In een poging om verdere vragen te voorkomen, vroeg de auteur aan het hoofd van de onderzoeksinstelling om een publieke verklaring te posten die aangaf dat het werk naar behoren uitgevoerd was en voldeed aan de hoogste ethische standaarden. Zoals gevraagd, heeft het onderzoekshoofd een verklaring uitgebracht op de website van de instelling ter ondersteuning van het werk.

De redacteur antwoordde dan aan de lezer en gaf aan dat het wetenschappelijk tijdschrift tevreden was met het antwoord van de auteur en de steun van het onderzoekshoofd. De lezer was niet tevreden met het antwoord van de redacteur en stuurde de informatie over de zaak door naar een bekende blogger die uitgebreid schrijft over dit controversieel gebied in de geneeskunde. De blogger postte vervolgens een blog die zowel het artikel als de afhandeling van de zaak door het wetenschappelijk tijdschrift bekritiseerde. Vanuit het oogpunt van het wetenschappelijk tijdschrift, was de blog onnauwkeurig, niet representatief en schadelijk voor de reputatie van de uitgever.

Vragen voor het COPE-forum

• Moeten we toelaten dat gegevens die verzameld zijn in dienstevaluaties, gepubliceerd worden als onderzoeksartikels? In medische vakbladen wordt dit vaak als een aanvaardbare uitzondering gezien; als ethische onderzoekscommissies echter verklaren dat een studie “geen onderzoek” is, zouden wetenschappelijke tijdschriften dan niet hetzelfde moeten doen?
• Had het wetenschappelijk tijdschrift een correctie op het artikel moeten posten om een meer gedetailleerde ethische verklaring te verstrekken, rekening houdend met het feit dat als iets gelabeld wordt als “correctie” , dit in een controversieel gebied door de critici verkeerd geïnterpreteerd kan worden als een fout in het onderzoek?
• Hoe moeten wetenschappelijke tijdschriften reageren op blogberichten waarvan ze vinden dat ze hen niet juist afschilderen en dat ze schade toebrengen aan de reputatie van de uitgever?

**********

Mijn antwoord op de Verklaring van het Wetenschappelijk Tijdschrift aan COPE

(Nogmaals, de verklaring het COPE-forum is anoniem. Ter informatie: ik gebruik “BMJ Open” in plaats van “wetenschappelijk tijdschrift” en professor Crawley in plaats van “auteur.” De omstandigheden passen, zelfs al zou blijken dat dit verhaal geschreven was door een verschillend wetenschappelijk tijdschrift over een totaal andere paper.)

Bij het samenstellen van dit relaas voor het COPE-forum heeft BMJ Open ervoor gekozen om de getuigenis van de paper zelf over afwezigheid op school, de claims in het persbericht van de Bristol University en de documentatie van mijn blogpost in augustus, te negeren. Het wetenschappelijk tijdschrift is in plaats daarvan afgegaan op verklaringen van de regionale ethische commissie en de universiteit van professor Crawley die er niet in slaagt om haar argument te ondersteunen.

Laten we dit verhaal meer in detail bekijken.

BMJ Open: “Dienstevaluatie als onderzoek in een controversieel gebied van de geneeskunde…We ontvingen een e-mail van een lezer met betrekking tot de ethische verklaring in een onderzoeksartikel dat in 2011 gepubliceerd werd. De ethische verklaring in het artikel geeft aan dat, in overeenstemming met de regionale richtlijnen, de ethische onderzoekscommissie van mening was dat de studie een dienstevaluatie was en formele ethische review niet vereist was.

Met behulp van het referentienummer dat in het artikel wordt genoemd, verkreeg de lezer de relevante documenten van de ethische onderzoekscommissie via een verzoek op basis van vrijheid van informatie. De lezer betoogde dat de documenten van ethische commissie met betrekking tot de gegevens dateerden van vóór het artikel. Een review van de documenten gaf aan dat dit het geval leek te zijn. Bovendien voerde de lezer aan dat dienstevaluaties niet als onderzoeksartikels gepresenteerd mogen worden aangezien dit twee aparte dingen zijn.”

Antwoord: de eerste beschrijving van het materiaal in kwestie – de titel zelf en de tweede zin die verklaart dat het artikel “data verzameld in een kliniek” presenteerde – beïnvloedt de discussie. De titel suggereert dat de zaak afgehandeld is – dat dit een dienstevaluatie was. Maar dat is het probleem dat betwist wordt. En de formulering in de tweede zin impliceert dat de gegevens verzameld werden tijdens de normale werking in een kliniek, wat consistent zou zijn met een dienstevaluatie.

Maar de implicatie is onjuist. De mensen die gecontacteerd waren, waren niet geïdentificeerd via hun aanwezigheid op klinische diensten, dus het waren geen patiënten die op dat moment reguliere zorg kregen. De studiedeelnemers werden geïdentificeerd via hun registraties van afwezigheid op school. Hun gegevens werden verzameld tijdens het testen van een nieuwe methode om niet-patiënten bij klinische diensten te betrekken. In deze context is naar deze gegevens te verwijzen als “data verzameld in een kliniek” niet alleen vaag maar misleidend.

Bovendien werden de meeste van degenen die betroffen waren door de interventie en hulpverlening van de studie, uiteindelijk niet met de ziekte gediagnosticeerd. Van een dienstevaluatie wordt verondersteld dat ze niet meer dan een “minimaal bijkomend risico, belasting of inmenging voor deelnemers vormt.” Het gebruik van het woord “bijkomend” is hier belangrijk. De studie naar afwezigheid op school van professor Crawley vormde geen “bijkomend” risico voor huidige patiënten. Door mogelijk verontrustende brieven te sturen naar de families van leerlingen die vaak afwezig waren, creëerde het een geheel nieuw “risico, last of inmenging” voor een geheel nieuwe groep mensen.

Het is onduidelijk hoe en zelfs of deze families geïnformeerde toestemming gegeven hebben om deel te nemen aan het innovatieve pilootprogramma van professor Crawley. De paper zelf vermeldt geen enkele toestemming voor of nadat deze schoolbrieven gestuurd werden.

Het relaas van de BMJ Open vermeldt de vragen over de ethische reviewstatus van de paper. Maar het verslag zegt niks over waarom professor Crawley geloofde dat zij de brief uit 2007 mocht citeren, die niet-gerelateerde omstandigheden inhield, om deze pilootinterventie vrij te stellen van ethische review. Het verslag zegt ook niets over waarom ervaren redacteurs niet erkenden dat deze paper geen dienstevaluatie was, wat de auteurs ook beweerden, en dat daardoor een ethische review vereist was.

BMJ Open: “De redacteur van het wetenschappelijk tijdschrift schreef aan de auteur van het artikel en vroeg om commentaar over de aangehaalde problemen. De auteur antwoordde dat er regelmatig contact was geweest met de ethische commissie aangezien de dienstenperiode van de kliniek uitgebreid was, en de ethische commissie bleef aangeven dat de gegevens verzameld werden als onderdeel van een dienstevaluatie en verdere ethische review niet vereist was. Bovendien werden de gegevens anoniem verzameld, wat de studie verder zou vrijstellen van formele ethische goedkeuring. De ethische commissie gaf de auteurs ook een brief die aangaf dat “deze brief…verstrekt mag worden aan een wetenschappelijk tijdschrift of een andere instantie als bewijs dat deze ethische goedkeuring niet vereist is onder [de regionale] regelingen van het onderzoeksbestuur.

Antwoord: Laten we eerst afzien van deze verklaring: “de gegevens werden anoniem verzameld.” Dit is onwaar, zoals elke beoordeling van de studie naar afwezigheid op school zou aangeven. Professor Crawley verzamelde informatie persoonlijk – rechtstreeks van de leerlingen en families die naar school kwamen om haar te ontmoeten. Is het mogelijk dat de redacteurs van de BMJ Open deze studie verdedigen zonder te herlezen of ook maar gelezen te hebben wat ze gepubliceerd hebben? Suggereren ze verder echt dat anonieme gegevensverzameling alleen een studie kwalificeert voor vrijstelling van ethische review?

Vervolgens kan “regelmatig contact” tussen een auteur en een ethische commissie niet in de plaats komen van formele ethische goedkeuring. Zonder enige documentie hebben we geen idee welke informatie gepresenteerd werd aan de ethische commissie tijdens deze informele communicaties, dus de verslaggeving van de interacties tussen professor Crawley en de commissie uit derde hand van de BMJ Open, heeft geen betekenis. De manier waarop professor Crawley en andere onderzoekers aan de leden van de ethische commissie schetsten wat ze aan het doen waren, zal van invloed geweest zijn op de antwoorden.

Werd aan leden van de ethische commissie bijvoorbeeld gewoon verteld dat de gegevens verzameld werden tijdens routinematige zorg in aan school verbonden klinieken? Of werd hen verteld dat dit een pilootprogramma was om eerder ongediagnosticeerde leerlingen te identificeren door middel van hun registraties van schoolafwezigheid? Werd hen verteld dat de meeste van de families die geïdentificeerd en getroffen werden door dit rekruteringsproces, uiteindelijk geen kinderen met CVS/ME bleken te hebben?

Behalve het citeren van onverifieerbare uitwisselingen, bevat het relaas van BMJ Open als ondersteunend bewijs een fragment van een brief van de ethische onderzoekscommissie zelf. Dit fragment wordt gepresenteerd alsof het mogelijk uit een brief kwam van na 2007 of uit een geüpdatete brief van de ethische commissie op basis van nieuwe informatie die voortvloeide uit “regelmatig contact” met professor Crawley. In plaats daarvan lijkt de brief feitelijk ontleend uit de brief van 2007 die reeds in de paper geciteerd werd als de bron van vrijstelling van ethische review.

Die brief uit 2007 eindigde met deze paragraaf, waaruit het fragment gehaald zou kunnen zijn: “deze brief moet niet geïnterpreteerd worden als een vorm van ethische goedkeuring van het project, maar het mag verstrekt worden aan een wetenschappelijk tijdschrift of een andere instantie als bewijs dat ethische goedkeuring niet vereist is onder de regelingen van het onderzoeksbestuur van de NHS.” In de context van de brief uit 2007 verwijst “het project” uitsluitend naar het verzamelen van bijkomende data van huidige patiënten na zes weken en zes maanden. Aangezien dit niet de gegevensverzameling beschrijft waar het om gaat bij de pilootinterventie, is het onduidelijk waarom BMJ Open de brief aanhaalt als bewijs ter ondersteuning van de argumentatie voor dienstevaluatie.

BMJ Open: “De auteur gaf aan dat er in het verleden gelijkaardige verzoeken gedaan werden en dat, omwille van het controversieel gebied van het werk, vele pogingen gedaan werden om artikels terug te trekken die gegevens van de kliniek gebruikten. In een poging om verdere vragen te voorkomen, vroeg de auteur het onderzoekshoofd van de instelling om een publieke verklaring te posten die aangaf dat het werk naar behoren uitgevoerd was en aan de hoogste ethische standaarden voldeed. Zoals gevraagd, heeft het hoofd van het onderzoek op de website van de instelling een verklaring uitgevaardigd ter ondersteuning van het werk.”

Antwoord: Deze redenering heeft ook niks te maken met de studie naar afwezigheid op school. Om gebruikt te worden als studies naar dienstevaluaties, zouden “gegevens van de kliniek” – zoals in deze passage wordt vermeld – data moeten zijn die verzameld worden van huidige patiënten die routinematige zorg ontvangen. Maar data voor de studie naar afwezigheid op school werden anders verzameld – in speciaal georganiseerde bijeenkomsten tussen professor Crawley, een schoolbeambte, en families met kinderen die geïdentificeerd werden via registratie van schoolafwezigheid.

In plaats van dit onderscheid te erkennen, presenteerde de BMJ Open nogmaals de irrelevante verklaring van de National Outcome Database voor CVS/ME van Bristol ter verdediging van de studie naar afwezigheid op school. Zoals ik heb uitgelegd in mijn blog in augustus en eerder in deze blog, waren de data die gegenereerd werden door de pilootinterventie niet afkomstig van deze nationale database, dus de verklaring van Bristol doet hier niets ter zake. De beslissing van BMJ Open om het nogmaals te vermelden in het relaas aan het COPE-forum, doet geen goed aan de geloofwaardigheid of de integriteit van het blad.

BMJ Open: “De redacteur antwoordde dan aan de lezer en gaf aan dat het vakblad tevreden was met het antwoord van de auteur en de steun van de onderzoeksleider. De lezer was niet tevreden met het antwoord van de redacteur en stuurde de details van de zaak door naar een bekende blogger die uitgebreid schrijft over dit controversieel gebied in de geneeskunde. De blogger postte dan een blog met kritiek over zowel het artikel als het afhandelen van de zaak door het wetenschappelijk tijdschrift. De blog werd wijd verspreid op sociale media. Vanuit het oogpunt van het wetenschappelijk tijdschrift was de blog onjuist, niet representatief en schadelijk voor de reputatie van de uitgever.”

Antwoord: BMJ Open is kennelijk van mening dat van medische tijdschriften niet verwacht zou mogen worden dat ze hun eigen onafhankelijke oordelen vormen – zelfs wanneer auteurs van studies, ethische panels of academische departementen bewijs of informatie verstrekken die irrelevant of onwaar is. Anderen zouden stellen dat een belangrijk vakblad zoals BMJ Open niet alleen het recht heeft maar ook een verantwoordelijkheid om een getuigenis af te wijzen die duidelijk in tegenspraak is met de feiten, ongeacht de bron.

In plaats van die benadering hier te volgen, hebben de redacteurs van de BMJ Open zichzelf tevreden getoond met de ontoereikende antwoorden van professor Crawley en met een verklaring van Bristol over “secundair gebruik” of gegevens en “niet-identificeerbare” deelnemers die niet relevant zijn voor de gegevensverzameling voor de pilootinterventie die beschreven is in de studie naar afwezigheid op school. Gezien de duidelijke stompzinnigheid van het vakblad om deze kwestie objectief te behandelen, is het begrijpelijk dat de oplettende lezer niet tevreden was met het antwoord en de blogger contacteerde, nl. mij.

Ik ben blij dat BMJ Open mij beschouwt als “bekend” en vindt dat mijn kritische post “veel gedeeld” werd. Bovendien is het mogelijk dat wat ik schreef “schadelijk was voor de reputatie van de uitgever.” Wanneer redacteurs en wetenschappelijke tijdschriften zich in allerlei bochten wringen om maar geen fouten te moeten toegeven, moeten ze niet verrast moeten zijn als dat hun reputatie niet ten goede komt.

Maar ik ga er niet mee akkoord dat mijn post onjuist en niet representatief was. Niemand, ook niet de BMJ Open, hun hoofdredacteur (Dr. Groves), of hun redacteur (Aldcroft), heeft mij op de hoogte gesteld van onjuistheden die gecorrigeerd moeten worden. In dit geval zijn de verkeerde voorstellingen door professor Crawley gemaakt, met haar bewering dat dit onderzoek zich kwalificeert als een dienstevaluatie, en door BMJ Open, met hun onhandige poging om de redactionele geschiedenis op te smukken.

BMJ Open:

Vragen aan het COPE-forum

• Moeten we toestaan dat gegevens die verzameld zijn in dienstevaluaties, gepubliceerd worden als onderzoeksartikels? In medische vakbladen wordt dit vaak als een aanvaardbare uitzondering gezien; als ethische onderzoekscommissies echter verklaren dat een studie “geen onderzoek” is, zouden wetenschappelijke tijdschriften dan niet hetzelfde moeten doen?
• Had het wetenschappelijk tijdschrift een correctie op het artikel moeten posten met een meer gedetailleerde ethische verklaring, rekening houdend met het feit dat iets dat als een “correctie” gelabeld wordt in een controversieel gebied, verkeerd geïnterpreteerd kan worden als een fout in het onderzoek door de critici?
• Hoe moeten wetenschappelijke tijdschriften reageren op blogberichten waarvan ze vinden dat die een verkeerd beeld schetsen van de uitgever en schade toebrengen aan diens reputatie?

Antwoord:

De vragen van BMJ Open aan het COPE-forum berusten op de fictie dat professor Crawleys artikel een dienstevaluatie beschreef. Vanuit dit perspectief zijn de belangrijkste doelen van het wetenschappelijk tijdschrift: de schaamte verzachten die voortkomt uit het feit dat ze de paper als “onderzoek” gepubliceerd hebben en omgaan met vervelende bloggers die deze acties verkeerd geïnterpreteerd hebben en slechte dingen geschreven hebben.

Ik accepteer het uitgangspunt van de vragen van de BMJ Open niet. Dus ik zal ze negeren en mijn eigen vragen stellen:

1. Waarom stelde de auteur de studie naar afwezigheid op school vrij van ethische review als een dienstevaluatie voor lopende zorg, en dat terwijl de studie een nieuwe interventie testte om leerlingen te betrekken die niet bekend stonden bij de klinische dienst?
2. Waarom accepteerde het tijdschrift de claim dat het onderzoeken van een pilootinterventie om nieuwe patiënten te identificeren vrijgesteld kon worden van ethische review als een dienstevaluatie?
3. Worden wetenschappelijke tijdschriften geacht om de claims van auteurs, ethische reviewcommissies en universiteitscommissies kritiekloos te accepteren, zelfs als dergelijke claims irrelevant zijn, niet overtuigend of slecht losjes gebaseerd zijn op de feiten? Of worden wetenschappelijke tijdschriften geacht om onafhankelijk te oordelen bij het maken van hun beslissingen?

© David Tuller, Virology Blog. Vertaling zuiderzon, redactie abby, ME-gids.

Lees ook

• Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (1)
• Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (2)
• Trial by error: de verontrustende zaak van de PACE-studie over ME/CVS (3)
• Onderzoekers van de PACE-studie antwoorden David Tuller
• David Tuller reageert op de PACE-onderzoekers
• Petitie : Misleidende claims van PACE-studie moeten teruggetrokken worden
• Trial by error, vervolgd: heeft de PACE-studie echt een “strikt criterium” voor herstel toegepast?
• Trial by error, vervolg: Waarom is het “zusteronderzoek” van de PACE-studie “verdwenen” en vergeten?
• Overheid beveelt vrijgave van de gegevens van de PACE-studie
• Proffen schrijven open brief aan The Lancet en vragen herevaluatie van PACE-resultaten
• Open brief van Invest in ME over de PACE-studie aan de redacteur van The Lancet
• Trial by error, vervolgd: Het werk van het PACE-team voor verzekeringsmaatschappijen “houdt geen verband” met PACE. Echt waar?
• In het kielzog van het onderzoek van David Tuller, publiceren de PACE-onderzoekers een follow-upstudie
• ME Association: We betwisten het follow-uprapport van de PACE-studie
• Professor Jonathan Edwards: PACE-studie is “waardeloos”
• Oninterpreteerbaar: Fatale fouten in het PACE follow-uponderzoek van het chronisch vermoeidheidssyndroom
• Waarom de wetenschappelijke wereld het nodig heeft dat de PACE-gegevens worden vrijgegeven
• Reporter hekelt studie naar chronisch vermoeidheidssyndroom: ik stopte bij 14.000 woorden – genoeg was genoeg
• Een “moreel equivalent van oorlog” en de PACE-studie over chronisch vermoeidheidssyndroom
• Waarom ME-patiënten kritisch zijn over de PACE-studie
• Was onafhankelijke peerreview van de papers over de PACE-studie mogelijk?
• James Coyne over de “objectiviteit” van NHS Choices en het belachelijk maken van ME/CVS-patiënten
• Wat er voor nodig is voor Queen Mary om een verzoek om wetenschappelijke gegevens als “ergerlijk” te verklaren
• Update van mijn formeel verzoek voor het vrijgeven van de gegevens van de PACE-studie
• Formeel verzoek aan PLOS One om een Uitdrukking van Bezorgdheid uit te vaardigen voor de PACE-studie
• Waarom ik niet weet hoe PLOS zal reageren op de weigering van de auteurs om de data vrij te geven
• Antwoord van PLOS One op de bezorgdheid over de weigering van King’s College om de PACE-data te delen
• Proffen verzoeken om de gegevens van de PACE-studie
• King’s College London rekt tijd nog wat meer door weigering te herhalen om PACE-onderzoeksdata vrij te geven
• Herkennen wanneer het “beschermen van de privacy van patiënten” louter een excuus is voor het niet delen van de data
• Herzien van de economische analyse van de PACE-studie in PLoS One
• Een inkijk in de aanval op het delen van data
• Trial By Error, vervolgd: vragen voor Dr. White en zijn collega’s van de PACE-studie
• Niet-bekendgemaakte belangenconflicten in reviewprotocol van interventies voor medisch onverklaarde symptomen
• Trial by error, vervolgd: heeft de PACE-studie werkelijk bewezen dat graduele oefentherapie veilig is?
• Trial by error, vervolgd: meer nonsens van The Lancet Psychiatry
• We zijn tenminste niet ergerlijk
• Verdere inzichten in de oorlog tegen het delen van data
• Trial by error, vervolgd: een paar woorden over pesterijen
• Het heroverwegen van het beleid rond het onderzoek naar en de behandeling van ME/CVS
• Opnieuw een open brief aan de Lancet
• What About ME? Deel 1: ME-patiënten vragen patiëntenorganisaties kleur te bekennen t.a.v. PACE
• Ook België steunt in open brief de globale oproep om de PACE-data vrij te geven
• Lezing Dr. David Tuller en Prof. Frans Visser tijdens Nederlandse première Forgotten Plague
• Petitie met 12.000 handtekeningen aan The Lancet bezorgd om de PACE-studiedata vrij te geven
• Open brief Prof. Malcolm Hooper aan The Lancet
• Een half jaar gaat voorbij zonder de vrijgave van PACE-studiedata uit PLOS One
• PACE-Gate: de controverse over de grootste studie naar CGT en GET bij ME/cvs
• Proffen schrijven open brief aan PLoS One i.v.m. PACE-studie naar CGT/GET
• Correctie van PLoS verwijdert geanonimiseerde patiëntengegevens in studie naar CVS (& zet ze daarna terug)
• “Hun mond viel open van verbazing over de PACE-trial naar CGT en GET.”
• Rechtbank eist vrijgave van de gegevens van de PACE-studie naar CGT en GET voor ME/CVS
• Queen Mary University of London “bestudeert” de regelgeving om de PACE-data vrij te geven
• The Lancet struikelt opnieuw over de PACE-studie
• Trial by error, vervolgd: mijn vragen voor de hoofdredacteur van The Lancet, Richard Horton
• Vrijgave data PACE-team volgens originele protocol
• Verklaring QMUL: bekendmaking van de data van de PACE-studie onder de Wet op de Vrijheid van Informatie
• Persbericht. De vrijgave van de PACE-data is een fundamentele overwinning voor mensen met ME/cvs
• Stop studies naar graduele oefentherapie voor ME/CVS
• Prof. Van der Meer waarschuwt voor delen van data met “je vijanden”
• Geen “herstel” in de PACE-studie, blijkt uit nieuwe analyse
• Slechte wetenschap heeft miljoenen ME/cvs-patiënten misleid. Hier leest u hoe we terugvochten.
• Belangrijkste punten uit de analyse van de ruwe data voor “herstel” van de PACE-studie
• Bewijs voor aanbevolen behandelingen voor ME en CVS houdt geen stand
• Trial by error, vervolgd: de echte data van de PACE-studie
• Erger dan de ziekte
• De PACE-studie: waar “herstel” niet betekent dat je terug gezond bent
• Hoe de brief van Alem Matthees het mysterie van ME/cvs hielp oplossen
• Een open brief aan Psychological Medicine over “herstel” en de PACE-trial (Update)
• Opnieuw een open brief aan Psychological Medicine!
• De bal misslaan bij ME/cvs
• Trial by error, vervolgd: de nieuwe FITNET-studie voor kinderen
• Trial by error, vervolgd: een vervolgpost over FITNET-NHS
• Trial by error, vervolgd: de Nederlandse studies (opnieuw!), en een Esther Crawley-bonus
• Trial by error, vervolgd: mijn lasterlijk bloggen op Virology Blog
• Trial by error, vervolgd: een open brief aan het bestuur van het CFS/ME Research Collaborative (CMRC)
• Trial by error, vervolgd: CFS/ME Research Collaborative aan Virology Blog: “Rot op!”
• Trial by error, vervolgd: Het CMRC bevestigt volledige steun aan Lasterlijke Esther
• Trial by error, vervolgd: ME Research UK stapt uit het CFS/ME Research Collaborative
• Trial by error, vervolgd: mijn “scheur-het-aan-flarden”-toespraak bij Invest in ME
• David Tuller zamelt geld in voor Virology Blogs Trial by error: verslaggeving over PACE, ME/cvs en verwante onderwerpen
• Trial by error, vervolgd: mijn brief aan de University of Bristol
• Crowdfundingcampagne David Tuller in teken van ME: nog twee weken te gaan…
• David Tuller komt op voor ME: de laatste tien dagen van de campagne…
• Trial by error, vervolgd: is PACE een geval van wetenschappelijk wangedrag?
• Trial by error, vervolgd: de reis van Julie Rehmeyer “Through The Shadowlands”
• Trial by error, vervolgd: meer over graduele oefentherapie van Peter White en The Lancet
• Trial by error: De CDC schrappen cognitieve gedragstherapie (CGT) en graduele oefentherapie (GET) voor ME/cvs
• Trial by error: De NICE-richtlijnen, en meer over de CDC
• Trial by error: NICE weigert om namen van experts te onthullen
• Trial by error: NICE verwerpt mijn verzoek op basis van vrijheid van informatie
• De PACE-trial, of hoe een medisch schandaal tot stand kwam
• Waarop moet je letten in de Speciale Editie van het Journal of Health Psychology over de PACE-trial
• Deel 2: Waarop moet je letten in de Speciale Editie van het Journal of Health Psychology over de PACE-trial
• Trial by error: de wanhopige pogingen van het Science Media Center om PACE te verdedigen
• Trial by error: gepensioneerde PACE-onderzoeker Peter White en Swiss Re
• Trial by error: mijn e-mailuitwisseling met de directeur van NICE
• Trial by error: geen ethische review van de studie van Crawley over afwezigheid op school
• Trial by error: verzoek om meer details over de studie van Crawley over afwezigheid op school
• Trial by error: de rapporten van de “deskundigen ter zake” van NICE
• Trial by error: MEGA’s nieuwst mislukking
• Trial by error: NICE verwerpt huidige richtlijn, plant “volledige update”
• Trial by error: NIH geeft een subsidie van 2,1 miljoen dollar aan de Britse Biobank!
• Trial by error: nog een brief aan de directeur van NICE
• Trial by error: huidige NICE-richtlijn blijft, voorlopig toch
• Trial by error: de verrassende nieuwe gids voor beste praktijken van BMJ [voor ME/cvs]
• Trial by error: mijn korte ontmoeting met Professor Crawley
• Trial by error: Hé, Bristol! Waar is mijn ‘cease and desist’-brief*?
• Trial by error: de Crawley-kronieken (vervolg)
• Trial by error: mijn eenzijdige correspondentie met professor Crawley
• Trial by error: de niet-openbaar gemaakte uitkomstenverwisseling van de SMILE-studie
• SMILE-studie Lightning Process voor kinderen met CVS: Resultaten te mooi om waar te zijn?
• Trial by error: mijn vragen voor het Science Media Center
• Trial by error: de klacht van Bristol aan Berkeley 
• David Tuller en de (s)PACEcake-eters