Hoe objectief is wetenschappelijk onderzoek? Een beschouwing van de pijnpunten bij het onderzoek naar ME & CVS

Als we de resultaten van wetenschappelijk onderzoek onder ogen krijgen, dan is al gauw de gedachte dat het waar moet zijn. Er is immers door volkomen objectieve en zeer geleerde mensen op een nauwkeurig beschreven wijze en met ideologische bezieling een onderzoek gedaan. Als dan de bevindingen ook nog eens gepubliceerd worden in een gerenommeerd wetenschappelijk vakblad, dan is het onontkoombaar: we hebben hier te maken met feiten die onomstotelijk vast staan.

Niets is echter minder waar. De afgelopen jaren hebben we heel wat schandalen gezien rondom wetenschappelijk onderzoek in de psychologie. Hoogleraar Diederik Stapel bleek zijn onderzoeksgegevens gewoon te hebben verzonnen. Veel psychologisch onderzoek (tot 85%) blijkt bij herhaling niet tot dezelfde uitkomst te leiden[1].

In het PACE-onderzoek in Groot-Brittannië naar de behandeling bij patiënten met het Chronisch VermoeidheidsSyndroom hebben de onderzoekers onderweg de uitkomstmaten gewijzigd. Dat is een doodzonde in wetenschappelijk onderzoek. Daarnaast waren er nog vele andere wetenschappelijk missers die de uitkomsten onbruikbaar maken[2]. Desondanks werd het onderzoek in 2011 gepubliceerd in The Lancet [3]. De Nederlandse onderzoekers Bleijenberg en Knoop van het Nijmeegs Kenniscentrum Chronische Vermoeidheid schreven er in The Lancet een review over. Zij maakten geen melding van de missers en dikten de positieve uitkomsten nog eens extra aan[4]. Waarom was dat? En hoe kon het zijn dat de Lancet dit niet corrigeerde [5]?

Dit soort gebeurtenissen werpt de vraag op hoe objectief is wetenschappelijk onderzoek en wat zien wij ervan terug in de vorm van publicaties? Er zijn heel wat factoren die het onderzoek en de onderzoekers beïnvloeden en die invloed hebben op datgene wat wij uiteindelijk in wetenschappelijke publicaties lezen.

We benaderen deze punten aan de hand van onderzoek rondom ME (Myalgische Encefalomyelitis) en CVS (Chronisch VermoeidheidsSyndroom).

1. De keuze van het onderwerp

Medisch en gezondheidspsychologisch onderzoek wordt vaak verricht om bevestiging te zoeken van de behandeling die men heeft ontwikkeld. Het PACE onderzoek was opgezet om de werking aan te tonen van de Cognitieve Gedragstherapie en Graded Excercise Therapy (graduele oefentherapie) die in de behandelcentra van deze onderzoekers werd toegepast. Men vergeleek dit met algemene medische zorg (bv de huisarts) en met APT (Adaptive Pacing Therapy).

De keuze van het onderwerp bepaalt dus wat men bekijkt en het bepaalt tegelijkertijd ook wat er niet wordt onderzocht en wat men dus laat liggen. Dat komt in publicaties niet nadrukkelijk naar voren. Deze keuze is wel bepalend voor wat we uiteindelijk te zien krijgen.

2. De discipline van de onderzoeker

Zowel in Groot-Brittannië als in Nederland is het onderwerp ME en CVS gekaapt door vooral psychologen. Daarmee komt de aandacht van onderzoek en behandeling op het psychologische vlak terecht. In Nederland is nagenoeg geen onderzoek gedaan naar de fysieke oorzaken van de ziekte ME. Er zijn voor zover bekend geen neurologen of immunologen, die zich op dit onderzoek richten. Alles wordt onder aanvoering van psychologen afgedaan als chronische vermoeidheidsklachten die gebaseerd zijn op False Illness Beliefs[6], een foutieve overtuiging van de patiënt dat er sprake zou zijn van een lichamelijke aandoening. Het label in Nederland is dus dat het een psychische aandoening zou zijn en het zijn dus vooral psychologen en enkele psychiaters die dit onderzoeken.

In de Verenigde Staten, Japan[7] en Noorwegen[8] is inmiddels heel wat bewijs gevonden voor een neuro-immunologische grondslag van de ziekte. In Nederland wordt daar nauwelijks iets over geschreven. In Nederland kijkt nagenoeg iedereen door de bril van de psycholoog. Het is wonderbaarlijk dat zoveel professionals zich laten leiden door mensen met een zo beperkt blikveld. De onderzoekers en medewerkers van het Nijmeegs Kenniscentrum Chronische Vermoeidheid zijn er met enkele anderen in geslaagd hun overtuiging (let wel overtuiging is nog geen kennis) met kracht in de markt te zetten.

3. De onderzoeksvraag

Wat je als onderzoeksvraag stelt, bepaalt in hoge mate wat je gaat vinden als resultaat van het onderzoek. Een heel mooi voorbeeld van zo’n bepalende onderzoeksvraag is te vinden via de SOLK website (http://www.solk.nl/2015/09/effect-bezorgdheid-partner-en-relatietevredenheid-op-het-behandelresultaat-bij-patienten-met-het-chronischevermoeidheidssyndroom/).

The role of the partner and relationship satisfaction on treatment outcome in patients with chronic fatigue syndrome

De studie onderzoekt de invloed van ‘uitingen van bezorgdheid’ van de partners van patiënten met CVS en de ervaren onderlinge tevredenheid van hun relatie op het effect van de CGT. Uiten van bezorgdheid door de partner wordt gedefinieerd als het tonen van bezorgdheid over de fysieke gesteldheid van de patiënt, troosten en afraden om activiteiten te ondernemen.

Allereerst richt het onderzoek zich op gedrag. Weer een psychologische insteek dus. Hoe suggestief is de vraagstelling? Het suggereert een causaal verband tussen bezorgdheid en relatietevredenheid enerzijds en het behandelresultaat anderzijds. Met welke zekerheid is dat causaal verband vastgesteld? Stel nu dat er wel degelijk een fysieke oorzaak is? In dat geval is er een wezenlijk ander verband tussen de bezorgdheid en het resultaat van de behandeling.

Bijzonder gegeven: Bleijenberg en Knoop zijn ook bij dit onderzoek betrokken[9].

Een ander voorbeeld: als je psychologische behandelmethodes onderling gaat vergelijken op hun effectiviteit, zul je nooit vinden dat een medicamenteuze behandeling beter aanslaat.

In Nederland wordt geen onderzoek gedaan naar middelen die de neuro-immunologische grondslag van de ziekte ME beïnvloeden. In Noorwegen loopt er sinds enkele jaren een groot onderzoek naar de behandeling van ME-patiënten met Rituximab. Dit middel, dat ook toegepast wordt bij vormen van kanker en bij reuma, heeft invloed op het immunologisch regelsysteem. Er zijn eerder twee pilot-onderzoeken gedaan die bemoedigende resultaten opleveren [10]. Zolang wij in Nederland op dit vlak geen onderzoek doen, gaan we ook geen aanwijzingen vinden dat ME geen psychische aandoening maar een fysieke aandoening is.

4. De wijze waarop het onderzoek wordt uitgevoerd en geanalyseerd

Voordat een onderzoek wordt uitgevoerd, wordt eerst de onderzoeksopzet beschreven en in een protocol wordt vastgelegd welke metingen er worden gedaan en hoe die worden meegenomen in de resultaten. Zo’n protocol is van groot belang. Juist door in het protocol vast te leggen wat je gaat onderzoeken en hoe je dat precies gaat doen, zorg je voor vergroting van de objectiviteit en de reproduceerbaarheid van je onderzoek. Daarmee maak je het onderzoek controleerbaar en draag je bij aan de wetenschappelijke geloofwaardigheid van de uitkomsten van je onderzoek.

In het PACE onderzoek is het protocol gaande het onderzoek met voeten getreden[11]. De objectieve metingen zoals loopafstand, stappenteller en hervatting werk, zijn gewoon weggelaten. De normen voor de uitkomsten van de subjectieve metingen zijn opnieuw gedefinieerd. Door de aanpassing van de norm was 13% van de patiënten achteraf gezien al hersteld op moment dat ze aan het onderzoek begonnen, terwijl ze toen nog door de onderzoekers als patiënt werden beschouwd. Kortom al dit gerommel leidt ertoe dat de uitkomsten van dit onderzoek volstrekt onbruikbaar zijn.

Desondanks waren Bleijenberg en Knoop buitengewoon enthousiast over de uitkomsten en ze verdubbelden zonder enige grond de resultaten [12]. In hun artikel in The Lancet betoogden zij dat de onderzoekers de uitkomstmaten wel heel strikt hadden toegepast en dat men dus een veel beter resultaat had dan gesteld werd. Hoe kan het zijn dat ze met deze conclusies kwamen? Wat is de waarde van hun schrijfsel? Het wordt wel in The Lancet gepubliceerd en dus zal het wel waar zijn?

5. De doelgroep die in het onderzoek wordt ingesloten ofwel wordt uitgesloten

Over wie gaat het onderzoek precies? En als je aan het eind van je onderzoek uitspraken doet, op wie heeft dat dan betrekking?

Wat ME en CVS betreft valt er veel te zeggen over de totale verwarring die de terminologie Chronisch VermoeidheidSyndroom teweeg heeft gebracht. Tot 1988 werd de term Myalgische Encefalomyelitis gebruikt. Men vond de term niet zo gepast omdat de ontstekingsverschijnselen in de hersenen (die de naam aangeeft) niet bij levenden konden worden aangetoond. De middelen daartoe ontbraken. De term CFS werd ingevoerd; Chronic Fatigue Syndrome. Inmiddels zijn er beeldvormende technieken (o.a. Spect Scan met bijbehorende software) die dat wel kunnen en die ook daadwerkelijk tekenen van ontsteking tonen (Japan, 2014 en 2015). Ook zijn er bij patiënten afwijkende aantallen Natural Killer cells gevonden[13]. Het valt dus niet meer vol te houden dat we hier te maken hebben met somatisatieklachten of met Somatisch Onvoldoende Verklaarde Klachten. Er komen wel degelijk verklaringen voor de ziekteverschijnselen naar boven. Dat heeft er in de Verenigde Staten toe geleid dat in maart 2015 een rapport is verschenen van het IOM (Institute Of Medicine)[14] waarin wordt gesteld:

MME/CFS is a serious, chronic, complex, systemic disease that often can profoundly affect the lives of ME/CFS patients (…..) Many health care providers are skeptical about the seriousness of ME/CFS, mistake it for a mental health condition, or consider it a figment of the patient’s imagination . Misconceptions or dismissive attitudes on the part of health care providers make the path to diagnosis long and frustrating for many patients. The committee stresses that health care providers should acknowledge ME/CFS as a serious illness that requires timely diagnosis and appropriate care.

Op de site van het Nijmeegs Kenniscentrum Chronische Vermoeidheid wordt intussen nog steeds vermeld dat ME hetzelfde is als CVS (NKCV.nl) Die stelling valt gezien het voorgaande niet meer vol te houden. Het Nederlandse begrip CVS is onder aanvoering van de psychologen volledig geërodeerd. Er wordt volgehouden, het NKCV en de SOLK mensen voorop, dat het allemaal dezelfde aandoening betreft[15]. Al deze mensen zouden False Illness Beliefs hebben die met gedragstherapie en een opbouwend trainingsprogramma te helpen zouden zijn. Het IOM is heel duidelijk over deze misvatting en roept zorgaanbieders op tot een duidelijk andere insteek en stelt zelfs een andere naam voor de aandoening voor.

De term CVS is in Nederland een vergaarbak geworden voor vermoeidheidsklachten. In die vergaarbak zal een ordening aangebracht moeten worden. De groep mensen met vermoeidheidsklachten op basis van een aandoening van het neuro-immuunsysteem (laten we die aandoening bij zijn correcte naam ME noemen) valt niet te vergelijken met mensen die vermoeidheidsklachten op basis van andere pathologie hebben.

Ieder onderzoek dat die differentiatie in de patiëntengroepen niet aanbrengt, is daarmee op voorhand onbruikbaar, ofwel: garbage in, garbage out!

6. De publicatiebias

Negatieve uitkomsten van een onderzoek lijken minder interessant. In ieder geval speelt dat een rol voor de onderzoeker zelf, want hij zet daarmee zijn eigen theorie op losse schroeven. Ook het tijdschrift waarin gepubliceerd wordt, heeft invloed. Eén van de eerste vragen die een auteur krijgt voorgelegd gaat over de nieuwswaarde van het onderzoek. En ja, wat is nu interessant aan het gegeven dat iets niet bevestigd kon worden?

Feitelijk zijn dat vaak juist heel interessante uitkomsten omdat ze de weg openen naar een nieuwe theorie, maar in de praktijk wordt vaak gesteld dat een negatief resultaat niet interessant is. In het geval van de PACE-trial was er een zusteronderzoek[16] dat voortging op de uitkomsten van de hoofdtak van PACE. De uitkomsten bevestigden de bevindingen echter niet en het onderzoek verdween via de zijdeur.

Verder lijkt er sprake van een publicatiebias doordat steeds dezelfden publiceren. Zo zijn onderzoekers van het Nijmeegs Kenniscentrum Chronische Vermoeidheid betrokken bij heel veel publicaties over CVS. Het kost veel moeite een onderzoek/artikel uit Nederland te vinden waar zij (en met name Bleijenberg, Knoop en Prins)geen aandeel in hebben gehad. Dat maakt dat we een extreem eenzijdig beeld krijgen voorgeschoteld.

7. Zakelijke belangen

Als onderzoekers ook een zakelijk belang hebben, is altijd de vraag of en in welke mate dat een rol speelt. Openheid over belangen en motieven in een onderzoek is dan een eerste vereiste. Een deel van de onderzoekers in de PACE-trial is verbonden aan verzekeringsmaatschappijen [17] die invaliditeitsuitkeringen moeten betalen. Welke invloed heeft die binding? Ze hebben het in ieder geval niet vermeld toen ze hun deelnemers informeerden.

Bleijenberg en Knoop hebben een band met het Nijmeegs Kenniscentrum Chronische Vermoeidheid. Knoop is momenteel hoofd van dit centrum, waar de therapieën worden toegepast die vanuit het PACE-onderzoek worden aangeraden. Welke invloed heeft die binding? Komen patiënten nog naar hun behandelcentrum als de onderliggende theorieën in twijfel getrokken worden?

8. Wetenschappelijke status

Wetenschappers (en in hun kielzog de universiteit of het instituut waar zij aan verbonden zijn) worden gewogen aan de hand van de onderzoeken waaraan zij als(hoofd-)onderzoeker bij betrokken zijn en aan de hand van de publicaties. Daarbij telt ook mee in welk blad de publicatie plaatsvindt, wat de nieuwswaarde is en hoe vaak men geciteerd wordt. Er ontstaat zo een pikorde. Hoe hoger in de pikorde, hoe beter is de suggestie. Deze druk kan leiden tot wetenschappelijk wangedrag. De Tilburgse hoogleraar was daar een voorbeeld van.

Dit gegeven lijkt ook in omgekeerde zin een rol te spelen in het geval van de PACE-onderzoekers en de beide Nederlandse auteurs. Als je een hoop publicaties (in vooraanstaande bladen) op je naam hebt staan, dan zul je wel goed zijn en dan ben je publicatiewaardig, ook al zijn er ernstige missers in je onderzoek of niet gefundeerde overdrijvingen in je publicatie. Heel beeldend was het feit dat de hoofdredacteur van The Lancet de auteurs van de PACE-trial en Bleijenberg en Knoop verdedigde[18] tegen de critici die de problemen in hun publicaties aan de orde stellen en terugtrekking of correctie eisen. Niet alleen de wetenschappelijke status van de auteurs is hier in het geding maar dus ook die van de hoofdredacteur en het blad The Lancet.