Search Posts

Forskning-reproducerbarhed

Problemer med at gentage forskningsresultater

En græsk-amerikansk læge, John Ioannidis, har i over 20 år prøvet at finde forskningsfejl. Oprindelig studerede han sjældne sygdomme som læge på Harvard Medical School. Han studsede over, at der ikke var den store forskel på behandlingen af sjældne sygdomme i forhold til behandlingen af mere udbredte lidelser som diabetes og hjerteproblemer. Når det gælder sjældne sygdomme må lægerne gætte sig frem til en brugbar behandling, men dette syntes også at være tilfældet for de mere almindelige sygdomme. Selv om der var blevet lavet massevis af studier i diabetes og kræft, var studierne typisk usikre, f.eks. fordi man kun studerede små grupper af patienter, og uden opnå sikre beviser for, at behandlingerne virker. Han begyndte at studere, hvor god forskningen egentlig var, og måtte konkludere, at mange forskningsresultater, som man troede var sande, ikke kunne genskabes i nye forsøg. Denne "reproducerbarhedskrise" rystede den akademiske verden [https://issuu.com/ibureauet.dk/docs/videnskapl_b_2018 (20.apr.2018 s.24)].

Det har vist sig, at der ofte bruges forskningsmetoder, som ikke er fine i kanten. Desuden har videnskabelige tidsskrifter forkærlighed for sensationelle resultater. Der er kamp om forskningsmidlerne, og det er lettere at få penge, når resultaterne er nye og bemærkelsesværdige.

I slutningen af 1990'erne samlede John Ioannidis en gruppe forskere omkring sig på University of Ioanninas Medical School i Grækenland til at forske i forskningens egne metoder. I 2005 udsendte gruppen to vigtige artikler. Den ene havde titlen. "Hvorfor de fleste offentliggjorte forskningsresultater er falske". Heri viste man, at selv de randomiserede studier inden for sundhedsvidenskaben, hvor en gruppe patienter får placebo, i mange tilfælde er forkerte, fordi den statistiske metode, der benyttes, groft undervurderer sandsynligheden for at tage fejl. I den anden artikel fra 2005 konkludere man, at selv blandt de 49 mest citerede sundhedsvidenskabelige artikler igennem de foregående 13 år var der talrige uholdbare konklusioner. 34 af artiklerne var blevet afprøvet, og 14 af disse viste sig stærkt overdrevne eller helt forkerte. Alligevel gik der årevis (i et tilfælde hele 12 år) inden forskerne holdt op med at citere forskningen som korrekt.

Artiklerne, som John Ioannidis gruppen undersøgte, kunne f.eks. handle om hormonbehandling af kvinder i overgangsalderen, ballonudvidelse i hjertet eller aspirin mod forhøjet blodtryk. John Ioannidis gruppen kritiserede især brugen af den statistiske p-værdi, som er en målestok for, hvor stor sandsynligheden er for, at man har taget fejl. Denne p-værdi bruges også i psykologisk og samfundsvidenskabelig forskning.

Men når forskere tror, at de har et statistisk signifikant resultat, som altså ikke bare skyldes statistisk usikkerhed, og at der kun er 5% sandsynlighed for fejl, så er sandsynligheden for fejl snarere 30-40%. Dels undervurderer de sandsynligheden for fejl, dels fisker de efter p-værdier, dels jagter de et signifikant resultat og dels skjuler de en masse ting. Derfor ender de ofte med at publicere "ingenting".

I 2011 begyndte interessen for 2005-artiklerne fra John Ioannidis gruppen at blive kendt, især fordi en række prominente psykologiforskere tog emnet op og kritiserede psykologifagets brug af p-værdien. Det satte gang i større studier for at eftervise tidligere studiers resulltater, og i 2015 viste det sig, at meget psykologisk forskning ikke kunne gentages med samme resultat. Kun 36 af 100 artiklers konklusioner kunne reproduceres. I 2012 viste et studie inden for kræftforskning, at kun 6 ud af 53 epokegørende opdagelser kunne gentages med samme konklusioner, og at 47 altså ikke kunne reproduceres. I 2013 viste et studie fra John Ioannidis gruppen, at ud af 50 tilfældigt udvalgte ingredienser i en kogebog, var 40 af dem ifølge forskningen både kræftforebyggende og kræftfremkaldende.

I 2013 skrev The Economist om, at et stigende antal forskningsartikler nu blev trukket tilbage på grund af fejl eller manglende reproducerbarhed. I Economist-artiklen vurderede en datalogisk forsker fra MIT med kendskab til videnskabelige artikler om maskinlæring (dvs. når computere lærer af data-input), at ¾ af alle offentliggjorte artikler inden for dette felt kunne være forkerte. Problemet er især, at de såkaldt negative resultater, dvs. resultater som ikke bekræfter hypotesen, ikke får særlig meget opmærksomhed. Kun 14% af de offentliggjorte forskningsresultater i 2007 handlede om negative resultater. Dette tal var i øvrigt 30% i 1990. De negative resultater kan være lige så vigtige som de positive resultater, men de ignoreres altså i i stigende grad. Dette skyldes, at de videnskabelige tidsskrifter går efter "den gode historie". I 2016 spurgte tidsskriftet Nature 1500 forskere, og 90% af disse forskere mente, at forskningen befandt sig i en reproducerbarhedskrise. Det skyldes især, at forskerne kun vælger at offentliggøre positive resultater. De store videnskabelige tidsskrifter vil nemlig kun have det nye og bemærkelsesværdige. Så hvis forskerne bruger tid på at skrive artikler om noget ikke-nyt og ikke-bemærkelsesværdigt, så får de færre udgivne artikler, og dermed færre forskningsmidler samt dårligere karriere. I 2010 blev John Ioannidis interviewet til tidsskriftet The Atlantic. Han sagde, at dette publiceringspres og denne jagt på forskningsmidler fører til, at forskerne bevidst eller ubevidst kommer til at manipulere med resultaterne. Et andet forhold, som gør sig gældende, er hvem, der betaler for forskningen. I 2015 viste John Ioannidis gruppen, at 97% af forskningsartikler om nye præparater, som var blevet sponsoreret af medicinalindustrien, konkluderede, at de nye lægemidler virkede.

Den traditionelle kontrol med forskningens kvalitet sker ved, at forskningskyndige vurderer hinandens artikler, før de publiceres. Dette kaldes "peer reviews". Men de øgede industrielle interesser og den eksplosive vækst i forskning svækker denne kontrolmulighed.

John Ioannidis har været med til at lave store metastudier på The Meta-Research Innovation Center på Stanford Universitet. Tilsvarende studier har psykologiprofessor Brian Nosek udført i The Reproducibility Project ingen for psykologiforskningen. For et par årtier siden så man reproducerbarhedsstudier som spild af penge, eller en uetisk måde at bruge forskningsmidler på. Dette har ændret sig, og i USA og Holland er man ligefrem begyndt at sætte penge af til netop reproducerbarhedsstudier. Debatten har også medført, at der nu er mere opmærksomhed på metoderne, allerede før studierne påbegyndes. Men den egentlige ændring vil kræve, at de store tidsskrifter stiller strengere krav. Det vil dog koste tidsskrifterne penge, så presset skal nok komme fra forskerne selv. Men så vender vi tilbage til udgangspunktet, nemlig at der hverken er prestige eller penge i at udføre reproducerbarhedsstudier. En anden vej kunne være at skabe åbenhed om forskernes arbejde med hensyn til både hypotese, metode og publikation. Det ville gøre det lettere for andre forskere at gennemskue og teste holdbarheden af de udførte forskning. Men John Ioannidis kunne vise, at selv blandt de 50 førende videnskabelige tidsskrifter, som har en politik om at dele rådata bag forskningen, var der kun i under halvdelen af 352 tilfældigt udvalgte artikler rent faktisk adgang til sådanne rådata.  Blandt danske forskere er der kommet nogle forslag til at begrænse problemet: Man kan tilbyde flere frie midler, så forskningen ikke bliver afhængig af eksterne midler. En forsker kunne også udarbejde en undersøgelsesprotokol til projektet, men lade en anden, uafhængig forsker indsamle data, så man undgår, at en forsker vælger at stoppe dataindsamlingen, så snart der er nået et signifikant resultat, fremfor at forfølge et tilstrækkeligt antal observationer. Man kan som forsker også vælge at gennemføre en serie af studier, inden der publiceres. Tidsskrifterne kan gå over til i højere grad at tilgodese studier, som er metodisk robuste, frem for at tilgodese de studier, der kommer med en konklusion med en høj nyhedsværdi men som er mindre metodisk robust. En forsker med kendskab til forskning i fysik mener, at der er mindre problemer med reproducerbarheden på fysik-området, dels fordi der typisk udføres langt flere målinger, og dels fordi fysikere i højere grad forstår det matematiske værktøj, der bruges til statistik. 

[https://issuu.com/ibureauet.dk/docs/videnskapl_b_2018 (20.apr.2018 s.24-26)].

[http://bionyt.s807.sureserver.com/forskning-reproducerbarhed/] [nyheder-artikler-2019januar.docx]

Leave a Reply

Your email address will not be published. Required fields are marked *


CAPTCHA Image
Reload Image