Page 25 - Forskningsetikk 1-2020

ÆRLIG TALT

Uenige eksperter

Eksperter som vurderer søknader om forsknings finansiering, er så uenige
at tilfeldig trekking kunne vært like nyttig. Det må vi gjøre noe med.

Jan­Ole Hesselberg I Stiftelsen Dam deler vi årlig ut rundt bred oppslutning, og de alternative måtene å
Programsjef i Stiftelsen Dam 300 millioner kroner til helseprosjekter og gjøre det på har kanskje enda større svakheter.
­forskning. Innleide eksperter vurderer søknadene Men så høy grad av uenighet burde likevel
for oss før vi tar en avgjørelse. For ikke lenge bekymre alle som fordeler penger gjennom slike
siden skjedde det en liten feil i datasystemet vårt prosesser.
som gjorde noe med fordelingen av søknadene Vurderingene er ment å fortelle oss hvilke
til en av våre eksperter. Han visste det ikke selv, prosjekter det er best å investere penger i, men
men én av de rundt 70 søknadene han fikk til dersom de ikke er konsistente, kan de ikke
vurdering, dukket opp to ganger. brukes til det. Oversatt til ditt dagligliv: Hadde
Første gang landet han på at det var en god du beholdt et termometer som i tre målinger på
søknad. Karakter 4 på en skal fra 1 til 7. To uker rad viste at du holdt en temperatur på henholds­
senere ga han seg i kast med nøyaktig samme
søknad på nytt og merket det ikke. Hva skjedde?
Han ga den bunnkarakteren 1.
Som finansiør havnet vi i en vanskelig situasjon.
Hvilken av vurderingene skulle vi stole på? Hadde du beholdt et
termometer som i tre
Tilfeldig enighet
Hendelsen er uvanlig. Derfor vet vi lite om hvor målinger på rad viste at
enige ekspertene er med seg selv, men vi vet mye du holdt en temperatur
om graden av enighet mellom ulike eksperter.
Hver søknad som sendes til oss, vurderes av to på henholdsvis 36, 41
til fem eksperter, uavhengig av hverandre. Selv og 38 grader? Neppe.
om kriteriene de skal forholde seg til, er de
samme for alle, må vi forvente at vurderingene
vil sprike. Ekspertene er tross alt mennesker med
ulike preferanser, og ikke alle leser søknadene på
nøyaktig samme måte. vis 36, 41 og 38 grader? Neppe.
Men det finnes grader av uenighet. Vi har Vi har tatt noen konsekvenser av dette. For det
kartlagt enigheten mellom par av eksperter som første har vi økt antallet eksperter som leser
vurderer samme søknad i et av våre programmer. søknadene våre. Det jevner ut en del av de
I seks av ti tilfeller var ekspertene «enige» om tilfeldige variasjonene. Vi tester også ut opp­
karakteren. I denne sammenhengen var det læringstiltak der målet er at ekspertene får en
definert som en forskjell på maksimalt én økt felles forståelse av vurderingskriteriene og
karakter. Det virker jo bra, tenker du kanskje. karakterskalaen.
Men hadde ekspertene trukket karakterene Det viktigste er kanskje at vi systematisk
tilfeldig, ville fordelingen sett nesten helt lik ut. kartlegger uenigheten og er åpne om den. Vi
«Kappa» er et mål som tar høyde for tilfeldig mener det bør være en sentral del av nøkkel­
enighet. 1,0 representerer perfekt enighet, mens tallene fra enhver finansiør, men mistenker at de
verdier under 0,4 omtales som så lave at færreste noensinne har undersøkt det.
vurderingene i liten grad kan brukes. I dette Milliarder på milliarder av forskningskroner
tilfellet var verdien 0,2. deles ut gjennom slike søknadsprosesser.
Flere internasjonale studier viser at vi ikke er Resultatet av disse prosessene bestemmer ikke
alene om lav enighet mellom eksperter. bare hva det skal forskes på, men også karrierene
Våre faste spaltister: til forskerne. Da er det avgjørende at vi er åpne
Bjørn Hofmann, Lærer opp ekspertene om svakhetene i fordelingsprosessene og jobber
Elisabeth Staksrud
og Norunn Myklebust Denne måten å fordele forskningsmidler på har hardt med å forbedre dem.

FORSKNINGSETIKK | NR. 1 | 2020 25