Kvalitet eller lotteri?

Snart är det dags för Vetenskapsrådets årliga lotteri för forskare i utbildningsvetenskap. Varje år delas ett antal forskningsmiljoner ut åt lyckliga vinnare. I fjol var det knappt 150 miljoner kronor som delades ut.

Läsaren undrar kanske varför jag skriver om forskningsfinansieringen i termer av ”lotteri”. För nog är det väl ändå ansökningarnas kvalitet som avgör om de får bidrag eller inte, tänker kanske läsaren. Det finns ju trots allt en kommitté med vetenskapligt kompetenta personer, som granskar alla inkomna ansökningar. Så ja, i viss mån finns det en koppling till kvalitet. Men, och detta är ett stort men, det är just bara ”i viss mån” och det finns även en hel del andra sidor som är värda att beakta. Jag vill hävda att systemet är dyrt, osäkert och att det motarbetar kvalitet i svensk forskning. Låter det märkligt? Låt mig förklara! 

Det är ohyggligt dyrt!

Nu kanske läsaren tänker: de 150 miljoner som delas ut är väl 150 miljoner, oavsett system för fördelning. Men då glömmer man alla kringkostnader. Förra året inkom 247 ansökningar (varav endast 24 beviljades). Nu vet jag inte hur mycket tid folk i allmänhet lägger ner på sina ansökningar. Men med tanke på att ansökningar till Vetenskapsrådet är tämligen omfattande, kan man kanske höfta till med att det nog tar i alla fall en veckas arbetstid för att skriva en sådan ansökan. Troligen är det lågt räknat för en hel del ansökningar. Denna skattning innebär i så fall 40 timmar gånger 247 ansökningar, vilket är cirka 10 000 timmar. Givet att en akademiker kostar ungefär 1 000 kronor i timmen, inklusive sociala avgifter och annat, blir det 10 miljoner kronor. Plus alla kostnader för granskningen, där den vetenskapliga kommitténs arbete ingår, men också digitala system för hantering av ansökningarna. Så för att bara skriva och granska alla dessa ansökningar, går det alltså åt minst 10-15 miljoner kronor. Det är mycket i sig. Men vi får inte glömma att medan alla dessa forskare ägnade tid åt att skriva sina ansökningar, kunde de gjort något annat. För de 223 ansökningar som inte beviljades medel, är tiden mer eller mindre bortkastad. Den kunde använts till att bedriva forskning i stället. Över 9 000 timmars forskning blev således aldrig av, eftersom tiden ägnades åt att skriva ansökningar.

Det är väldigt osäkert!

Att bedöma kvalitet är oerhört komplext. Det är definitivt ingen exakt vetenskap. Tvärtom är folk oense om kvalitetsbedömningar hela tiden. Jag gissar att de flesta forskare som publicerar sig regelbundet har upplevt hur olika granskare kan ha helt olika uppfattningar om en text. Den ena tycker att texten är jättebra och bör publiceras, medan den andra har en massa kritiska synpunkter. Och i de fall där båda har synpunkter, är det sällsynt att dessa synpunkter sammanfaller. Liknande fenomen finns överallt. Lärare som har olika uppfattningar om elevers svar på öppna uppgifter och uppsatser i nationella prov. Känns det igen? Trots standardisering och rigorösa bedömningsanvisningar, avviker lärares uppfattningar från varandra när de bedömer proven. Samma sak med experter i konst och litteratur. När den franske författaren Michel Houellebecqs senaste roman ”Underkastelse” släpptes, ansåg vissa recensenter att den enbart var ett banalt exempel på hur författaren frotterade sig i sexuella utsvävelser med yngre kvinnor och gav en förenklad bild av islam. Andra menade att texten egentligen handlade om något djupare än så. Man var bara inte överens om exakt vad. Åsikterna var många. Och olika.

Det finns ett par viktiga anledningar till att kvalitetsbedömningar är så osäkra. En är att det är komplexa saker som bedöms. Man kan därför vara oense om vilka kriterier som ska tillämpas, hur de ska tillämpas och vilken relativ vikt respektive kriterium bör ha. En helt vanlig lösning på ett matematikproblem kan bedömas utifrån exempelvis vilken metod som valts, hur lösningen kommuniceras, hur korrekta beräkningarna är och så vidare. Kanske är de flesta matematiklärare överens om vilka dessa kriterier är, men gissningsvis sällan om deras inbördes vikt.

Den andra anledningen till att kvalitetsbedömningar är så osäkra, är att det i alla bedömningar – i större eller mindre utsträckning – vägs in irrelevanta faktorer. I en nyligen genomförd metastudie om lärares betygsättning, undersöks hur mycket exempelvis elevernas utseende spelar roll för deras betyg. Man vill gärna tro att professionella människor förmår stå över sådana trivialiteter, som utseende, handstil och biologiskt kön, men empirin talar ett annat språk. Och det gäller inte enbart lärare. Det tycks gälla ALLA människor och ALLA bedömningar. Våra fördomar, om man får kalla dem så, är många gånger omedvetna, och de fyller minsta lucka när vi gör bedömningar. Lika snabbt och omärkligt som när luft fyller ett vakuum.

Om detta är den generella bilden. Varför skulle vi förvänta oss att granskningen av vetenskapliga ansökningar fungerar annorlunda? Svaret är att det ska vi inte. Det är komplexa texter, som bedöms av människor. Då ska vi snarare förvänta oss dels att bedömarna är oense, dels att de (omedvetet) påverkas i sin bedömning beroende på om det är en man eller kvinna som söker, om de har hört talas om personen eller inte, om de är bekanta med ämnesinnehållet eller inte, och så vidare. Om vi är realistiska, ska vi förvänta oss en osäker bedömning kryddad med fördomar. Vill du veta mer, se gärna SUHF’s kunskapsöversikt om forskningsfinansiering: http://www.suhf.se/publicerat/rapporter

Negativa konsekvenser på motivation, kvalitet och effektivitet

Jag har tidigare skrivit om hur elever som får låga betyg ger upp, istället för att anstränga sig mer, eftersom de inte lyckas knäcka koden för vad det är läraren förväntar sig. Dessa elever känner sig därmed maktlösa och upplever att de inte förmår påverka sin situation. Bedömningen är en ”svart låda”. Man lämnar in saker och får sedermera ett betyg, men man förstår inte hur bedömningsprocessen går till. En nyligen genomförd studie vid Göteborgs universitet visar att elever, när de inte lyckas knäcka koden, försöka hitta andra strategier, som att på olika sätt spela duktiga elever (https://gupea.ub.gu.se/handle/2077/41562).

Det är lätt att dra paralleller mellan betygsättning och bedömning av forskningsansökningar. Som forskare knåpar man ihop en ansökan efter bästa förmåga, skickar in den och får (i bästa fall) tillbaka ett extremt kortfattat omdöme. Granskningsprocessen är återigen en ”svart låda” och man får inga som helst ledtrådar om hur man bör göra annorlunda i framtiden för att förbättra sina chanser. Naturligtvis kan man jämföra sin egen ansökan med några av de ansökningar som beviljats medel. Men ofta är det inte lätt att se vari skillnaden ligger. Ibland kanske man tycker att vissa av de som beviljats förefaller sämre än några som inte beviljats. Man kan också jämföra sig med de personer som beviljats medel. Har de publicerat mer? Har de fler citeringar? Men inte sällan upptäcker man kanske att man själv gjort mer, eller har fler citeringar, än de som beviljats medel. Så vari ligger skillnaden? Kanske är det lika bra att ge upp, sluta lägga tid på ansökningar, eftersom det ändå tycks spela någon roll hur ansökan ser ut eller vad man gjort tidigare? Eller så kan man se på det ungefär som ett lotteri. Jag köper en lott, genom att skicka in en ansökan. Problemet är att det är en dyr lott och små chanser till vinst. Dyr, eftersom den tid det tar att skriva en ansökan kan kräva lika mycket forskningstid som en lektor på en högskola har på ett läsår. Så antingen satsar man på en ansökan eller så bedriver man egen forskning. Att kunna göra båda är lyx. Små chanser att vinna, eftersom beviljandegraden är under 10 procent. Betydligt lägre chans än att vinna ens 30 kronor på en trisslott.

Ett alternativ till kvalitetsgranskningar

Jämför ovanstående med en situation där kriterierna för framgång är öppna, så att man i princip kan jobba hårdare och därmed kämpa sig till en beviljad ansökan. Då kan man bestämma sig för att jobba hårdare, vänta med att skicka in ansökan tills man har tillräckligt ”på fötterna” och/eller samarbeta med någon som är mer framgångsrik. Under sådana omständigheter lönar det sig att jobba, vara effektiv och kvalitetsmedveten. Systemet blir kvalitetsdrivande. Till skillnad från dagens system, där man skickar in ”på vinst och förlust”. Man kan lika gärna chansa, genom att skicka in en undermålig ansökan, eftersom man ändå inte vet varför vissa ansökningar blir beviljade och andra inte. Det finns således inga tydliga incitament för att satsa på hög kvalitet i dagens system. Precis som att det inte finns några incitament för att skaffa sig goda meriter som forskare, för de räknas ändå inte. Trots att antalet publikationer och citeringar troligen är det som bäst förmår prognosticera kvalitet även i framtida projekt. Som erfaren forskare kan du ha fler publikationer och citeringar än vad hela granskningsgruppen har gemensamt, men det är ingen garanti för att du beviljas medel.

Vad är då alternativet, om man anser att kvalitetsgranskningar är för dyra, osäkra och demoraliserande? Min röst skulle ligga på att i högre grad förlita sig på objektiva mått, som just antalet publikationer och citeringar. Samt att man tar hänsyn till var forskningen publiceras, där internationella tidskrifter med hög så kallad ”impact factor” värderas betydligt högre, medan lokala tidskrifter och skriftserier, som inte är indexerade i internationella databaser, värderas betydligt lägre. Anledningar:

  1. Det är enkelt och billigt att ta fram statistik, som kan ligga till grund för bedömningen.
  2. Det är objektivt och beror inte på vilken bedömare slumpen utser åt din ansökan och dennes värderingar.
  3. Det är kvalitetsdrivande genom att det lönar sig att bedriva och publicera forskning av hög kvalitet.
  4. Det är kvalitetsdrivande genom att det lönar sig att jobba!

 

Baksidan är naturligtvis att det kan vara svårt att ta sig in i konkurrensen. Speciellt som ny forskare. Ja, men det är också meningen. För återigen: Om du vill ha medel, får du jobba hårdare! Genom att söka meriteringstjänster för att ”jobba upp dig” eller genom att samarbeta med mer meriterade forskare. Ett sådant system hindrar inte heller att det finns olika former av strategiska satsningar, på exempelvis ”unga forskare”. Men grunden bör vara öppenhet, objektivitet och att det ska löna sig att göra bra forskning!

Annonser

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut /  Ändra )

Google-foto

Du kommenterar med ditt Google-konto. Logga ut /  Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut /  Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut /  Ändra )

Ansluter till %s