I förra veckan kom budgetpropositionen. Den kanske största överraskningen gällde inte någon oväntad satsning, utan vad som stod att läsa om det nationella systemet för utvärdering av högre utbildning:

”Under 2014 kommer Universitetskanslersämbetets första cykel med utbildningsutvärderingar att avslutas och arbetet med nästa cykel att inledas. (…)

Erfarenheterna från de hittills gjorda granskningarna är goda. Lärosäten och utvärderare har överlag gett positiva omdömen om hur Högskoleverket respektive Universitetskanslersämbetet har genomfört utvärderingarna.” (Utgiftsområde 16, s. 75)

Det är inte vår bild – snarare tvärtom. Igår skrev vi i Svenska dagbladet  tillsammans med universitetsledningen i Lund om varför utvärderingarna inte håller måttet. I artikeln hävdar vi att systemet underkänner hela utbildningar på smalt underlag och ibland snarast godtyckliga grunder.

Inom Uppsala universitet har hittills 97 utbildningar fått omdömen: 19 har bedömts hålla mycket hög kvalitet, 60 hög kvalitet och 18 bristande kvalitet. Vi skall naturligtvis inte vara nöjda med att kvaliteten i några av våra utbildningar ifrågasätts. Samtidigt har vår enhet för kvalitetsutveckling och universitetspedagogik gjort en genomgång av våra ifrågasatta utbildningar som visar att det i många fall handlar om mindre utbildningar och att underlaget för bedömningen är ibland verkligen smalt.

Några iakttagelser:

Sju ifrågasatta examina (av 18) har fått omdömet bristande kvalitet på grund av att de granskade självständiga arbetena befunnits bristande för ett examensmål. I sex av fallen består underlaget av blott fem eller sex granskade arbeten. I ett fall är det blott två självständiga arbeten (2/5) som ”fäller” hela utbildningen. I fyra av fall har utbildningen fått omdömet bristande då det funnits tre bristande arbeten (3/5 respektive 3/6).

Man kan ifrågasätta rimligheten i att på marginalen ett enda bristfälligt självständigt arbete för mycket i urvalet stjälper en hel utbildning. Det är också tveksamt att bristande uppfyllelse av ett av de utvalda examensmålen leder till att en hel utbildning får omdömet bristande kvalitet.

Så här fungerar det:

Om fyra av elva granskade arbeten bedöms som bristande (36%) anses examensmålet som bristande. Om däremot tre av elva granskade arbeten bedöms som bristande klarar sig utbildningen, eftersom andelen bristfälliga arbeten då hamnar under brytpunkten en tredjedel.

Tre av åtta eller fyra av nio bristande arbeten fäller en utbildning medan en utbildning med tre av nio bristande arbeten anses hålla hög kvalitet då andelen inte överstiger en tredjedel bristande arbeten.

Generellt sett är underlaget avseende antalet granskade självständiga arbeten begränsat. För 13 av 18 ifrågasatta examina vid UU har antalet granskade självständiga arbeten varit elva eller färre.

Det finns ingenting i systemet som automatiskt kvalitetssäkrar bedömningen när marginalerna är små. Det är endast en bedömare per granskat självständigt arbete. Det blir väldigt sårbart när på marginalen ett arbete kan fälla en hel utbildning. Vissa bedömargrupper har låtit ytterligare en bedömare läsa arbetet i de fall bedömningen riskerar att fälla en utbildning. Men denna typ av kvalitetssäkring (second opinion) är inte inbyggd i systemet, utan beror helt på enskilda bedömargrupper.

Självvärderingen används inte som kompletterande underlag när det anses gå att bedöma måluppfyllelse utifrån de granskade självständiga arbetena. Bedömarna uppmanas att vara sparsamma med att ange ”går ej att bedöma” när de granskar arbetena. Om mer än en tredjedel av arbetena bedöms vara av bristande kvalitet för ett visst mål, spelar det ingen roll om självvärderingen beskriver att man i övriga delar av utbildningen säkrar måluppfyllelsen genom färdighetsträning och examination. Utvärderingen tar heller ingen hänsyn till om arbetena skrivits i par eller enskilt, eller graden av självständighet i skrivandet.

I söndagens Kaliber i P1  diskuterades fler exempel från andra högskolor och universitet,  lyssna gärna.

När nu den nya tillsynsmyndigheten Universitetskanslerämbetet bjuder in sektorn till dialog om det framtida utvärderingssystemets utformning är våra krav tydliga:

  • Vi har i dag en förtroendekris och måste snarast skapa ett utvärderingssystem som erkänns internationellt och har legitimitet i sektorn.
  • Det är inte fel att utvärdera resultat, men systemet ska bygga på en väl avvägd balans mellan förutsättningar, process och resultat.
  • Underlaget för resultatvärdering behöver breddas, i synnerhet när det gäller yrkesexamina och mer professionsorienterade utbildningar.