På Försäkringskassan utvärderas just nu myndighetens arbete med artificiell intelligens (AI). Sedan 2019 har man tagit hjälp av AI för att fatta beslut. Projektledare Hedda Stillberg menar att det är ett ”teamwork” mellan AI och handläggaren.

Den nya tekniken ska hjälpa handläggarna att tolka läkarintyg när unga med psykiatriska diagnoser som adhd och autism ska få aktivitetsersättning. Systemet ska hjälpa människan att förstå vad läkarintygen egentligen säger.

– Ett exempel som kan vara svårt är när medicinska besvär uttrycks i vardaglig text, säger Hedda Stillberg, och exemplifierar med att det kan vara svårt att veta exakt vad ordet ”trött” innebär i termer av ork och kapacitet.

Om utvärderingen visar på positiva resultat så kan verktyget i framtiden också komma att användas inom sjukersättningen.

I svensk politik framställs den digitala omställningen i offentlig sektor som helt central för att lösa såväl klimatkrisen som bristerna i välfärden.

Dessutom är den lönsam. Digg, myndigheten för digital förvaltning, beräknar att nyttan av artificiell intelligens (AI) i offentlig förvaltning kan uppgå till hela 140 miljarder kronor om året. Enligt forskningsinstitutet RISE är den offentliga sektorn redo att ”transformeras” av AI. Införandet av tekniken ska minska stressen hos personalen och frigöra tid för såväl kvalificerat arbete som mer effektiv hjälp åt medborgarna.

Förhoppningen är att digital automatisering, i form av maskininlärning och algoritmiskt beslutsfattande, ska kunna bidra på nästan alla fronter. Den ska effektivisera beslutsprocesser, slimma personalstyrkan och stärka värden som tillgänglighet, likabehandling och rättssäkerhet.

Enligt politiken går dock införandet av AI alldeles för långsamt i dagsläget. Åtminstone om Sverige ska uppnå det nationella mål som klubbades igenom för 13 år sedan: att vara bäst i världen på att använda digitaliseringens möjligheter.

På förvaltningsnivå, där tekniken ska implementeras, pågår just nu en mängd parallella initiativ där AI testas och införs i syfte att förbättra och förenkla arbetet och processerna inom de offentliga institutionerna. Tekniken införs inom allt ifrån ekonomihantering och HR-arbete till resursfördelning och diagnostisering inom sjukvården. Men också ärendehantering, kontroll av felaktiga utbetalningar och skattefel inom myndigheter, eller underhåll och optimering av inköp på infrastrukturområdet. På alla nivåer uppmuntras och uppmanas offentliga verksamheter att införa AI-teknik.

Samtidigt är det på den här nivån som flera av de potentiella riskerna med tekniken finns. Dessa har undersökts konkret i ett flertal rapporter av bland annat Statskontoret, Myndigheten för digital förvaltning och Jämställdhetsmyndigheten.

I och med den omfattande upphandlingen av privata AI-system som väntar inom kommunerna så kommer grundläggande frågor om skyddande av offentliga principer som insyn, ansvarsutkrävande och demokrati att ställas på sin spets.

Ett exempel finns i en av de myndigheter som har kommit längst: Arbetsförmedlingen. Där använder man sig av profilering, det vill säga en automatisk behandling av personuppgifter med syfte att bedöma personliga egenskaper, genom ett automatiserat beslutssystem. I studier därifrån framkommer att tekniken potentiellt för med sig allvarliga problem för den enskilda medborgaren.

För det första förändrar tekniken villkoren för mötet mellan medborgare och välfärdsinstitutioner. Automatiseringen är i regel inriktad på att ersätta offentliga tjänstepersoner, som fattar beslut om bidrag eller annat välfärdsstöd, till exempel försörjningsstöd eller hjälp med att få ett arbete.

Det skiljer sig från den traditionella ordningen, där tjänstepersoner fattar beslut med utgångspunkt i en professionell autonomi, med politiska mål och regleringar som ram. Autonomin ger tjänstepersonerna utrymme att agera självständigt, både i mötet med en sökande och i komplexa beslutssituationer.
Automatiseringen minskar också den direkta kontakten mellan den sökande och handläggaren. Grunderna för ett beslut bygger inte främst på en bedömning av den sökandes situation genom ett personligt samtal, utan genom bearbetning av data från register och databaser. När kontakten minskar så begränsas den sökandes möjligheter att vara delaktig i myndighetsbeslut som rör henne själv.

Men kontakten mellan medborgare och offentliga tjänstepersoner inte bara minskar, den ändrar också karaktär.

Det beror inte minst på att de automatiserade besluten saknar transparens. Det har visat sig svårt både för handläggare och sökande att få full information om vad som egentligen pågår i beslutsprocessen.

Handläggare har beskrivit att de behöver strategier för att hantera frågor som de inte kan svara på, från sökande som inte förstår ett beslut som den har fått. Framför allt i situationer när handläggaren inte uppfattar det automatiserade beslutet som korrekt. En strategi som nämns är att handläggaren kommunicerar med den sökande så kortfattat som möjligt – för att signalera att det inte finns utrymme för vidare frågor.

Den bristande transparensen leder till ett problem med ansvarsutkrävande. Enligt GDPR måste nämligen en människa vara formellt ansvarig för ett komplext myndighetsbeslut. Men vem är egentligen ansvarig för AI:s beslut?

Automatiseringen väcker frågor om huruvida en handläggare som inte har fattat ett beslut – och eventuellt inte ens förstår det aktuella beslutet – bör hållas ansvarig. Hur stort det här dilemmat är i offentlig sektor beror på hur stort utrymme som handläggare har att göra en ny egen bedömning och avvika från automatiserade beslut. I det avseendet ser det olika ut i olika myndigheter och verksamheter. När utrymmet minskar för handläggare att avvika från beslut så ökar också risken för att individer får felaktiga beslut.

När beslut fattas på automatiserad väg finns det flera felkällor. En sådan är principen ”data in, data ut” (informellt kallat ”skit in, skit ut”). Om den data som systemet är tränad på bär spår av diskriminerande information kommer även AI:n att fatta diskriminerande beslut.

En annan felkälla är det automatiserade systemets bristande hänsyn till komplex individuell information. Införandet av AI ofta motiveras ofta med förväntningar om ökad rättssäkerhet: alla sökanden av en specifik välfärdstjänst möter samma process, och därför riskerar de inte att färgas av en lokal organisationskultur eller att en enskild handläggares personliga preferenser.

Däremot tenderar andra rättssäkerhetsaspekter att minska – inte minst principerna om legalitet och förutsebarhet. Det innebär två saker. För det första ska beslutet ta hänsyn till den enskildes situation. För det andra ska beslutet gå att förutse, givet att rättigheterna och skyldigheterna formulerade i lagen är allmänt kända.

När beslut automatiseras utmanas dessa rättigheter. En förklaring är just att beslutssystemet inte tar hänsyn till individuella faktorer som familjeförhållanden, livssituation, svårdefinierade hälsoaspekter, egna önskemål inför framtiden, med mera. Faktorer som i allra högsta grad påverkar vad som är ett rimligt beslut för en sökande, men som är svåra att översätta till en programmerbar parameter.

I boken Seeing like a state från 1998 argumenterade statsvetaren James C. Scott för att den moderna staten, i syfte att utöva kontroll över samhället, utarbetar tekniker för att förenkla och homogenisera komplex information.

Detta sätt att göra den sociala världen först läsbar, sedan styrbar, leder ofta till oförutsedda konsekvenser och ibland till kostsamma och katastrofala resultat. De senaste årens tekniska utveckling av utredd användning av bland annat profilering inom offentliga institutioner illustrerar väl Scotts argument.

Nederländerna bär på ett skräckexempel. För att upptäcka föräldrar som fuskade till sig barnbidrag använde sig den nederländska skattemyndigheten av algoritmisk profilering för riskbedömning, bland annat baserad på nationalitet. En rapport visade att myndigheterna sökte människor med ett ”icke-västerländskt utseende”, i synnerhet med turkisk eller marockansk bakgrund. Tiotusentals familjer blev återbetalningsskyldiga enbart baserat på riskbedömningen, det vill säga utifrån datasystemets egna misstankar om fusk.

Konsekvenserna blev att ett mycket stort antal föräldrar, ofta med lägre inkomster, blev oskyldigt anklagade för förmånsbedrägeri. Många jagades av myndigheterna för sina skulder under flera år, och flera av dem gick i personlig konkurs, hamnade i fattigdom och barn omhändertogs. Några av de oskyldigt anklagade begick självmord. Den nederländska regeringen avgick 2021 till följd av skandalen.

Vad all erfarenhet och alla studier visar är att profileringssystem och riskmodeller aldrig kan leverera perfekta förutsägelser, bara sannolikheter. De kan identifiera mönster och tendenser i information, men har rutinmässigt fel om enskilda fall.

Det krockar med den offentliga verksamhetens grundläggande mål om individuell välfärd. Eftersom de automatiserade beslutssystemen tränas på tidigare fattade beslut och historisk data om äldre fall, det vill säga andra individer, så skulle den offentliga förvaltningen behöva ta ställning till vad det innebär att ett beslut är individuellt – och var gränsen går för när ett beslut inte längre kan betraktas som individuellt.

All existerande kunskap om profilering och algoritmisk automatisering pekar dessutom mot att den tenderar att drabba redan resurssvaga och utsatta grupper negativt. Att det inte uppmärksammas mer kan handla om att dessa grupper varken har den röststyrka eller de plattformar som krävs för att göra sig hörd.

En intressant kontrast är hur högskolevärlden har rasat under det senaste året i samtliga kanaler på grund av lanseringen av Chat GPT. Där har protesterna gett resultat, i form av att universitet valt att drastiskt minska antalet hemtentor på grund av risken för fusk genom AI-skrivna texter.

När vi nu står inför en digital omställning i offentlig sektor får vi hoppas att välfärden inte sjabblas bort i ivern att bli ”bäst i världen” på digitalisering.

Som det ser ut nu saknas dessvärre diskussioner om vilka intressen som gynnas respektive missgynnas av omställningen. Ett sätt att ändra på den saken skulle vara att involvera demokratiska institutioner långt mer i de grupper, kommittéer och kommissioner som har i uppgift att formulera underlagen för inriktningar och mål inom AI-området.

Ett annat sätt att skydda medborgarna från orättvisa AI-processer är att stötta lokala förvaltningar för att ge dem möjligheter att producera sina egna system. Majoriteten av landets 290 kommuner står i dag inför en situation där de är beroende av IT-branschen för att införa ny teknik. I och med den omfattande upphandlingen av privata AI-system som väntar inom kommunerna så kommer grundläggande frågor om skyddande av offentliga principer som insyn, ansvarsutkrävande och demokrati att ställas på sin spets.

Om offentliga organisationer saknar tillräckligt med egen data för att låta bygga systemen på kommer de behöva köpa in data eller färdigtränade modeller utifrån. Då riskerar det offentliga inte bara att tappa inflytande över hur systemen designas och används i förvaltningen. I värsta fall tappar man inflytandet över hela grunden för välfärdens beslutsprocesser. Hamnar vi där så är det en klen tröst att vara bäst i världen på digitalisering.