Tænk, hvis man kunne forudsige, hvilke ældre der er i risiko for at blive indlagt, eller hvilke børn der er i risiko for at mistrives. Så kunne man sende ressourcerne præcis derhen, hvor der er allermest brug for dem. 

Sådanne gode hensigter ligger bag mange af de senere års forsøg på at bruge algoritmer og kunstig intelligens til at hjælpe sagsbehandlere med at prioritere i sagsbunkerne. 

Målrettet forebyggelse, hurtigere sagsbehandling, større objektivitet, ensartethed og kvalitet. Forhåbningerne til, hvad teknologien kan gøre for sagsbehandlingen, er mange. Men dårlig datakvalitet og usikkerhed om lovgivningen har vanskeliggjort arbejdet. 

Spørgsmålet er, hvor det efterlader kommunernes muligheder for at bruge kunstig intelligens-værktøjer som beslutningsstøtte. Er det forsvarligt? Hvordan påvirker det sagsbehandlerens faglige skøn? Og kan det overhovedet fungere i virkeligheden?

- Det er et rigtig interessant sted, vi står nu i forhold til, hvor det går hen fremadrettet, siger lektor ved Danmarks Institut for Pædagogik og Uddannelse, DPU, på Aarhus Universitet Helene Friis Ratner, der forsker i brug af algoritmer i sagsbehandling.

Diskrimination i stor skala

At der er risici forbundet med at bruge algoritmer og kunstig intelligens er velbeskrevet. Modellerne kan indeholde fejl eller bias, som risikerer at blive overført på borgerne i stor skala.

Det er blandt andet Styrelsen for Arbejdsmarked og Rekrutterings nu nedlagte profileringsalgoritme blevet kritiseret for. På baggrund af historiske data kom modellen selv frem til, at en vis alder og herkomst er lig med høj risiko uanset uddannelse og erfaring. At det rent statistisk stemmer overens med virkeligheden er måske mere end noget andet udtryk for historisk diskrimination.  

- Statistik duer ikke på individer, siger lektor i persondataret ved juridisk institut på Syddansk Universitet Ayo Næsborg-Andersen, som er medforfatter på en forskningsartikel om beslutningsunderstøttende algoritmer i det offentlige.

- Det siger ikke noget om den enkeltes risiko.

Tværtimod risikerer man at overse individuelle faktorer, der trækker i modsat retning. For eksempel at personen har et familiemedlem eller et netværk, der kan hjælpe vedkommende hurtigt i job. Derfor kan det være problematisk at basere beslutninger om folks fremtid på andres fortid, mener hun.

I en tidlig udgave af et underretningsværktøjet Beslutningsstøtten kom den historiske aldersbias til at skævvride risikovurderingerne. Modellen tillagde barnets alder for stor betydning ved udregning af risikoscoren, hvilket betød, at jo yngre barnet var på underretningstidspunktet, des mindre risiko blev det vurderet at være i. Man havde ikke taget højde for, at det typisk er, når børn når en vis alder og kan blive udadreagerende, at mistrivsel opdages, og de bliver anbragt. Det betød, at de yngste børn risikerede at flyve under radaren.  

Efter kritik af modellen ændrede forskerne bag projektet algoritmen, så alder ikke længere indgår i udregningen af risikoscoren. 

Alligevel kan der være grund til bekymring, mener professor i softwareudvikling ved Københavns Universitet Thomas Hildebrandt, der har deltaget i flere forskningsprojekter om brugen af algoritmer og kunstig intelligens i offentlig administration. Han har desuden udarbejdet standarden for “Beslutningsstøttende anvendelse i offentlig sagsbehandling” - nummer to i en serie af gratis nationale standarder for arbejde med kunstig intelligens udgivet af standardiseringsorganisationen Dansk Standard.

- Jeg ville være stærkt bekymret for, at bias på baggrund af historisk data får betydning for en beslutning, hvis en sagsbehandler bliver tilbøjelig til at følge modellen. Det er en reel risiko, siger han. 

- Vi kan ikke bare sige, at det skal være 100 procent fair eller fri af bias. Det er umuligt.

Derfor er gennemsigtighed i modellerne og den måde, de er udviklet på, en forudsætning for forsvarlig brug af teknologien, mener han. Det er også et væsentligt aspekt i den nyeste, tredje udgivelse fra Dansk Standard om bias i forbindelse med kunstig intelligens, som Thomas Hildebrandt har været med til at skrive.

Hvad der ikke kan forklares, kan ikke forsvares

At man skal kunne forklare, hvad der ligger til grund for en beslutning, ligger godt i tråd med forvaltninglovens krav om, at en myndighedsafgørelse skal begrundes. Begrundelsespligten giver øget sikkerhed for, at afgørelsen er rigtig, og at den er truffet på et sagligt grundlag. Yderligere, mener Ombudsmanden, kan en begrundelse have stor betydning for borgerens forståelse og accept af en afgørelse og i sidste ende tilliden til myndighederne.

At tillid kræver en forklaring, er Ayo Næsborg-Andersen enig i, men den er ikke altid så nem at få øje på. 

- Jeg har endnu ikke set systemer, hvor man altid kunne se, hvorfor man kom frem til resultatet. Selv der, hvor det ikke er en black box,  er det svært at overskue på grund af mange parametre, siger hun.

I Lyngby-Taarbæk, som tidligere brugte en profileringsalgoritme kaldet Asta til at kategorisere ledige i jobcenteret, kneb det nogle gange med at forklare, hvorfor borgere blev kategoriseret, som de gjorde. Det viste en undersøgelse af jobkonsulenternes brug af værktøjet, som forskere fra Københavns Universitet gennemførte som led i forskningsprojektet Pacta (Public Administration and Computational Transparency in Algorithms).

”Risikovurderingen er en lang liste af spørgsmål og svar. Det er alt muligt om deres liv. Deres liv på et stykke papir. Og det er helt umuligt at danne sig et overblik over eller forstå dem alle,” lød det fra en medarbejder i undersøgelsen. 

Forskning viser, at sagsbehandlere gerne vil bruge værktøjer, hvis de føler, de hjælper dem.

- Men det er afgørende, at man kan forstå argumentet bag og forstå, hvorfor computeren kommer med et forslag, siger Thomas Hildebrandt.

Hvad med skønnet?

Èn ting er, at værktøjer kan opleves som hjælpsomme, men hvordan de påvirker det faglige skøn, er ikke uvæsentligt. Det forvaltningsretlige skøn spiller en særlig rolle der, hvor lovgivningen ikke er entydig, og hvor regelgrundlaget forudsætter, at der inddrages individuelle hensyn. Så hvad sker der, når den digitale skyggesagsbehandler flytter ind på kontoret?

- Groft sagt risikerer vi at blive slaver af teknologien, siger postdoc ved CBS Ulrik Røhl, der har skrevet en ph.d.-afhandling om forholdet mellem automatisering og god myndighedsadfærd.

- Når man har fået et forslag 99 gange, så gør man det, systemet foreslår, den 100. gang. Man kan blive vænnet til, at det er rigtigt, hvad systemet siger.

Det er en velkendt risiko, at man ukritisk stoler på det resultat, algoritmen spytter ud, viser forskning. Fænomenet kaldes automatiseringsbias. 

I forskningsprojektet Underretninger i Fokus gennemførte man i 2018-2019 en pilottest af en tidlig udgave af Beslutningsstøtten på afsluttede sager i to kommuner. Den viste, at socialrådgiverne i cirka hver femte sag ændrede deres egen risikoscore, når de så, hvad Beslutningsstøtten havde vurderet. I størstedelen af tilfældene var der tale om relativt små justeringer i retning af algoritmens score, og i ingen af tilfældene vurderedes det at ske ukritisk. 

Alligevel gav flere af de 13 interviewede socialrådgivere udtryk for, at de godt kunne frygte at komme til at læne sig for meget op ad Beslutningsstøtten på bekostning af deres egen socialfaglige viden, fremgår det af en forskningsartikel om rådgivernes oplevelse af at anvende algoritmer ved vurdering af underretninger. 

Faktorer som travlhed, kultur og erfaring inden for eget felt kan påvirke graden af automatiseringsbias. Risikoen kan dog modvirkes. Det kræver, at man organiserer sig efter det, og det er en ledelsesopgave, som mange ledere ikke nødvendigvis er opmærksomme på og derfor sjældent tager på sig i dag, mener Ulrik Røhl. 

- Der er en tendens til, at mellem- og topledere ikke har forstået, hvor meget teknologi påvirker sagsbehandlerrollen,  siger han.

Det betyder, at praksis opstår tilfældigt og individ-baseret, men brugen af hjælpeværktøjerne stiller krav til styring og opkvalificering. Vil man have den faglige vurdering indover, skal man for det første sikre, at der er tid til det, påpeger Ulrik Røhl. Og så skal man løbende lave stikprøvekontroller og tage sager og praksis op til faglig diskussion i sit team.

Spørgsmålet er, hvad der sker på længere sigt, hvis algoritmer bliver en del af hverdagens sagsbehandling. Så står vi med en generation, der kun er vant til at arbejde med beslutningsstøtte. Det er en underbelyst problemstilling, mener Helene Friis Ratner. De sagsbehandlere, som bruger algoritmer i dag, er vant til at vurdere information og træffe beslutninger ud fra et fagligt skøn, men det kræver erfaring.

- Hvor kan de træne det selvstændige faglige skøn? Hvordan kan man holde den kompetence ved lige? Og hvordan sikrer vi, at algoritmer ikke bliver brugt ledelsesmæssigt til øget styring og kontrol af sagsbehandlere på bekostning af organisatorisk læring?

- Det er man nødt til at forholde sig til nu, siger hun.

Drop højtflyvende eksperimenter

Det er ikke så meget et spørgsmål om, men snarere hvordan algoritmer og kunstig intelligens skal bruges til at understøtte sagsbehandlingen. Potentialet er stort, men ikke alle områder er lige oplagte at slippe algoritmerne løs på, mener eksperterne.

- Det er oftest, når systemer prøver at forudse noget om folk, at man ser problemer, siger Ayo Næsborg-Andersen. 

- Det er mindre problematisk, når systemet retter sig mod systemet. 

Spørger man sagsbehandlerne, er det noget helt andet, de gerne vil have hjælp til, fortæller hun.

- De har brug for nemt at kunne finde frem til ting, sortere mails og se, hvilke oplysninger der mangler, siger hun.

I virkeligheden er der nogle lavthængende frugter, hvor der kan høstes effektiviseringsgevinster, mener Thomas Hildebrandt. For eksempel ved at bruge teknologien til at finde ud af, hvad der giver forsinkelser i sagsbehandlingen.

- Der er store perspektiver i at forstå sin arbejdspraksis bedre. I stedet for at prøve at forudse fremtiden giver det mening at forstå den historiske praksis. Det kan være, det slet ikke er teknologi, der skal løse udfordringerne. Det kan være, man skal ændre arbejdsgange, siger han.

- Hovedlektien er, at kunstig intelligens ikke er noget, vi bare skal begynde at bruge på alle mulige højtflyvende eksperimenter.

Måske skal man i første omgang rette teknologien et andet sted hen end mod borgerne.

- Jeg har en kollega, som mener, at vi om ti år vil ryste på hovedet af, at vi prøvede at bruge det på mennesker, siger Ayo Næsborg-Andersen.