Forsker: Kunstig intelligens indebærer en risiko for bias

Kunstig intelligens er en kompleks teknologi med både muligheder og udfordringer – og der er risiko for bias og manglende transparens. Derfor bør den borgerrettede anvendelse af teknologien ikke slippes løs uden forskning i, hvordan den påvirker borgernes retssikkerhed og medarbejdernes beslutninger. Det mener Helene Friis Ratner, som forsker i kunstig intelligens.

Billede: Helene Friis Ratner, som er lektor i uddannelsesvidenskab ved DPU – Danmarks Institut for Pædagogik og Uddannelse, Aarhus Universitet og en af forskningslederne i Algoritmer, Data og Demokrati – ADD-projektet.

Udviklingen og anvendelsen af kunstig intelligens er i fuld gang med at forandre den måde, vi arbejder, kommunikerer og organiserer os på. 

Lanceringen af ChatGPT har allerede gjort generativ AI – kunstig intelligens, der kan generere nyt indhold – til hvermandseje. Vi kan på få sekunder eller minutter skrive en ny tekst, skabe et nyt billede eller få nye idéer til en strategi. 

Vi har kun set den spæde begyndelse

Perspektiverne i kunstig intelligens er imidlertid langt større, og vi har formentlig kun set den spæde begyndelse af, hvad teknologien kan bruges til.

Kunstig intelligens kan måske være en del af svaret på de store udfordringer med mangel på arbejdskraft og begrænsede ressourcer i den offentlige sektor.

I en ny artikelserie stiller vi spørgsmålene:

  • Hvad skal vi holde os for øje, når vi implementer, spreder og skalerer løsninger baseret på AI i den offentlige sektor?
  • Hvad er fordelene og potentialerne?
  • Hvor er faldgruberne og de blinde vinkler?

Denne gang spørger vi Helene Friis Ratner, som er lektor i uddannelsesvidenskab ved DPU – Danmarks Institut for Pædagogik og Uddannelse, Aarhus Universitet, og en af forskningslederne i Algoritmer, Data og Demokrati – ADD-projektet. 

Hun har også bidraget til en komparativ analyse af signaturprojekterne om kunstig intelligens i den offentlige sektor.

Helene Friis Ratner udtaler sig på baggrund af sin forskning i prædiktive algoritmer baseret på maskinlæring, mens hun endnu ikke har forskningsresultater klar om den offentlige forvaltnings brug af generative AI-løsninger.

Prædiktive algoritmer kan angive sandsynligheden for, at en fremtidig hændelse finder sted for borgere, der statistisk set minder om borgere, som tidligere har været i kontakt med den offentlige forvaltning.

Ikke bedre end de data, den er trænet på

Sortering af e-mails, voicebots i borgerservice, styring af bilflåder og beslutningsstøtte i sundhedsvæsenets billeddiagnostik er nogle af de konkrete områder, hvor der var positive erfaringer fra signaturprojekterne.

Derimod er mange af de projekter, som udviklede løsninger til de mere borgerrettede opgaver inden for især social- og beskæftigelsesområdet, lukket ned.

Det skyldes ofte en kombination af dårlig datakvalitet, kompliceret infrastruktur og manglende lovhjemmel, fortæller Helene Friis Ratner. 

"Kunstig intelligens er ikke bedre end den data, den er trænet på, og sagsbehandling rettet mod mennesker er ofte kompleks, hvor det er svært at lære den kunstige intelligens at tage de individuelle hensyn, et menneske med forståelse for konteksten kan tage."

Større konsekvenser ved borgerrettede opgaver

Derudover er der risiko for, at den kunstige intelligens diskriminerer, ofte med social slagside, på grund af dens indbyggede bias. 

"Derfor vil negative konsekvenser ved fejlbehæftet kunstig intelligens være større i borgerrettede opgaver end i de mere administrative opgaver, hvor det er mere sikkert at afprøve teknologien og gøre sig nogle indledende erfaringer," siger Helene Friis Ratner.

Algoritmer med bias

Den væsentligste risiko ved kunstig intelligens handler ifølge forskeren om borgernes retssikkerhed. 

"Der findes en del eksempler, især fra udlandet, hvor løsninger baseret på kunstig intelligens har vist sig at have store bias-problemer, og det rammer som regel socioøkonomisk udsatte borgere."

For eksempel har man i USA brugt kunstig intelligens til at forudse risikoen for, at fanger på prøveløsladelse begår kriminalitet igen, og den viste sig at have en bias mod afroamerikanere.

Borgere blev automatisk mistænkt

I Holland udviklede man en algoritme, der skulle detektere risikoen for socialt bedrageri og skattesnyd. 

Algoritmen viste sig at være enormt diskriminerende, idet den automatisk udpegede borgere med enten dobbelt nationalitet eller lavindkomst som værende i høj risiko.

Der har været eksempler i udlandet på, at kunstig intelligens er blevet brugt til at overvåge de mest udsatte borgere med risiko for sanktioner og straf.

Helene Friis Ratner

Postnumre og historik var afgørende

Et tredje eksempel stammer fra Storbritannien, hvor man under corona-nedlukningen, da elever ikke kunne gå til eksamen, brugte kunstig intelligens til at give elever deres afgangsprøvekarakterer. 

Modellen tillagde imidlertid postnumre og skolens historiske performance meget større vægt end de lærere, som kendte eleven. Derfor oplevede mange elever fra udsatte boligområder at få lavere karakterer af algoritmen, end deres lærer ville have givet dem. 

Der har også været eksempler i udlandet på, at kunstig intelligens er blevet brugt til at overvåge de mest udsatte borgere med risiko for sanktioner og straf.

"De borgere kender måske ikke deres rettigheder, eller har ikke ressourcerne til at kæmpe for dem, så det er en kæmpe problemstilling."

Der mangler gennemsigtighed

Transparens er et andet problem, når teknologien tages i brug i forbindelse med borgerrettede opgaver, mener Helene Friis Ratner.

"Det skal være gennemsigtigt, hvordan en offentlig forvaltning træffer sine beslutninger. Ved kunstig intelligens får man ofte det, man kalder et black box-problem. At man ikke kan forklare, hvordan man er nået frem til et output. Det er også et alvorligt problem."

Hvad er kunstig intelligens?

Udviklingen og anvendelsen af kunstig intelligens er i fuld gang med at forandre den måde, vi arbejder, kommunikerer og organiserer os på.

Der findes forskellige 'grader' – eller niveauer – af kunstig intelligens:

  • Kunstig intelligens (AI) er en bred betegnelse for teknologi, der gør det muligt for maskiner at udføre opgaver, som normalt kræver menneskelig intelligens – som at forstå tale eller genkende billeder.
  • Machine learning er en underkategori af AI, hvor computere lærer at træffe beslutninger baseret på data, de får, uden at være eksplicit programmeret til hvert scenarie.
  • Generativ kunstig intelligens refererer til AI, der kan skabe indhold som tekst, billeder, musik eller kode, som om det var skabt af mennesker.
  • Store sprogmodeller er en type generativ AI, der er trænet på basis af enorme mængder tekstdata for at forstå og generere naturlig sprog – såsom at skrive artikler eller besvare spørgsmål.

Flere tjenester bruger generativ AI til at skabe nyt indhold. Fx kan Dall-E skabe nye billeder, og ChatGPT kan skabe nye tekster. 

Dette gøres ved at indtaste en 'prompt', hvor man giver modellen et input, som modellen reagerer på og bruger til at løse den opgave, man har stillet.

Løsninger er dyre og kan være svære at skalere

En tredje bekymring handler om de økonomiske gevinster, som løsninger baseret på kunstig intelligens ofte forventes at ville give. 

"AI-løsninger præsentes typisk som effektiviseringer, der er billige at implementere. Men maskinlæringsløsninger er ofte dyre at udvikle, og de er også svære at sprede og skalere, fordi de måske er udviklet og trænet på data i en bestemt kommune," siger Helene Friis Ratner.

"Dertil kommer, at løsningerne skal integreres med forskellige databaser og anden it-infrastruktur i et sikkert system. Det kræver både mange ressourcer og en særlig ekspertise at drifte og vedligeholde en kunstig intelligens-løsning – og den ekspertise har mange kommuner ikke."

Kunstig intelligens til fordel for borgerne

Helene Friis Ratner kan dog godt se nogle muligheder i at introducere kunstig intelligens inden for borgerrettede områder i den offentlige forvaltning.

"Man kan sikkert udvikle kunstig intelligens løsninger, som er med til at forbedre borgernes retssikkerhed. Det kan fx være en algoritme, der kan forudsige, om der er risiko for, at man ikke kan overholde en tidsfrist i den kommunale sagsbehandling, fordi sagen er særligt kompleks."

Nogle gange bliver kunstig intelligens i højere grad omtalt som en målsætning, hvor vi skal finde problemer der passer til, end som et middel til at løse eksisterende problemer.

Helene Friis Ratner

Kunstig intelligens er kompleks i sagsbehandlingen

Helene Friis Ratner mener desuden, at det er afgørende, at man undersøger, hvordan fx beslutningsstøtte-systemer påvirker sagsbehandlingen. 

For hvordan sikrer man at beslutningsstøtte udviklet på baggrund af kunstig intelligens opleves som en meningsfuld støtte og ikke bruges som facit eller ignoreres? 

Hvordan sikrer man, at det bliver et input i en faglig og saglig vurdering og ikke et ledelses- eller overvågningsværktøj? Og at sagsbehandlere har forståelse for den kunstige intelligens?

"Nye teknologier har det med at få nogle utilsigtede konsekvenser, når de implementeres," siger Helene Friis Ratner. 

Ledelsesfokus og forskning er vigtigt

Der sker også noget nyt, når sagsbehandlere og andre professionelle skal samarbejde med en kunstig intelligens, påpeger hun.

"Vi kender ikke konsekvenserne endnu, og det er vigtigt både med et ledelsesfokus, men også med forskning, der kan undersøge, hvordan procedurer, beslutningsprocesser, information og det menneskelige skøn ændrer status, når kunstig intelligens bliver en del af løsningen."

Tag udgangspunkt i behovet og inddrag brugerne

Som en sidste pointe påpeger Helene Friis Ratner, at det altid er afgørende at tage udgangspunkt i behov frem for teknologi og huske at inddrage både borgerne og de offentlige medarbejdere, inden man udvikler og implementerer løsninger baseret på kunstig intelligens.

"Nogle gange bliver kunstig intelligens i højere grad omtalt som en målsætning, hvor vi skal finde problemer der passer til, end som et middel til at løse eksisterende problemer."

Helene Friis Ratner opfordrer derfor til, at man begynder med at udforske behovene med udgangspunkt i borgernes og de offentligt ansattes oplevelser af de mest presserende problemer. Kan kunstig intelligens være løsningen? Eller er der andre løsninger?

"Der er også mange bekymringer om kunstig intelligens i offentligheden. Derfor kalder en øget anvendelse af teknologien på en demokratisk samtale, hvis vi fortsat skal have en høj grad af tillid til den offentlige forvaltning," siger Helene Friis Ratner.

VIL DU VIDE MERE?

Du er velkommen til at kontakte:

Helene Friis Ratner
Lektor, Danmarks Institut for Pædagogik og Uddannelse (DPU), Aarhus Universitet

30 82 60 19  | [email protected]

Tilmeld nyhedsbrev

Få nyheder, viden og inspiration – direkte i din indbakke. CO-PI's nyhedsbrev udkommer 1-2 gange om måneden. 💡