Hopp til hovedinnhold

Åpenhet og kunstig intelligens

En avgjørelse som påvirker samfunnet eller en innbygger skal være begrunnet. Dette gjør det mulig for mottakeren å slå seg til ro med resultatet eller utfordre det hvis man er uenig. For å kunne gi en god begrunnelse må man kunne forklare hvilke faktorer som er vektlagt i beslutningsprosessen og hvordan disse har ført til resultatet. Dette er en sentral utfordring innenfor kunstig intelligens (KI).

Under utvikling og lansering som åpen beta

Denne siden er under utvikling frem til lansering i juni. Informasjonssiden vil lanseres som en «åpen beta». Frem til september 2023 ønsker vi tilbakemeldinger og innspill til innholdet som presenteres på denne siden. Det betyr at rådene du finner på denne siden kan bli endret frem til september. Har du innspill til oss vil vi gjerne høre fra deg! Ta kontakt med oss på Datalandsbyen så sikrer vi at innholdet her blir best mulig.

    Hva mener vi med åpenhet?

    Åpenhet innenfor kunstig intelligens omhandler evnen til å forklare hvordan en KI-modell har nådd en beslutning. Åpenheter et vidt begrep som omfavner konsepter som forklarbarhet og tolkbarhet. Disse uttrykkene brukes ofte i sammenheng for å forstå hvordan KI-modeller fungerer og kommer frem til resultater. Det er viktig å merke seg at det ikke er enighet i fagfeltet om hva disse uttrykkene betyr og omfatter, og at de ofte brukes om hverandre. Feltet er i utviklingsstadiet og definisjonene og uttrykkene er fortsatt flytende.

    Uttrykket tolkbarhet handler om hvorvidt det er mulig å forstå hvordan en modell fungerer. Med andre ord kan vi si at en modell enten er tolkbar eller ikke. Små, simple modeller som overfladiske beslutningstrær eller modeller som baserer seg på menneskelig forståelse, som ekspertsystemer, vil som regel være tolkbare. Hvor vi støter på problemer er med store komplekse modeller, slik som dype nevrale nettverk, som vanligvis ikke er tolkbare.

    Forklarbarhet handler om å kunne forklare hvordan en KI-modell tar en beslutning og hvorfor den har kommet frem til et resultat. Dette vil si at man basert på inndata kan forklare hvordan modellen har kommet frem til et gitt resultat. Hvis en modell ikke er tolkbar, kan man fortsatt ta i bruk forklarbarhetsmetoder for å forsøke å forklare hvordan inndataen er koblet sammen med resultatet.

    Hvorfor er det viktig med forklarbarhet og åpenhet?

    Det er flere grunner til at åpenhet er viktig:

    • Tillitt: En åpen og gjennomsiktig offentlig sektor bidrar til tillitt. Når borgerne har tilgang til informasjon om hvordan beslutninger blir tatt og hvordan ressurser blir brukt, kan de bedre forstå og vurdere myndighetenes handlinger.
    • Ansvarlighet: Åpenhet og transparens gjør det mulig for innbyggerne å holde myndighetene ansvarlige for deres handlinger og beslutninger. Når det er tydelig hvordan beslutninger blir tatt, og når resultatene av disse beslutningene er synlige, kan feil og misbruk lettere avdekkes og korrigeres.
    • Effektivitet: Ved å være åpen og transparent kan offentlig forvaltning dra nytte av ekstern ekspertise og innsikt. Når beslutningsprosesser og informasjon er tilgjengelige for allmennheten, kan det oppstå et bredere engasjement og deltakelse fra borgere, organisasjoner og eksperter som kan bidra med kunnskap, ideer og innsiktsfulle perspektiver. Dette kan føre til bedre beslutninger, mer effektive tjenester og høyere kvalitet på offentlige tjenester.
    • Demokratisk deltakelse: Åpenhet og transparens i offentlig forvaltning er grunnleggende for demokratisk deltakelse. Når innbyggerne har tilgang til informasjon om offentlige saker, kan de engasjere seg i debatter, komme med innspill og delta i beslutningsprosesser. Dette bidrar til en mer inkluderende og representativ demokratisk praksis.

    Rettslige krav til åpenhet

    Som pekt på i punktet over er det mange hensyn som begrunner åpenhet for offentlig sektor. Disse hensynene kommer til uttrykk i mange bestemmelser og lover i vårt regelverk. Selv om det er stor overlapp, kan åpenhetsreglene deles inn i to kategorier:

    • Åpenhet på et systemnivå, slik som offentligloven.
    • Åpenhet på et individnivå, slik som krav til begrunnelse av enkeltvedtak i forvaltningsloven.

    Oversikt over KI i offentlig sektor bidrar til åpenhet på systemnivå

    Kunstig intelligens kan være fremmed teknologi og det skrives mye om i mediene i dag. I dag er det ekstra viktig at offentlig sektor er åpne på hvor og hvordan vi bruker kunstig intelligens. Derfor har vi laget en oversikt over KI-prosjekter i offentlig sektor. Oversikten finner du her

    Når det tas en avgjørelse som påvirker individer, er det viktig at den er begrunnet. Dette skal for det første gjøre det mulig for mottakeren å slå seg til ro med resultatet. For det andre skal det gjøre det mulig for innbyggeren å utfordre vedtaket hvis hen er uenig.

    For å kunne gi en god begrunnelse må man kunne forklare hvilke faktorer som er vektlagt i beslutningsprosessen og hvordan disse har ført til resultatet. Dette er en sentral utfordring innenfor kunstig intelligens (KI).

    Åpenhet ved bruk av kunstig intelligens er først og fremst et teknisk problem. Regelverket stiller krav for å ivareta de hensynene vi har nevnt her. Regelverket gjelder uavhengig av hvilken teknologi som benyttes. For innbyggeren er det ikke avgjørende hvilken teknologi offentlig sektor bruker så lenge innbyggeren får en begrunnelse i henhold til regelverket.

    Utfordringen for offentlig sektor er derfor ikke først og fremst å avgjøre hvilke krav regelverket stiller. Utfordringen er at det kan være vanskelig å få den nødvendige informasjonen fra KI-systemet. Visse KI-systemer er det ikke mulig å forklare, og hvis disse brukes til å ta en beslutning kan være det vanskelig å gi en god begrunnelse.

    Innenfor offentlig forvaltning er det krav til innholdet i begrunnelser. Disse følger blant annet av forvaltningsloven § 25. Et sentralt poeng i denne bestemmelsen er at begrunnelser skal vise til de faktiske forholdene et vedtak bygger på. For å kunne vise til de faktiske forholdene som er vektlagt i et KI-system må vi kunne forstå hvordan modellen fungerer og forklare hvilke forhold som har ført til et gitt resultat.

    I den foreslåtte KI-forordningen er det krav til KI-systemers transparens og at de utformes på en måte som setter et menneske i stand til å overvåke systemet dersom det utgjør en høy risiko for innbyggers rettigheter. Kravet til transparens vil blant annet si at de som er blir påvirket av KI-systemet ska kunne forstå og anvende resultatene fra systemet på en passende måte. Kravet til menneskelig oversikt har som mål å redusere risikoene knyttet til helse, sikkerhet og fundamentale rettigheter til de som påvirkes av KI-systemet.

    Innholdet i kravene varierer basert på formålet og typen KI-system som skal tas i bruk, du kan lese mer om dette her: Ny forordning for kunstig intelligens | Digdir og KI-forordningen art. 13 og 14. Disse kravene kan bli en stor utfordring for systemer som ikke er tolkbare. For eksempel sier forordningen art. 14 (1) (a) at et menneske skal settes i stand til å “fully understand the capacities and limitations of the high-risk AI system (…)”. Hvorvidt dette kan oppnås for utolkbare systemer er uavklart.

    Hvis man bruker personopplysninger i KI-systemet stiller personvernforordningen krav til åpenhet. Personvernforordningen artikkel 13 (2) (f), 14 (2) (g) og 15 (h) sier at hvis det tas en automatisert avgjørelse om en person har de rett til "relevant informasjon om den underliggende logikken samt om betydningen og de forventede konsekvensene" av systemets bruk. Det er ikke enda avklart nøyaktig hva som ligger i dette kravet, men du kan lese mer om innholdet i informasjonen som må gis her: Å lykkes med åpenhet | Datatilsynet.

    Hvordan får vi til åpenhet ved bruk av kunstig intelligens?

    I det følgende vil Inga Strümke forklare noen teknikker som kan brukes for å øke forklarbarheten av en KI-modell.

    LIME (Local Interpretable Model-agnostic Explanations):

    LIME er sannsynligvis den nåværende mest brukte forklarbarhetsmetoden. “Local” i navnet betyr at metoden gir forklaringer på et lokalt nivå, som med andre ord betyr at du kan få en forklaring for en individuell prediksjon eller datapunkt rettere enn modellen som helhet. Fordi LIME er modellagnostisk, kan den brukes på hvilken som helst maskinlæringsmodell. LIME produserer en tolkbar forklaringsmodell som for eksempel et enkelt beslutningstre eller en rett linje, som gjør det mulig å forstå hvilke funksjoner som er viktige for en bestemt prediksjon.

    SHAP (SHapley Additive exPlanations)

    SHAP er en av de mest utbredte forklarbarhetsmetodene. Metoden er basert på et Shapley-verdier fra spillteori. SHAP-modellen vil kunne vise hvor mye hver av dataegenskapene som har gått inn i modellen har påvirket det som kommer ut. Dette gir en forståelse av hvordan hver funksjon påvirker prediksjonen, og kan hjelpe med å avdekke skjulte mønstre eller feil i datasettet og modellen. LIME og SHAP er begge modell-agnostiske metoder som tilbyr lokale forklaringer for enkeltprediksjoner. De har en viss overlapping i bruksområdene, men SHAP kan også brukes for globale forklaringer, altså forklaringer av modellen som helhet.

    Heat maps

    Dette er en generell visualiseringsteknikk som brukes til å vise data i et todimensjonal fargekart, der fargene representerer forskjellige verdier eller intensiteter av en bestemt variabel. Heat maps kan brukes til å vise data i mange forskjellige sammenhenger, som geografiske data, tetthetsdata, eller korrelasjon mellom variabler.

    Saliency Maps

    Dette er en underkategori av heat maps som fremhever de mest "viktige" delene av et bilde for en modells prediksjon. Dette gjøres ved å beregne gradienten av modellens utdata med hensyn til inputbildet, noe som viser hvilke områder av bildet som påvirker prediksjonen mest. Saliency maps er mye brukt i bildeklassifisering og segmentering.

    Konseptdeteksjon

    Ideen bak denne metoden er at enhver maskinlæringsmodell bare kan lære fra dataen den får inn. Ingen maskinlæringsmodell kan legge til informasjon utover det som er i dataen. Dermed blir spørsmålet hvilken del av dataen modellen har lagt vekt på. Dette kan belyses ved å finne konsepter i dataen, som for eksempel konseptet kjønn, for å se om dette konseptet har blitt vektlagt i modellen. Ved å koble disse konseptene med modellens prediksjoner, blir det lettere å forstå hvordan modellen fungerer og hva den fokuserer på.

    Kontrafaktiske forklaringer

    Kontrafaktiske forklaringer er en metode for å forklare en modells beslutning ved å vurdere hva som kunne ha skjedd under alternative forhold. Med andre ord vil denne metoden kunne vise hvordan resultatet ville blitt annerledes hvis en annen hypotetisk situasjon ble lagt til grunn. Denne metoden hjelper oss med å belyse hvilke faktorer modellen legger vekt på og hvordan endringer i disse vil endre utfallet.