Åpenhet og kunstig intelligens

Hva mener vi med åpenhet?

Åpenhet innenfor kunstig intelligens omhandler evnen til å forklare hvordan en KI-modell har nådd en beslutning. Åpenheter et vidt begrep som omfavner konsepter som forklarbarhet og tolkbarhet. Disse uttrykkene brukes ofte i sammenheng for å forstå hvordan KI-modeller fungerer og kommer frem til resultater. Det er viktig å merke seg at det ikke er enighet i fagfeltet om hva disse uttrykkene betyr og omfatter, og at de ofte brukes om hverandre. Feltet er i utviklingsstadiet og definisjonene og uttrykkene er fortsatt flytende.

Uttrykket tolkbarhet handler om hvorvidt det er mulig å forstå hvordan en modell fungerer. Med andre ord kan vi si at en modell enten er tolkbar eller ikke. Små, simple modeller som overfladiske beslutningstrær eller modeller som baserer seg på menneskelig forståelse, som ekspertsystemer, vil som regel være tolkbare. Hvor vi støter på problemer er med store komplekse modeller, slik som dype nevrale nettverk, som vanligvis ikke er tolkbare.

Forklarbarhet handler om å kunne forklare hvordan en KI-modell tar en beslutning og hvorfor den har kommet frem til et resultat. Dette vil si at man basert på inndata kan forklare hvordan modellen har kommet frem til et gitt resultat. Hvis en modell ikke er tolkbar, kan man fortsatt ta i bruk forklarbarhetsmetoder for å forsøke å forklare hvordan inndataen er koblet sammen med resultatet.

Hvorfor er det viktig med forklarbarhet og åpenhet?

Det er flere grunner til at åpenhet er viktig:

• Tillitt: En åpen og gjennomsiktig offentlig sektor bidrar til tillitt. Når borgerne har tilgang til informasjon om hvordan beslutninger blir tatt og hvordan ressurser blir brukt, kan de bedre forstå og vurdere myndighetenes handlinger.
• Ansvarlighet: Åpenhet og transparens gjør det mulig for innbyggerne å holde myndighetene ansvarlige for deres handlinger og beslutninger. Når det er tydelig hvordan beslutninger blir tatt, og når resultatene av disse beslutningene er synlige, kan feil og misbruk lettere avdekkes og korrigeres.
• Effektivitet: Ved å være åpen og transparent kan offentlig forvaltning dra nytte av ekstern ekspertise og innsikt. Når beslutningsprosesser og informasjon er tilgjengelige for allmennheten, kan det oppstå et bredere engasjement og deltakelse fra borgere, organisasjoner og eksperter som kan bidra med kunnskap, ideer og innsiktsfulle perspektiver. Dette kan føre til bedre beslutninger, mer effektive tjenester og høyere kvalitet på offentlige tjenester.
• Demokratisk deltakelse: Åpenhet og transparens i offentlig forvaltning er grunnleggende for demokratisk deltakelse. Når innbyggerne har tilgang til informasjon om offentlige saker, kan de engasjere seg i debatter, komme med innspill og delta i beslutningsprosesser. Dette bidrar til en mer inkluderende og representativ demokratisk praksis.

Rettslige krav til åpenhet

Som pekt på i punktet over er det mange hensyn som begrunner åpenhet for offentlig sektor. Disse hensynene kommer til uttrykk i mange bestemmelser og lover i vårt regelverk. Selv om det er stor overlapp, kan åpenhetsreglene deles inn i to kategorier:

• Åpenhet på et systemnivå, slik som offentligloven.
• Åpenhet på et individnivå, slik som krav til begrunnelse av enkeltvedtak i forvaltningsloven.

Når det tas en avgjørelse som påvirker individer, er det viktig at den er begrunnet. Dette skal for det første gjøre det mulig for mottakeren å slå seg til ro med resultatet. For det andre skal det gjøre det mulig for innbyggeren å utfordre vedtaket hvis hen er uenig.

For å kunne gi en god begrunnelse må man kunne forklare hvilke faktorer som er vektlagt i beslutningsprosessen og hvordan disse har ført til resultatet. Dette er en sentral utfordring innenfor kunstig intelligens (KI).

Åpenhet ved bruk av kunstig intelligens er først og fremst et teknisk problem. Regelverket stiller krav for å ivareta de hensynene vi har nevnt her. Regelverket gjelder uavhengig av hvilken teknologi som benyttes. For innbyggeren er det ikke avgjørende hvilken teknologi offentlig sektor bruker så lenge innbyggeren får en begrunnelse i henhold til regelverket.

Utfordringen for offentlig sektor er derfor ikke først og fremst å avgjøre hvilke krav regelverket stiller. Utfordringen er at det kan være vanskelig å få den nødvendige informasjonen fra KI-systemet. Visse KI-systemer er det ikke mulig å forklare, og hvis disse brukes til å ta en beslutning kan være det vanskelig å gi en god begrunnelse.

Hvordan får vi til åpenhet ved bruk av kunstig intelligens?

I det følgende vil Inga Strümke forklare noen teknikker som kan brukes for å øke forklarbarheten av en KI-modell.

LIME (Local Interpretable Model-agnostic Explanations):

LIME er sannsynligvis den nåværende mest brukte forklarbarhetsmetoden. “Local” i navnet betyr at metoden gir forklaringer på et lokalt nivå, som med andre ord betyr at du kan få en forklaring for en individuell prediksjon eller datapunkt rettere enn modellen som helhet. Fordi LIME er modellagnostisk, kan den brukes på hvilken som helst maskinlæringsmodell. LIME produserer en tolkbar forklaringsmodell som for eksempel et enkelt beslutningstre eller en rett linje, som gjør det mulig å forstå hvilke funksjoner som er viktige for en bestemt prediksjon.

SHAP (SHapley Additive exPlanations)

SHAP er en av de mest utbredte forklarbarhetsmetodene. Metoden er basert på et Shapley-verdier fra spillteori. SHAP-modellen vil kunne vise hvor mye hver av dataegenskapene som har gått inn i modellen har påvirket det som kommer ut. Dette gir en forståelse av hvordan hver funksjon påvirker prediksjonen, og kan hjelpe med å avdekke skjulte mønstre eller feil i datasettet og modellen. LIME og SHAP er begge modell-agnostiske metoder som tilbyr lokale forklaringer for enkeltprediksjoner. De har en viss overlapping i bruksområdene, men SHAP kan også brukes for globale forklaringer, altså forklaringer av modellen som helhet.

Heat maps

Dette er en generell visualiseringsteknikk som brukes til å vise data i et todimensjonal fargekart, der fargene representerer forskjellige verdier eller intensiteter av en bestemt variabel. Heat maps kan brukes til å vise data i mange forskjellige sammenhenger, som geografiske data, tetthetsdata, eller korrelasjon mellom variabler.

Saliency Maps

Dette er en underkategori av heat maps som fremhever de mest "viktige" delene av et bilde for en modells prediksjon. Dette gjøres ved å beregne gradienten av modellens utdata med hensyn til inputbildet, noe som viser hvilke områder av bildet som påvirker prediksjonen mest. Saliency maps er mye brukt i bildeklassifisering og segmentering.

Konseptdeteksjon

Ideen bak denne metoden er at enhver maskinlæringsmodell bare kan lære fra dataen den får inn. Ingen maskinlæringsmodell kan legge til informasjon utover det som er i dataen. Dermed blir spørsmålet hvilken del av dataen modellen har lagt vekt på. Dette kan belyses ved å finne konsepter i dataen, som for eksempel konseptet kjønn, for å se om dette konseptet har blitt vektlagt i modellen. Ved å koble disse konseptene med modellens prediksjoner, blir det lettere å forstå hvordan modellen fungerer og hva den fokuserer på.

Kontrafaktiske forklaringer

Kontrafaktiske forklaringer er en metode for å forklare en modells beslutning ved å vurdere hva som kunne ha skjedd under alternative forhold. Med andre ord vil denne metoden kunne vise hvordan resultatet ville blitt annerledes hvis en annen hypotetisk situasjon ble lagt til grunn. Denne metoden hjelper oss med å belyse hvilke faktorer modellen legger vekt på og hvordan endringer i disse vil endre utfallet.