Hvordan vurderer jeg risiko ved bruk av kunstig intelligens?

Ta utgangspunkt i eksisterende sikkerhetsarbeid

Utvikling og bruk av kunstig intelligens innebærer ikke at en virksomhet må tenke helt nytt om informasjonssikkerhet. Virksomheten skal ha rutiner og systemer i henhold til beste praksis for informasjonssikkerhet og bruk og utvikling av kunstig intelligens bør skje i tråd med dette.

I tillegg bør en være bevisst om det er spesifikke informasjonssikkerhetsutfordringer knyttet til utvikling og bruke av kunstig intelligens og deretter ta høyde for disse i det eksisterende sikkerhetsarbeidet. OWASP har utarbeidet veiledning som peker på slike utfordringer: OWASP AI Security and Privacy Guide | OWASP Foundation.

Standarder gir god veiledning til risikovurderinger

Så lenge det ikke finnes regelverk som fastsetter hvordan en risikovurdering skal gjennomføres, finnes det ingen fasit. Standarder kan imidlertid være svært nyttige verktøy. Standarder er typisk utarbeidet av organisasjoner eller myndigheter med høy kompetanse og gjerne med innspill fra eksperter på aktuelle fagfelter. Visse standarder blir så mye brukt og anerkjent at de legges til grunn som en norm.

På informasjonssikkerhetsområdet benyttes standarder i stor utstrekning. Særlig ISO-standarder slik som 27001 og 31000 er viktige. For kunstig intelligens er det ikke i tilsvarende grad etablert standarder. Det arbeides imidlertid aktivt med og visse spesifikke standarder er allerede etablert. KI-forordningen legger også opp til en utstrakt bruk av standarder. Artikkel 40 i forordningen sier eksempelvis at dersom du bruker standarder i høyrisikosystemer, vil det foreligge en presumsjon om at systemet er utformet i samsvar med forordningen.

Hvis du skal gjennomføre en risikovurdering av et KI-system kan det være lurt å ta utgangspunkt i en anerkjent standard. National Institute of Standards and Technology (NIST) har utarbeidet et rammeverk for å hjelpe organisasjoner med å håndtere risiko knyttet til KI. I tilknytning til rammeverket er det også utarbeidet en «playbook». Dette er et dynamisk verktøy som gir konkrete forslag til handlinger og tiltak for å følge rammeverket.

Regelverk kan påvirke risikovurderingen

Utkastet til KI-forordningen vil lovregulere risikokategoriseringen av KI-systemer. I forordningen er det foreslått en hierarkisk inndeling, der bruken av KI-modeller på visse samfunnsområder automatisk medfører kategorisering som et høyrisikosystem. For eksempel vil en KI-løsningen som brukes som en del av sikkerhetssystemet til kritisk infrastruktur bli ansett som et høyrisikosystem.

Når et regelverk fastsetter et risikonivå for systemer, må virksomheter legge dette til grunn ved sine vurderinger. Hvis det eksempelvis er fastsatt i et regelverk at et visst system skal anses for å være høyrisiko, kan ikke en virksomhet selv vurdere at risikoen er så lav at det ikke er et høyrisikosystem. Virksomheten må anvende regelverket og vurdere hvilken kategori KI-systemet faller inn under.

Kategoriseringen innebærer lovregulerte krav til systemet, herunder til transparens og treffsikkerhet. De ulike kravene kan tilsi at det likevel må gjøres en risikovurdering. Dette er fordi noen av kravene vil nyanseres basert på tiltenkt bruk og typen KI-løsning. For eksempel står det i artikkel 15 at høyrisikosystemer skal ha "an appropriate level of accuracy, robustness and cybersecurity" i lys av dets tiltenkte bruk.

Du kan lese mer om den foreslåtte KI-forordningen og risikokategoriene her.

Hvordan gjør jeg en risikovurdering av et KI-system?

Risiko handler om usikkerhet knyttet til en uønsket hendelse. Å gjennomføre en risikovurderinger innebærer å:

1. Identifisere relevante risikoer
2. Analysere hver enkelt av dem, og estimere størrelsen på konsekvens, tilhørende sannsynlighet og fastsette risikonivå
3. Evaluer om risikoen kan aksepteres som de er, eller om de trenger mer håndtering og følg opp med passende tiltak

Identifisere risiko

Først må du identifisere potensielle risikokilder knyttet til bruken av KI-systemet. Dette bør gjøres så bredt som mulig, og alle mulige risikokilder bør inkluderes. For å hjelpe deg med å avgrense de mulige risikokildene, kan du definere formålet med KI-systemet, de mulige fordelene, og ta hensyn til gjeldende regelverk og normer.

Bruk av KI-systemer involverer ulike aktører og aktiviteter som påvirker hverandre. Informasjon kan også endre seg eller gå tapt underveis. Derfor er det viktig å ikke bare se isolert på KI-systemet eller hvordan det blir markedsført, men også hvordan det faktisk kan bli påvirket av forholdene i virksomheten din. Hva systemet brukes til og hvordan det brukes kan påvirke selve funksjonaliteten til systemet.

For å sette tankeprosessen i gang kan dere stille dere selv følgende spørsmål:

• Kan KI-systemet påvirke noen fysisk? Eksempelvis en robot som kan påføre fysisk skade på individer.
• Kan KI-systemet i betydelig grad påvirke noens tanker og meninger i en negativ retning? Eksempelvis en KI-modell som kan påvirke noens politiske standpunkt.
• Kan KI-systemet bidra til uriktige avgjørelser? Eksempelvis et KI-system som fatter beslutninger basert på etnisitet i strid med forbud mot diskriminering eller et system som gir uriktige avgjørelser innenfor barnevern? (konsekvensen av dette vurderes i analyseringssteget)
• Kan KI-systemet krenke noens rettigheter? Eksempelvis et KI-system som bruker og/eller endrer informasjon og algoritmer i strid med bruks- og eierrettigheter?
• Kan KI-systemet påføre noen et økonomisk tap? Kan systemet eksempelvis gi råd som gjør at noen taper penger?
• Hvem har utviklet KI-systemet? Avanserte KI-systemer slik som store språkmodeller kan direkte eller indirekte være tilpasset mål og verdier som definert av den som har utviklet løsningen. Dersom utvikleren typisk er en aktør som ikke har mål og verdier som sammenfaller med dem vi har i vårt samfunn, kan dette i seg selv være en risiko.

Analyser risiko

Etter at du har fått oversikt over mulige risikoer knyttet til det aktuelle KI-systemet, må størrelsen på disse risikoene fastsettes. Analysering av risiko er en kontinuerlig prosess. Risikoene må analyseres før bruk, men også løpende gjennom KI-systemets levetid.

Det finnes mange ulike tilnærminger for å analysere risiko, og rammeverk som NIST peker på en rekke ulike målinger og analyser. Som et utgangspunkt kan en si at det å analysere risiko handler om å se på en kombinasjon av sannsynlighet og konsekvens av den uønskede hendelsen som ligger til grunn for risikoen. Vi anbefaler at du starter med konsekvens, og deretter vurderer sannsynlighet.

Konsekvens

For konsekvensen gjelder det å fastslå hvor alvorlig det vil være om den uønskede hendelsen som ligger til grunn for risikoen inntreffer. Utgangspunktet vil her være hvor alvorlig dette er for den aktuelle virksomheten som skal ta i bruk KI-systemet. Samtidig er det viktig å understreke at de ulike subjektene henger sammen. Hvis det skjer noe som er alvorlig for individer, kan dette være alvorlig for en offentlig virksomhet, og igjen vil dette være alvorlig for Norge som helhet. Her er noen forslag til spørsmål du kan stille for å belyse alvorlighetsgraden til den uønskede hendelsen:

• Kan den uønskede hendelsen medføre fysisk eller psykisk skade for personer?
• Kan den uønskede hendelsen påvirke grunnleggende rettigheter for personer? En uriktig avgjørelse innenfor felter som barnevern, psykisk helsevern og liknende vil kunne ha store konsekvenser.
• Hvor stort antall personer kan bli berørt av den uønskede hendelsen? Selv om det kan være alvorlig nok at et individ opplever en uønsket hendelse, vil konsekvensene være enda større jo flere som er berørt.

Sannsynlighet

For sannsynlighet er spørsmålet hvor sannsynlig det er at den uønskede hendelsen inntreffer. Dette kan være vanskelig, sannsynlighet handler jo om å estimere en usikker størrelse. Følgende spørsmål kan være til hjelp:

• Har du kjennskap til om en slik uønsket hendelse har skjedd tidligere? Historiske data kan være nyttige for å gi indikasjoner, selv om historiske data ikke gir noen garantier.
• Har du ellers grunn til å tro at dette vil inntreffe?

For spørsmålet om sannsynlighet er det viktig med god kildekritikk. Hvis det finnes forskning på feltet, er dette et godt utgangspunkt.

Evaluer risiko

Etter å ha identifisert og analysert risikoer, sitter du igjen med en risiko og en formening om størrelsen på denne. Det neste steget er å vurdere om risikoen og dens størrelse kan aksepteres eller om det er nødvendig å iverksette tiltak for å adressere risikoene. Dette innebærer at du kartlegger virksomhetens risikotoleranse, og så iverksettes det risikoreduserende tiltak for å redusere sannsynligheten for negative utfall og øke gevinstene av bruken.

Risikotoleranse

Risikotoleranse handler om hvor mye risiko en virksomhet eller en KI-aktør er villig til å ta for å nå sine mål. Risikotoleransen har flere sider, og det er ikke bare opp til den enkelte bruker å bestemme hvilken risiko de er villige til å påta seg. Det kan være påvirket av regler, normer og standarder som er på plass.

I tillegg er risikotoleransen kontekstavhengig og spesifikk for hver applikasjon. Risikotoleransen kan endre seg over tid ettersom KI-systemer utvikler seg, og regler og normer utvikles.

Forskjellige organisasjoner kan ha ulik risikotoleranse på grunn av deres egne prioriteringer og vurderinger av tilgjengelige ressurser.

Risikoreduserende tiltak

Det er mange risikoreduserende tiltak for kunstig intelligens som kan være aktuelle. Noen knytter seg til å redusere konsekvensene av en uønsket hendelse, mens andre knytter seg til å redusere sannsynligheten. Eksempler på risikoreduserende tiltak er:

• Menneskelig kontroll: Der et KI-system skal benyttes til å ta avgjørelser, kan det benyttes i samspill med mennesker. Kontrollen må være reell! Det hjelper ikke å bare ha et menneske involvert i prosessen hvis personen ukritisk legger KI-systemets løsning til grunn. Mennesket som er involvert må ha kunnskap om hvilke risikoer som eksisterer, hvorfor og hvordan de kan håndteres. Hvis det eksempelvis er en risiko for at et system diskriminerer, må personen kjenne til dette og ha et kritisk blikk på situasjoner hvor diskriminering kan være et problem. I Nederland var det en stor skandale på dette område, hvor en av utfordringene var at personene ukritisk la maskinens resultater til grunn.
• Utvidet klageadgang: Det er mange regler for klageadgang. Der reglene er minimumsregler, kan en eventuell klageadgang for KI-systemer utvides. Det kan innebære at en både får mer tid til å klage, og at det stilles lavere krav for å klage. Eksempelvis tekniske løsninger som gjør det enkelt å klage på resultatet. Slik klageadgang bør også følges av god informasjon til den det gjelder, for det kan være en forutsetning for å benytte seg av klageadgangen.
• «Negative vedtak» skal alltid kontrolleres: En mulighet for å få effektivitetsgevinster samtidig som en reduserer konsekvenser, er å sørge for at alle avslag skal etterprøves av et menneske. På denne måten behøver ikke forvaltningen å bruke tid på vedtak til fordel for individene, men fokuserer på vedtak som kan være inngripende for individene.

Risikoprioritering

Det er ikke hensiktsmessig å prøve å unngå all risiko. I virkeligheten kan man ikke unngå alle uønskede hendelser og feil, og dette kan føre til at man bruker ressursene på en dårlig måte.

En god kultur for risikostyring gjør det lettere å hjelpe organisasjoner med å fordele ressurser på en god måte. Med utgangspunkt i en gitt bruk bør de mest alvorlige prioriteres og disse bør gjennomgå en grundig prosess for å håndtere dem.

Hvis et KI-system har altfor høy risiko, bør man stoppe utviklingen og innføringen av systemet på en trygg måte, inntil risikoen kan håndteres bedre. Hvilke risikoer som er viktigst kan variere avhengig av om KI-systemet er laget for å samhandle direkte med mennesker eller ikke.

Etter risikostyringsprosessen kan det gjenstå «restrisiko». Dette er den risiko som gjenstår etter relevante tiltak for å motvirke risikoer er gjennomført. Avhengig av størrelsen på denne restrisikoen kan det være nødvendig å informere den som skal bruke systemet at de samhandler med et system med en gitt risiko.

Hvordan vurderer jeg gevinster ved bruk av kunstig intelligens?

En risikovurdering gir et utgangspunkt for å forstå risikoene ved et KI-system. Hvorvidt risikoene kan aksepteres avhenger imidlertid av en balanse mellom risiko og gevinster. Underveis i risikovurderingen, slik som for spørsmålet om risikotoleranse ved evaluering av risiko, vil en ofte ha tatt stilling til mulige gevinster.

Det er altså nødvendig å ha en god forståelse for hvilke gevinster et gitt KI-system kan gi virksomheten. Samtidig er det viktig å huske på at selv om et KI-system lover store gevinster, minsker ikke dette kravene til systemet i seg selv, særlig ikke der regelverk gir føringer på hvilken risiko som kan aksepteres.

Gevinstene man kan få fra KI-systemer i offentlig sektor kan grovt sett inndeles i tre kategorier:

• Forbedre forvaltningens beslutningstaking
• Øke den interne effektiviteten i offentlig forvaltning
• Forbedre interaksjonen mellom forvaltningen og innbyggerne

En måte å illustrere gevinstene av å ta et KI-system i bruk er ved å se på konsekvensene av å ikke ta det i bruk. Du har for eksempel et KI-system som utviser høy treffsikkerhet, effektivitet og er bygd på representativ data – kan det da være uansvarlig å ikke ta det i bruk? I det følgende vil vi illustrere dette med tre eksempler:

1. Studier har vist at KI-modeller i noen tilfeller kan oppnå like høy eller høyere treffsikkerhet på diagnostisering sammenlignet med leger. I tillegg har en helt ny studie fra april 2023 vist at helsearbeidere i noen tilfeller foretrekker hvordan en chatbot kommuniserer med pasienter over helsearbeidere. Samtidig er det generelt høy interesse blant helsearbeidere i å ta i bruk KI-verktøy for å avlaste helsesystemer og støtte deres beslutningsprosesser. Hvis et system viser at det kan oppnå like høy eller høyere treffsikkerhet enn menneskelige motparter, fremstår trygt og det i tillegg er et ønsket og økonomisk fordelaktig tiltak, bør det foreligge gode grunner for ikke å ta i bruk systemet.
2. I visse deler av forvaltningen er det særlig belastende med lange behandlingstider for svar på søknader. Disse behandlingstidene har også vist seg å ofte være utfordrende å adressere med tradisjonelle virkemidler. Det kan dermed tenkes at å være tilbakeholdne med å ta i bruk KI-systemer i noen tilfeller kan skape mer utrygghet enn å ta dem i bruk.
3. Dersom det er gode grunner til å anta at et KI-system vil gi gode resultater for samfunnet og innbyggere, og alternativene er dårlige og har store negative konsekvenser kan det tilsi at det er større spillerom for å ta i bruk KI-systemer. Vi kan for eksempel sammenligne dette med utprøvende behandlinger i helsetjenesten. Ved utprøvende behandlinger er det et sentralt moment om det finnes alternativer som er mindre belastende og har bedre prospekter for pasienten. Hvis det ikke finnes alternativer, er det viktig å avveie det å ikke gi pasienten behandling opp mot den utprøvende behandlingen. Her er det altså en balansegang mellom det å prøve ut noe nytt som ikke er fullt kartlagt mot alternativene. Dette kan til en viss grad sammenlignes med å ta i bruk KI-systemer i noen situasjoner. I slike tilfeller, når det er rettet mot enkeltpersoner, vil informert samtykke stå sentralt. Til sammenligning er det i den foreslåtte KI-forordningen inntatt en bestemmelse (art. 47) om midlertidig unntak fra kravet om “conformity assessment” for “exceptional reasons of public security or the protection of life and health of persons, environmental protection and the protection of key industrial and infrastructural assets”.