Hvordan vurderer jeg risiko ved bruk av kunstig intelligens?

Bruken av kunstig intelligens medfører risiko. Introduksjonen av KI kan føre til nye eller endrede risikoer. Beslutningen om å benytte KI i en virksomhet avhenger av en balanse mellom risikonivået og den potensielle fordelen. Det avgjørende er risikonivået, virksomhetens risikotoleranse og den forventede gevinsten når man vurderer implementering av et KI-system.

Åpen beta

Denne siden er i «åpen beta». I tiden fremover ønsker vi tilbakemeldinger og innspill til innholdet som presenteres her. Det betyr at rådene du finner på denne siden kan bli endret. Har du innspill til oss vil vi gjerne høre fra deg! Ta kontakt med oss på Datalandsbyen så sikrer vi at innholdet her blir best mulig.

    Ta utgangspunkt i eksisterende sikkerhetsarbeid

    Utvikling og bruk av kunstig intelligens innebærer ikke at en virksomhet må tenke helt nytt om informasjonssikkerhet. Virksomheten skal ha rutiner og systemer i henhold til beste praksis for informasjonssikkerhet og bruk og utvikling av kunstig intelligens bør skje i tråd med dette.

    I tillegg bør en være bevisst om det er spesifikke risikoer og utfordringer knyttet til utvikling og bruk av kunstig intelligens og deretter inkludere disse i det eksisterende sikkerhetsarbeidet. På denne siden peker vi på en rekke problemstillinger som gjelder særlig for kunstig intelligens.

    Digitaliseringsdirektoratet har utarbeidet en detaljert veileder for å understøtte risikovurderinger som kan finnes her.

    Standarder gir god veiledning til risikovurderinger

    Så lenge det ikke finnes regelverk som fastsetter hvordan en risikovurdering skal gjennomføres, finnes det ingen fasit. Standarder kan imidlertid være svært nyttige verktøy. Standarder er typisk utarbeidet av organisasjoner eller myndigheter med høy kompetanse og gjerne med innspill fra eksperter på aktuelle fagfelter.

    På informasjonssikkerhetsområdet er standarder som ISO 27001 og 31000 viktige og gir utgangspunktet for Digdirs veiledning om informasjonssikkerhet., Vi har ikke i dag tilsvarende standarder på KI-feltet, men standarder vil med tiden spille en nøkkelrolle i den kommende KI-forordningen. Artikkel 40 i forordningen sier eksempelvis at hvis du anvender harmoniserte standarder i høyrisikosystemer, foreligger det en presumsjon om at systemet er utformet i samsvar med forordningen.

    I påvente av vedtatte standarder kan NIFS’ rammeverk for risikostyring av KI-systemer tilby noe veiledning. Dette finner du her: Artificial Intelligence Risk Management Framework (AI RMF 1.0) (nist.gov).

    Regelverk kan påvirke risikovurderingen

    Kommende EU-regelverk vil påvirke vurderingen av risiko knyttet til ulike KI-systemer. Den foreslåtte KI-forordningen vil blant annet lovregulere risikokategoriseringen av KI-systemer. Bedrifter vil være forpliktet til å overholde disse klassifiseringene, hvilket betyr at en KI-modell, som merkes som "høyrisiko" etter regelverket, må behandles deretter av selskapet. Kategoriseringen medfører lovfestede krav til systemene, blant annet knyttet til transparens og treffsikkerhet. Men kravene kan variere mellom ulike systemer på samme risikonivå. Eksempelvis står det i artikkel 15 at høyrisikosystemer skal ha "an appropriate level of accuracy, robustness and cybersecurity" i lys av dets tiltenkte bruk.

    Du kan lese mer om den foreslåtte KI-forordningen og risikokategoriene her.

    Hvordan vurderer jeg gevinster ved bruk av kunstig intelligens?

    Risikovurdering av KI-systemer krever en balanse mellom risiko og gevinster. Selv om store gevinster lovet av et KI-system ikke minsker kravene til systemet, gir de en retning for hvilken risiko som kan aksepteres. En risikovurdering vil som regel belyse de negative konsekvensene et system kan medføre, eller hvilke typer bruk som bør unngås. På den andre side vil ikke en risikovurdering nødvendigvis belyse fordelene med å bruke et KI-system. Derfor ønsker vi i det følgende å fremheve noen slike gevinster, som kan brukes i arbeidet med å vurdere om et system bør implementeres.

    Gevinstene man kan få fra KI-systemer i offentlig sektor kan grovt sett inndeles i tre kategorier:

    • Forbedre forvaltningens beslutningstaking
    • Øke den interne effektiviteten i offentlig forvaltning
    • Forbedre interaksjonen mellom forvaltningen og innbyggerne

    • Store datamengder: KI kan håndtere store mengder data veldig effektivt. KI-modeller kan lære fra store datasett og finne komplekse mønstre som ellers kan være vanskelige å oppdage. Disse mønstrene kan også danne grunnlag for å gi prediksjoner om fremtidige utfall.
    • Ustrukturerte data: Hvis dataene som skal analyseres er ustrukturerte, for eksempel bilder, lyd, eller naturlig språk, kan KI være mer egnet. KI-modeller som for eksempel dype nevrale nettverk kan gjenkjenne mønstre i ustrukturerte data og utføre oppgaver som bilde- eller talegjenkjenning.
    • Endring i krav eller komplekse domener: Hvis domenet eller kravene til systemet endrer seg ofte, kan KI være mer fleksibelt enn andre fremgangsmåter. KI-modeller kan lære og tilpasse seg til nye situasjoner og endrede forhold uten å kreve manuell oppdatering av regler.
    • Usikkerhet og kompleksitet: Hvis oppgaven involverer usikkerhet eller kompleksitet, kan KI være bedre egnet til å håndtere dette. KI-modeller som for eksempel bayesianske nettverk kan modellere usikkerhet og ta beslutninger basert på sannsynlighet, noe som kan være nyttig i situasjoner der det er mange variabler og usikre faktorer involvert.

    En måte å illustrere gevinstene av å ta et KI-system i bruk er ved å se på konsekvensene av å ikke ta det i bruk. Du har for eksempel et KI-system som utviser høy treffsikkerhet, effektivitet og er bygd på representativ data – kan det da være uansvarlig å ikke ta det i bruk? I det følgende vil vi illustrere dette med noen eksempler:


    Like høy eller høyere treffsikkerhet enn mennesker
    Studier har vist at KI-modeller i noen tilfeller kan oppnå like høy eller høyere treffsikkerhet på diagnostisering sammenlignet med leger. I tillegg har en studie fra april 2023 vist at helsearbeidere i noen tilfeller foretrekker hvordan en chatbot kommuniserer med pasienter over helsearbeidere. Samtidig er det generelt høy interesse blant helsearbeidere i å ta i bruk KI-verktøy for å avlaste helsesystemer og støtte deres beslutningsprosesser. Hvis et system viser at det kan oppnå like høy eller høyere treffsikkerhet enn menneskelige motparter, fremstår trygt og det i tillegg er et ønsket og økonomisk fordelaktig tiltak, bør det foreligge gode grunner for ikke å ta i bruk systemet.

    Tilfeller der effektivitet har særlig betydning
    I visse deler av forvaltningen er det særlig belastende med lange behandlingstider for svar på søknader. Disse behandlingstidene har også vist seg å ofte være utfordrende å adressere med tradisjonelle virkemidler. Det kan dermed tenkes at å være tilbakeholdne med å ta i bruk KI-systemer i noen tilfeller kan skape mer utrygghet enn å ta dem i bruk.

    KI tilbyr en løsning der det ikke finnes gode alternativer
    Dersom det er gode grunner til å anta at et KI-system vil gi gode resultater for samfunnet og innbyggere, og alternativene er dårlige og har store negative konsekvenser kan det tilsi at det er større spillerom for å ta i bruk KI-systemer. Vi kan for eksempel sammenligne dette med utprøvende behandlinger i helsetjenesten. Ved utprøvende behandlinger er det et sentralt moment om det finnes alternativer som er mindre belastende og har bedre prospekter for pasienten. Hvis det ikke finnes alternativer, er det viktig å avveie det å ikke gi pasienten behandling opp mot den utprøvende behandlingen. Her er det altså en balansegang mellom det å prøve ut noe nytt som ikke er fullt kartlagt mot alternativene.

    Dette kan til en viss grad sammenlignes med å ta i bruk KI-systemer i noen situasjoner. I slike tilfeller, når det er rettet mot enkeltpersoner, vil informert samtykke stå sentralt. Til sammenligning er det i den foreslåtte KI-forordningen inntatt en bestemmelse (art. 47) om midlertidig unntak fra kravet om “conformity assessment” for “exceptional reasons of public security or the protection of life and health of persons, environmental protection and the protection of key industrial and infrastructural assets”.