Hvordan vurderer jeg risiko ved bruk av kunstig intelligens?

Hvorvidt og hvordan du skal ta i bruk kunstig intelligens handler om risiko. Bruk av kunstig intelligens kan innføre nye eller andre typer risiko. Hvorvidt en virksomhet skal ta denne risikoen beror på en avveining mellom risikoens størrelse og den mulige gevinsten. Det vil alltid være en risiko. Risikoens størrelse er avgjørende, og en risikovurdering kan hjelpe oss med å fastsette denne.

Under utvikling og lansering som åpen beta

Denne siden er under utvikling frem til lansering i juni. Informasjonssiden vil lanseres som en «åpen beta». Frem til september 2023 ønsker vi tilbakemeldinger og innspill til innholdet som presenteres på denne siden. Det betyr at rådene du finner på denne siden kan bli endret frem til september. Har du innspill til oss vil vi gjerne høre fra deg! Ta kontakt med oss på Datalandsbyen så sikrer vi at innholdet her blir best mulig.

    Standarder gir god veiledning til risikovurderinger

    Så lenge det ikke finnes regelverk som fastsetter hvordan en risikovurdering skal gjennomføres, finnes det ingen fasit. Standarder kan imidlertid være svært nyttige verktøy. Standarder er typisk utarbeidet av organisasjoner eller myndigheter med høy kompetanse og gjerne med innspill fra eksperter på aktuelle fagfelter. Visse standarder blir så mye brukt og anerkjent at de legges til grunn som en norm.

    På informasjonssikkerhetsområdet benyttes standarder i stor utstrekning. Særlig ISO-standarder slik som 27001 og 31000 er viktige. For kunstig intelligens er det ikke i tilsvarende grad etablert standarder. Det arbeides imidlertid aktivt med og visse spesifikke standarder er allerede etablert. KI-forordningen legger også opp til en utstrakt bruk av standarder. Artikkel 40 i forordningen sier eksempelvis at dersom du bruker standarder i høyrisikosystemer, vil det foreligge en presumsjon om at systemet er utformet i samsvar med forordningen.

    Hvis du skal gjennomføre en risikovurdering av et KI-system kan det være lurt å ta utgangspunkt i en anerkjent standard. National Institute of Standards and Technology (NIST) har utarbeidet et rammeverk for å hjelpe organisasjoner med å håndtere risiko knyttet til KI. I tilknytning til rammeverket er det også utarbeidet en «playbook». Dette er et dynamisk verktøy som gir konkrete forslag til handlinger og tiltak for å følge rammeverket.

    Hva er NIST og hvorfor er det relevant for oss i Norge?

    NIST (National Institute of Standards and Technology) er en amerikansk organisasjon som utvikler standarder, retningslinjer og rammeverk for å fremme pålitelighet og sikkerhet i teknologi, inkludert kunstig intelligens. Selv om NIST primært fokuserer på amerikanske standarder, blir mange av deres standarder og retningslinjer anerkjent og brukt internasjonalt. NIST AI Risk Management Framework (AI RMF) er et rammeverk som hjelper organisasjoner med å håndtere risiko knyttet til bruk av kunstig intelligens i deres systemer og prosesser. Første versjon av AI RMF ble lansert 26. januar 2023. Det bygger på eksisterende standarder (både deres egne og andres, e.g. ISO) og rammeverk, og tilpasser dem for å håndtere unike risikoer og utfordringer knyttet til KI.

    I forbindelse med Trade and Technology Council møte i desember 2022 mellom EU og USA i ble det utformet en Joint Roadmap on Evaluation and Measurement Tools for Trustworthy AI an Risk Management. Både EU og USA har en risikobasert tilnærming til bruk av KI, og uttrykker et tydelig ønske om å samarbeide tett fremover. Fra EU sin side er KI-forordningen ett sentralt bidrag i dette arbeidet og fra USA sin er AI RMF sentralt. Dette samarbeidet aktualiserer AI RMF som et relevant verktøy å forholde seg til også for norske virksomheter.

    ISO 31000 gir generelle retningslinjer og prinsipper for risikostyring på tvers av organisasjoner og sektorer, mens ISO/IEC 27001 er en spesifikk standard for informasjonssikkerhet.

    ISO 31000 er en risikostyringsstandard som gir et rammeverk for hvordan organisasjoner kan identifisere, evaluere og behandle risikoer. Standarden gir retningslinjer for hele risikostyringsprosessen, fra etablering av kontekst og risikokriterier til implementering av tiltak for å håndtere risikoene. ISO 31000 kan være nyttig for en offentlig virksomhet som ønsker å implementere en helhetlig tilnærming til risikostyring, inkludert håndtering av risikoene forbundet med bruk av kunstig intelligens.

    ISO 27001 er en standard for informasjonssikkerhet som gir et spesifikt rammeverk for å etablere, implementere, vedlikeholde og kontinuerlig forbedre et styringssystem for informasjonssikkerhet. Denne standarden er spesielt utviklet for å hjelpe organisasjoner med å beskytte sin informasjon ved å identifisere og behandle risikoene knyttet til konfidensialitet, integritet og tilgjengelighet av informasjon. ISO 27001 kan være relevant for en offentlig virksomhet som ønsker å sikre at deres KI-systemer oppfyller informasjonssikkerhetskravene, spesielt med tanke på personvern og sensitive data.

    Regelverk kan påvirke risikovurderingen

    Utkastet til KI-forordningen vil lovregulere risikokategoriseringen av KI-systemer. I forordningen er det foreslått en hierarkisk inndeling, der bruken av KI-modeller på visse samfunnsområder automatisk medfører kategorisering som et høyrisikosystem. For eksempel vil en KI-løsningen som brukes som en del av sikkerhetssystemet til kritisk infrastruktur bli ansett som et høyrisikosystem.

    Når et regelverk fastsetter et risikonivå for systemer, må virksomheter legge dette til grunn ved sine vurderinger. Hvis det eksempelvis er fastsatt i et regelverk at et visst system skal anses for å være høyrisiko, kan ikke en virksomhet selv vurdere at risikoen er så lav at det ikke er et høyrisikosystem. Virksomheten må anvende regelverket og vurdere hvilken kategori KI-systemet faller inn under.

    Kategoriseringen innebærer lovregulerte krav til systemet, herunder til transparens og treffsikkerhet. De ulike kravene kan tilsi at det likevel må gjøres en risikovurdering. Dette er fordi noen av kravene vil nyanseres basert på tiltenkt bruk og typen KI-løsning. For eksempel står det i artikkel 15 at høyrisikosystemer skal ha "an appropriate level of accuracy, robustness and cybersecurity" i lys av dets tiltenkte bruk.

    Du kan lese mer om den foreslåtte KI-forordningen og risikokategoriene her.

    Hvordan gjør jeg en risikovurdering av et KI-system?

    En innledning til risikovurderinger for kunstig intelligens

    Teksten i dette punktet skal hjelpe deg med å forstå hva en risikovurdering er og hvordan dette kan gjøres for kunstig intelligens. Vi tar utgangspunkt i Digdirs egen fremgangsmåte for vurdering av risiko som er basert på ISO31000 og knytter dette til AI RMF fra NIST.

    Teksten er skrevet som en innledning og derfor forenklet på mange punkter. Hvis du ønsker et rammeverk henviser vi til NIST AI RMF. På nåværende tidspunkt synes dette å bli en av de sentrale standardene knyttet til KI-forordningen og risikovurderinger rundt kunstig intelligens.

    Risiko handler om usikkerhet knyttet til en uønsket hendelse. Å gjennomføre en risikovurderinger innebærer å:

    1. Identifisere relevante risikoer
    2. Analysere hver enkelt av dem, og estimere størrelsen på konsekvens, tilhørende sannsynlighet og fastsette risikonivå
    3. Evaluer om risikoen kan aksepteres som de er, eller om de trenger mer håndtering og følg opp med passende tiltak

    Før du gjør en risikovurdering trenger du forankring i virksomheten. Dette kan vi kalle styringssteget. Styringssteget setter rammene for hvordan arbeidet med risikovurderingen skal gjennomføres og påvirker arbeidet løpende. Målet med dette steget er å få på plass en ansvarlighetsstruktur og klare retningslinjer for arbeidet med risikovurderingen. Dette steget sikrer at risikovurderingen er pålitelig og at de nødvendige perspektivene og vurderingene vil komme frem. Steget bør gjennomføres av eller med ledelsen i virksomheten da det har en organisatorisk og strukturell karakter. Etter å ha gjennomført styringssteget bør følgende mål være oppnådd:

    1. Retningslinjer og prosedyrer knyttet til kartleggingen og målingen av KI-risikoer er på plass på tvers av organisasjonen. Her er det en forutsetning at man har forstått hvilket regelverk som er gjeldende for bruken og hvilke egenskaper man ønsker å sikre i KI-systemet.

    1. Det er etablert en ansvarlighetsstruktur og dere har fått tilstrekkelig kompetanse og ressurser for å håndtere KI-risikoer. Her skal de forskjellige rollene som er nødvendige for å iverksette en risikovurdering være klarlagt, og det skal være en tydelig struktur for kommunikasjon og dokumentasjon av prosessen.

    1. Prosesser for mangfold, rettferdighet og inkludering i arbeidsteamet prioriteres i kartleggingen og håndteringen av KI-risikoer.

    1. Arbeidsteamet har en god dialog og forståelse for vurderingen og kommuniseringen av KI-risiko.

    1. Prosesser er på plass for å involvere KI-aktører som er involvert i prosjektet. Her er det viktig å ha et system for å samle inn tilbakemeldinger fra aktører og en fremgangsmåte for å integrere disse i KI-løsningen.

    1. Retningslinjer og prosedyrer er på plass for å håndtere problemstillinger som oppstår i forbindelse med tredjeparters programvare og data.

    Identifisere risiko

    Først må du identifisere potensielle risikokilder knyttet til bruken av KI-systemet. Dette bør gjøres så bredt som mulig, og alle mulige risikokilder bør inkluderes. For å hjelpe deg med å avgrense de mulige risikokildene, kan du definere formålet med KI-systemet, de mulige fordelene, og ta hensyn til gjeldende regelverk og normer.

    Bruk av KI-systemer involverer ulike aktører og aktiviteter som påvirker hverandre. Informasjon kan også endre seg eller gå tapt underveis. Derfor er det viktig å ikke bare se isolert på KI-systemet eller hvordan det blir markedsført, men også hvordan det faktisk kan bli påvirket av forholdene i virksomheten din. Hva systemet brukes til og hvordan det brukes med KI-systemet påvirker selve funksjonaliteten til systemet.

    For å sette tankeprosessen i gang kan dere stille dere selv følgende spørsmål:

    • Kan KI-systemet påvirke noen fysisk? Eksempelvis en robot som kan påføre fysisk skade på individer.
    • Kan KI-systemet i betydelig grad påvirke noens tanker og meninger i en negativ retning? Eksempelvis en KI-modell som kan påvirke noens politiske standpunkt.
    • Kan KI-systemet bidra til uriktige avgjørelser? Eksempelvis et KI-system som fatter beslutninger basert på etnisitet i strid med forbud mot diskriminering.
    • Kan KI-systemet krenke noens rettigheter? Eksempelvis et KI-system som bruker og/eller endrer informasjon og algoritmer i strid med bruks- og eierrettigheter?
    • Kan KI-systemet påføre noen et økonomisk tap? Kan systemet eksempelvis gi råd som gjør at noen taper penger?
    • Hvem har utviklet KI-systemet? Avanserte KI-systemer slik som store språkmodeller kan direkte eller indirekte være tilpasset mål og verdier som definert av den som har utviklet løsningen. Dersom utvikleren typisk er en aktør som ikke har mål og verdier som sammenfaller med dem vi har i vårt samfunn, kan dette i seg selv være en risiko.

    NIST-rammeverket er mer omfattende på identifiseringssteget enn det vi er her i denne teksten. Etter NIST rammeverket skal følgende mål være oppnådd etter identifiseringssteget:

    1. Konteksten til KI-systemet er kartlagt.

    1. KI-systemet er kategorisert. Er det for eksempel en generativ modell, et beslutningsstøttesystem eller et klassifiseringssystem?

    1. KI-systemets evner, tiltenkt bruk, mål og forventede gevinster og kostnader er sammenlignet med alternativer.

    1. Risikoer og fordeler knyttet til alle komponentene og stegene i KI-systemets bruk er kartlagt, inkludert tredjeparters programvare og data. Finnes det for eksempel regelverk knyttet til erstatningskrav for skader oppstått i forbindelse med bruken av KI-systemet? Er det opphavsrettslige problemstillinger rundt bruken av tredjeparters data?

    1. Konsekvenser for individer, grupper, lokalsamfunn, organisasjoner og miljøet er kartlagt. Her skal sannsynligheten og konsekvensen av uønskede hendelser vurderes. For å vurdere dette må dere se på tiltenkt bruk, tidligere eller sammenlignbare bruk av andre KI-systemer, få feedback fra utviklerne av systemet og finne andre relevante kilder.

    Analyser risiko

    Etter at du har fått oversikt over mulige risikoer knyttet til det aktuelle KI-systemet, må størrelsen på disse risikoene fastsettes. Analysering av risiko er en kontinuerlig prosess. Risikoene må analyseres før bruk, men også løpende gjennom KI-systemets levetid.

    Det finnes mange ulike tilnærminger for å analysere risiko, og rammeverk som NIST peker på en rekke ulike målinger og analyser. Som et utgangspunkt kan en si at det å analysere risiko handler om å se på en kombinasjon av sannsynlighet og konsekvens av den uønskede hendelsen som ligger til grunn for risikoen. Vi anbefaler at du starter med konsekvens, og deretter vurderer sannsynlighet.

    Risikomåling

    For risikovurderinger for et KI-system er det viktig å ta hensyn til ulike perspektiver fra både utviklere og brukere. Utviklerne ser ofte på systemet som helhet, mens brukerne vurderer det ut fra sin spesifikke brukssituasjon.

    Det kan være situasjoner der brukerne ikke er klar over visse hensyn eller problemstillinger som de må ta i betraktning, og tilsvarende for utviklerne. For brukerne kan det eksempelvis være vanskelig å forstå ting som tredjeparts programvare, pålitelighetsmetrikker og krav til maskinvare og data uten en dyp forståelse av hvordan KI-modellen fungerer.

    Forskjellen i perspektiver kan gjøre det utfordrende å måle risikoene både kvantitativt og kvalitativt. Det er derfor viktig å være klar over begrensningene som hver part har og forsøke å lukke kunnskapsgapet mellom dem. Ved å forstå og ta hensyn til hverandres perspektiver kan man bedre identifisere og håndtere risikoer knyttet til KI-systemet.

    Konsekvens

    For konsekvensen gjelder det å fastslå hvor alvorlig det vil være om den uønskede hendelsen som ligger til grunn for risikoen inntreffer. Utgangspunktet vil her være hvor alvorlig dette er for den aktuelle virksomheten som skal ta i bruk KI-systemet. Samtidig er det viktig å understreke at de ulike subjektene henger sammen. Hvis det skjer noe som er alvorlig for individer, kan dette være alvorlig for en offentlig virksomhet, og igjen vil dette være alvorlig for Norge som helhet. Her er noen forslag til spørsmål du kan stille for å belyse alvorlighetsgraden til den uønskede hendelsen:

    • Kan den uønskede hendelsen medføre fysisk eller psykisk skade for personer?
    • Kan den uønskede hendelsen påvirke grunnleggende rettigheter for personer? Grunnleggende rettigheter slik som forbud mot diskriminering tilsier en høyere konsekvens.
    • Hvor stort antall personer kan bli berørt av den uønskede hendelsen? Selv om det kan være alvorlig nok at et individ opplever en uønsket hendelse, vil konsekvensene være enda større jo flere som er berørt.

    Sannsynlighet

    For sannsynlighet er spørsmålet hvor sannsynlig det er at den uønskede hendelsen inntreffer. Dette kan være vanskelig, sannsynlighet handler jo om å estimere en usikker størrelse. Følgende spørsmål kan være til hjelp:

    • Har du kjennskap til om en slik uønsket hendelse har skjedd tidligere? Historiske data kan være nyttige for å gi indikasjoner, selv om historiske data ikke gir noen garantier.
    • Har du ellers grunn til å tro at dette vil inntreffe?

    For spørsmålet om sannsynlighet er det viktig med god kildekritikk. Hvis det finnes forskning på feltet, er dette et godt utgangspunkt.

    NIST-rammeverket er mer omfattende på analyseringssteget enn det vi er her i denne teksten. NIST-rammeverket går bredere enn bare en sammenstilling av sannsynlighet og konsekvens.Etter NIST rammeverket skal følgende mål være oppnådd etter analyseringssteget:

    1. Passende metoder og beregninger for risiko- og gevinstmåling er identifisert og i bruk. Her skal også mangelen på brukbare metoder dokumenteres.
    2. KI-systemet evalueres for pålitelige egenskaper.
    3. Mekanismer for å spore identifiserte KI-risikoer over tid er på plass. Dette innebærer blant annet retningslinjer, kompetanse og dokumentasjonsrutiner.
    4. Effektiviteten av metodene og beregningene i (1) og (2) for å analysere KI-risiko og pålitelighet er vurdert gjennom dialog med brukere, eksperter, utviklere og andre relevante aktører.

    Evaluer risiko

    Etter å ha identifisert og analysert risikoer, sitter du igjen med en risiko og en formening om størrelsen på denne. Det neste steget er å vurdere om risikoen og dens størrelse kan aksepteres eller om det er nødvendig å iverksette tiltak for å adressere risikoene. Dette innebærer at du kartlegger virksomhetens risikotoleranse, og så iverksettes det risikoreduserende tiltak for å redusere sannsynligheten for negative utfall og øke gevinstene av bruken.

    Risikotoleranse

    Risikotoleranse handler om hvor mye risiko en virksomhet eller en KI-aktør er villig til å ta for å nå sine mål. Risikotoleransen har flere sider, og det er ikke bare opp til den enkelte bruker å bestemme hvilken risiko de er villige til å påta seg. Det kan være påvirket av regler, normer og standarder som er på plass.

    I tillegg er risikotoleransen kontekstavhengig og spesifikk for hver applikasjon. Risikotoleransen kan endre seg over tid ettersom KI-systemer utvikler seg, og regler og normer utvikles.

    Forskjellige organisasjoner kan ha ulik risikotoleranse på grunn av deres egne prioriteringer og vurderinger av tilgjengelige ressurser.

    Risikoreduserende tiltak

    Det er mange risikoreduserende tiltak for kunstig intelligens som kan være aktuelle. Noen knytter seg til å redusere konsekvensene av en uønsket hendelse, mens andre knytter seg til å redusere sannsynligheten. Eksempler på risikoreduserende tiltak er:

    • Menneskelig kontroll: Der et KI-system skal benyttes til å ta avgjørelser, kan det benyttes i samspill med mennesker. Kontrollen må være reell! Det hjelper ikke å bare ha et menneske involvert i prosessen hvis personen ukritisk legger KI-systemets løsning til grunn. Mennesket som er involvert må ha kunnskap om hvilke risikoer som eksisterer, hvorfor og hvordan de kan håndteres. Hvis det eksempelvis er en risiko for at et system diskriminerer, må personen kjenne til dette og ha et kritisk blikk på situasjoner hvor diskriminering kan være et problem. I Nederland var det en stor skandale på dette område, hvor en av utfordringene var at personene ukritisk la maskinens resultater til grunn.
    • Utvidet klageadgang: Det er mange regler for klageadgang. Der reglene er minimumsregler, kan en eventuell klageadgang for KI-systemer utvides. Det kan innebære at en både får mer tid til å klage, og at det stilles lavere krav for å klage. Eksempelvis tekniske løsninger som gjør det enkelt å klage på resultatet. Slik klageadgang bør også følges av god informasjon til den det gjelder, for det kan være en forutsetning for å benytte seg av klageadgangen.
    • «Negative vedtak» skal alltid kontrolleres: En mulighet for å få effektivitetsgevinster samtidig som en reduserer konsekvenser, er å sørge for at alle avslag skal etterprøves av et menneske. På denne måten behøver ikke forvaltningen å bruke tid på vedtak til fordel for individene, men fokuserer på vedtak som kan være inngripende for individene.

    Risikoprioritering

    Det er ikke hensiktsmessig å prøve å unngå all risiko. I virkeligheten kan man ikke unngå alle uønskede hendelser og feil, og dette kan føre til at man bruker ressursene på en dårlig måte.

    En god kultur for risikostyring gjør det lettere å hjelpe organisasjoner med å fordele ressurser på en god måte. Med utgangspunkt i en gitt bruk bør de mest alvorlige prioriteres og disse bør gjennomgå en grundig prosess for å håndtere dem.

    Hvis et KI-system har altfor høy risiko, bør man stoppe utviklingen og innføringen av systemet på en trygg måte, inntil risikoen kan håndteres bedre. Hvilke risikoer som er viktigst kan variere avhengig av om KI-systemet er laget for å samhandle direkte med mennesker eller ikke.

    Etter risikostyringsprosessen kan det gjenstå «restrisiko». Dette er den risiko som gjenstår etter relevante tiltak for å motvirke risikoer er gjennomført. Avhengig av størrelsen på denne restrisikoen kan det være nødvendig å informere den som skal bruke systemet at de samhandler med et system med en gitt risiko.

    Etter NIST rammeverket skal følgende mål være oppnådd etter administreringssteget:

    1. KI-risikoer basert på resultater fra identifisering- og analyseringssteget blir prioritert, adressert og administrert. I dette steget blir det tatt en beslutning om man skal gå videre med implementering av KI-systemet, endre parametere for bruken eller om bruken skal droppes helt. Hvis KI-systemet tas i bruk blir risikoene prioritert etter alvorlighetsgrad, sannsynlighet og tilgjengelige ressurser og midler til å håndtere dem.

    2. Strategier for å maksimere KI-gevinster og redusere risikoer utarbeides, implementeres og dokumenteres.

    3. Risikoer og gevinster fra tredjeparter administreres.

    1. Planer for respons, gjenoppretting og kommunikasjon for identifiserte og målte KI-risikoer, samt regelmessig overvåkning er på plass.

    Hvordan vurderer jeg gevinster ved bruk av kunstig intelligens?

    En risikovurdering gir et utgangspunkt for å forstå risikoene ved et KI-system. Hvorvidt risikoene kan aksepteres avhenger imidlertid av en balanse mellom risiko og gevinster. Underveis i risikovurderingen, slik som for spørsmålet om risikotoleranse ved evaluering av risiko, vil en ofte ha tatt stilling til mulige gevinster.

    Det er altså nødvendig å ha en god forståelse for hvilke gevinster et gitt KI-system kan gi virksomheten. Samtidig er det viktig å huske på at selv om et KI-system lover store gevinster, minsker ikke dette kravene til systemet i seg selv, særlig ikke der regelverk gir føringer på hvilken risiko som kan aksepteres.

    Gevinstene man kan få fra KI-systemer i offentlig sektor kan grovt sett inndeles i tre kategorier:

    • Forbedre forvaltningens beslutningstaking
    • Øke den interne effektiviteten i offentlig forvaltning
    • Forbedre interaksjonen mellom forvaltningen og innbyggerne

    • Store datamengder KI kan håndtere store mengder data veldig effektivt. KI-modeller kan lære fra store datasett og finne komplekse mønstre som ellers kan være vanskelige å oppdage. Disse mønstrene kan også danne grunnlag for å gi prediksjoner om fremtidige utfall.

    • Ustrukturerte data Hvis dataene som skal analyseres er ustrukturerte, for eksempel bilder, lyd, eller naturlig språk, kan KI være mer egnet. KI-modeller som for eksempel dype nevrale nettverk kan gjenkjenne mønstre i ustrukturerte data og utføre oppgaver som bilde- eller talegjenkjenning.

    • Endring i krav eller komplekse domener: Hvis domenet eller kravene til systemet endrer seg ofte, kan KI være mer fleksibelt enn andre fremgangsmåter. KI-modeller kan lære og tilpasse seg til nye situasjoner og endrede forhold uten å kreve manuell oppdatering av regler.

    • Usikkerhet og kompleksitet: Hvis oppgaven involverer usikkerhet eller kompleksitet, kan KI være bedre egnet til å håndtere dette. KI-modeller som for eksempel bayesianske nettverk kan modellere usikkerhet og ta beslutninger basert på sannsynlighet, noe som kan være nyttig i situasjoner der det er mange variabler og usikre faktorer involvert.

    En måte å illustrere gevinstene av å ta et KI-system i bruk er ved å se på konsekvensene av å ikke ta det i bruk. Du har for eksempel et KI-system som utviser høy treffsikkerhet, effektivitet og er bygd på representativ data – kan det da være uansvarlig å ikke ta det i bruk? I det følgende vil vi illustrere dette med tre eksempler:

    1. Studier har vist at KI-modeller i noen tilfeller kan oppnå like høy eller høyere treffsikkerhet på diagnostisering sammenlignet med leger. I tillegg har en helt ny studie fra april 2023 vist at helsearbeidere generelt foretrekker hvordan en chatbot kommuniserer med pasienter over helsearbeidere. Samtidig er det generelt høy interesse blant helsearbeidere i å ta i bruk KI-verktøy for å avlaste helsesystemer og støtte deres beslutningsprosesser. Hvis et system viser at det kan oppnå like høy eller høyere treffsikkerhet enn menneskelige motparter, fremstår trygt og det i tillegg er et ønsket og økonomisk fordelaktig tiltak, bør det foreligge gode grunner for ikke å ta i bruk systemet.
    2. I visse deler av forvaltningen er det særlig belastende med lange behandlingstider for svar på søknader. Disse behandlingstidene har også vist seg å ofte være utfordrende å adressere med tradisjonelle virkemidler. Det kan dermed tenkes at å være tilbakeholdne med å ta i bruk KI-systemer i noen tilfeller kan skape mer utrygghet enn å ta dem i bruk.
    3. Dersom det er gode grunner til å anta at et KI-system vil gi gode resultater for samfunnet og innbyggere, og alternativene er dårlige og har store negative konsekvenser kan det tilsi at det er større spillerom for å ta i bruk KI-systemer. Vi kan for eksempel sammenligne dette med utprøvende behandlinger i helsetjenesten. Ved utprøvende behandlinger er det et sentralt moment om det finnes alternativer som er mindre belastende og har bedre prospekter for pasienten. Hvis det ikke finnes alternativer, er det viktig å avveie det å ikke gi pasienten behandling opp mot den utprøvende behandlingen. Her er det altså en balansegang mellom det å prøve ut noe nytt som ikke er fullt kartlagt mot alternativene. Dette kan til en viss grad sammenlignes med å ta i bruk KI-systemer i noen situasjoner. I slike tilfeller, når det er rettet mot enkeltpersoner, vil informert samtykke stå sentralt. Til sammenligning er det i den foreslåtte KI-forordningen inntatt en bestemmelse (art. 47) om midlertidig unntak fra kravet om “conformity assessment” for “exceptional reasons of public security or the protection of life and health of persons, environmental protection and the protection of key industrial and infrastructural assets”.