Ny forordning for kunstig intelligens

EU Artificial Intelligence Act er en ny forordning foreslått av EU-kommisjonen i april 2021. Den er verdens første forslag til et juridisk rammeverk som spesifikt regulerer KI.

Innledning

EU har foreslått nye regler for kunstig intelligens (KI), for å sikre at utviklingen og bruken av disse systemene er ansvarlig og i tråd med våre fundamentale rettigheter. I 2021 la EU-kommisjonen frem et utkast til en Kunstig intelligens-forordning. Den er verdens første forslag til et juridisk rammeverk som spesifikt regulerer kunstig intelligens.

KI-forordningen er under arbeid i EU-systemet, og venter nå på enighet mellom Europaparlamentet (parlamentet) og Rådet for den Europeiske union (rådet). Når disse har kommet til enighet vil forordningen bli gjeldende for EU-land to år etter vedtakstidspunktet. Det finnes derfor ikke en endelig versjon av forordningen, og den følgende beskrivelsen vil være basert på de foreløpige utkastene.

Hvorfor trenger vi regler for bruk av kunstig intelligens?

Kunstig intelligens har potensialet til å skape store gevinster i samfunnet blant annet ved å effektivisere, gi oss ny kunnskap og støtte beslutningsprosesser. Samtidig kan bruken av ikke-pålitelige KI-systemer undergrave våre rettigheter og verdier. Det er derfor nødvendig med et rammeverk som kan sikre at de systemene som tas i bruk er utviklet i tråd med våre verdier. Målsetningen til KI-forordningen er nettopp dette. I det nyeste utkastet til forordningen beskrives målet som å øke bruken av menneskesentrisk og pålitelig kunstig intelligens og sikre et høyt nivå av beskyttelse for helse, sikkerhet, fundamentale rettigheter, demokrati, miljøet og rettssikkerheten fra de skadelige effektene av slike systemer.

Eksempel

I visse KI-systemer er det ikke mulig å finne ut hvorfor systemet har tatt en gitt beslutning eller hvorfor det har ført til en viss prediksjon. Derfor kan det bli vanskelig for de som blir påvirket av KI-systemet å håndheve sine rettigheter eller vite om beslutningen/prediksjonen er rettferdig.

Det finnes regler i dag som påvirker bruken av KI og som gir en viss beskyttelse, men som ikke direkte adresserer de unike utfordringene KI-systemer medfører. Lover som likestillings- og diskrimineringsloven, forvaltningslov og personvernforordningen setter mange rammer for hva vi kan gjøre med kunstig intelligens. Samtidig er denne lovgivningen ikke tilpasset KI som teknologi. Den foreslåtte forordningen vil:

  • adressere risikoer spesifikt skapt av KI-applikasjoner;

  • foreslå en liste over høyrisikoapplikasjoner;

  • stille klare krav til KI-systemer for høyrisikoapplikasjoner;

  • definere spesifikke forpliktelser for KI-brukere og leverandører av høyrisikoapplikasjoner;

  • foreslå en samsvarsvurdering før KI-systemet tas i bruk eller markedsføres;

  • foreslå håndhevelse etter at et slikt KI-system er plassert på markedet;

  • foreslå en styringsstruktur på europeisk og nasjonalt nivå.

Definisjonen av kunstig intelligens

Det har vært mye spenning knyttet til å få en juridisk definisjon av kunstig intelligens. Definisjonen som er lagt til grunn i forordningen varierer mellom kommisjonens, rådets og parlamentets versjoner. En ting å merke seg er at alle utkastene har definert kunstig intelligens systemer og ikke kunstig intelligens generelt. I det nyeste utkastet er definisjonen følgende:

«artificial intelligence system (AI system) means a machine based system that is designed to operate with varying levels of autonomy and that can, for explicit or implicit objectives, generate outputs such as predictions, recommendation, or decisions that influence physical or virtual environments».

Risikobasert tilnærming

Den foreslåtte KI-forordningen tar en risikobasert tilnærming til reguleringen av KI. Dette innebærer at kravene et system må oppfylle vil avhenge av hvor stor risiko systemet utgjør. Forordningen definerer fire nivåer for risiko:

Bildet viser en pyramideform som skal illustrere hvordan regelverket har en hierarkisk tilnærming til risiko. Øverst på pyramiden finner vi kategorien Uakseptabel risiko, etterfulgt av Høy risiko, Begrenset risiko og Minimal eller ingen risiko.
https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai

  • Uakseptabel risiko

  • Høy risiko

  • Begrenset risiko

  • Minimal eller ingen risiko

Uakseptabel risiko

Noen få KI-systemer strider mot EU verdier fordi de bryter med grunnleggende rettigheter. Slike systemer vil bli forbudt. Eksempler på slike systemer er bruk av manipulative eller villedende teknikker, sosialscoringssystemer, og visse biometriske identifikasjonssystemer.

Høyrisiko

Systemer kategoriseres som høyrisiko-systemer hvis de:

  1. Inngår som en sikkerhetskomponent i et produkt eller systemet selv er et produkt som reguleres av spesifiserte EU-regelverk

  1. Inngår som en sikkerhetskomponent i et produkt eller systemet selv er et produkt som må sertifiseres av tredjeparter

  1. Brukes på kritiske samfunnsområder som definert i KI-forordningen

I det følgende har vi listet opp noen av kategoriene forordningen definerer som kritiske samfunnsområder:

  • kritisk infrastruktur (f.eks. transport), som kan sette innbyggernes liv og helse i fare;

  • utdanning eller yrkesopplæring, som kan bestemme tilgangen til utdanning og yrkeskurs i noens liv (f.eks. scoring av eksamener);

  • ansettelse, ledelse av arbeidere og tilgang til selvstendig næringsvirksomhet (f.eks. CV-sorteringsprogramvare for rekrutteringsprosedyrer);

  • viktige private og offentlige tjenester (f.eks. kredittscoring som nekter borgere muligheten til å få et lån);

  • rettshåndhevelse som kan gripe inn i folks grunnleggende rettigheter (f.eks. evaluering av bevis i en rettssak);

  • migrasjon, asyl og grensekontroll (f.eks. verifisering av reisedokumenter);

  • rettspleie og demokratiske prosesser (f.eks. anvendelse av loven på et konkret sett av fakta)

Hvorvidt et KI-system defineres som høyrisiko eller ikke vil avhenge av om systemet utgjør en risiko for brukers helse, sikkerhet eller fundamentale rettigheter. Hvordan dette skal vurderes er ikke angitt nærmere i den foreløpige teksten, men både parlamentet og rådet har gitt EU-kommisjonen i oppgave å utvikle retningslinjer eller bestemmelser om når et system ikke utgjør en slik risiko. Du kan lese mer om hvordan man vurderer risikoen av et KI-system her.

Begrenset risiko

For systemer som ikke faller inn under høyrisiko definisjonen stilles det færre krav. For systemer som utgjør en begrenset risiko er det krav til åpenheten av KI-systemet. Målet med disse kravene er at brukeren av slike systemer skal forstå at de bruker/samhandler med et KI-system. Kravene til disse systemer er beskrevet i artikkel 52 av forordningen.

Minimal eller ingen risiko

Systemer som verken faller innenfor kategorien uakseptabel risiko eller høyrisiko og heller ikke er underlagt åpenhetsforpliktelser, kan betegnes som systemer med minimal risiko. Dette inkluderer programmer som KI-drevne videospill eller spamfiltre. For systemer med minimal risiko, stiller ikke KI-forordningen krav. Imidlertid oppfordres tilbydere til å følge frivillig etiske retningslinjer.

Forpliktelser for høyrisiko-systemer

De fleste kravene i KI-forordningen gjelder bare for høyrisikosystemer. Disse systemene er hovedfokuset for forordningen. Før et høyrisiko KI-system kan gjøres tilgjengelig på EU-markedet, må leverandører gjennomføre en samsvarsvurdering. Denne skal vise at det aktuelle systemet overholder de obligatoriske kravene, slik som krav til datakvalitet, dokumentasjon og sporbarhet, åpenhet, menneskelig tilsyn, nøyaktighet og robusthet. Dersom systemet eller dets formål vesentlig endres, vil vurderingen måtte gjentas. For enkelte KI-systemer vil også et uavhengig organ måtte involveres i denne prosessen.

Leverandører av høyrisiko KI-systemer vil måtte iverksette kvalitets- og risikostyringssystemer for å sikre at de overholder de nye kravene. Dette inkluderer systemer for å føre tilsyn med KI-systemene etter at de blir satt på markedet.

  • tilstrekkelig risikovurderinger og systemer for å håndtere risiko;

  • kvalitet på datasettene for å minimere risiko og diskriminerende utfall;

  • detaljert dokumentasjon som gir nødvendig informasjon om systemet og dets formål

  • klar og tilstrekkelig informasjon til brukeren

  • passende menneskelig involvering

  • høy grad av robusthet, sikkerhet og nøyaktighet

Standarders rolle i forordningen

KI-forordningen legger opp til en utstrakt bruk av standarder. Faktisk sier artikkel 40 at dersom standarder anvendes vil det foreligge en presumsjon om samsvar med kravene i forordningen. Det foregår nå et arbeid hos CEN/CENELEC for å utarbeide standarder for utviklingen av kunstig intelligens.

Forpliktelser for grunnmodeller

I det nyeste utkastet til KI-forordningen har parlamentet foreslått særlige krav til grunnmodeller. I forordningen blir en grunnmodell definert som “an AI model that is trained on broad data at scale, is designed for generality of output, and can be adapted to a wide range of distinctive tasks”. Leverandører av slike modeller skal blant annet:

  • Vise at de identifiserer, reduserer og minsker risikoer knyttet til helse, sikkerhet og fundamentale rettigheter med passende metoder.

  • Bruke data som har gjennomgått passende datastyringstiltak; særlig tiltak som vurderer datakildene og om det finnes bias i dataen.

  • Utvikle systemer på en måte som reduserer energikravene

  • Sammenstille teknisk dokumentasjon og instruksjoner som gjør det mulig for nedstrømsbrukere å oppfylle kravene i forordningen

  • Registrere modellen i en definert EU database

Særlig for generativ KI

For grunnmodeller som er utviklet for å generere bilder, lyd, tekst eller video finnes det særlige tilleggskrav. Leverandører av slike modeller skal blant annet:

  • Oppfylle kravene til transparens som beskrevet i artikkel 52 (samme krav som for begrenset risiko-kategorien)

  • Trene, og når anvendelig, utvikle og designe grunnmodellen på en måte som sikrer mot genereringen av innhold som strider mot EU-retten på en tilstrekkelig måte

  • Tilgjengeliggjøre en tilstrekkelig detaljert oppsummering av treningsdataene som er beskyttet av immaterialretten

Innovasjon under forordningen

Kunstig intelligens er et felt i rask utvikling med potensialet til å gi betydelige økonomiske fordeler for både utviklere og brukere. Det har derfor blitt utrykt bekymring for hvordan en KI-forordning vil påvirke innovasjonen på feltet. EU-lovgivere har hatt som målsetning å sikre at innovasjonen innenfor KI i EU ikke skades av en slik forordning. Det er foreslått flere tiltak i regelverket som skal sikre innovasjonen i EU, herunder tilgang til regulatoriske sandkasser. I det nyeste utkastet fra parlamentet er det også eksplisitt uttalt i fortalepunktene at open-source software ikke skal pålegges krav (med unntak av grunnmodeller). Parlamentet har uttrykt at open-source software kan bidra med 65-95 milliarder euro på det europeiske marked og kan skape betydelige vekstmuligheter.

Hvordan skal forordningen håndheves?

Medlemsstatene har en sentral rolle i gjennomføringen og håndhevelsen av KI-forordningen. Hver medlemsstat skal utpeke en nasjonal tilsynsmyndighet som skal føre tilsyn med implementeringen og anvendelsen av forordningen. Denne tilsynsmyndigheten skal også sørge for overvåkning av markedet og representere landet i the European Artificial Intelligence Office.

Brudd på forordningen kan føre til overtredelsesgebyr på opptil 30 millioner euro eller 6% av den totale globale omsetningen.

Tidslinje

  • 15. Juni 2023 – Forventet at forhandlinger mellom parlamentet og rådet vil starte
  • 14. Juni 2023 – Parlamentet stemte over sitt utkast
  • 6. desember 2022 – Rådet stemte over sitt utkast
  • 21. april 2021 – EU-kommisjonen la frem utkast til en KI-forordningen