Ny forordning for kunstig intelligens

EU Artificial Intelligence Act er en ny forordning foreslått av EU-kommisjonen i april 2021. Den er verdens første forslag til et juridisk rammeverk som spesifikt regulerer KI.

    Innledning

    EU har foreslått nye regler for kunstig intelligens (KI), for å sikre at utviklingen og bruken av disse systemene er ansvarlig og i tråd med våre fundamentale rettigheter. I 2021 la EU-kommisjonen frem et utkast til en Kunstig intelligens-forordning. Den er verdens første forslag til et juridisk rammeverk som spesifikt regulerer kunstig intelligens.

    KI-forordningen er under arbeid i EU-systemet. Et viktig gjennombrudd ble oppnådd sent fredag 8. desember, da Europaparlamentet og Rådet for den Europeiske Union nådde politisk enighet i det som er kjent som "trilog-forhandlingene". Formodningen ble enstemmig godkjent i rådet den 2. februar 2024.

    I januar 2024 ble et utkast til den endelige teksten, som reflekterer kompromisset oppnådd i desember, lekket. Informasjonen og analysen her baserer seg på dette lekkede utkastet.

    Hvorfor trenger vi regler for bruk av kunstig intelligens?

    Kunstig intelligens har potensialet til å skape store gevinster i samfunnet blant annet ved å effektivisere, gi oss ny kunnskap og støtte beslutningsprosesser. Samtidig kan bruken av ikke-pålitelige KI-systemer undergrave våre rettigheter og verdier. Det er derfor nødvendig med et rammeverk som kan sikre at de systemene som tas i bruk er utviklet i tråd med våre verdier. Målsetningen til KI-forordningen er nettopp dette. I det nyeste utkastet til forordningen beskrives målet som å øke bruken av menneskesentrisk og pålitelig kunstig intelligens og sikre et høyt nivå av beskyttelse for helse, sikkerhet, fundamentale rettigheter, demokrati, miljøet og rettssikkerheten fra de skadelige effektene av slike systemer.


    Forordningen gjelder for

    • Leverandører som setter i bruk KI-systemer eller setter KI-systemer eller grunnmodeller på markedet
    • Brukere av KI-systemer etablert eller lokalisert i EU.
    • Leverandører og brukere utenfor EU, hvis deres KI-systems utdata brukes innenfor EU.
    • Importører og distributører av KI-systemer.
    • Produktprodusenter som integrerer KI-systemer i/med sine produkter under sitt eget navn eller varemerke.
    • Autoriserte representanter i EU for leverandører som ikke er etablert i EU.
    • Personer i EU som er berørt av disse KI-systemene.

    Definisjonen av kunstig intelligens

    Det har vært mye spenning knyttet til å få en juridisk definisjon av kunstig intelligens. I det nyeste utkastet er definisjonen følgende:

    «AI system is a machine-based system designed to operate with varying levels of autonomy and that may exhibit adaptiveness after deployment and that, for explicit or implicit objectives, infers, from the input it receives, how to generate outputs such as predictions, content, recommendations, or decisions that can influence physical or virtual environments»

    I tillegg til definisjonen har EU i fortalepunkt 6 nærmere angitt hva som kjennetegner et KI-system:

    "The notion of AI system in this Regulation should be clearly defined and closely aligned with the work of international organisations working on artificial intelligence to ensure legal certainty, facilitate international convergence and wide acceptance, while providing the flexibility to accommodate the rapid technological developments in this field. Moreover, it should be based on key characteristics of artificial intelligence systems, that distinguish it from simpler traditional software systems or programming approaches and should not cover systems that are based on the rules defined solely by natural persons to automatically execute operations.

    A key characteristic of AI systems is their capability to infer. This inference refers to the process of obtaining the outputs, such as predictions, content, recommendations, or decisions, which can influence physical and virtual environments and to a capability of AI systems to derive models and/or algorithms from inputs/data. The techniques that enable inference while building an AI system include machine learning approaches that learn from data how to achieve certain objectives; and logic- and knowledge-based approaches that infer from encoded knowledge or symbolic representation of the task to be solved. The capacity of an AI system to infer goes beyond basic data processing, enable learning, reasoning or modelling.

    The term machine-based refers to the fact that AI systems run on machines. The reference to explicit or implicit objectives underscores that AI systems can operate according to explicit defined objectives or to implicit objectives. The objectives of the AI system may be different from the intended purpose of the AI system in a specific context.

    For the purposes of this Regulation, environments should be understood as the contexts in which the AI systems operate, whereas outputs generated by the AI system, reflect different functions performed by AI systems and include predictions, content, recommendations or decisions.

    AI systems are designed to operate with varying levels of autonomy, meaning that they have some degree of independence of actions from human involvement and of capabilities to operate without human intervention. The adaptiveness that an AI system could exhibit after deployment, refers to self-learning capabilities, allowing the system to change while in use. AI systems can be used on a stand-alone basis or as a component of a product, irrespective of whether the system is physically integrated into the product (embedded) or serve the functionality of the product without being integrated therein (non-embedded)."

    • KI-systemer og modeller utviklet og brukt utelukkende for vitenskapelig forskning og utvikling.
    • Bruk av KI-systemer av privatpersoner i rent personlige og ikke-profesjonelle sammenhenger.
    • Forsknings-, testings- og utviklingsaktiviteter for KI-systemer eller modeller før de lanseres på markedet eller tas i bruk, forutsatt at disse følger gjeldende EU-rett
    • KI-systemer brukt utelukkende for militære formål, forsvar eller nasjonal sikkerhet, uansett hvilken type enhet som bruker dem.
    • KI-systemer som ikke er lansert på markedet eller brukt i EU, men hvis utdata brukes i EU for militære formål, forsvarsformål eller for nasjonal sikkerhet.
    • Bruk av KI-systemer av offentlige myndigheter i tredjeland eller internasjonale organisasjoner innenfor rammen av internasjonalt samarbeid eller avtaler om rettshåndhevelse og juridisk samarbeid med EU eller medlemsstatene, gitt at tilstrekkelige garantier for beskyttelse av grunnleggende rettigheter og friheter er på plass.
    • KI-systemer tilgjengeliggjort under frie og åpne kildekodelisenser (open source), med noen unntak i artikkel 2 (5g)

    Risikobasert tilnærming

    Den foreslåtte KI-forordningen tar en risikobasert tilnærming til reguleringen av KI. Dette innebærer at kravene et system må oppfylle vil avhenge av hvor stor risiko systemet utgjør. Det er i utgangspunktet to risikonivåer; uakseptabel risiko og høyrisiko. I tillegg er det noen sporadiske krav som gjør seg gjeldende for systemer som faller utenfor disse kategoriene, som noen ganger omtales som systemer med minimal risiko.

    Uakseptabel risiko

    Noen få KI-systemer strider mot EU verdier fordi de bryter med grunnleggende rettigheter. Slike systemer vil bli forbudt. Oversikten over forbudte systemer finnes i artikkel 5 av forordningen. Eksempler på forbud er:

    • KI-systemer som forsøker å påvirke brukerens underbevissthet eller som bevisst anvender manipulerende eller villedende teknikker, med hensikt å forvrenge adferden til enkeltpersoner eller grupper.
    • KI-systemer som utnytter sårbarheter hos personer eller grupper på bakgrunn av alder, funksjonsnedsettelse eller en spesifikk sosial eller økonomisk situasjon, med hensikt å forvrenge adferden til enkeltpersoner eller grupper på en skadelig måte.
    • Å sette i bruk eller på markedet biometriske kategoriseringssystemer som kategoriserer enkeltpersoner basert på deres biometriske data for å utlede rase, politiske meninger, fagforeningsmedlemskap, religiøse eller politiske overbevisninger eller seksuelle opplysninger (med visse unntak for rettshåndhevelse)

    Høyrisiko

    Systemer kategoriseres som høyrisiko-systemer hvis:

    • Det inngår som en sikkerhetskomponent i et produkt eller systemet selv er et produkt som:
      • Reguleres av regelverket opplistet i Annex II, og
      • Må undergå tredjepartssertifisering etter regelverket i Annex II
    • Det er et system som er listet opp i Annex III, og som ikke unntas etter artikkel 6 (2a). Eksempler på disse er:
      • Systemer som brukes for fjernbiometrisk identifikasjon
      • Systemer som brukes som sikkerhetskomponenter i kritisk infrastruktur
      • Systemer som brukes i ansettelsesprosesser eller i prosesser som knytter seg til jobbstatus

    Transparenskrav for visse systemer

    For systemer som ikke faller inn under høyrisiko definisjonen vil det i noen tilfeller være krav om transparens. Dette er eksempelvis for systemer som genererer syntetisk lyd, bilder eller video. Målet med disse kravene er at brukeren av slike systemer skal forstå at de bruker/samhandler med et KI-system. Leverandører av slike systemer må sikre at innholdet merkes som KI-generert. Dette kravet gjelder også for brukere av følelsesgjenkjenningssystemer og biometriske kategoriseringssystemer. Kravene til disse systemer er beskrevet i artikkel 52 av forordningen.

    Minimal eller ingen risiko

    Systemer som verken faller innenfor kategorien uakseptabel risiko eller høyrisiko og heller ikke er underlagt åpenhetsforpliktelser, kan betegnes som systemer med minimal risiko. Dette er for eksempel programmer som KI-drevne videospill eller spamfiltre. For systemer med minimal risiko, stiller ikke KI-forordningen krav. Imidlertid oppfordres tilbydere til å følge frivillig etiske retningslinjer.

    Forpliktelser for høyrisiko-systemer

    De fleste kravene i KI-forordningen gjelder bare for høyrisikosystemer. Før et høyrisiko KI-system kan gjøres tilgjengelig på EU-markedet, må leverandører gjennomføre en samsvarsvurdering. Denne skal vise at det aktuelle systemet overholder de obligatoriske kravene, slik som krav til datakvalitet, dokumentasjon og sporbarhet, åpenhet, menneskelig tilsyn, nøyaktighet og robusthet. Dersom systemet eller dets formål vesentlig endres, vil vurderingen måtte gjentas. For enkelte KI-systemer vil også et uavhengig organ måtte involveres i denne prosessen for å gjennomføre tredjepartssertifisering.

    Leverandører av høyrisiko KI-systemer vil måtte iverksette kvalitets- og risikostyringssystemer for å sikre at de overholder de nye kravene. Dette inkluderer systemer for å føre tilsyn med KI-systemene etter at de blir satt på markedet.

    Standarders rolle i forordningen

    KI-forordningen legger opp til en utstrakt bruk av standarder. Faktisk sier artikkel 40 at dersom standarder anvendes vil det foreligge en presumsjon om samsvar med kravene i forordningen. Det foregår nå et arbeid hos CEN/CENELEC for å utarbeide standarder for utviklingen av kunstig intelligens.

    Forpliktelser for grunnmodeller

    I KI-forordningen defineres General Purpose AI Models som

    «an AI model, including when trained with a large amount of data using self-supervision at scale, that displays significant generality and is capable to competently perform a wide range of distinct tasks regardless of the way the model is placed on the market and that can be integrated into a variety of downstream systems or applications»

    På norsk bruker vi ofte ordet grunnmodeller om slike modeller. KI-forordningen stiller i artikkel 52 særlige krav til leverandører av grunnmodeller. Leverandører av grunnmodeller skal blant annet:

    • Utarbeide og kontinuerlig oppdatere den tekniske dokumentasjonen for modellen, inkludert trenings- og testprosesser samt evalueringens resultater.
    • Utarbeide, oppdatere og gjøre informasjon og dokumentasjon tilgjengelig for andre leverandører som ønsker å integrere grunnmodellen i sitt system. Denne dokumentasjonen skal muliggjøre at andre leverandører oppfyller forordningens krav.
    • Implementere retningslinjer for å overholde EU's opphavsrettslovgivning.
    • Utarbeide og offentliggjøre et detaljert sammendrag om treningsdataen.

    Forordningen stiller ytterligere krav til grunnmodeller som innebærer systemiske risikoer, definert som:

    «a risk that is specific to the high-impact capabilities of general-purpose AI models, having a significant impact on the internal market due to its reach, and with actual or reasonably foreseeable negative effects on public health, safety, public security, fundamental rights, or the society as a whole, that can be propagated at scale across the value chain.»

    En grunnmodell skal klassifiseres med systemiske risikoer hvis:

    • Den har høy påvirkningsevne, vurdert basert på relevante tekniske verktøy og metoder.
    • Kommisjonen har bestemt at en grunnmodell har en påvirkningsevne som er ekvivalent med ovennevnte punkt.

    Det antas også at en grunnmodell har høy påvirkningsevne når den samlede mengden av beregninger brukt til dens trening, målt i flyttallsoperasjoner (FLOPs), overstiger 10^25.

    For leverandører av grunnmodeller med systemisk risiko gjelder blant annet følgende krav:

    • Leverandører skal utføre en evaluering av modellen i henhold til standardiserte protokoller og verktøy, inkludert gjennomføring og dokumentasjon av motstandsdyktig testing (adversarial testing) for å identifisere og redusere systemiske risikoer.
    • Leverandører skal vurdere og redusere mulige systemiske risikoer på EU-nivå, inkludert kildene til disse risikoene
    • Leverandører skal spore, dokumentere og rapportere relevant informasjon om alvorlige hendelser og mulige korrigerende tiltak til KI-kontoret og, når det er hensiktsmessig, til nasjonale kompetente myndigheter.
    • Leverandører skal sikre et tilstrekkelig nivå av cybersikkerhet for grunnmodellen og dens fysiske infrastruktur.

    Regulatoriske sandkasser

    Medlemsstatene er forpliktet til å opprette minst én regulatorisk sandkasse på nasjonalt nivå innen 24 måneder etter regelverkets ikrafttredelse. Disse sandkassene kan også opprettes i samarbeid med andre medlemsstater. Sandkassene skal tilby et kontrollert miljø for å fremme innovasjon, fasilitere utvikling, testing og validering av innovative KI-systemer før de plasseres på markedet. Det er et krav at medlemsstatene allokerer tilstrekkelige ressurser til markedsovervåkningsmyndighetene for å kunne etterleve kravene i artikkel 53.

    Markedsovervåkningsmyndighetene skal gjennom sandkassene gi veiledning, tilsyn og støtte for å identifisere risikoer, med særlig fokus på grunnleggende rettigheter, helse og sikkerhet. Formålet med sandkassene er blant annet å bidra til juridisk klarhet for å kunne etterleve kravene i regelverket, støtte delingen av beste praksis, fremme innovasjon og konkurranseevne og oppnå raskere markedsadgang, spesielt for små og mellomstore bedrifter og oppstartsbedrifter.

    Deltakere i sandkassen forblir ansvarlige for brudd på forordningen, men her skal markedsovervåkningsmyndigheten utvise skjønn hvor fokuset skal være på å fremme KI-innovasjon i EU. Deltakere kan også bli erstatningsansvarlige for skade på tredjeparter, men gitt at de følger planen og vilkårene for deres deltakelse og følger veiledningen gitt av markedsovervåkningsmyndigheten i god tro, skal de ikke bøtelegges.

    Håndheving av forordningen

    Håndhevelsen av forordningen vil skje gjennom samspillet mellom de følgende organene:

    • EU-nivå: Kontoret for kunstig intelligens (AI Offfice)
    • EU-nivå: Kunstig intelligens styre (AI board)
    • Nasjonalt: Markedsovervåkningsmyndigheter
    • Nasjonalt: Akredditeringsorganer
    • Nasjonalt: Kontrollorganer

    I det følgende vil vi gi en kort beskrivelse av hver av disse organer og deres rolle i håndhevelsen av forordningen.

    Europeisk KI-styre (Artificial Intelligence Board)

    Styrets hovedoppgaver vil være å støtte og veilede medlemslandene, nasjonale tilsynsmyndigheter og relevante EU-instanser for å sikre effektiv implementering og konsistent bruk av forordningen. Det skal også støtte kommisjonens arbeid med å heve kompetansen og den offentlige oppmerksomheten rundt kunstig intelligens, med fokus på en forståelse for fordelene, risikoene og rettighetene som gjør seg gjeldende.

    Kontoret for Kunstig intelligens (AI Office)

    På EU-nivå skal det også etableres et kontor for kunstig intelligens. Kontoret har et spesielt ansvar når det gjelder håndheving av kravene til grunnmodeller. I disse tilfellene har kontoret fullmakt til å fungere som en markedsovervåkningsmyndighet når de skal føre tilsyn med slike modeller. Kontorets myndigheter og oppgaver finnes blant annet i artikkel 68f flg.

    Markedsovervåkningsmyndighet

    Hver medlemsstat skal oppnevne minst en markedsovervåkningsmyndighet (market surveillance authority) som nasjonal kompetent myndighet. Disse myndighetene skal sikre implementeringen og etterlevelsen av forordningen. I tillegg til myndighetene som medlemsstatene selv skal utpeke, er det allerede bestemt i forordningen hvem som skal være markedsovervåkningsmyndighet for bestemte systemer. Dette gjelder for finansielle institusjoner, politimyndigheter og KI-systemer omfattet av rettsaktene som er inntatt i Annex II del A.

    En av markedsovervåkningsmyndighetene skal også fungere som hovedkontaktpunktet for forordningen(Single Point of Contact). Dette er ment for å øke organisasjonseffektiviteten i medlemsstatene og etablere et klart kontaktpunkt for offentligheten og andre interessenter.

    Markedsovervåkningsmyndighetene skal ha tilstrekkelige ressurser og ekspertise for å kunne gjennomføre sine oppgaver effektivt. Dette innebærer blant annet ekspertise i cybersecurity, fundamentale rettigheter og helse- og sikkerhetsrisikoer.

    Markedsovervåkningsmyndigheten kan gi veiledning og råd for hvordan forordningen skal etterleves, særlig til små og mellomstore bedrifter.

    Akkrediteringsorgan (Notifying authority):

    Akkrediteringsorganets hovedoppgave er å etablere og overvåke organene som håndterer samsvarsvurderinger (kontrollorganer). I denne sammenhengen skal de sikre at disse har nødvendig kompetanse og ressurser. Akkrediteringsorganets ansvarsområder inkluderer blant annet å:

    • Å utpeke og vurdere kontrollorganer
    • Samarbeide med andre medlemsstater for å utvikle prosedyrer for disse vurderingene
    • Sikre uavhengighet og objektivitet i arbeidet for å unngå interessekonflikter
    • Sikre konfidensialiteten av informasjonen de mottar
    • Sikre at vurderingen av samsvarsvurderinger utføres på en grundig og rettidig måte

    Kontrollorganer (Notified Body)

    Kontrollorganer skal evaluere samsvarsvurderingene til høyrisikosystemer etter prosedyren beskrevet i artikkel 43. Deres ansvarsområde omfatter blant annet å:

    • Imøtekomme nødvendige krav til organisering, kvalitetssikring, ressurser og prosess
    • Sikre uavhengighet, objektivitet og upartiskhet i deres aktiviteter
    • Ha tilstrekkelig intern kompetanse for å evaluere oppgaver utført av tredjeparter på deres vegne
    • Tilgjengeliggjøre relevant dokumentasjon for akkrediteringsorganet

    Tidslinje

    Forordningen har ennå ikke blitt formelt vedtatt. Derfor vil den angitte tidslinjen først settes i gang etter dette.

    Forordningens krav vil gjelde for visse systemer på ulike tidspunkter. Implementeringsplanen er som følger:

    • Generelt vil forordningen tre i kraft etter 24 måneder, med følgende unntak:
      • Forbudte systemer: Etter 6 måneder.
      • Akkrediteringsorgan og kontrollorganer, håndhevelsesmyndigheter, regler for grunnmodeller og gebyrer: Etter 12 måneder.
      • Høyrisikosystemer etter Annex II: Etter 36 måneder.
      • Høyrisikosystemer som brukes av offentlige myndigheter: 4 år
      • For systemer som er komponenter i storskala IT-systemer etablert etter reguleringene listet i Annex IX og som er plassert på markedet innen 12 måneder etter forordningens ikrafttredelse: Innen 2030