Bruk av generativ kunstig intelligens i offentlig sektor

Generelle retningslinjer

• Risikovurdering: Før generativ KI tas i bruk i en virksomhet, må det gjøres en risikovurdering. Denne bør sees i sammenheng med virksomhetens øvrige arbeid for informasjonssikkerhet. Det kan være greit å kjenne til de særlige rammeverkene for risikovurdering av kunstig intelligens, som vi beskriver nærmere her.
• Riktig opplæring for brukere: Brukere av generativ KI bør ha tilstrekkelig opplæring og forståelse for å bruke teknologien ansvarlig og effektivt. Dette inkluderer kunnskap om risikoer, samt beste praksis for bruk.
• Vær særlig varsom ved samhandling med innbyggere: I dag er vi i en tidlig fase med generativ KI. Hvis et generativt KI-verktøy skal brukes for samhandling mellom forvaltningen og innbyggerne, vær særlig grundig i risikovurderinger og juridiske vurderinger. Det bør alltid kjøres et pilotprosjekt. Videre vil det være viktig at innbyggeren forstår at det er en KI de samhandler med.
• Ikke bruk sensitiv informasjon i «prompts»: Personopplysninger, taushetsbelagt informasjon, gradert informasjon, informasjon unntatt offentlighet, sikkerhetssensitiv informasjon eller immaterialrettslig vernet informasjon skal ikke brukes til å gi instruksjoner til generative KI-verktøy. Som utgangspunkt må det legges til grunn at informasjonen i et «prompt» blir sendt til selskapet bak verktøyet og vil bli lagret og brukt til videre trening av den underliggende maskinlæringsmodellen. Unntak gjelder dersom du har tilstrekkelig rettslige grunnlag, herunder nødvendig behandlingsgrunnlag og eventuelt overføringsgrunnlag for å behandle denne informasjonen til dette formålet. Det aktuelle selskapets vilkår og personvernerklæring vil kunne si noe mer nøyaktig om hvordan informasjonen behandles.
• Tidskritiske prosesser: De generative KI-systemene har tidvis vært ustabile. Det skyldes blant annet svært høy trafikk til deres servere. Generativ kunstig intelligens bør derfor ikke brukes for tidskritiske prosesser.
• Korrelasjon, ikke kausalitet: Som annen kunstig intelligens, finner generativ KI sammenhenger mellom ulike faktorer i en stor mengde data. Store språkmodeller forstår sammenhenger i språk. En sammenheng betyr imidlertid ikke at det er et årsak-virkning-forhold. Ved bruk av generativ kunstig må en ha et bevisst forhold at det er korrelasjoner som presenteres. Hvorfor presenteres akkurat denne korrelasjonen, og bør en være kritisk til denne? Dette gjelder særlig der en eventuell korrelasjon er knyttet til faktorer som kan lede til diskriminering eller ulovlig forskjellsbehandling. Les mer om dette her.
• Ha et bevisst forhold til ulike grensesnitt for generativ KI: Når en interagerer med en stor språkmodell gjør en ikke dette direkte, men via et grensesnitt. Eksempelvis er ChatGPT et grensesnitt for å interagere med GPT-modellene. Det finnes flere ulike grensesnitt. Noen er offisielle, slik som ChatGPT. Andre er utviklet av tredjeparter. Det finnes flere sikkerhetsrisikoer knyttet til grensesnittene. Eksempelvis kan «promt injection» gjøre at «promptet» blir manipulert. Ved valg av grensesnitt for generativt KI må en derfor ha et kritisk blikk. Er dette fra en aktør jeg kan stole på, og kan «promptet» mitt misbrukes?

Generering av tekst

Særlig om generering av tekst med verktøy slik som ChatGPT, Microsoft Bing Chat og Google Bard.

• Bruk på eksisterende tekst kan være greit: Offentlig sektor bruker mye tid på å behandle tekst. Dette er de store språkmodellene særlig gode på. Bruk de gjerne til å korte ned, lage sammendrag, kulepunkter eller lignende av eksisterende tekst. Et eksempel på dette er å kopiere inn en tekst som er tung å lese og deretter spørre en stor språkmodell om å gjøre den til klarspråk. Husk imidlertid at teksten ikke må inneholde sensitiv informasjon, som pekt på i punkt over.
• Vær varsom ved bruk som oppslagsverk: Store språkmodeller er trent på en enorm mengde tekst. Dette har gitt dem oversikt over strukturer i språk. Treningsdataen inneholder imidlertid også mye faktainformasjon som språkmodellen kan uttrykke. Faktainformasjonen er sånn sett «en bonus», for fokuset for de store språkmodellene er strukturer i språk. Modellene er ikke optimalisert for å gi helt presis faktainformasjon, selv om resultatene tidvis kan være svært imponerende. Bruk modellene derfor med stor varsomhet ved bruk som oppslagsverk. Til dette kommer også at flere språkmodeller ikke har faktainformasjon som er nyere enn for tidspunktet for trening av modellen.
• Husk at svarene ikke nødvendigvis er tilpasset våre verdier: Store språkmodeller og grensesnittene for å interagere med disse (eksempelvis ChatGPT) vil være tilpasset og reflektere verdiene til menneskene som har utviklet disse modellene og verktøyene. Det er ikke gitt at disse verdiene samsvarer med verdiene vi har i vårt samfunn og dette kan reflekteres i svaret.
• Bruk ytterligere verktøy som kan identifisere plagiat: Det finnes flere verktøy som kan bidra til å vurdere om tekstmaterialet som er produsert av en stor språkmodell kan være plagiat. Eksempelvis har enkelte skrivebehandlingsverktøy en «redaktør-funksjon» som kan bidra til å vurdere om tekstmaterialet er plagiert.
• Kvalitetssikre alltid innhold fra store språkmodeller: I tillegg til å påse at materialet ikke er plagiert, bør du alltid lese over og kvalitetssikre. Ikke bruk materialet direkte. Det er du som til slutt er avsender av teksten og skal stå for innholdet!

Generering av bilder

Særlig om generering av bilder med modeller som Midjourney og Dall-E i:

• Rettigheten til inputen: Du må ha tilstrekkelige rettigheter til informasjonen du bruker i «promptet». Rettighetene må blant annet omfatte det å laste opp materialet til serverne til den respektive generative tjenesten. Avhengig av vilkårene til den respektive generative tjenesten, kan dette bety at informasjonen blir lagret et sted og/eller benyttet til ytterligere trene den underliggende maskinlæringsmodellen. I praksis er dette særlig aktuelt der bilder benyttes som input. Flere bildegenereringsverktøy kan benytte både tekst og bilde som input. Eksempelvis tilbyr flere verktøy muligheten for å laste opp et bilde og be om variasjoner av dette.
• Rettighetene til det genererte bildet: Situasjonen rundt rettigheter til genererte bilder er usikker. Det kan stilles spørsmål ved om rettighetene skal tilfalle den som har utviklet KI-systemet ettersom det er systemet som genererer bildet, eller om det er den som har «promptet» systemet. Vilkårene til den aktuelle tjenesten kan gi mer veiledning, men på nåværende tidspunkt bør offentlige virksomheter som benytter KI-generert materiale være bevisst at rettighetssituasjonen er usikker.
• Opplys om at bildene er generert: La mottakeren av bildene forstå at bildene er generert ved hjelp av kunstig intelligens. Dette er særlig viktig der bildene er realistiske, ettersom realistiske bilder kan gi uttrykk for en forståelse av verden, og dermed kan gi bekymring eller kan påvirke meninger på manipulerende måte.
• Husk universell utforming: Dersom KI-genererte bilder benyttes på en nettside, må du, som ved alle andre bilder huske å bruke alt-tekst for å sikre at materialet er tilgjengelig for alle. Dersom det er generert basert på en tekstprompt, vil dette promptet gi et godt utgangspunkt for alt-tekst.

Generering av kode

Særlig om generering av kode med verktøy som GitHub Copilot og ChatGPT:

• Ha et bevisst forhold til at det brukes kodegenerering: KI-assistert kodegenerering behøver ikke å være problematisk, men sørg for at utviklerne har rutiner og opplæring for hvordan verktøyene skal brukes. Det kan være flere sikkerhetsrisikoer. Forskning fra Stanford har vist at utviklere som skriver kode med KI-assistert kodegenerering skriver mindre sikker kode. Den viser også at utviklere som har støttet seg på slike verktøy har større tro på at koden som er skrevet er sikker. Samtidig viser den at utviklere som bruker KI-assisterte verktøy på en kritisk måte produserer kode med færre sårbarheter.
• Ha et bevisst forhold til hvilken språkmodell som benyttes: Det er stor forskjell på hvor bra de ulike store språkmodellene presterer ved kode-generering.
• Skriv i «pull requesten» at du har brukt KI-assistert kodegenerering: La den som skal gjennomgå koden få vite at den er skrevet med KI-assistert kodegenerering. Dette kan bidra til større oppmerksomhet og mer nyanserte tilbakemeldinger. Opplys også om navn og versjon på språkmodellen som er benyttet.
• Husk at sensitiv informasjon ikke må brukes som «prompts»: Som for generativ KI generelt, bør ikke sensitiv informasjon brukes i «prompts». Med sensitiv informasjon mener vi blant annet personopplysninger, taushetsbelagt informasjon, informasjon du ikke har tilstrekkelig rettigheter til og gradert informasjon. For utviklere vil sensitiv informasjon også kunne omfatte ting som API-nøkler og annen sikkerhetsinformasjon.
• Vær bevisst «konteksten»: Populære verktøy som f.eks. Github Copilot mangler muligheten til å ekskludere bestemte filer, slik som miljøvariabler, «security tokens» og testdata. Sørg derfor at slik informasjon er plassert på en slik måte at det ikke utilsiktet blir en del av promptingen/inputen til den KI-assisterte kodegenereringsverktøyet.
• «Prompting» kan være annerledes ved KI-assistert utvikling: KI-verktøy som er bygget inn i et integrert utviklingsmiljø («IDE») eller andre typer koderedigeringsverktøy har potensialet til å kontinuerlig overvåke koden som skrives. Dette krever en større oppmerksomhet enn for verktøy som ChatGPT, hvor du i større grad har kontroll på når «promptingen» skjer.

Trening av grunnmodeller på egen data

En grunnmodell (på engelsk «foundation model») er en forhåndstrent KI-modell som fungerer som et fundament, eller utgangspunkt, for videre tilpasning og trening på spesifikke oppgaver. Store språkmodeller kan regnes som en type grunnmodell. Slike grunnmodeller kan trenes på egen data gjennom såkalt «finjustering», hvor man tar en forhåndstrent grunnmodell og trener den for spesifikke formål eller oppgaver. For eksempel er ChatGPT et grensesnitt for og en finjustering av grunnmodellene GPT-3.5 og GPT-4.

En bedrift kan eksempelvis benytte en grunnmodell som utgangspunkt for en chatbot, og foreta finjusteringer ved hjelp av egne data. På denne måten kan den justerte modellen besvare spørsmål ved hjelp av informasjon som er relevant for den spesifikke virksomheten. En virksomheten som driver med bilsalg, vil eksempelvis kunne tilpasse grunnmodellen slik at den har mer detaljert kunnskap om biler. Modellen kan også trenes til å kommunisere på en måte som er skreddersydd for bedriftens målgruppe. En slik finjustering av en grunnmodell vil som regel gi bedre ytelse, for eksempel i form av nøyaktighet eller generaliseringsevne, enn hvis virksomheten selv skulle trent en modell fra bunnen.

Hvis du tar i bruk slike grunnmodeller og finjusterer på egen/lokal data bør du være oppmerksom på følgende:

• Fordi den endelige modellen vil bruke grunnmodellen som utgangspunkt vil skjevheter som eksisterer i grunnmodellens treningsdata kunne forplante seg videre. Dermed vil risikoen for skjevheter gjenstå selv etter finjustering på det nye datasettet.

• Når man finjusterer grunnmodellen med egen data er det en risiko for at man kan miste grunnmodellens evne til å generalisere eller til å utføre oppgaver som grunnmodellen tidligere var god til, dette fenomenet kalles “catastrophic forgetting”.

• Ofte vil ikke individer eller mindre virksomheter ha store nok datasett til å oppnå en veldig god generell finjustering. Dette kan føre til at modellen overspesialiseres på din data og ikke generaliserer seg godt på data som avviker fra treningsdataen.

• Noen grunnmodeller vil sende din data tilbake til leverandørene av grunnmodellen. Du må derfor være ekstra oppmerksom på de rettslige begrensningene knyttet til din treningsdata.

• Den kommende KI-forordningen foreslår en rekke krav til grunnmodeller. Det kan derfor være nyttig å kjenne til hva utkastene sier i dag, samt å følge forhandlingene i EU, slik at eventuelle krav til bruk og tilpassing av grunnmodeller ikke kommer som en overraskelse. Du kan lese mer om KI-forordningen og kravene til grunnmodeller her.

Om denne siden

Den første versjonen av disse rådene ble publisert på Datalandsbyen i forbindelse med lanseringen av Digitaliseringsdirektoratets veiledning tirsdag 6. juni 2023. Der fikk vi innspill som vi har tatt hensyn til i retningslinjene på denne siden. Retningslinjer for generativ kunstig intelligens vil være nødvendig å diskutere også i tiden fremover. Samtidig ser vi at det allerede nå er viktig å komme ut med noen grunnleggende utgangspunkter for bruk av generativ kunstig intelligens i offentlig sektor.

Vi ønsker fremdeles tilbakemeldinger på retningslinjene. Ta derfor gjerne kontakt med oss på Datalandsbyen med innspill og kommentarer.