KI-verktøy for identifisering av digitaliseringstiltak

Faglig rammeverk

Oppgaven har paralleller til akademiske prosesser som metaanalyser og systematiske litteraturgjennomganger, hvor forskere håndterer store mengder ustrukturert informasjon. Dette er arbeidsintensive prosesser som krever både teknisk og kognitiv innsats. I studier vi har funnet ser vi at motivasjonen for å bruke KI-verktøy spenner fra tidsoptimalisering i banksektoren (Seongkuk et al.) via effektivisering av informasjonsuttrekk fra store COVID-19-databaser (Papadopoulos et al) til beslutningsstøtte innenfor kreftbehandling (Adamson et al.).

En artikkel publisert i Journal of Big Data viser hvordan KI-teknikker brukes til å analysere og trekke ut informasjon fra ustrukturerte dokumenter – inkludert vitenskapelige artikler, rapporter og skjemaer (Mahadevkar et al.). Studien fremhever at KI kan identifisere mønstre i store dokumentmengder, forbedre beslutningsgrunnlag i strategisk planlegging og automatisere innsikt fra både trykte og håndskrevne dokumenter.

Utfordringer og begrensninger

En utfordring vi kjenner oss igjen i, er knyttet til varierende dokumentoppsett og layout. Vi kan legge til varierende grad av detaljering og manglende konsistens i omtalen av tiltak og/eller initiativer. En virksomhet kan for eksempel endre navn på et initiativ underveis, eller bare beskrive tiltaket eller initiativet uten å navngi det.

Felles for studiene vi har funnet er et ønske om effektivt å frembringe strukturert kunnskap fra ustrukturerte og semistrukturerte dokumenter, enten det gjelder kliniske notater og radiologirapporter i helsesektoren eller finansielle dokumenter i banksektoren.

Tekniske utfordringer ved PDF-behandling

Til tross for betydelige fremskritt i arbeidet med språkmodeller finnes det fortsatt en rekke utfordringer som hemmer utviklingen av universelt robuste og skalerbare systemer for informasjonsuttrekk. Et sentralt problem ligger i den iboende kompleksiteten og variasjonen i PDF-dokumenter. Disse dokumentene har ofte ujevn formatering, uregelmessige oppsett og strukturell heterogenitet – ikke bare mellom ulike fagområder, men også innen samme dokument (Edwards; Atagong et al.; Zhu & Cole; Ahmed & Afzal).

Denne inkonsistensen gjør det vanskelig å utvikle uttrekksystemer som fungerer godt på tvers av formater. Denne utfordringen gjelder også informasjonsuttrekk fra Kudos-databasen, da formatet på dokumentene som hentes ut derfra også er PDF.

PDF-formatet ble opprinnelig utviklet for visuell presentasjon, ikke for strukturert datarepresentasjon, noe som i seg selv gjør det utfordrende å trekke ut tekst og strukturelle elementer som tabeller, figurer og seksjonshierarkier.

Språklige utfordringer

I tillegg kommer utfordringer knyttet til språket i seg selv. Naturlig språk er ofte preget av tvetydighet og kontekstavhengighet, legg dertil domenespesifikt språk, fagterminologi og forkortelser. Disse faktorene gjør det ofte vanskelig for generelle språkmodeller å tolke korrekt (Li et al.; Sebök & Kiss). For å forstå språket vil det derfor ofte kreves ekspertise innen fagområdet, og muligens tilpassede språklige ressurser og/eller egentrente modeller.

Erfaringer fra testing av KI-verktøy til identifisering av digitaliseringstiltak

I det følgende oppsummeres våre konkrete erfaringer med bruk av KI-verktøy for identifisering av digitaliseringstiltak i strategidokumenter tilgjengelig på Kudos, på virksomhetenes nettsteder eller tilsendt oss fra virksomheten selv. Testingen omfattet 58 dokumenter. En egen applikasjon utviklet av Digdir ble benyttet, med et tredelt brukergrensesnitt som muliggjorde opplasting, dialog med KI-modell og dokumentgjennomgang. Applikasjonen er bygget på en RAG-arkitektur (Retrieval-Augmented Generation) som gjør det mulig å kombinere språkmodellens generelle språkforståelse med søk i en autoritativ kunnskapsdatabase. Testene benyttet både GPT-4.1-mini og GPT-4.1 (GPT-5 var ikke lansert på testtidspunktet), uten vesentlige forskjeller i ytelse.

For enkelthetens skyld bruker vi betegnelsen KI-verktøy, om applikasjonen utviklet av Digdir. KI-verktøyet inkluderer KI-modellene (GPT-4.1 mini eller GPT-4.1). Når vi f.eks. omtaler at KI-verktøyet var upresist eller kom med feilaktige opplysninger, er det KI-modellene brukt, vi mener.

Hovedutfordringer

Testingen avdekket fem gjentakende hovedutfordringer som påvirket kvaliteten og påliteligheten i KI-verktøyets analyser:

Identifisering av eksplisitte digitaliseringstiltak

KI-verktøyet hadde gjennomgående vanskelig med å identifisere eksplisitte digitaliseringstiltak i dokumentene. Det hadde en tendens til å trekke ut generelle muligheter og potensialer for digitalisering, fremfor konkrete tiltak, og allikevel benevne disse som eksplisitte tiltak. Det hadde med andre ord vanskeligheter med å skille mellom faktiske tiltak og løse formuleringer som beskriver potensialer eller bredere temaer. I flere tilfeller måtte KI-verktøyet korrigeres til å «erkjenne» at det ikke fantes eksplisitte tiltak.

Eksempel: I «Bevaringsstrategi for landbrukets kulturmiljø» klarte KI-verktøyet ikke å finne eksplisitte digitaliseringstiltak. Etter gjentatte gjennomganger korrigerte modellen sin opprinnelige, mer optimistiske vurdering og bekreftet at dokumentet ikke inneholder konkrete digitaliseringstiltak, men kun omtaler bredere temaer rundt kulturmiljø og bevaring.

Dette illustrerer et generelt fenomen, hvor KI-modeller prøver å gi et svar selv når de ikke har tilstrekkelig grunnlag. Det er det vi ofte kaller hallusinasjon i kunstig intelligens. Disse hallusinasjoner oppstår fordi trenings- og evalueringsmetodene belønner gjetting fremfor å innrømme usikkerhet. Modeller scorer høyere når de gjetter, selv om svaret er feil, enn når de sier «jeg vet ikke».

Slike hallusinasjoner er som sådan ikke mystiske, de oppstår som en naturlig konsekvens av trening. Modellen er optimalisert til å være en god testtaker, ikke nødvendigvis en sannferdig informasjonskilde. I artikkelen «Why language models hallucinate» kommer forfatterne med følgende eksempel: Tenk på det som en flervalgsprøve. Hvis du ikke vet svaret, men gjetter tilfeldig, kan du være heldig og få rett. Hvis du lar det være tomt, garanteres du null poeng. På den samme måten, når modeller bare blir vurdert for nøyaktighet og prosentandelen av spørsmål de får helt riktig, blir de oppmuntret til å gjette i stedet for å si «Jeg vet ikke» (Kalai et al.).

Feilaktige kildehenvisninger

Sidetallsreferanser fra KI-verktøyet var gjennomgående upresise eller feilaktige. Dette var et gjennomgående problem på tvers av alle dokumentgrupper. Typisk stemte ikke sidetallene som ble oppgitt av KI-verktøyet overens med hvor teksten faktisk befant seg i dokumentene. Dette påvirket påliteligheten i uttrekkene og gjorde kvalitetssikring vanskelig. Feilaktige henvisninger svekket sporbarheten og tilliten til resultatene.

Konsekvensen var at testeren måtte være systematisk skeptisk til alle referanser og gjennomføre grundig manuell verifisering.

Dette problemet kan trolig også til dels tilskrives fenomenet hallusinering nevnt over. Når testeren ber om sidetallsreferanser, vil modellen forsøke å gi et svar, også selv om den ikke har tilgang til sidetallsdata. Dette fører til oppdiktede sidetall og/eller referanser som virker plausible, men ikke stemmer. Grunnen til at den ikke har tilgang til sidetallsdata kan tilskrives et fenomen vi var inne på tidligere knyttet til pdf-formatet. Sidetall er ikke alltid kodet som metadata i dokumentet og teksten kan være delt opp i fragmenter, flytende bokser eller lagret som bilde.

KI-modeller har også et maksimalt antall tokens de kan prosessere samtidig, kjent som kontekstvindu (Ding et al.). Når dokumentet er for langt, må det deles opp i mindre biter (chunking) for å kunne behandles. Dette kan føre til tap av dokumentstruktur, inkludert sidetall. Eller sagt på en annen måte, modellen behandler hver bit isolert, uten å vite hvor i dokumentet den hører hjemme.

Manglende avgrensning av søkeområde

KI-verktøyet overholdt ikke instruksjoner om å begrense søket til ett spesifikt dokument, men forsøkte ofte å utvide søket til flere dokumenter enn angitt, til tross for eksplisitte instruksjoner. Noen ganger overholdt den begrensningen på første søk, mens etterfølgende søk ble utvidet. Dette skjedde uten opplysning eller varsel til brukeren. Utvidelsen av søket skapte usikkerhet om kilden til informasjonen og det krevdes gjentatte korrigeringer og presiseringer i instruksjonene for å imøtekomme dette. Noen ganger uten suksess.

Konsekvensen var svekket tillit til hvor informasjonen faktisk kom fra og om funn virkelig tilhørte det aktuelle dokumentet.

Årsaken til at KI-verktøyet ikke overholdt instruksjoner om å begrense søket til ett spesifikt dokument, kan skyldes flere forhold. Heo et al. skriver at store språkmodeller, som brukes i KI-agenter, kan ha en intern representasjon av hvorvidt de «vet» at de følger en instruksjon, men denne evnen er sensitiv for hvordan instruksjonen er formulert og hvilken kontekst den gis i. Dette betyr at selv om KI-verktøyet forstår og følger den første instruksjonen, så kan den i senere steg «glemme» eller feiltolke tidligere kontekst, spesielt hvis nye kommandoer ikke eksplisitt gjentar begrensningene.

En annen forklaring kan være såkalt «prompt drifting», som er en gradvis forskyvning i hvordan modellen tolker brukerens intensjoner. Selv små endringer i prompten kan føre til at modellen endrer strategi eller ignorerer tidligere begrensninger (Wu et al.; OscarSosa.ai).

Problemer med nøyaktighet og ordrett gjengivelse

KI-verktøyet slet med å gjengi tekst ordrett til tross for spesifikke krav om dette. Dette gjaldt blant annet når den ble bedt om å gjengi nøyaktig sitat. I noen tilfeller reproduserte KI-verktøyet bokstavfeil fra prompten, som med vilje var lagt inn, noe som indikerte manglende selvstendig lesing. KI-verktøyet parafraserte eller kombinerte informasjon på måter som skapte misforståelser. Disse feil ble først identifisert gjennom grundig kvalitetssikring.

Teknisk ustabilitet

Vi opplevde at KI-verktøyet krasjet eller ble ustabilit, særlig ved behandling av større dokumenter. Flere dokumenter, spesielt omfattende strategidokumenter, førte til krasj. Verktøyet ga ufullstendige eller avbrutte svar ved store dokumentmengder. Omstart var nødvendig i flere tilfeller. Ustabiliteten økte ved langvarige søk.

Løsningen ble å dele opp dokumenter i mindre enheter for å oppnå mer stabile og fullstendige resultater.

Faktorer som påvirket resultatene

Dokumentkarakteristika

• Strukturell heterogenitet. Varierende dokumentoppsett og layout på tvers av dokumenter
• Grad av detaljering. Stor variasjon i hvor detaljert tiltak ble beskrevet
• Navngivning av tiltak. Manglende konsistens i omtalen av tiltak – noen virksomheter endret navn på initiativer underveis eller beskrev tiltak uten å navngi dem
• Dokumentstørrelse. Større dokumenter økte risikoen for teknisk ustabilitet

Promptdesign

• Strenge instruksjoner. Klare og presise instruksjoner forbedret modellens evne til å fokusere på riktig dokument og relevante tiltak
• Gjentatte presiseringer. Det var ofte nødvendig med flere runder med korrigeringer for å oppnå tilfredsstillende resultater
• Avgrensning. Selv med strenge instruksjoner fortsatte modellen å søke utenfor angitte dokumenter

Tiltak for forbedring

Implementerte løsninger for forbedring

• Oppdeling av dokumenter. Store dokumenter ble delt i mindre enheter for å unngå krasj
• Iterativ promptjustering. Kontinuerlig tilpasning og forsterking av instruksjoner
• Manuell kvalitetssikring. Systematisk verifisering av alle funn

Potensielle fremtidige forbedringer

Under Digdirs hackaton i forbindelse med videreutvikling av Kunnskapsassistenten ble det utviklet en demo som introduserte en ekstra KI-agent med utelukkende valideringsoppgaver. En slik tilnærming vil trolig kunne minimere behovet for manuell validering betydelig, og muligens gjøre den helt overflødig.

Konklusjon

Testingen av totalt 58 dokumenter viser at identifisering av digitaliseringstiltak i strategidokumenter basert på det KI-verktøy vi hadde til rådighet, har visse utfordringer:

Generelle funn

De fleste dokumenter inneholder få eksplisitte digitaliseringstiltak merket som «tiltak» eller «initiativ». Digitalisering omtales oftere som tema, potensial eller underliggende mulighet uten detaljerte tiltakslister. KI-verktøyet har gjennomgående problemer med å holde seg innenfor angitte dokumenter og sidetallshenvisninger er systematisk upålitelige. Teknisk ustabilitet krever oppdeling av større dokumenter.

Kvalitetssikring

Manuell kvalitetssikring har vært nødvendig for å verifisere og korrigere KI-genererte resultater. Selv med klare og presise instruksjoner klarer ikke KI-verktøyet å lese og gjengi tekst ordrett på pålitelig vis uten omfattende veiledning.

Potensial

I dokumenter med tydelig definerte og eksplisitt merkede tiltak, kan KI-verktøyet bidra til å strukturere informasjon. En automatisert valideringsagent kan potensielt forbedre resultatene betydelig. Den omtalte demo utviklet under Digdirs hackaton september 2025 inneholder en sånn valideringsagent og inneholder for øvrig ny funksjonalitet som potensielt kan løse mange av de utfordringer vi opplevde i denne test.

Anbefaling

Inntil videre kreves menneskestyrt kvalitetssikring og validering for å sikre pålitelighet. Videre utvikling av verktøyet (potensielt Kunnskapsassistenten) bør fokusere på kvalitetssjekk, forbedret kildehenvisning, bedre avgrensning av søkeområde og økt nøyaktighet i tekstgjengivelse.

Funn fra bruk av KI-verktøyet til identifisering av trender og fellestrekk i sektorens dokumenter

Hovedfokuset under vår test av KI-verktøy var, hvorvidt KI-verktøy kunne hjelpe oss med å identifisere digitaliseringstiltak i offentlig tilgjengelige strategidokumenter. Som vi har vist er det fortsatt en vei å gå, før dette kan gjøres på en effektiv og pålitelig måte. Underveis i arbeidet ble vi nysgjerrige på, om KI-verktøyet kunne være mer egnet til å identifisere trender og fellestrekk i sektorenes strategidokumenter, altså en mer analytisk funksjon. Blant annet så vi i artikkelen publisert i Journal of Big Data, nevnt over, at KI kan identifisere mønstre i store dokumentmengder, forbedre beslutningsgrunnlag i strategisk planlegging og automatisere innsikt. Vi bestemte oss for å gjøre et innledende forsøk på å undersøke hvordan KI-verktøy kan bistå oss her.

I denne del oppsummerer vi funnene KI-verktøyet gjorde. Testen tok utgangspunkt i strategidokumenter tilgjengelig på Kudos, på virksomhetenes nettsteder eller tilsendt oss fra virksomheten selv. På grunn av teknisk ustabilitet ved store dokumenter, ble det underveis klart at testen måtte gjennomføres på sammendrag av de omtalte 58 dokumenter. Vi instruerte KI-verktøyet til å lage sammendragene, som deretter ble kvalitetssjekket og, hvor behov, justert. Det tas allikevel forbehold for at KI-verktøyet både kan ha utelatt sentral informasjon og/eller ha hallusinert, og at menneskelig sjekk ikke har fanget opp dette. Modellen brukt i testen var GPT-4.1.

I «dialog» med oss endte KI-verktøyet opp med en strukturert fremstilling av seks hovedtrender. Vårt inntrykk er at denne fremstilling i hovedtrekk gjenspeiler de sentrale punktene i sammendragene. Samtidig må denne gjennomgangen forstås som et første skritt i å undersøke, hvordan KI-verktøy kan bidra til trendanalyser. Mer omfattende og metodisk arbeid er nødvendig for å validere funnene.

Trender og fellestrekk

Kompetanseutvikling og kulturendring

Strategidokumentene rommer satsinger knyttet til å styrke digital kompetanse – hos ansatte, elever og i industrien. Satsinger favner både kortere og lengre utdanninger, etter- og videreutdanning, og særlig kompetanse knyttet til KI, automatisering og grønt skifte.

Samarbeid mellom utdanningsinstitusjoner, næringsliv og offentlig sektor fremheves som avgjørende for å lykkes. Trepartsprogrammer og bransjesamarbeid nevnes som viktige virkemidler for å sikre rekruttering og kompetanseheving i industrien.

I tillegg til formell kompetansebygging identifiserer KI-verktøyet behov for kulturendring og innovasjonsarbeid. Flere dokumenter peker på etablering av kompetansesentre, kursing og programmer for både ansatte og brukere, samt tiltak som fremmer nytenkning og innovasjonskultur. Dette skjer blant annet gjennom innovasjonshub’er og insentivordninger, med særlig fokus i forsvarssektoren og industrien.

Teknologisk utvikling og innovasjon

Teknologier som automatisering, kunstig intelligens, 3D-printing og utvidet virkelighet nevnes i flere dokument. Det er særlig fokus på implementering og bruk av generativ KI i offentlige tjenester, med vekt på ansvarlig anvendelse og etterlevelse av regelverk. Kunstig intelligens og dataanalyse fremstår som nøkkelkomponenter for effektivisering og innovasjon. Flere dokumenter omtaler etablering av KI-nettverk, opplæringsprogrammer og etiske retningslinjer som skal sikre ansvarlig bruk. KI trekkes frem både som en teknologisk mulighet og som et område som krever kompetansebygging og klare rammer for implementering.

Infrastrukturutvikling, som for eksempel 5G i forsvaret, digital samhandling samt digitale kontroll- og beslutningssystemer er også fremtredende. Industrien satser parallelt på automatisering og digital innovasjon, blant annet gjennom støtteordninger for gründerbedrifter og tiltak som fremmer teknologisk nyskapning.

Brukerorientering og digitale tjenester

KI-verktøyet finner, at strategidokumentene indikerer et styrket brukerfokus i digitaliseringsarbeidet. Målet er å gjøre tjenester mer tilgjengelige og brukervennlige for innbyggere, ansatte og næringsliv. Dette innebærer utvikling av digitale møteplasser, formidlingsløsninger og tjenester som understøtter sømløs mobilitet og samhandling på tvers av sektorer. Det arbeides med digitale tilbakemeldingsverktøy, chatbot-løsninger og enkle, tilgjengelige digitale lærings- og rapporteringssystemer for å forbedre dialog og effektivitet. Særlig innen kultur og opplæring er det fokus på barn og unge, med digitale verktøy for formidling og tilbakemelding. I helsesektoren fremheves styrking av digital samhandling og selvbetjeningsløsninger for pasienter og pårørende, som et viktig grep for å øke tilgjengelighet og kvalitet.

Datadrevet styring og samarbeid på tvers

KI-verktøyet finner at strategidokumentene viser en trend mot styring basert på data og avansert analyse. Det legges vekt på bedre analysetilgang, systematisk informasjonsdeling og robust forvaltning av informasjonssikkerhet. Bruk av digitale verktøy for risikoanalyser, kontrollsamarbeid og kvalitetssikring er gjennomgående, særlig i sektorer med høye krav til presisjon som tolletaten og forsvaret.

I tillegg finner KI-verktøyet, at betydningen av samarbeid på tvers av organisasjoner og sektorer vektlegges. Mange digitaliseringstiltak krever koordinering mellom offentlige og private aktører for å lykkes med datadeling, utvikling av felles løsninger og etablering av standarder.

Regelverk og etikk

Behovet for regelverk som legger til rette for digitalisering, samtidig som innovasjon balanseres med hensyn til personvern og sikkerhet, er et annet element som KI-verktøyet identifiserer. Dette innebærer både tilpasning av eksisterende lover og utvikling av nye rammer som kan håndtere utfordringer knyttet til teknologiutvikling.

Etisk bruk av kunstig intelligens (KI) er et gjennomgående tema, med fokus på tydelige retningslinjer, varsomhetsprinsipper og ansvarlig implementering. Flere dokumenter understreker ifølge KI-verktøyet viktigheten av risikovurdering og transparens, samt etablering av rutiner som sikrer etterlevelse av regelverk.

I tillegg pekes det på behovet for kompetansebygging innen etikk og regelverk for å sikre at digitalisering skjer på en trygg og tillitsvekkende måte.

Grønn digitalisering

Analysen fra KI-verktøyet viste at flere dokumenter understreker digitaliseringens rolle i det grønne skiftet og bærekraftig utvikling. Digital teknologi fremheves som et verktøy for å redusere ressursbruk, effektivisere prosesser og støtte løsninger som bidrar til lavere klimabelastning.

KI-genererte anbefalinger

Vi testet om KI-verktøyet, på bakgrunn av gjennomgangen, kunne komme med anbefalinger til videre arbeid. Dette resulterte i flere tilsynelatende velbegrunnede og ikke minst velformulerte anbefalinger. En av disse anbefalingene gjaldt behov for å styrke samarbeidet på tvers av sektorer. Eksempelvis ved å utvikle tverrsektorielle samarbeidsarenaer for å utnytte synergier i kompetanse og teknologibruk for å få til mer helhetlige og effektive løsninger. Vi spesifiserte ikke i prompten, at KI-verktøyet skulle vurdere hvorvidt eksisterende og/eller planlagte samarbeidsarenaer imøtekommer disse behov.

En annen anbefaling var knyttet til viktigheten av kontinuerlig satsing på digital kompetanse og endringsledelse. Dette gjelder både opplæring av ansatte og utvikling av en kultur som fremmer innovasjon og tilpasning til nye digitale arbeidsformer.

En tredje anbefaling var, at ansvarlig innføring av kunstig intelligens bør innebære etablering av veiledning, etikkråd, innbyggerdialog og rutiner for risikovurdering, slik at nye digitale løsninger kan implementeres på en måte som bygger tillit og sikrer samfunnets verdier.

Oppsummering

KI-verktøyet identifiserte trender og fellestrekk som for eksempel satsing på kompetanseheving, ansvarlig og etisk bruk av KI, digital transformasjon som muliggjør data- og teknologidrevet effektivisering, og en tydelig satsing på brukerorienterte, digitale tjenester med flere. Dette er alt sammen trender som i hovedtrekk samsvarer med vår egen manuelle tekstgjennomgang av de KI-genererte sammendrag, og vår egen usystematiske, og ikke komplette, gjennomgang av strategidokumenter.

Med forbehold for at vår test er relativ simpel, så er det overordnede inntrykk, at KI-verktøyet fungerte relativt bra til å trekke ut trender og fellestrekk. Hvor det i testen med å identifisere digitaliseringstiltak var et problem at KI-verktøyet hadde en tendens til å trekke ut generelle muligheter og potensialer, fremfor konkrete tiltak, forekommer det oss at denne egenskapen var mere nyttig i denne kontekst.

I testen knyttet til å identifisere digitaliseringstiltak nevnte vi at KI-verktøy kan ha problemer med å feiltolke tekst og meningsinnhold på grunn av kontekstavhengighet, domenespesifikt språk, fagterminologi eller forkortelser, (ref. Li et al. og Sebök & Kiss). Vi opplevde ikke dette som et stort problem i denne test. De få gangene vi oppdaget at dette var tilfelle, korrigerte vi, enten i prompten eller direkte i teksten etterfølgende.

Når det gjelder KI-verktøyets anbefalinger, fremstår disse for så vidt relevante, om enn de også i stor grad representerer allerede etablerte perspektiver snarere enn vesentlig nye eller uventede innsikter. Om det skyldes at verktøyet er trent på bredt tilgjengelig materiale og derfor har en tendens til å speile mainstream-tenking, vites ikke. Selv om innsiktene ikke er vesentlig nye, kan vi allikevel ikke utelukke at KI-verktøyet har potensiale til å generere nye perspektiver dersom det gis mer spesifikke eller utfordrende oppgaver, som sammenstilling av motstridende strategier, scenarioanalyse, hypotetisk tenking, eller identifisering av implikasjoner som ikke eksplisitt er nevnt i dokumentene.

Når det gjelder den mer praktiske og tekniske del av testen, så var det et relativt omfattende arbeid å instruere KI-verktøyet til å lage de 58 sammendrag, og ikke minst kvalitetssjekken av disse. Det ble blant annet nødvendig å dele sammendragene opp i grupper på 10 pr. instruksjon, for at KI-verktøyet ikke skulle krasje. Dette ble gjort ved å spesifisere i den innledende prompt, at de 58 sammendrag ville komme i grupper på ti, men at KI-verktøyet skulle se det som en samlet kontekst i analysen. Flere av utfordringene nevnt i del-kapittelet om KI-verktøy til identifisering av digitaliseringstiltak, gjorde seg også gjeldende her. Vi gjentar derfor ikke disse her, men nevner kort, at det krevde en hel del instruering og ikke minst gjentagende justeringer av promptene å få KI-verktøyet til å gjennomføre analysene på en dekkende og troverdig måte.

Avslutningsvis bemerker vi at testen representerer et innledende forsøk på å kartlegge KI-verktøyets anvendelighet. Selv om funnene gir verdifulle perspektiver, kreves det mer grundige analyser for å sikre robusthet og for å vurdere hvordan slike verktøy best kan integreres i fremtidig arbeid.