AI i egen analyse: dokumentation og efterprøvelighed

Forside › Analyse og fortolkning · Gennemgået oktober 2026 · Af John Nielsen

Kort svar: Sprogmodeller kan bruges i forensisk arbejde, fx til at sortere dokumenter, opsummere store mængder tekst, oversætte, foreslå søgninger eller skrive små parsere. Kravene er de samme som til ethvert andet værktøj: brugen skal dokumenteres, så en anden kan efterprøve den, metoden skal valideres til den konkrete opgave, og ingen fund må hvile på modellens output alene. Hvert fund i rapporten skal kunne føres tilbage til et kildeartefakt, som en sagkyndig selv har kontrolleret.

Brugen af AI i dokumentgennemgang set fra advokatens side er beskrevet på AI-værktøjer i dokumentgennemgang. Her gennemgås, hvordan den sagkyndige dokumenterer og validerer sin egen brug.

Hvor sprogmodeller bruges

Opsummering af dokumenter og chats · Risiko: Udeladelser og tilføjet indhold · Kontrol: Stikprøver mod kilden, alle citerede fund verificeres
Klassifikation af relevans · Risiko: Overset relevant materiale · Kontrol: Måling af recall og præcision
Oversættelse · Risiko: Betydningsskift, negationer · Kontrol: Kontrol af citerede passager af en sprogkyndig
Forslag til søgninger og forespørgsler · Risiko: Forkert syntaks, forkerte felter · Kontrol: Test mod kendte data
Scripts og parsere · Risiko: Stille fejl i parsing og tidszoner · Kontrol: Test på datasæt med kendt facit
Udkast til rapporttekst · Risiko: Overdrivelse og upræcise formuleringer · Kontrol: Sagkyndig omskrivning og kontrol

Den grundlæggende skelnen er mellem brug, hvor modellen hjælper med at finde noget, som den sagkyndige derefter selv verificerer, og brug, hvor modellens output indgår direkte som resultat. Den første er relativt let at forsvare. Den anden kræver en validering, der svarer til den, man ville kræve af ethvert andet analyseværktøj; se Verifikation af forensiske værktøjer.

Efterprøvelighed

ISO/IEC 27042 stiller krav om, at analyse og fortolkning skal kunne gentages og efterprøves af en anden kompetent person. Sprogmodeller gør det vanskeligere, fordi de ofte ikke giver samme svar to gange, og fordi tjenester opdaterer modellerne løbende. Se ISO/IEC 27042.

Dokumentér derfor for hver anvendelse:

Model og tjeneste: udbyder, modelnavn, version eller dato og den adgangsvej, der blev brugt.
Indstillinger: fx temperatur og systeminstruktioner, i det omfang de kan styres.
Input: hvilke filer eller hvilket udsnit modellen fik, med hash eller entydig reference.
Prompt: den præcise instruktion.
Output: det fulde svar, gemt uændret.
Kontrol: hvordan output blev verificeret, af hvem og med hvilket resultat.

Med denne dokumentation kan en modparts sagkyndig se, hvad der blev gjort, og selv kontrollere fundene mod kilderne, også selv om modellen ikke kan genskabe præcis samme svar.

Validering af sortering og klassifikation

Når en model bruges til at udvælge relevant materiale, er risikoen, at relevante dokumenter ikke bliver set. Det måles på samme måde som ved technology assisted review: med stikprøver, recall, præcision og en elusion-test af det materiale, modellen frasorterede. Metoden er beskrevet i Validering af AI-assisteret gennemgang. Sorteringens prompt er en del af metoden og skal dokumenteres og holdes fast under hele gennemgangen.

Særlige fejlkilder

Konfabulation: modeller kan producere plausible, men forkerte oplysninger, fx citater, tidspunkter eller filnavne, der ikke findes. NIST’s profil for generativ AI peger på risikoen som en central egenskab ved teknologien.
Udeladelser: en opsummering, der lyder fuldstændig, kan mangle det ene forbehold, der betyder noget.
Instruktioner i bevismaterialet: dokumenter, mails og websider kan indeholde tekst, der er formuleret som instruktioner til en model. Hvis materialet sendes ukritisk til en model, kan den tekst påvirke svaret. Det er endnu en grund til, at modellen ikke kan være kilden til et fund.
Tidsstempler og tal: modeller er upålidelige til at konvertere tidsformater og lægge tal sammen. Lad deterministiske værktøjer gøre det.
Kontekstgrænser: store datamængder deles op, og fund, der kræver sammenhæng på tværs af dele, kan gå tabt.

Et eksempel på dokumenteret brug

Når en sprogmodel fx bruges til at markere beskeder om et bestemt emne i en stor mængde chatbeskeder, kan en forsvarlig fremgangsmåde se sådan ud:

Beskederne udtrækkes med et forensisk værktøj, og eksporten hashes.
En lokal eller kontraktligt afklaret model får en fast instruktion, der beskriver emnet. Instruktionen gemmes med versionsnummer.
Modellen markerer beskederne, og output gemmes uændret med reference til hver besked.
En tilfældig stikprøve af både markerede og umarkerede beskeder gennemgås manuelt, og recall og præcision beregnes.
Alle beskeder, der citeres i rapporten, læses i deres sammenhæng i det forensiske værktøj, ikke i modellens output.
Rapporten beskriver trinene, måltallene og begrænsningerne.

Med den fremgangsmåde er modellen et filter, hvis kvalitet er målt, og fundene hviler på kildedata. Uden trin 4 og 5 ville rapporten bygge på et output, ingen har kontrolleret.

Valg af model og tjeneste

Valget af model er en del af metoden. En model, der kun findes som skiftende cloudtjeneste, kan ikke genkøres på samme version senere, mens en lokal model med fast version og fast konfiguration kan. Det taler for lokale modeller til opgaver, hvor efterprøvelighed vejer tungt, og for cloudtjenester til opgaver, hvor output under alle omstændigheder kontrolleres manuelt. Uanset valget bør modellen være afprøvet på et datasæt med kendt facit af samme type som sagens data, før den bruges, og afprøvningen bør dokumenteres på samme måde som andre værktøjstests.

Databeskyttelse og fortrolighed

Bevismateriale indeholder ofte persondata og forretningshemmeligheder. At sende det til en cloudtjeneste er en behandling, der skal være aftalt med opdragsgiveren og have et grundlag. Afklar, hvor data behandles og opbevares, om udbyderen må bruge data til træning, og hvor længe input og output gemmes. Lokale modeller på en isoleret arbejdsstation undgår en del af problemet, men kræver samme dokumentation. Nielco IT’s rammer for beviskopier er beskrevet på Datasikkerhed under opgaven.

Oplysning i rapporten

Brug af sprogmodeller bør fremgå af rapporten, når den har haft betydning for udvælgelsen af materiale eller for fundene. Beskriv kort, hvilke opgaver modellen løste, hvordan output blev kontrolleret, og hvilke begrænsninger der er. Ren skrivehjælp til sprog og layout behøver ikke samme detaljeringsgrad, men den sagkyndige står inde for hver sætning, uanset hvem der formulerede den første gang. Se Rapportskrivning i digital forensic.

En god tommelfingerregel er, at rapporten skal kunne læses og efterprøves uden adgang til modellen. Hvis en konklusion kun giver mening, fordi modellen sagde det, er konklusionen ikke dokumenteret.

Hvad AI kan og ikke kan i analysen

AI kan gøre store datamængder overskuelige, finde mønstre, man ellers ville overse, og spare tid på rutineopgaver. Den kan ikke erstatte den sagkyndiges egen undersøgelse af de artefakter, konklusionerne bygger på, og den kan ikke bære ansvaret for fundene. Brugt med dokumentation, validering og manuel verifikation er den et værktøj som andre. Brugt uden er den en fejlkilde, som en modpart med rette vil angribe.

Kilder og versioner

Senest gennemgået: oktober 2026.

Næste skridt

Del af: Analyse og fortolkning

Læs også: ERP-udtræk til forensic accounting · Anti-forensics: spor efter sletning og manipulation · Teknisk ordbog

→ Digital forensics-undersøgelse · For sagkyndige · Tlf. 70 13 63 23 · Digital bevissikring hos Nielco IT

Skrevet af John Nielsen, IT‑sagkyndig og indehaver af Nielco IT. Selvstændig siden 2009 og mere end 30 års erfaring med IT‑sikkerhed. Har været IT‑sagkyndig i danske retskredse og ved Den Fælles Europæiske Patentdomstol (UPC). Om John Nielsen · LinkedIn · Redaktionel politik