Forside › eDiscovery teknisk · Gennemgået oktober 2026 · Af John Nielsen
En AI-assisteret gennemgang er kun så god, som det kan dokumenteres, at den er. Validering betyder, at man med en tilfældig stikprøve måler, hvor stor en andel af de relevante dokumenter processen har fundet (recall), hvor stor en andel af de udvalgte dokumenter der faktisk er relevante (præcision), og hvor mange relevante dokumenter der er tilbage blandt dem, der ikke er gennemgået (elusion). Målingerne angives med en usikkerhed, og metoden fastlægges, før resultatet kendes.
Princippet bag stikprøver, og hvad advokaten bør spørge om, er forklaret på digital-bevissikring.dk: → Stikprøver i store datamængder. Her gennemgås de konkrete mål og beregninger.
De grundlæggende mål
Når en proces deler dokumenter i “udvalgt” og “ikke udvalgt”, kan hvert dokument havne i en af fire grupper:
- Sande positive · Relevante og udvalgt
- Falske positive · Ikke relevante, men udvalgt
- Falske negative · Relevante, men ikke udvalgt
- Sande negative · Ikke relevante og ikke udvalgt
Ud fra dem defineres:
- Recall er andelen af alle relevante dokumenter, som processen har udvalgt: sande positive divideret med summen af sande positive og falske negative. Recall svarer på spørgsmålet: Hvor meget af det relevante fandt vi?
- Præcision er andelen af de udvalgte dokumenter, der er relevante: sande positive divideret med summen af sande og falske positive. Præcision svarer på: Hvor meget støj fulgte med?
- F1 er et samlet mål, der vægter recall og præcision lige.
I eDiscovery er recall normalt det vigtigste mål, fordi det handler om fuldstændighed. Lav præcision koster gennemgangstid, men lav recall betyder, at relevante dokumenter mangler.
Elusion-testen
Recall kan ikke måles direkte, fordi antallet af falske negative er ukendt. Det estimeres med en elusion-test:
- Udtag en tilfældig stikprøve blandt de dokumenter, der ikke er udvalgt (null-sættet).
- Lad en erfaren gennemgår vurdere stikprøven uden at kende modellens score.
- Beregn elusion-raten: andelen af relevante dokumenter i stikprøven.
- Estimér antallet af oversete relevante dokumenter: elusion-raten ganget med null-sættets størrelse.
- Estimér recall: antal fundne relevante divideret med summen af fundne og estimerede oversete.
Et tænkt regneeksempel viser mekanikken: Hvis gennemgangen har fundet 9.000 relevante dokumenter, null-sættet indeholder 200.000 dokumenter, og stikprøven viser en elusion-rate på 0,5 procent, estimeres 1.000 oversete relevante dokumenter, og recall estimeres til 90 procent. Tallene er kun en illustration af beregningen.
Usikkerhed og konfidensintervaller
En stikprøve giver et estimat, ikke et præcist tal. Usikkerheden angives med et konfidensinterval, fx et 95 procents interval. Ved lave andele, som elusion-rater typisk er, er den simple normaltilnærmelse upræcis, og der bør bruges en eksakt binomialberegning eller en anden metode, der er egnet til små andele. Intervallet for elusion-raten omregnes til et interval for recall, og det er den nedre grænse, der er mest interessant: Med hvilken sikkerhed kan man sige, at recall mindst er et bestemt niveau?
Stikprøvestørrelse
Stikprøvens størrelse afgør intervallets bredde. For en andel tæt på 50 procent kræver en fejlmargin på 2,5 procentpoint ved 95 procents konfidens omkring 1.500 dokumenter, og en fejlmargin på 2 procentpoint omkring 2.400. Ved lave andele er den absolutte usikkerhed mindre, men den relative usikkerhed er stor, fordi få fund i stikprøven ændrer estimatet meget. Størrelsen bør vælges ud fra den ønskede sikkerhed og fastlægges før udtrækningen. Er sagen kompleks, bør beregningen foretages eller kontrolleres af en person med statistisk indsigt.
Andre valideringsmetoder
Elusion-testen er den mest brugte, men ikke den eneste:
- Kontrolsæt. I TAR 1.0 bruges et tilfældigt kontrolsæt, der er vurderet før træningen, til at måle recall og præcision direkte ved den valgte afskæring. → Technology Assisted Review (TAR)
- Lagdelte stikprøver. Stikprøven udtages fra forskellige scorer eller grupper, fx personer eller dokumenttyper, så svage områder ikke skjules i et gennemsnit.
- Kendte dokumenter. Dokumenter, der vides at være relevante, men ikke er brugt i træningen, kan bruges som en simpel kontrol af, om processen finder dem. Det er en kvalitativ kontrol, ikke et statistisk estimat.
Samme metoder kan bruges til at validere søgetermer. En elusion-test blandt dokumenter uden søgehits måler søgningens recall på samme måde. → Søgetermrapport og hitlister
Krav til en forsvarlig validering
- Tilfældighed. Stikprøven udtages tilfældigt med en dokumenteret metode, fx en tilfældighedsgenerator med gemt startværdi, så udtrækningen kan genskabes.
- Blinde vurderinger. Gennemgåeren kender ikke modellens score eller dokumentets tidligere vurdering.
- Erfaren gennemgår. Valideringen vurderes af en person, der kender relevanskriterierne godt.
- Fastlagt metode. Mål, konfidensniveau og stikprøvestørrelse fastlægges, før resultatet kendes.
- Ikke-søgbare dokumenter. Dokumenter uden tekst, som modellen ikke har kunnet vurdere, valideres særskilt eller rapporteres, så de ikke trækker estimatet i en misvisende retning.
Gennemgåerens egen fejlrate
Valideringen forudsætter, at gennemgåerens vurdering af stikprøven er rigtig. Det er den ikke altid. Mennesker er også uenige om relevans, især i grænsetilfælde, og en elusion-test kan derfor både over- og undervurdere antallet af oversete dokumenter. To forhold hjælper. For det første kan en del af stikprøven vurderes af to personer uafhængigt, så uenigheden kan måles og beskrives. For det andet kan de dokumenter i stikprøven, der vurderes relevante, gennemgås af en tredje person, der vurderer, om de er væsentlige eller blot marginalt relevante. Et estimat, der viser, at de oversete dokumenter primært er marginale eller dubletter af allerede fundne, giver et andet billede end et, hvor de oversete dokumenter er centrale.
Den samlede proces, herunder validering som en del af eDiscovery-forløbet, er beskrevet i den internationale standard for området. → ISO/IEC 27050: eDiscovery-standarden
Hvad er et acceptabelt niveau?
Der findes ikke en fast grænse for, hvilken recall der er tilstrækkelig. Det afhænger af sagens karakter, dokumentmængden og proportionaliteten mellem omkostning og betydning. I praksis aftales niveauet ofte mellem parterne eller fastlægges af den, der har ansvaret for udvælgelsen. Det tekniske bidrag er at måle og angive niveauet korrekt med usikkerhed, ikke at afgøre, om det er nok. Hvordan spørgsmålet håndteres juridisk i danske sager, er beskrevet på eDiscovery i danske sager.
Typiske fejl
- Recall angivet uden interval. Et punktestimat uden usikkerhed ser mere præcist ud, end det er.
- Stikprøven udtages fra de forkerte dokumenter, fx kun fra de lavest scorede, hvilket undervurderer elusion.
- Gentagne stikprøver, til resultatet er godt. Alle stikprøver skal rapporteres.
- Valideringen bruges til træning, så de samme dokumenter både træner og måler modellen.
- Null-sættet ændres efter testen, fx fordi nye data tilføjes. Så gælder estimatet ikke længere for hele materialet, og testen skal gentages for de nye dokumenter.
Dokumentation
Rapporten bør angive dokumentmængder i hver gruppe, stikprøvernes størrelse og udtrækningsmetode, hvem der vurderede, antal relevante fund i hver stikprøve, beregningsmetode, estimater med konfidensintervaller og håndtering af ikke-søgbare dokumenter. Det gør valideringen efterprøvelig og gør det muligt for modparten at gentage beregningen. Hvordan resultaterne formuleres med passende sikkerhed i rapporten, er beskrevet her: → Rapportskrivning i digital forensic
Kilder og versioner
- TREC Legal Track (NIST og University of Maryland)
- NIST: Text REtrieval Conference (TREC)
- Microsoft Learn: Predictive coding reference
Senest gennemgået: oktober 2026.
Næste skridt
Del af: eDiscovery teknisk
Læs også: Technology Assisted Review (TAR) og kontinuerlig aktiv læring · Filtrering af advokatkorrespondance og fortrolige dokumenter
→ eDiscovery teknisk · For sagkyndige · Tlf. 70 13 63 23 · Digital bevissikring hos Nielco IT
