Forside › eDiscovery teknisk · Gennemgået oktober 2026 · Af John Nielsen
Technology Assisted Review (TAR) er en metode, hvor en maskinlæringsmodel lærer af menneskers relevansvurderinger og derefter rangerer de resterende dokumenter efter, hvor sandsynligt det er, at de er relevante. Gennemgangen kan så koncentreres om de dokumenter, modellen vurderer højest, og stoppes, når yderligere gennemgang kun finder få relevante dokumenter. Metoden kan reducere gennemgangen betydeligt, men den er kun forsvarlig, hvis træningen er konsistent, processen er dokumenteret, og resultatet valideres statistisk.
Advokatens overvejelser om AI-værktøjer i dokumentgennemgang, herunder fortrolighed og ansvar, er beskrevet på digital-bevissikring.dk: → AI-værktøjer i dokumentgennemgang. Her gennemgås teknikken bag.
Grundprincippet: overvåget læring
TAR er en form for overvåget maskinlæring. Hvert dokument omdannes til en talrepræsentation, typisk baseret på hvilke ord og ordkombinationer der forekommer og hvor ofte. Mennesker markerer et antal dokumenter som relevante eller ikke relevante. En klassifikationsmodel, fx logistisk regression eller en support vector machine, lærer, hvilke træk der adskiller de to grupper, og tildeler hvert ikke-gennemgået dokument en score.
Modellen forstår ikke indholdet. Den genkender mønstre i ordforbrug, der ligner dem, mennesker har markeret som relevante. Det betyder, at den er god til at finde dokumenter, der ligner de kendte relevante, og dårligere til at finde relevante dokumenter, der bruger et helt andet ordforråd. Hvordan brug af nyere AI-værktøjer i analysen dokumenteres, står i AI i forensisk analyse.
TAR 1.0: træning, stabilisering og afskæring
Den første generation af TAR arbejder i faser:
- Startsæt. En erfaren gennemgår markerer et udvalg af dokumenter, ofte en blanding af tilfældigt udvalgte og dokumenter fundet ved søgning.
- Træningsrunder. Modellen trænes, foreslår nye dokumenter til vurdering, og trænes igen.
- Kontrolsæt. Et tilfældigt udvalg vurderes uafhængigt og bruges til at måle, hvor godt modellen klassificerer.
- Stabilisering. Træningen stopper, når modellens præstation på kontrolsættet ikke længere forbedres mærkbart.
- Afskæring. Der vælges en score, hvorover dokumenter gennemgås eller produceres, og hvorunder de ikke gennemgås.
TAR 1.0 er følsom over for startsættets kvalitet og for nye data. Kommer der nye dokumenter til efter træningen, skal modellen ofte trænes igen, og kontrolsættet skal udvides.
TAR 2.0: kontinuerlig aktiv læring (CAL)
Kontinuerlig aktiv læring er den mest udbredte form i dag. Der er ingen separat træningsfase:
- Gennemgangen begynder med de dokumenter, modellen vurderer mest sandsynligt relevante.
- Hver ny vurdering bruges straks til at træne modellen igen.
- Rangeringen opdateres løbende, så de næste dokumenter i køen altid er dem, der nu vurderes mest sandsynligt relevante.
- Nye data kan tilføjes undervejs uden at starte forfra.
Gennemgangen fortsætter, indtil andelen af relevante dokumenter i køen falder til et lavt niveau. Derefter valideres det statistisk, at kun få relevante dokumenter er tilbage blandt de ikke-gennemgåede. → Validering af AI-assisteret gennemgang: recall, præcision og elusion-test
Fordelen er, at alle menneskelige vurderinger bruges, og at relevante dokumenter findes tidligt. Ulempen er, at stopkriteriet ikke er givet på forhånd og skal fastlægges og dokumenteres.
Forskellen til generativ AI
Nyere værktøjer bruger store sprogmodeller, der vurderer dokumenter ud fra en tekstbeskrivelse af, hvad der er relevant. Det er en anden teknik: Modellen er ikke trænet på sagens vurderinger, men instrueres med en prompt, og den kan forklare sin vurdering i tekst. Den forstår i højere grad synonymer og omskrivninger, men den kan også fejle på måder, der er sværere at forudsige, og resultatet kan afhænge af prompten og modellens version. Valideringsprincipperne er de samme: Det skal måles, hvor mange relevante dokumenter metoden finder, og hvor mange den overser.
Forudsætninger for et godt resultat
Konsistent træning
Modellen lærer af de vurderinger, den får. Inkonsistente vurderinger, fx fordi flere gennemgåere forstår relevanskriteriet forskelligt, giver en dårligere model. Klare kriterier, en kort vejledning og stikprøvekontrol af gennemgåernes vurderinger er vigtige. Bias i vurderingerne bliver også modellens bias. → Bias i forensisk analyse
Tekst
TAR virker kun på dokumenter med tekst. Billeder, scannede dokumenter uden OCR og meget korte dokumenter får ingen eller upålidelige scorer. De skal håndteres særskilt og rapporteres. → OCR og ikke-søgbare filer
Sprog
Danske dokumenter blandet med engelske, tyske eller svenske kan give modellen problemer, fordi samme begreb udtrykkes med forskellige ord. Nogle værktøjer håndterer flere sprog i samme model, andre kræver opdeling. Det bør undersøges og dokumenteres.
Familier og chat
Modellen vurderer typisk enkeltdokumenter. Hvis relevans skal vurderes på familieniveau, skal det besluttes, hvordan en relevant vedhæftning påvirker mailen og omvendt. Chatdata skal samles i reviewenheder, før de kan scores meningsfuldt.
TAR og søgetermer
TAR og søgetermer kan kombineres. Søgetermer kan bruges til at finde startdokumenter eller til at afgrænse materialet, før TAR anvendes. Men en afgrænsning med søgetermer før TAR betyder, at dokumenter uden hits aldrig når modellen. Hvis det sker, bør søgetermernes fuldstændighed vurderes særskilt. → Søgetermrapport og hitlister
Stopkriterier i CAL
Fordi CAL ikke har en fast afskæring, er stopkriteriet det mest diskuterede punkt. Typiske kriterier er, at andelen af relevante dokumenter i de seneste gennemgåede portioner er faldet under et aftalt niveau, at et estimat af den samlede mængde relevante dokumenter viser, at en ønsket andel er fundet, eller at en kombination af begge er opfyldt. Kriteriet bør fastlægges, før gennemgangen begynder, og det bør ikke ændres undervejs uden en dokumenteret begrundelse. Et stopkriterium, der fastlægges, når gennemgåerne er trætte, eller budgettet er brugt, er svært at forsvare, også selv om resultatet i sig selv er godt.
Kvalitetskontrol af gennemgåerne
Modellens kvalitet afhænger af de menneskelige vurderinger. Derfor bør en erfaren gennemgår løbende kontrollere et udsnit af de andre gennemgåeres vurderinger, især i begyndelsen. Uenigheder bruges til at præcisere vejledningen, og vurderinger, der viser sig at være forkerte, rettes, så modellen trænes på det rigtige grundlag. Kontrollen og rettelserne bør logges, så det kan ses, at træningsgrundlaget er kvalitetssikret.
Modpartens TAR-proces
Hvis modparten har brugt TAR til at udvælge dokumenter til produktion, er det relevant at spørge til metoden: Hvilken type TAR er brugt? Hvem trænede modellen, og efter hvilke kriterier? Hvordan er dokumenter uden tekst håndteret? Hvad var stopkriteriet, og hvordan er resultatet valideret? Svarene viser, om processen kan efterprøves, og de er grundlaget for en eventuel anmodning om yderligere validering.
Hvad TAR kan og ikke kan
TAR kan prioritere en stor dokumentmængde og gøre det muligt at finde langt de fleste relevante dokumenter med en mindre gennemgang. Metoden kan ikke garantere, at alle relevante dokumenter findes, og den kan ikke erstatte den juridiske vurdering af, hvad der er relevant. Dens styrke måles statistisk, ikke ved at pege på enkelte gode fund.
Dokumentation
En forsvarlig TAR-proces dokumenteres med værktøj og version, modeltype i det omfang, leverandøren oplyser den, relevanskriterier og vejledning til gennemgåerne, hvem der har trænet, antal vurderede dokumenter, håndtering af dokumenter uden tekst, stopkriterium og valideringsresultat. ISO/IEC 27050 beskriver eDiscovery-processen og kan bruges som referenceramme for, hvordan processen dokumenteres. → ISO/IEC 27050: eDiscovery-standarden
Kilder og versioner
- TREC Legal Track (NIST og University of Maryland)
- Microsoft Learn: Predictive coding reference
- ISO/IEC 27050-1: Electronic discovery, overview and concepts
Senest gennemgået: oktober 2026.
Næste skridt
Del af: eDiscovery teknisk
Læs også: Chatdata i eDiscovery: Teams, Slack og opdeling i samtaler · Validering af AI-assisteret gennemgang: recall, præcision og elusion-test
→ eDiscovery teknisk · For sagkyndige · Tlf. 70 13 63 23 · Digital bevissikring hos Nielco IT
