Forside › eDiscovery teknisk · Gennemgået oktober 2026 · Af John Nielsen
Deduplikering betyder, at identiske dokumenter kun gennemgås én gang. I en typisk sag med postkasser fra flere personer kan en stor del af materialet være kopier af de samme mails og vedhæftninger, og deduplikering kan derfor spare meget gennemgangstid. Men “identisk” er en teknisk definition, som afhænger af, hvad der hashes, og deduplikeringens omfang afgør, hvilke oplysninger der går tabt. Begge dele skal vælges bevidst og dokumenteres.
Hashgrundlaget: filer og mails er forskellige
Filer
For løse filer beregnes hashværdien typisk af hele filens indhold, med MD5, SHA-1 eller SHA-256. To filer med samme hashværdi har bit for bit samme indhold. Filnavn, sti og filsystemets tidsstempler indgår ikke, fordi de ligger uden for filen. To kopier af samme dokument med forskellige navne og datoer er derfor dubletter. → Hashalgoritmer: MD5, SHA-1 og SHA-256
Office-dokumenter, der er åbnet og gemt igen uden synlige ændringer, har ofte ændrede interne metadata og dermed en anden hashværdi. De er ikke dubletter, selv om indholdet ser ens ud.
Mails
Mails kan ikke hashes som filer, fordi den samme mail lagres forskelligt i forskellige postkasser og formater. Afsenderens kopi i Sendt post og modtagerens kopi i Indbakken har forskellige interne egenskaber, mappeplacering og læsestatus. Værktøjer beregner derfor typisk en hashværdi af udvalgte felter, fx:
- afsender, modtagere, cc og bcc,
- emne,
- afsendelsestidspunkt,
- brødtekst,
- vedhæftningernes hashværdier.
Hvilke felter der indgår, og hvordan de normaliseres (store og små bogstaver, mellemrum, tidszone), varierer mellem værktøjer. To værktøjer kan derfor give forskellige antal dubletter fra samme data. Feltvalget skal dokumenteres, og det er værd at vide, at bcc-modtagere kun fremgår af afsenderens kopi. Indgår bcc i hashgrundlaget, bliver afsenderens kopi ikke en dublet af modtagerens.
Message-ID kan i princippet bruges til at genkende samme mail, men den er ikke altid til stede, kan være genereret forskelligt af forskellige systemer og kan i sjældne tilfælde gå igen. Den er derfor et supplement, ikke et sikkert hashgrundlag. → Mailtråde, Message-ID og familierelationer
Familieniveau
Deduplikering bør ske på familieniveau. En vedhæftning, der også findes som løs fil på et drev, bør ikke fjernes fra mailen, fordi det bryder sammenhængen mellem mailen og vedhæftningen. Typisk deduplikeres derfor øverste niveau: en mail med vedhæftninger fjernes kun, hvis hele familien er identisk med en anden familie. Løse filer deduplikeres mod andre løse filer.
Global eller pr. person
Pr. person (custodian)
Ved deduplikering pr. person fjernes kun dubletter inden for samme persons data. Hver person beholder sin kopi af en mail. Det bevarer oplysningen om, hvem der havde hvad, men giver flere dokumenter til gennemgang.
Global
Ved global deduplikering fjernes dubletter på tværs af alle personer, så hver mail kun gennemgås én gang. Det sparer mest tid, men oplysningen om, at andre personer også havde mailen, forsvinder fra gennemgangsvisningen, medmindre den bevares.
Risici ved global deduplikering
Risikoen er, at et spørgsmål som “havde direktøren kendskab til mailen?” ikke kan besvares, hvis direktørens kopi blev fjernet som dublet. Løsningen er, at værktøjet bevarer en liste over alle placeringer og personer for hvert fjernet element, ofte kaldet “alle personer” eller “dublet-placeringer”. Den liste skal følge med i gennemgang og produktion, så oplysningen kan genskabes.
Global deduplikering kan også give problemer, hvis der senere tilføjes nye personer. Rækkefølgen af indlæsning afgør, hvilken kopi der bliver den primære, og det kan ændre sig ved genbehandling. Dokumentér prioriteringen.
Near-duplicates
Near-duplicates er dokumenter, der ligner hinanden meget uden at være identiske: versioner af en kontrakt, et dokument gemt som Word og PDF, eller en mail med og uden signatur. De kan ikke findes med hashværdier. Værktøjer bruger i stedet tekstsammenligning, typisk ved at dele teksten i overlappende ordsekvenser og beregne en lighedsprocent.
Near-duplicates fjernes normalt ikke, men grupperes, så de gennemgås samlet. Det giver ensartede vurderinger og gør det let at se forskelle mellem versioner. Lighedsgrænsen, fx 90 procent, er en indstilling, der skal dokumenteres. For lav en grænse samler forskellige dokumenter, og for høj en grænse adskiller versioner, der burde ses sammen.
Fuzzy hashing er en beslægtet teknik, som arbejder på binært niveau og bruges mere i forensisk analyse end i dokumentgennemgang. → Fuzzy hashing: når en fil næsten er den samme
Mailtråde som deduplikering
Trådning (email threading) kan reducere gennemgangen yderligere ved kun at vise de mails, der indeholder hele tråden (inclusive emails). Det er ikke deduplikering i streng forstand, fordi de undertrykte mails ikke er identiske. Vedhæftninger, der kun findes i en tidligere mail, og ændringer i den citerede tekst kan gå tabt, hvis trådningen bruges til at fjerne mails i stedet for blot at gruppere dem.
Deduplikering på tværs af kilder
Den samme mail kan findes i en live-postkasse, i en PST-fil på et drev, i en arkivløsning og i en backup. Kilderne har forskellige formater og ofte forskellige metadata, fx fordi en PST-fil er eksporteret med en anden klient, eller fordi arkivet har tilføjet egne felter. Feltbaseret mailhash er netop beregnet til at genkende mailen på tværs af sådanne kilder, men kun hvis felterne er bevaret ens. Forskelle i tidszone, tegnsæt eller håndtering af tomme felter kan få samme mail til at fremstå som to. Det er værd at teste deduplikeringen på et lille udsnit, hvor man kender svaret, før den bruges på hele materialet.
Ved mobildata og chats giver deduplikering sjældent mening på samme måde. En besked i en chat er en del af en samtale, og den samme samtale kan være sikret fra flere telefoner med forskellig fuldstændighed. Her er det ofte bedre at sammenstille samtalerne end at fjerne kopier. → Chatdata i eDiscovery
Hvad deduplikering betyder for tal i rapporten
Antal dokumenter er et af de tal, der oftest bliver brugt i en sag: “Der blev fundet flere tusinde relevante mails.” Uden en angivelse af deduplikering er tallet uklart. Er det unikke mails, eller er det kopier i flere postkasser? Skriv altid, om et tal er før eller efter deduplikering, og på hvilket niveau.
Fejlkilder
- Forskelligt hashgrundlag mellem værktøjer giver forskellige tal ved sammenligning med modpartens produktion.
- Tidszonenormalisering før hashberegning kan påvirke, om mails matcher.
- Deduplikering før filtrering kan fjerne den eneste kopi, der ville være kommet med i en anden persons søgning.
- Manglende dubletregister gør det umuligt at genskabe, hvem der havde et dokument.
Dokumentation
Rapporten eller produktionsbeskrivelsen bør angive deduplikeringens omfang (pr. person eller global), hashalgoritme for filer, felterne i mailhashen og deres normalisering, niveau (familie eller element), prioriteringsrækkefølgen af personer, lighedsgrænsen for near-duplicates og antal elementer før og efter. Fjernede dubletter bør kunne genskabes fra et register, og et hashmanifest over produktionen gør det muligt at efterprøve, hvad der blev leveret. → Hashmanifest for filsamlinger og produktioner
Hvordan deduplikering indgår i de aftaler, parterne indgår om dokumentgennemgang, er beskrevet fra advokatens side her: → eDiscovery i danske sager
Kilder og versioner
- Microsoft Learn: Near duplicate detection in eDiscovery
- Microsoft Learn: Email threading in eDiscovery
- ISO/IEC 27050-1: Electronic discovery, overview and concepts
Senest gennemgået: oktober 2026.
Næste skridt
- OCR og ikke-søgbare filer: det, søgningen ikke finder
- Technology Assisted Review (TAR) og kontinuerlig aktiv læring
- Validering af AI-assisteret gennemgang: recall, præcision og elusion-test
Del af: eDiscovery teknisk
Læs også: Behandling af data (processing): udpakning, filtyper og fejlfiler · Søgetermer teknisk: syntaks, wildcards, nærhed og danske bøjningsformer
→ eDiscovery teknisk · For sagkyndige · Tlf. 70 13 63 23 · Digital bevissikring hos Nielco IT
