Stikprøver i store datamængder

Ingen kan læse hundredtusind mails eller gennemgå alle linjer i en logfil fra flere år. I store sager er det derfor ofte nødvendigt at undersøge en del af materialet og slutte noget om resten. Det er en stikprøve. Den kan være et stærkt redskab, men kun hvis den er udtaget og beskrevet rigtigt. Denne artikel forklarer princippet og de spørgsmål, advokaten bør stille.

To forskellige formål

Stikprøver bruges i praksis til to ting, og det er vigtigt at holde dem adskilt:

Kontrol af en metode. Fx: Er søgeordene gode nok, eller ligger der relevante dokumenter blandt dem, der ikke blev ramt?
Konklusion om omfang. Fx: Hvor stor en del af en kundedatabase er kopieret, eller hvor ofte har et system fejlet?

Det første formål er det mest almindelige og det mindst kontroversielle. Det andet kræver mere, fordi stikprøven her bruges til at sige noget om sagens realitet.

Princippet kort forklaret

En stikprøve virker, fordi en tilfældigt udvalgt del af et materiale normalt ligner helheden. Hvis hvert dokument har samme chance for at blive valgt, er der ingen systematisk grund til, at stikprøven skulle afvige fra resten.

Tre forhold afgør, hvor meget en stikprøve kan bære:

Tilfældighed: Er dokumenterne valgt tilfældigt, eller har nogen valgt dem?
Størrelse: En større stikprøve giver en mere sikker konklusion. Men sikkerheden vokser ikke i takt med størrelsen. Ud over et vist punkt giver flere dokumenter kun lidt ekstra sikkerhed.
Ensartethed: Ligner materialet sig selv? Hvis det består af meget forskellige grupper, kan en stikprøve fra hele bunken overse en lille, men vigtig gruppe.

Resultatet af en stikprøve er aldrig et præcist tal, men et skøn med en usikkerhed. En korrekt beskrevet stikprøve angiver både skønnet og usikkerheden. Hvilken størrelse og hvilket sikkerhedsniveau der er rimeligt, afhænger af sagen og bør vurderes af en person med statistisk indsigt.

Hvad der ødelægger en stikprøve

Dokumenterne er håndplukket · Udvælgelsen kan afspejle forventningen, ikke materialet
Kun de første eller seneste filer er valgt · Perioder kan være forskellige, fx før og efter en systemændring
Kun én kilde er brugt · Andre postkasser eller drev kan have et andet indhold
Udvælgelsesmetoden er ikke beskrevet · Ingen kan efterprøve, at den var tilfældig
Resultatet er angivet uden usikkerhed · Et enkelt tal giver indtryk af større præcision, end der er

Lagdelte stikprøver

Når materialet består af grupper, kan stikprøven deles op. Man trækker så tilfældigt inden for hver gruppe. Et eksempel: En tvist handler om fejl i et system over tre år, hvor systemet blev opdateret undervejs. Her kan det være rimeligt at trække separat fra perioden før og efter opdateringen, fordi fejlbilledet kan være forskelligt.

Grupperne skal fastlægges, før stikprøven trækkes. Ellers kan det se ud, som om de er valgt for at give et bestemt resultat.

Stikprøver til kontrol af søgeord

Den mest almindelige brug i civile sager er at kontrollere en afgrænsning. Efter en søgning har man to bunker: dokumenter med træf og dokumenter uden. Man trækker så en tilfældig stikprøve fra bunken uden træf og gennemgår den manuelt.

Findes der ingen eller næsten ingen relevante dokumenter, støtter det, at søgeordene er dækkende.
Findes der flere relevante dokumenter, viser de typisk, hvilke ord der mangler.

Metoden er særligt nyttig, når søgeordene er aftalt med modparten, fordi den giver et fælles grundlag for at vurdere, om aftalen virkede. → Søgeord og afgrænsning: aftaler med modparten

Den samme tankegang bruges til at kontrollere teknologiassisteret eller AI-baseret gennemgang. → AI-værktøjer i dokumentgennemgang

Stikprøver som grundlag for omfang

Når stikprøven skal bruges til at sige noget om omfanget, fx af et tab eller af fejl i en leverance, stiger kravene. Her bør advokaten overveje:

Er det muligt at undersøge alt i stedet? Ved logdata og databaser kan en fuld maskinel optælling ofte lade sig gøre, mens stikprøven kun er nødvendig til den manuelle vurdering.
Er grupperne i materialet kendt og beskrevet?
Kan modparten efterprøve udvælgelsen?
Bør metoden aftales med modparten eller fastlægges i et skønstema? → Syn og skøn i IT-sager

Om en stikprøve kan løfte bevisbyrden i den konkrete sag, er en juridisk vurdering. Den sagkyndige kan beskrive, hvad stikprøven teknisk viser, og med hvilken usikkerhed. → Bevisbyrden og de digitale beviser

Hvad en stikprøve ikke kan

En stikprøve siger noget om det typiske i materialet. Den er dårlig til at finde det sjældne. Leder man efter én bestemt mail eller én afgørende fil, hjælper en stikprøve ikke, fordi chancen for at trække netop det dokument er lille. Her er målrettet søgning, tidslinjeanalyse eller gennemgang af bestemte kilder det rigtige redskab. → Tidslinjeanalyse

En stikprøve kan heller ikke rette op på et mangelfuldt grundlag. Er en postkasse aldrig blevet indsamlet, eller er data slettet før sikringen, siger stikprøven intet om det, der mangler. Den beskriver kun den population, den er trukket fra.

Spørgsmål til den sagkyndige

Hvad er populationen, altså hele det materiale, stikprøven skal sige noget om?
Hvordan blev dokumenterne udvalgt, og kan udvælgelsen gentages?
Er materialet opdelt i grupper, og hvorfor?
Hvor stor er stikprøven, og hvorfor netop den størrelse?
Hvilken usikkerhed er der på resultatet?
Hvem vurderede de udtagne dokumenter, og efter hvilke kriterier?
Er kriterierne skrevet ned, før gennemgangen begyndte?

Hvis svarene ikke kan gives skriftligt, er stikprøven svær at forsvare.

Gode og dårlige formuleringer

“Vi har kigget på et udvalg, og det bekræfter vores opfattelse” · “En tilfældig stikprøve af [antal] dokumenter blev trukket fra [population] med [metode]; resultatet og usikkerheden fremgår af bilag”
“Stort set alle filer er kopieret” · “I stikprøven var [andel] kopieret; det giver et skøn for hele materialet med den usikkerhed, der er angivet”
“Søgningen er dækkende” · “En stikprøve fra dokumenter uden træf blev gennemgået; resultatet er beskrevet i bilag”