AI-værktøjer kan i dag læse, sortere og opsummere store mængder mails og dokumenter langt hurtigere end mennesker. Det er fristende at bruge dem i sager med meget materiale. Men et værktøj, der vælger dokumenter fra eller sammenfatter dem, påvirker, hvad advokaten ser, og dermed hvad der fremlægges. Denne artikel gennemgår nøgternt, hvad advokaten skal vide, før AI indgår i gennemgangen.
Hvad værktøjerne typisk gør
Der findes flere slags AI i dokumentgennemgang. De kan groft deles i tre:
- Klassifikation: Værktøjet vurderer, om et dokument er relevant, ofte efter at være trænet på et antal dokumenter, som en person har vurderet.
- Gruppering: Værktøjet samler dokumenter, der ligner hinanden, eller finder emner og mailtråde.
- Sprogmodeller: Værktøjet besvarer spørgsmål om materialet, opsummerer dokumenter eller foreslår relevante passager.
De to første har været brugt i en årrække under betegnelser som teknologiassisteret gennemgang. Sprogmodeller er nyere og fungerer anderledes, fordi de genererer tekst frem for blot at sortere.
Fordele
- Tid: Store mængder kan prioriteres, så de mest relevante dokumenter læses først.
- Ensartethed: Et værktøj bliver ikke træt og anvender de samme kriterier på hele materialet.
- Overblik: Gruppering kan vise sammenhænge og emner, som er svære at se dokument for dokument.
- Søgning på betydning: Nogle værktøjer finder dokumenter om et emne, selv om de ikke indeholder de søgeord, man havde tænkt på.
Risici
Fejl, der ikke er synlige
Et værktøj kan overse relevante dokumenter, og man ser ikke selv, hvad der er sorteret fra. Det er den vigtigste risiko. En kontrol er derfor nødvendig, typisk med en tilfældig stikprøve i den del, værktøjet vurderede som irrelevant. → Stikprøver i store datamængder
Sprogmodeller kan opfinde
En sprogmodel kan skrive en sammenfatning, der lyder overbevisende, men indeholder oplysninger, der ikke står i dokumenterne. Den kan også henvise til et dokument eller et citat, der ikke findes. Alt, hvad en sprogmodel siger om materialet, skal derfor kontrolleres mod kilden, før det bruges.
Tab af kontekst
Sammenfatninger udelader nuancer. Ironi, interne forkortelser og forhold, der kun fremgår af en vedhæftet fil, kan forsvinde. Et dokument kan virke uskyldigt i en opsummering og vigtigt i sin helhed.
Gentagelighed
Nogle værktøjer giver ikke samme svar to gange, og leverandøren kan opdatere modellen. Det gør det svært bagefter at vise, præcis hvorfor et dokument blev vurderet, som det blev.
Fortrolighed
Materialet i en sag indeholder ofte forretningshemmeligheder, personoplysninger og korrespondance med advokater. Før noget lægges i et AI-værktøj, skal det afklares:
- Hvor behandles data? Lokalt, i en lukket løsning eller i en offentlig tjeneste?
- Bruges data til at træne leverandørens model? Det skal være udelukket.
- Hvor længe gemmer leverandøren data, og hvem har adgang?
- Er der en databehandleraftale? Ved behandling af personoplysninger for en dataansvarlig skal der normalt være en aftale efter databeskyttelsesforordningens artikel 28.
- Er data placeret uden for EU? → Beviser i cloud uden for EU
Advokatens tavshedspligt og klientens fortrolighed gælder også, når en leverandør behandler materialet. Et gratis eller offentligt tilgængeligt AI-værktøj er sjældent egnet til sagsmateriale. → GDPR og bevisførelse
Dokumentation af processen
Hvis modparten eller retten spørger, hvordan dokumenterne blev udvalgt, skal advokaten kunne svare. Dokumentér derfor:
- Hvilket værktøj og hvilken version der blev brugt.
- Hvilket materiale der blev lagt ind, med henvisning til den sikrede kopi.
- Hvordan værktøjet blev indstillet eller trænet, og af hvem.
- Hvilke spørgsmål eller instruktioner der blev givet, hvis der er brugt en sprogmodel.
- Hvordan resultatet blev kontrolleret, fx stikprøvens størrelse og udfald.
- Hvilke dokumenter der blev vurderet af mennesker.
En kort procesbeskrivelse udarbejdet undervejs er langt lettere at forsvare end en rekonstruktion bagefter.
Rækkefølgen i en kontrolleret proces
AI-værktøjet skal ind på det rigtige tidspunkt. En forsvarlig rækkefølge kan være:
- Data sikres og dokumenteres med hashværdier.
- Materialet afgrænses med kilder, personer og periode.
- Dubletter fjernes, og tekst gøres søgbar.
- Kriterier for relevans og fortrolighed skrives ned.
- Værktøjet indstilles eller trænes på et udvalg, som en person har vurderet.
- Værktøjet prioriterer eller sorterer resten.
- Fravalget kontrolleres med en tilfældig stikprøve.
- De udvalgte dokumenter gennemgås af personer før fremlæggelse eller udlevering.
Springer man trin 1 over, kan man ikke senere vise, hvilket materiale værktøjet faktisk arbejdede på. Springer man trin 7 over, ved ingen, hvad der blev overset.
Mennesket i processen
AI flytter arbejdet, men fjerner det ikke. Nogen skal formulere kriterierne, vurdere træningsdokumenterne, kontrollere resultatet og træffe den endelige beslutning. Kvaliteten af værktøjets arbejde afhænger i høj grad af kvaliteten af de første menneskelige vurderinger. Er træningsudvalget vurderet uensartet, bliver værktøjets sortering det også.
Et eksempel: To medarbejdere vurderer træningsdokumenterne. Den ene markerer alle mails med modparten som relevante, den anden kun dem, der handler om prisen. Værktøjet lærer af begge og bliver usikkert. Løsningen er skriftlige kriterier og en fælles gennemgang af tvivlstilfælde, før træningen begynder.
Hvad AI ikke bør gøre
- Prioritere rækkefølgen for gennemlæsning · Ja, med kontrol
- Gruppere dubletter og mailtråde · Ja
- Foreslå relevante dokumenter · Ja, med stikprøvekontrol
- Endeligt fravælge dokumenter uden kontrol · Nej
- Afgøre, om korrespondance er fortrolig · Nej, det kræver en person
- Skrive faktiske oplysninger til et processkrift · Kun efter kontrol mod kilden
- Vurdere et dokuments ægthed · Nej, det kræver teknisk undersøgelse
Det sidste punkt er vigtigt. Et AI-værktøj læser indholdet. Det undersøger ikke metadata, tidsstempler eller spor efter redigering. → AI-genereret indhold: teknisk vurdering
Spørgsmål til leverandøren eller den sagkyndige
- Hvordan sikres det, at kildedokumenterne ikke ændres af værktøjet?
- Kan alle vurderinger spores tilbage til det konkrete dokument?
- Kan resultatet eksporteres med dokument-id og vurdering?
- Hvordan håndteres filer, værktøjet ikke kan læse, fx billeder og krypterede filer?
- Hvad sker der med data, når opgaven er slut? → Sletning og tilbagelevering af data efter forlig eller dom
Når modparten har brugt AI
Spørg til metoden på samme måde. Bed om en beskrivelse af værktøjet, træningen og kontrollen. Er udleveringen baseret på et værktøj, der ikke er kontrolleret med stikprøver, kan det give anledning til at stille spørgsmål om fuldstændigheden.
Tjekliste
- ☐ Formålet med værktøjet er defineret
- ☐ Fortrolighed og databehandling er afklaret skriftligt
- ☐ Data bruges ikke til træning af leverandørens model
- ☐ Der arbejdes på en kopi, ikke de originale data
- ☐ Indstilling og instruktioner er dokumenteret
- ☐ Fravalg er kontrolleret med en tilfældig stikprøve
- ☐ Faktiske oplysninger er kontrolleret mod kilden
- ☐ Fortrolighed vurderes af en person
→ Send en sag · Tlf. 70 13 63 23 · IT-sagkyndig bistand til advokater hos Nielco IT
