Artikel · AI & compliance
Audit-pakken: artikel 9 og 15 i praksis
Forordningen kræver ikke, at systemet aldrig tager fejl. Den kræver, at I ved hvor ofte, har besluttet om det er acceptabelt, og kan vise begge dele.
AI & compliance · dokumentation · ca. 4 min
De to artikler, der oftest giver arbejde i et højrisiko-system, er artikel 9 og
artikel 15. De lyder tidskrævende, men er langt nemmere at leve op til, hvis målingerne er
bygget ind fra start — i stedet for at prøve at dokumentere, hvad der er sket bagefter.
Artikel 9: risikostyring som en løbende proces
Kravet er et risikostyringssystem, der følger AI-systemet gennem hele dets levetid og
bliver opdateret løbende. Ikke et dokument, man laver én gang før idriftsættelse.
I praksis betyder det, at en risikovurdering fra go-live ikke er nok. Man skal kunne se,
at den faktisk er blevet brugt: hvad I har holdt øje med, hvad I fandt, og hvad I ændrede.
Artikel 15: nøjagtighed, robusthed og cybersikkerhed
Her ligger den bestemmelse, folk oftest misforstår. Artikel 15 kræver et passende
niveau af nøjagtighed og robusthed — og at nøjagtighedsniveauerne og de relevante
nøjagtighedsmetrikker angives i den brugsanvisning, der følger med systemet.
Der står ikke, at systemet skal være perfekt. Der står, at tallet skal frem. Hvor ofte
tager systemet fejl? Er det godt nok til det, I bruger det til? Og kan I dokumentere begge
dele?
Kan ingen sige, hvad systemets fejlrate er, kan det heller ikke erklæres
passende til formålet. Det er problemet — ikke at fejlraten er større end nul.
Hvad pakken indeholder
- Målingen — hvordan klarer systemet sig på repræsentative opgaver, målt på en
måde andre kan gentage. Også de tal, der taler imod systemet.
- Måleprotokollen — fremgangsmåden skrevet ud, så resultatet kan efterprøves på jeres
eget materiale. Den ligger offentligt.
- Beslutningen om, hvad der er godt nok — hvilken fejlrate I accepterer til hvilket
formål, og hvorfor. Det er den vurdering, artikel 9 skal kunne spores tilbage til.
- Stop-punkterne — hvilke beslutninger AI'en ikke må tage alene, uanset hvor sikkert
den svarer, og hvornår et menneske skal ind over.
- Den løbende måling — hvordan holder I tallene opdateret, når modellen, leverandøren
eller opgaven ændrer sig. Se kalibrering pr. use-case.
Et forbehold
Dette er en beskrivelse af, hvordan vi arbejder med kravene — ikke juridisk rådgivning. Hvilke
forpligtelser der gælder jer, afhænger af jeres rolle og systemets klassificering, og det er en
vurdering, en jurist skal træffe.
Rækkefølgen betyder noget
Den dyre måde er at bygge systemet først og måle bagefter. Så mangler de tal, der skal
dokumentere, hvor pålideligt det er, og I ender med at skulle teste et system, der allerede
er i drift.
Den billige måde er at måle undervejs. Så bliver dokumentationen skabt som en del af
arbejdet i stedet for som et ekstra projekt bagefter.