Artikel · AI & compliance
Hvornår skal modellen afstå i stedet for at gætte?
Det farligste svar er ikke det forvirrede. Det er det selvsikre og forkerte — for det ser ud præcis som et rigtigt svar.
AI & compliance · afstå-logik · ca. 4 min
Man kan bede en sprogmodel om at sige fra, når den er usikker. Problemet er, at den fejltype,
der koster mest, er den, hvor modellen ikke er usikker. Den henter et plausibelt
mønster, formulerer det flydende og tager fejl — og der er ingen tøven i outputtet at opdage.
Derfor duer det ikke at bygge en gate, der kun lytter til modellens egen sikkerhed. Den
filtrerer netop de svar væk, der var ufarlige i forvejen, og lader de farlige passere.
To akser, ikke én
Vi bruger i stedet to uafhængige spørgsmål om hver forespørgsel:
- Hvor stor er konsekvensen, hvis svaret er forkert? Det kan afgøres af spørgsmålet
alene — før man har set svaret. En medarbejder, der spørger om åbningstider, og en der spørger
om en opsigelse er lovlig, er ikke i samme risikoklasse, uanset hvad modellen svarer.
- Hvor meget konkurrence er der i modellens eget svar? Friktion — hvor mange rimelige
fortsættelser der kæmper om pladsen undervejs — fanger det forvirrede svar. Det er gratis at
aflæse, fordi det ligger i modellens output i forvejen.
Friktion fanger det forvirrede svar. Konsekvens gater det selvsikre. Man har brug for begge,
fordi de fanger hver sin fejltype — og den selvsikre er den, der ellers slipper igennem.
Høj-konsekvens-beslutninger går til et menneske, uanset hvor sikker modellen
lyder.
Genkendelsen er det bærende led
En gate, der sender tunge beslutninger til et menneske, skal først opdage, at
spørgsmålet er en tung beslutning. Det led målte vi adversarielt: vi skrev spørgsmål, der
forsøgte at snige sig forbi, i tre runder.
Tre ting kom ud af det, og de er ikke alle behagelige:
- At lappe på formuleringer konvergerer ikke. Hver ny runde af forklædninger afslørede
nye smuthuller i nogenlunde samme takt som den forrige. Man skriver sig ikke ud af det.
- At nævne et smuthul eksplicit i instruktionen lukker det ikke pålideligt. Klassifikatoren
kunne kende familien ved navn og stadig lade den passere.
- Det stærkeste angreb var ikke en forklædning. Det var fortynding: at begrave ét
tungt spørgsmål blandt en række rutinemæssige. Det slap forbi hver gang, vi prøvede.
Det sidste er forudsagt af den model, gaten selv bygger på: efterlevelse falder med antallet af
konkurrerende krav i samme omgang. Gaten er ikke undtaget fra den lov, den er bygget på — den er
underlagt den.
Hvad der endte med at virke
To modtræk, målt mod hinanden: at skille inputtet ad, så hver beslutning klassificeres
for sig, og en enkelt sætning i instruktionen om, at hvis nogen del af forespørgslen er
høj-konsekvens, gælder det hele forespørgslen.
Ingen af dem vinder. Ved punktopstillet input med tydelige skillelinjer henter opdelingen mest;
ved begravelse skrevet som løbende prosa henter opdelingen ingenting — den deterministiske
opdeler udløses aldrig — mens sætningen henter noget. Begge dele er sat i drift.
Med begge: 16/16 · 15/16 · 12/12 · 12/12 i eskalering på tværs af fire runder,
uden at rutinesagerne begyndte at blive sendt videre.
Hvad tallene ikke er
De er ikke held-out. Modtrækkene blev vurderet på de runder, der motiverede dem. Det er
den svagere form for evidens, og den skal læses som sådan.
En uafhængig efterprøvning på en anden kanal — værktøjskald frem for samtale —
reproducerede ikke fortyndings-effekten overhovedet. Så dens generalitet er indtil videre
ikke underbygget. Vi skriver det her, fordi det er den slags, der ellers først dukker op, når
nogen andre finder det.
Hvad man så kan love
Ikke dækning. Ingen kan garantere, at en gate opdager alt — og et løfte om det er den påstand,
en kritisk køber eller en revisor kan pille fra hinanden hurtigst.
Det, man kan gøre, er at lade konsekvensen styre, hvem der træffer beslutningen, og så
blive ved med at måle, hvor ofte routeren sender forkert, og oplyse tallet. Det er en
svagere sætning end en garanti. Det er også den eneste, der holder.