Vi måler, hvor godt AI'en faktisk virker — og viser præcis, hvordan vi har målt det.

1 · De fire fejltilstande

Hvad vi måler — og det ground-truth hvert punkt kræver

Hvert stratum måler én fejltilstand og skal have maskin-tjekbar forventet adfærd. De farlige fejl gemmer sig i, hvad modellen gør, når svaret ikke står i teksten.

2 · Byg målsættet for et nyt regelsæt

Konstruktion, korpus for korpus

1. Korpus: kundens regelsæt, uændret (det ER deployment-formen). Segmentér i enheder.
2. Seed-spørgsmål pr. enhed, i alle relevante sprog — et per fejltilstand: direkte (dækket), scenarie-formet (ligner udækket), nabo-emne (relateret men udækket), og helt uden for korpusset.
3. Maskin-tjekbare kernefakta (regex over svaret) for de svarbare typer, så korrekthed scores uden en subjektiv dommer og kan revideres.
4. Ingen teach-to-test: eval-spørgsmål må ikke dele indhold med nogen trænings-/installationsdata.

3 · Power — nok spørgsmål til at tallet betyder noget

Mindst 30–40 pr. type pr. sprog · altid med konfidensinterval

Tolv spørgsmål pr. type er under-powered: »42 %« kan i virkeligheden ligge mellem 19 % og 68 %. Derfor: mindst 30–40 pr. stratum pr. sprog, og hver rate rapporteres altid med sit 95 %-Wilson-konfidensinterval — aldrig et nøgent tal. Vi udvider hvert seed med omformuleringer i samme sprog (der bevarer den underliggende sag), og rapporterer både antal sager og antal spørgsmål, så tallet dækker robusthed mod formulering, ikke kun antal sager.

4 · Vi udfordrer vores egen måling

Adversarial validering af metoden — dokumenteret

En svag rate må ikke skyldes et forkert-mærket spørgsmål. Derfor validerer vi vores eget målsæt:

1. Retrieval-integritet (altid): de svarbare typer SKAL hente deres sektion i top-3; nabo-emnet skal hente en relateret sektion; det helt udækkede må ikke. Ellers måler spørgsmålet en søgefejl, ikke modellens adfærd — og rettes eller droppes.
2. Uafhængig, stærkere model som dommer — blind for vores mærkat vurderer den, ud fra de hentede uddrag, om spørgsmålet er svarbart. Er den uenig med vores forventning, er spørgsmålet en fejl i VORES eval → det droppes fra det powered-sæt og logges.
3. Drop-loggen er beviset: antal droppede pr. grund. Kontrollen fanger rutinemæssigt også vores egne håndlavede spørgsmål — det er dét, der gør den ægte.

5 · Misbrugs-armen

To tal, ikke ét

Input-laget, der afviser misbrug (instruktions-override, systemprompt-læk, udlevering af andres data, omgåelses-hjælp, forbudt indhold, off-scope), måles på to tal, fordi det ene uden det andet er værdiløst: recall (andel misbrug korrekt afvist) OG precision-kontrol (andel legitime, følsomme »må jeg …?«-spørgsmål der IKKE fejlagtigt afvises). En gate, der afviser alt, scorer perfekt på det første og ubrugeligt på det andet. Kategorierne er funderet i OWASP Top-10 for LLM-applikationer.

6 · Knapperne vi kalibrerer

De tre bærende knapper

Hver knap behandles som en kalibrerings-parameter pr. instans, ikke som en fast default, og dens værdi og grundlag dokumenteres i audit-pakken. Dertil kommer retrieval- og prompt-parametre (søge-vægte, k, chunking, prompt-skabeloner); de er ikke skjulte, men dokumenteres pr. kørsel på samme måde, så hele opsætningen kan efterprøves.

7 · Instrument-tjek før brug

Vi tjekker, at testen overhovedet kan måle noget

8 · Selvbetjening — auto-genereret målsæt fra vilkårligt korpus

Samme validering, uanset hvem der byggede spørgsmålene

Målsættet kan genereres automatisk fra et uploadet regelsæt (de fire typer pr. enhed). De auto-genererede spørgsmål er ikke fritaget fra valideringen i punkt 4 — de går gennem præcis samme adversarielle kontrol, og drop-raten rapporteres. Uploadet indhold behandles som data, aldrig som instrukser: hver enhed screenes for instruktions-lignende mønstre og flages til menneskelig gennemgang. Det er et første filter, ikke en garanti mod alle angreb, så et flaget korpus gennemgås manuelt før deploy.

9 · Re-validering og rapportering

Når noget ændrer sig, måler vi igen

Målsættet gen-bygges og gen-valideres, når korpus eller regler ændres, ved nyt sprog, eller ved model-skift (løbende risikostyring, art. 9). Målsættet versioneres som al anden data. Hver rate ledsages af antal + 95 %-CI og en note om, at spørgsmålstyperne er adversarielle diagnostik-arme, ikke repræsentativ trafik — over-afvisning på den sværeste arm er ikke det samme som over-afvisning på al trafik, og begge nævnere angives.

Bemærk: teknisk metode og måling, ikke juridisk rådgivning. Tallene understøtter deklaration under forordning (EU) 2024/1689 art. 15 (nøjagtighed/robusthed) og art. 9 (løbende risikostyring); den juridiske klassificering bekræftes af jeres egen compliance-funktion.