Sådan automatiserer du de opgaver, der ikke må gå galt

Inden du stoler på resultatet

De sidste fire teknikker ligger mellem AI'ens færdige arbejde og din godkendelse. Det er dem, der gør tilliden til noget, du kan vise frem.

Teknik 07 · Smalle kontroller

Kontrol-agenter med hver sit smalle ansvar

En kontrol-agent er bare en lille AI med ét fast spørgsmål, der tjekker arbejdet, inden det når et menneske. Det smalle ansvar er pointen. AI'en, der løser selve opgaven, skal holde styr på indhold, tal og formuleringer på samme tid, og i den mængde kan en skæv dato godt drukne. Kontrol-agenten skal kun svare på sit ene spørgsmål og kan lægge alle kræfterne dér. Derfor virker flere smalle agenter bedre end én bred kontrol, der skal se efter alt og ender med at skimme.

Oven i det smalle fokus kommer gevinsten ved, at arbejdet nu bliver set to gange. En fejl skal slippe forbi både den AI, der lavede arbejdet, og den agent, der kun leder efter præcis den type fejl, og den kombination får fejlraten markant ned. Listen af agenter ligger heller ikke fast. Dukker der en ny type fejl op, som ingen af de eksisterende fanger, laver du en ny agent med netop det spørgsmål, og så er det hul lukket.

I bogføringen fra teknik 4 har tre agenter været over hvert bilag, inden det når et menneske:

Bogholderen modtager forhåndstjekket arbejde, hvor kontrolagenternes anmærkninger ligger ved de posteringer, de fandt noget på. Det er den arbejdsdeling, der gør det realistisk at holde niveauet, også en travl sidste dag i måneden.

Teknik 08 · Prøver med facit

Evals: prøver med kendte svar

Hvor kontrol-agenterne i teknik 7 tjekker den enkelte leverance, tester evals selve setuppet. En eval er en opgave med facit: kendt input, kendt rigtigt output og en måling af, hvor tæt setuppet kommer. Det er den gængse måde at måle kvaliteten af AI-løsninger på. Inden et setup får lov at arbejde på den rigtige opgave, skal det bestå et sæt af den slags prøver, hvor I kender svaret.

For kvartalsrapporten er prøven ligetil. Lav rapporterne for de gamle kvartaler, hvor I kender de rigtige tal og de rigtige konklusioner, og sammenlign. Otte gamle kvartaler er otte prøver. Består setuppet syv af dem, ved du præcis, hvilken type afvigelse du skal holde øje med.

Prøverne er ikke en engangsting. Hver gang setuppet ændres, en ny instruks, en ny datakilde, kører hele sættet igen, og sådan opdager du, at en forbedring ét sted har gjort noget andet værre, inden rapporten når nogen, der træffer beslutninger på den. Sættet vokser også undervejs. Slipper en fejl alligevel igennem, gemmer du den som en ny prøve, så setuppet fremover bliver testet mod præcis den fejl.

Teknik 09 · Godkendelse og log

Fast review-proces med godkendelse og log

Intet forlader setuppet uden et menneskes godkendelse, og hver godkendelse logges: hvem så på udkastet, hvad blev rettet, hvornår gik det videre. AI ændrer ikke på, at et menneske skriver under.

Det, der ændrer sig, er, hvad mennesket sidder med. I stedet for et råt udkast er det et dokument, hvor påstandene peger på deres kilder, kontrolagenterne har sat deres anmærkninger, og usikkerhederne er markeret. Godkendelsen tager kortere tid og er mere værd, fordi opmærksomheden lander de rigtige steder.

For ISO 27001-rapporten er det ikke engang et nyt krav. Intern audit og ledelsens evaluering er i forvejen faste, dokumenterede gennemgange.

Loggen er den del, man er gladest for, den dag nogen spørger. Ved en audit kan du vise processen og ikke kun resultatet: hvad AI'en lavede, hvad mennesker rettede, og hvem der godkendte.

Teknik 10 · Kun ændringerne

Diff-review: gennemgå kun ændringerne

Diff-review kommer fra udviklerne, der har arbejdet sådan i årtier. Ingen genlæser hele systemet, hver gang noget ændres. Man gennemgår ændringerne. Teknikken flytter den vane over på rapporter og dokumenter. Findes der en godkendt udgave fra sidste gang, gennemgår du kun forskellene: hvilke tal har flyttet sig, hvilke afsnit er skrevet om, hvilke konklusioner er nye.

Anden gang setuppet laver kvartalsrapporten, findes der præcis sådan en udgave, og 40 sider bliver til de tre, der er anderledes end sidst.

Den klassiske fejl i tilbagevendende rapporter er sidste kvartals kommentar, der bliver stående oven på tal, der har flyttet sig. Det hul lukker teknik 3. Koden regner alle tal igen, så et flyttet tal altid dukker op som en ændring, også i afsnit, der ikke er skrevet om.

Diff-review forudsætter teknik 9, for uden en godkendt version er der ingen forskel at vise. Sådan bygger teknikkerne på hinanden, og derfor bliver hver gentagelse billigere at kontrollere end den forrige.

Byg setuppet én teknik ad gangen

Kig på listen igen: tvungne spørgsmål, farvemarkering, kilder på påstande, prøver med facit, en log. Ikke én af dem er imponerende i sig selv, og det er pointen. Tilliden kommer af simple mekanismer lagt oven på hinanden, indtil en stille fejl skal slippe igennem mange lag for at nå ud.

Tag bogføringen som det samlede billede: koden afstemmer beløbene, AI'en konterer og markerer grøn, gul eller rød, kontrolagenterne tjekker datoer, beløb og kontonumre, biblioteket af godkendte eksempler vokser for hver kørsel, og bogholderen godkender til sidst. Fire teknikker, ingen af dem avancerede alene. Tilsammen er de forskellen på et system, man håber på, og et system, man tør lade arbejde.

Du skal ikke bygge alle ti på dag ét. De setups, jeg bygger, starter typisk med tre eller fire teknikker: kode der regner, en synlig usikkerhedsmarkering og et fast review, og resten kommer til, efterhånden som opgaven viser, hvor den er sårbar. Det er samme råd som i teknik 1, bare et niveau oppe. Vejen ind i det avancerede setup er selv en gradvis udvidelse. Første skridt er at vælge den opgave, hvor en fejl koster mest, og hvor ingen leder efter den i dag.