Agent postane uporaben šele z omejenimi pooblastili, sledljivimi dejanji, potrditvami in jasnim načinom zaustavitve.

Od prototipa do sistema

Prepričljiv odgovor modela še ni zanesljiv poslovni proces. Potrebni so viri, omejitve, spremljanje napak in jasna odgovornost za končno odločitev.

Kontekst in sledljivost

AI naj pokaže, na katerih dokumentih, podatkih ali pravilih temelji odgovor. Brez sledljivosti uporabnik težko loči preverjeno informacijo od verjetnega ugibanja.

Omejena pooblastila

Avtomatizirani agent naj začne z branjem in pripravo predloga. Dejanja, kot so pošiljanje, brisanje, naročanje ali spreminjanje konfiguracije, potrebujejo dodatno potrditev.

Merjenje kakovosti

Uspeh merimo z natančnostjo, prihrankom časa, številom popravkov, stroški in posledicami napak. Demonstracija je uporabna šele, ko jo spremljajo realni testni primeri.

Človek kot del arhitekture

Človek v zanki ni znak neuspeha avtomatizacije. Je načrtovana varnostna plast pri negotovih, redkih ali pomembnih primerih.

Sklep

Najbolj profesionalen pristop ne skriva negotovosti. Jasno pokaže postopek, omejitve in razlog, zakaj je določena razlaga smiselna.

Agent ni isto kot klepetalnik

Klasični klepetalnik predvsem odgovarja. Agentni sistem pa lahko izbira orodja, bere podatke, izvede več korakov in preveri rezultat. Prav zato je potencial večji, večja pa so tudi tveganja. V podjetju agent ne sme dobiti več pravic, kot jih za nalogo res potrebuje.

Najboljša prva uporaba

Najvarneje je začeti z nalogami, kjer agent predlaga in človek potrdi: razvrščanje dokumentov, priprava osnutka odgovora, povzetek servisnega primera ali predlog knjiženja. Šele ko so rezultati merjeni in revizijska sled jasna, je smiselno avtomatizirati dejanski zapis ali pošiljanje.

Kontrole, ki jih ne bi izpustil

Vsaka produkcijska rešitev naj ima omejene pravice, log operacij, možnost preklica, preverjanje vhodov in jasno določene primere, ko se mora agent ustaviti ter predati odločitev človeku. To je skladno z idejo upravljanja tveganj, ki jo poudarja tudi NIST AI RMF.

Vir

Kako temo uporabiti v praksi

Največ vrednosti dobimo, ko idejo prevedemo v majhen, preverljiv postopek. Najprej določimo cilj in izhodišče, nato spremenimo samo nekaj, kar lahko opazujemo, ter zabeležimo rezultat. Pri tehničnih temah to pomeni meritve, dnevnike in ponovljive teste; pri osebnih praksah pa jasen namen, časovni okvir in ločevanje subjektivnega vtisa od merljive spremembe.

Pomembna je tudi meja med možnostjo in dokazom. Zanimiva hipoteza je lahko razlog za raziskovanje, ni pa še potrjeno dejstvo. PICALLW zato pri vsebinah, kjer se stikajo tehnologija, človek in manj uveljavljeni pristopi, daje prednost transparentnosti: kaj je dobro podprto z raziskavami, kaj je praktična izkušnja in kaj ostaja eksperimentalno.