Zakaj je razlaga pomembna
Uporabnik mora vedeti, na katerih podatkih temelji predlog in kaj model ni upošteval. Pri generativni AI je koristno prikazati uporabljene dokumente, citirane odlomke in opozorila o manjkajočih informacijah. Razlaga ni popoln vpogled v model, je pa praktična sled odločanja.
Stopnje tveganja
Ni vsaka uporaba AI enako tvegana. Predlog naslova e-pošte je manj tvegan kot odobritev plačila ali varnostni ukrep. Sistem mora imeti različne pragove: samodejno izvedbo pri nizkem tveganju, človeško potrditev pri srednjem in strokovno presojo pri visokem.
Dobro oblikovana potrditev
Gumb »Potrdi« ni dovolj. Uporabnik mora videti posledice, ključne vhodne podatke in morebitna odstopanja. Pri zavrnitvi je koristno zabeležiti razlog, saj ti podatki pomagajo izboljšati pravila in ocenjevanje modela.
Revizijska sled
Za pomembne procese je treba shraniti različico modela, poziv, uporabljene vire, rezultat, uporabnikovo odločitev in čas. Takšna sled omogoča rekonstrukcijo dogodka in loči sistemsko napako od napačnega vhodnega podatka ali človeške presoje.
Kultura odgovornosti
AI ne sme postati način za razpršitev odgovornosti. Organizacija mora določiti lastnika procesa, dovoljene uporabe, eskalacijo in redno preverjanje kakovosti. Najboljši sistem ni tisti, ki odstrani človeka, ampak tisti, ki mu pomaga sprejeti bolj informirano odločitev.