Kaj pomeni lokalni AI
Lokalni AI pomeni, da se model izvaja na računalniku ali strežniku pod nadzorom organizacije. Dokumenti in pozivi zato niso nujno poslani zunanjemu ponudniku. To je pomembno pri internih poročilih, tehnični dokumentaciji, osebnih podatkih ali poslovnih skrivnostih.
Zasebnost ni samodejna
Samo dejstvo, da je model nameščen lokalno, še ne zagotavlja varnosti. Urediti je treba pravice dostopa, šifriranje, dnevnike, varnostne kopije, posodobitve in izločanje občutljivih podatkov. Enako pomembno je preprečiti, da bi uporabniki rezultate brez preverjanja kopirali v kritične procese.
Strojna oprema in odzivnost
Večji modeli potrebujejo veliko pomnilnika in zmogljiv grafični procesor. Manjši modeli so hitrejši in cenejši, vendar imajo ožje znanje. Smiselna arhitektura pogosto kombinira lokalni model za rutinske naloge in nadzorovan zunanji model za zahtevnejše primere.
RAG in lastno znanje
Modelu ni treba ponovno trenirati celotnega znanja podjetja. Pri pristopu RAG sistem poišče relevantne odlomke v preverjeni zbirki dokumentov in jih doda pozivu. Tako je odgovor bolj sledljiv, posodobitev vsebine pa ne zahteva novega treniranja.
Merjenje kakovosti
Pred uvedbo je treba pripraviti realne testne primere, pričakovane odgovore in kriterije napake. Poleg pravilnosti se meri čas, strošek, delež zavrnjenih primerov in pogostost človeških popravkov. AI je uporaben, ko izboljša celoten proces, ne le ko ustvari impresiven demo.
Kako temo uporabiti v praksi
Največ vrednosti dobimo, ko idejo prevedemo v majhen, preverljiv postopek. Najprej določimo cilj in izhodišče, nato spremenimo samo nekaj, kar lahko opazujemo, ter zabeležimo rezultat. Pri tehničnih temah to pomeni meritve, dnevnike in ponovljive teste; pri osebnih praksah pa jasen namen, časovni okvir in ločevanje subjektivnega vtisa od merljive spremembe.
Pomembna je tudi meja med možnostjo in dokazom. Zanimiva hipoteza je lahko razlog za raziskovanje, ni pa še potrjeno dejstvo. PICALLW zato pri vsebinah, kjer se stikajo tehnologija, človek in manj uveljavljeni pristopi, daje prednost transparentnosti: kaj je dobro podprto z raziskavami, kaj je praktična izkušnja in kaj ostaja eksperimentalno.