Kaj pomeni lokalni AI
Lokalni AI pomeni, da se model izvaja na računalniku ali strežniku pod nadzorom organizacije. Dokumenti in pozivi zato niso nujno poslani zunanjemu ponudniku. To je pomembno pri internih poročilih, tehnični dokumentaciji, osebnih podatkih ali poslovnih skrivnostih.
Zasebnost ni samodejna
Samo dejstvo, da je model nameščen lokalno, še ne zagotavlja varnosti. Urediti je treba pravice dostopa, šifriranje, dnevnike, varnostne kopije, posodobitve in izločanje občutljivih podatkov. Enako pomembno je preprečiti, da bi uporabniki rezultate brez preverjanja kopirali v kritične procese.
Strojna oprema in odzivnost
Večji modeli potrebujejo veliko pomnilnika in zmogljiv grafični procesor. Manjši modeli so hitrejši in cenejši, vendar imajo ožje znanje. Smiselna arhitektura pogosto kombinira lokalni model za rutinske naloge in nadzorovan zunanji model za zahtevnejše primere.
RAG in lastno znanje
Modelu ni treba ponovno trenirati celotnega znanja podjetja. Pri pristopu RAG sistem poišče relevantne odlomke v preverjeni zbirki dokumentov in jih doda pozivu. Tako je odgovor bolj sledljiv, posodobitev vsebine pa ne zahteva novega treniranja.
Merjenje kakovosti
Pred uvedbo je treba pripraviti realne testne primere, pričakovane odgovore in kriterije napake. Poleg pravilnosti se meri čas, strošek, delež zavrnjenih primerov in pogostost človeških popravkov. AI je uporaben, ko izboljša celoten proces, ne le ko ustvari impresiven demo.