Uvođenje RAG-a u vaš postojeći proizvod
Pretraživanje vašeg znanja, ugrađeno u proizvod koji već isporučujete, s odgovorima koji navode izvor.
RAG ima reputaciju jednostavnog jer radni prototip nastaje u jedno poslijepodne. Isjeckaj dokumente, ugradi ih, pretraži, ubaci rezultate u prompt. Dobro izgleda na demou i raspada se na dodiru sa stvarnom bazom znanja, gdje je pola dokumenata zastarjelo, tri si proturječe, a važan odgovor živi u tablici unutar PDF-a.
Inženjerski dio koji je bitan nije poziv za pretraživanje. To je odluka što ulazi u indeks, što se isključuje, kako zastarjeli dokument prestaje biti posluživan i kako odgovor pokazuje izvor da ga čovjek može provjeriti. To je većina posla i ono što razlikuje chatbot kojem se vjeruje od onog koji se tiho prestane koristiti.
Za koga je ovo
- Imate znanje vrijedno pretraživanja: dokumentaciju, ugovore, povijest podrške, specifikacije, interni wiki.
- Postoji proizvod, portal ili interni alat u kojem značajka može živjeti.
- Netko s vaše strane može reći koji su dokumenti mjerodavni, a koji zastarjeli.
Ako znanje postoji samo u glavama ljudi ili nitko ne može presuditi koja je verzija dokumenta važeća, pretraživanje će pojačati nered. Prvo se sređuje izvor.
Što dobivate
- Cjevovod za unos vaših formata, uključujući nezgodne: PDF-ove, tablice, skenove, izvoze.
- Pretraživanje podešeno na vašim pitanjima, ne na generičkom mjerilu.
- Odgovori s citatima natrag na izvorni dokument i odjeljak.
- Značajka integrirana u vaš proizvod ili interni alat, a ne zasebna stranica koju nitko ne otvara.
- Evaluacijski set stvarnih pitanja s točnim odgovorima, da kvaliteta bude brojka koju pratite.
- Put osvježavanja: kako novi i promijenjeni dokumenti ulaze u indeks i kako zastarjeli izlaze.
Kako teče
Što postoji, u kojim formatima, što je mjerodavno, što se nikad ne smije posluživati. Obično najvrjedniji korak.
Parsiranje, dijeljenje i indeksiranje prilagođeni vašim dokumentima, zatim pretraživanje podešeno na vašem setu pitanja.
Sučelje gdje su vaši korisnici već, s citatima i jasnim ponašanjem kada odgovora nema u indeksu.
Rezultati evaluacije, put osvježavanja, dokumentacija i prolazak kroz sustav s vašim timom.
Pitanja koja se najčešće postavljaju
- Možete li ovo napraviti bez slanja naših dokumenata trećoj strani?
- Da. Indeks može živjeti u vašoj infrastrukturi, a poziv modela ići pružatelju bez zadržavanja podataka ili modelu koji sami hostate. Svaka opcija drugačije košta u kvaliteti i novcu i odlučujemo tijekom audita, a ne poslije.
- Kako znamo da su odgovori točni?
- Svaki odgovor navodi dokument i odjeljak iz kojeg dolazi, pa ga čovjek provjeri jednim klikom. Uz to gradimo evaluacijski set iz vaših stvarnih pitanja s poznato točnim odgovorima i svaka se promjena mjeri prema njemu.
- Što se događa kad se dokument ažurira?
- Put osvježavanja dio je isporuke. Novi i promijenjeni dokumenti ulaze u indeks po rasporedu ili na okidač iz vašeg sustava, a zamijenjene verzije prestaju biti dohvatljive, pa asistent ne može citirati lanjski cjenik.
- Je li vektorska baza obavezna?
- Često, ali ne uvijek. Za nekoliko stotina dokumenata dobro postavljena pretraga po ključnim riječima uz rerangiranje može biti točnija i jeftinija od vektorske baze. Biram prema vašem korpusu, ne prema modi.
- Može li ovo raditi povrh našeg postojećeg chatbota?
- Najčešće da. Ako već imate bot podrške ili asistenta u proizvodu, pretraživanje se dodaje kao izvor iza njega umjesto da se sve mijenja.