Ukratko: izgradite baseline s pretragom koju već imate, ocijenite je na stvarnim pitanjima i dodajte embeddinge samo tamo gdje eval set pokaže razliku.
Pogledajte pitanja koja ljudi postavljaju
Prikupite stvarna pitanja od ljudi koji će koristiti asistenta, a ne izmišljena. Razvrstajte ih. Velik dio obično su lookup pitanja: broj ugovora, ime klijenta, raspon datuma, šifra artikla, osoba. Vector search uspoređuje značenje približno, i upravo zato je slab kod točnih podudaranja. Pretraga po ključnim riječima i SQL filter su suprotni: precizni na identifikatorima, slabi kad pitanje koristi drugačije riječi od dokumenta. Oboje je već u vašem stacku.
Prvo izgradite baseline
Zapišite kako izgleda točan odgovor za skup od pedesetak pitanja. Provedite ih kroz full-text pretragu i strukturirane filtere i zabilježite koliko ih se vrati točno. Taj rezultat je baseline i sve što se kasnije doda mora ga nadmašiti. Bez njega dodavanje vektora ne možete nazvati poboljšanjem. Možete ga nazvati samo promjenom.
Vektore dodajte tamo gdje baseline zakaže
Embeddinzi zaslužuju svoje mjesto kad je problem rječnik: korisnik pita kako prije roka prekinuti najam, a dokument govori o prijevremenom raskidu zakupa. Kad eval set pokaže tu klasu pogrešaka, hybrid retrieval je opravdan: ključne riječi plus vektori, rezultati spojeni. Tada se dobitak može izmjeriti i odlučiti vrijedi li onoliko koliko košta.
Cijena još jednog storea
Vektorski indeks je kopija vaših dokumenata. Mora ostati usklađen s izvorom, ponovno se graditi kad se promijeni embedding model i provoditi ista prava pristupa kao sustav koji kopira. Tko ne može otvoriti dokument u originalnoj aplikaciji, ne smije ga moći dohvatiti ni preko asistenta. Greške u pravima na kopiji su tihe i teško se nalaze, a kad su u pitanju osobni podaci, to je i problem usklađenosti.
Ništa od ovoga nije argument protiv vektorske pretrage. To je argument o redoslijedu posla. Tim s izmjerenim baselineom može reći što su embeddinzi dodali. Tim bez njega može reći samo da asistent sada djeluje bolje. Kad stigne sljedeća verzija modela ili indeksa, prvi tim ponovno pokrene skup pitanja i zna isplati li se prijeći. Embeddinzi su koristan alat, samo ne prvi.
Krenite od dosadne pretrage, izmjerite je i pustite da vam pogreške kažu što dodati.
Koja su pitanja u vašem asistentu zapravo lookupi u prerušavanju?
Cijeli tekst: izvorni članak s cjelovitim obrazloženjem
Articolo originale: https://www.omarbaruzzo.it/hr/blog/ricerca-classica-prima-dei-vettori
Top comments (0)