DI programos ir žinios

Paieškos ir generavimo kūrimas

Kalbos modelis geras tiek, kiek geras tai, ką jam pateikiate. Dauguma nuviliančių DI atsakymų yra paieškos nesėkmės, persirengusios modelio nesėkmėmis: reikiama ištrauka egzistavo ir nebuvo rasta. Kuriame ir deriname paieškos sluoksnį, o paskui jį matuojame, kad modelis samprotautų remdamasis teisingais įrodymais.

Aptarkite savo DI iniciatyvą Paslaugos

Verslo problema

Demonstracija veikė, nes rinkinys buvo mažas

Naivi vektorinė paieška gera keliems šimtams dokumentų ir smarkiai prastėja peržengus kelis šimtus tūkstančių. Skaidymas į ištraukas atskiria lentelę nuo jos antraštės. Prasmiškai artimos ištraukos išstumia tą, kuri iš tiesų autoritetinga. Šviežumas pralaimi aktualumui, todėl panaikinta politika atsiduria virš galiojančios. Nieko iš to nematyti be matavimo, todėl komandos išleidžia sistemą, gauna įtikinamus atsakymus ir sužino klaidų dalį tik tada, kai kažkas pasielgia pagal klaidingą.

Ką darome

Sukurti paiešką ir įrodyti jos kokybę

Pradedame nuo vertinimo rinkinio iš realių klausimų ir žinomų teisingų šaltinių, nes negalima derinti to, kas nematuojama. Toliau dirbame su konvejeriu: skaidymas atsižvelgiant į dokumento struktūrą, hibridinė paieška pagal raktažodžius ir vektorius, metaduomenų filtrai šviežumui ir autoritetingumui, trumpojo sąrašo perrikiavimas. Ten, kur ryšiai tarp objektų svarbesni už ištraukų panašumą, naudojame grafą, o ne apsimetame, kad vektorių pakanka. Kiekvienas pakeitimas vertinamas pagal tą patį rinkinį, todėl pagerėjimas įrodomas, o ne skelbiamas.

Paieškos ir generavimo kūrimas

Kompetencijos

Įmonės paieška ir generavimas
Pažangi paieška ir generavimas
Paieška grafe
Hibridinė paieška
Vektorinė paieška
Paieškos optimizavimas
Paieškos vertinimas

Dažniausi panaudojimo atvejai

Pagrįsti klientams skirtą asistentą taip, kad kiekvienas jo teiginys vestų į paskelbtą dokumentą.
Ieškoti sutartyse, kur atsakymas priklauso nuo to, kuri sutartis taikytina, o ne nuo formuluočių panašumo.
Ieškoti techninėje dokumentacijoje, kur reikiama ištrauka yra lentelė ar schemos parašas.
Perkurti esamą asistentą, kuris atsako įtikinamai, bet klysta pakankamai dažnai, kad prarastų pasitikėjimą.

Kaip dirbame

Formulavimas

Paversti užklausą užduotimi: kas naudojasi, kas laikoma teisingu atsakymu, kas sprendžia.
Pagrindimas

Prisijungimas prie turinio ir sistemų, kuriose yra atsakymai, išlaikant esamas teises.
Vertinimas

Vertinimas pagal pažymėtą rinkinį iš jūsų pačių atvejų, prieš tai kai jį pamatys kas nors iš išorės.
Išleidimas ir eksploatavimas

Etapinis išleidimas su stebėsena, sąnaudų kontrole ir regresijos rinkiniu, saugančiu kokybę.

Technologijos

OpenAI
Anthropic
Azure OpenAI
pgvector
Elasticsearch
Microsoft 365
SharePoint
Confluence
Salesforce

Saugumas ir valdysena

Atsakymai pagrįsti jūsų pačių turiniu ir turi nuorodas, todėl skaitytojas gali juos patikrinti. Paieška paiso teisių, jau nustatytų šaltinyje, o tai reiškia, kad naudotojas per programą niekada nepamatys to, ko nepamatytų tiesiogiai. Užklausos, gautas kontekstas ir atsakymai registruojami auditui, o vertinimas vykdomas nuolat, o ne vieną kartą paleidimo metu.

Bendradarbiavimo modeliai

DI projektas

Prisiimame atsakomybę už apibrėžto DI sprendimo projektavimą ir pristatymą.

Skirta DI komanda

Ilgalaikis skirtas inžinerinis pajėgumas, sukurtas apie jūsų technologijas ir pristatymo modelį.

Valdomas DI

Eksploatuojame, stebime ir nuolat tobuliname gamybines DI sistemas.

Kodėl TeamExtension.ai

Matuojame prieš derindami

Darbas su paieška paprastai vyksta pagal nuojautą: pakeisti ištraukos dydį, perskaityti kelis atsakymus, nuspręsti, kad pagerėjo. Mes pirmiausia sukuriame pažymėtą rinkinį – tai neefektinga ir sudaro visą skirtumą tarp derinimo ir spėliojimo. Be to, jums lieka regresijos rinkinys, todėl modelio atnaujinimas po pusmečio negalės tyliai pabloginti kokybės.

Atrinkti klientai

Dažniausiai užduodami klausimai

Kaip matuojate paieškos kokybę?

Pagal pažymėtą realių klausimų rinkinį, suporuotą su ištraukomis, kurios iš tiesų į juos atsako. Pranešame, ar reikiama ištrauka apskritai buvo rasta ir kelintoje vietoje atsidūrė. Atsakymo kokybė vertinama atskirai, nes geras atsakymas iš klaidingo šaltinio vis tiek yra nesėkmė.

Ar mums reikia vektorinės duomenų bazės?

Dažnai ne. pgvector esamame PostgreSQL egzemplioriuje susidoroja su labai daug įmonės apkrovų, nepridedant eksploatuotinos infrastruktūros. Atskirą vektorinę saugyklą rekomenduojame, kai tai pateisina mastas ar reikalavimai, o ne pagal numatytuosius nustatymus.

Kas yra GraphRAG ir ar mums jo reikia?

Jis ieško grafe iš objektų ir ryšių, o ne atskirose ištraukose. Papildomas sudėtingumas pateisinamas, kai atsakymai priklauso nuo ryšių tarp dokumentų, pavyzdžiui nuo nuosavybės grandinių ar priklausomybių struktūrų. Daugumai atsakymų iš rišlaus teksto hibridinė paieška su perrikiavimu veikia geriau ir su mažesnėmis pastangomis.

Ar galite pagerinti sistemą, kurią jau sukūrėme?

Taip, ir tai įprasta. Pradedame nuo vertinimo rinkinio sukūrimo ir to, kas yra, išmatavimo. Paprastai tai tiksliai lokalizuoja gedimą, o pataisymas dažnai pasirodo siauresnis už perkūrimą.

Kaip tai išlieka tikslu keičiantis turiniui?

Indeksavimas seka šaltinį pagal tvarkaraštį ar pranešimą apie pakeitimą, o vertinimo rinkinys vykdomas nuolat, o ne vieną kartą. Paieškos kokybė stebima kaip bet kuris kitas gamybinis rodiklis.

Susijusios kompetencijos

DI programos ir žinios

Įmonės žinios su DI

Paverskite išsibarsčiusias vidines žinias saugia pagalba, kuri paiso esamų teisių.

Sužinoti daugiau

DI duomenys ir modeliai

DI duomenų inžinerija

Konvejeriai, kokybės kontrolė ir vektorinės saugyklos, nuo kurių priklauso DI sistemų teisingumas.

Sužinoti daugiau

DI duomenys ir modeliai

Modelių inžinerija

Papildomas mokymas, vektorinės reprezentacijos, optimizavimas ir aptarnavimas, įskaitant atviruosius ir savarankiškai talpinamus modelius.

Sužinoti daugiau

Aptarkite savo DI iniciatyvą

Paieškos sistemos, grindžiančios atsakymus jūsų pačių turiniu, su nuorodomis ir išmatuojamu tikslumu.

Pasikalbėkite su DI ekspertu Pradėkite DI vertinimą