Qwen Developers udostępniają zg (zvec-grep) – lokalną warstwę wyszukiwania łączącą ripgrep, BM25 i wyszukiwanie wektorow

Qwen Developers udostępnili zg (zvec-grep), innowacyjną warstwę wyszukiwania działającą w trybie „local-first”, która ma na celu zrewolucjonizowanie sposobu, w jaki agenci AI wchodzą w interakcje z danymi. Projekt został opublikowany na licencji Apache 2.0, co otwiera go na szerokie zastosowanie i rozwój przez społeczność.

Jednolity interfejs dla zaawansowanego wyszukiwania

Kluczową innowacją zg jest zdolność do łączenia trzech potężnych mechanizmów wyszukiwania pod jednym, spójnym interfejsem. Są to:

• ripgrep: narzędzie do szybkiego wyszukiwania wzorców w plikach.
• BM25: algorytm rankingowy często używany w wyszukiwarkach do oceny trafności dokumentów.
• Wyszukiwanie wektorowe: metoda oparta na podobieństwie semantycznym, wykorzystująca osadzenia wektorowe.

Dzięki temu agenci AI mogą przechodzić od ogólnego opisu w języku naturalnym do precyzyjnego wskazania zakresu linii w tekście, bez konieczności przełączania się między różnymi narzędziami. To znacząco usprawnia proces wyszukiwania i analizy danych, czyniąc go bardziej płynnym i efektywnym.

Kluczowe cechy zg (zvec-grep)

Projekt zg został zaprojektowany z myślą o kilku istotnych aspektach, które zwiększają jego użyteczność i bezpieczeństwo:

• Mała powierzchnia MCP (Minimum Complete Product): Oznacza to, że narzędzie jest celowo proste i skupia się na podstawowych funkcjonalnościach, co ułatwia jego integrację i utrzymanie.
• Katalog osadzeń na urządzeniu (on-device embedding catalog): Pozwala to na przechowywanie i zarządzanie osadzeniami wektorowymi bezpośrednio na urządzeniu, co może przyspieszyć proces wyszukiwania i zmniejszyć zależność od zewnętrznych usług.
• Brama autoryzacji (authorization gate): Stanowi ona zabezpieczenie pomiędzy lokalną zawartością a zdalnymi modelami, kontrolując dostęp i zapewniając, że wrażliwe dane nie są nieautoryzowanie przesyłane poza lokalne środowisko.

Integracja tych elementów w zg (zvec-grep) ma potencjał do znacznego usprawnienia pracy agentów AI, umożliwiając im bardziej precyzyjne i kontekstowe wyszukiwanie informacji. Zdolność do łączenia różnych paradygmatów wyszukiwania w jednym narzędziu, przy jednoczesnym zachowaniu kontroli nad danymi lokalnymi, stanowi ważny krok w rozwoju autonomicznych systemów AI.

Źródło: marktechpost.com