LlamaIndex wprowadza legal-kb: Agentowe wyszukiwanie w dokumentach prawnych z Index v2

LlamaIndex zaprezentował legal-kb, publiczną aplikację referencyjną dostępną na GitHubie, która stanowi bazę wiedzy dla dokumentów prawnych. Projekt ten, napędzany przez LlamaIndex Index v2 (platformę LlamaParse), demonstruje innowacyjny wzorzec nazwany przez zespół Retrieval Harness dla agentowego wyszukiwania informacji.

Agentowe wyszukiwanie a tradycyjne metody

Podejście zastosowane w legal-kb różni się od tradycyjnego wyszukiwania jednorazowego (single-shot retrieval). Zamiast pojedynczego wyszukiwania osadzeń dla każdego zapytania, agent otrzymuje zestaw narzędzi przypominających operacje na systemie plików. Dzięki temu może przeszukiwać dużą, ewoluującą bazę wiedzy w celu rozwiązania złożonego zadania. Narzędzia te odzwierciedlają operacje znane inżynierom, takie jak wyszukiwanie semantyczne i słów kluczowych, przeszukiwanie wyrażeń regularnych (grep), wyszukiwanie plików oraz ich odczyt.

legal-kb to działająca aplikacja internetowa oparta na TanStack Start, a nie biblioteka. Użytkownicy mogą się zalogować, tworzyć projekty, przesyłać pliki i rozmawiać z agentem. Każdy projekt jest odzwierciedlany jako zarządzany LlamaCloud Index v2. Przesłane pliki są automatycznie parsowane i indeksowane w tle, a agent czatu na bieżąco odpytuje ten indeks podczas każdej interakcji.

Architektura i narzędzia Retrieval Harness

Retrieval Harness zapewnia trwały potok danych dla dokumentów, łącząc się ze źródłem danych, indeksując je i utrzymując w aktualności. Na szczycie tego potoku udostępnia agentowi zestaw narzędzi. Narzędzia te są celowo zbliżone do operacji na systemie plików, umożliwiając agentowi:

• listowanie plików
• odczytywanie plików
• przeszukiwanie plików (grep)
• uruchamianie wyszukiwania hybrydowego

Dzięki generyczności tych narzędzi, harness może być zintegrowany z własnymi agentami użytkowników. Agent w pliku src/lib/agent.ts otrzymuje cztery narzędzia, z których każde mapuje się na API wyszukiwania Index v2. Systemowy prompt narzuca określoną kolejność działań: agent musi najpierw wywołać findFiles, aby ustalić inwentarz dokumentów, następnie zawęzić wyniki za pomocą retrieve, a dokładne sformułowania potwierdzić przez readFile lub grepFile przed cytowaniem.

Proces przesyłania plików jest jasno zdefiniowany w src/lib/files.ts. Bajty są przesyłane do katalogu źródłowego projektu w LlamaCloud. Wiersze File i ProjectFile są zapisywane do PostgreSQL za pośrednictwem Prisma. Synchronizacja indeksu jest uruchamiana, ale nie jest oczekiwana; interfejs użytkownika odpytuje status, aż do momentu gotowości.

Wersjonowanie jest przypisane do pary (projekt, nazwa pliku). Ponowne przesłanie pliku nda.pdf do tego samego projektu tworzy wersje v1, v2, v3 obok siebie. Warstwa wyszukiwania filtruje dane na podstawie pola metadanych wersji, co zapewnia kontrolę wersji nad samą bazą wiedzy.

Integracja z modelami AI i cytowanie

Agent wykorzystuje ToolLoopAgent z Vercel AI SDK 6. Użytkownicy mogą wybrać modele OpenAI lub Anthropic dla każdej tury, dostarczając własne klucze API. Proces rozumowania jest strumieniowany: modele Claude używają rozszerzonego myślenia, podczas gdy modele OpenAI stosują średni wysiłek rozumowania.

Odpowiedzi agenta zawierają wizualne cytaty. Każdy pobrany fragment otrzymuje krótki identyfikator, np. cite:c7f2qa. Agent odwołuje się do tego identyfikatora w tekście, a interfejs użytkownika renderuje klikalny chip cytatu. Kliknięcie go otwiera zrzut ekranu strony źródłowej z prostokątami obramowującymi cytowany tekst.

Ten model wykonania różni się od jednorazowego RAG (Retrieval-Augmented Generation), koncentrując się na zachowaniu agenta w kontekście dużych zbiorów dokumentów. Projekt jest skierowany do dziedzin, w których agenci muszą nawigować po obszernych zestawach dokumentów, takich jak sektor prawny i fintech.

Rozwiązanie legal-kb od LlamaIndex stanowi znaczący krok w rozwoju agentowych systemów wyszukiwania, oferując zaawansowane narzędzia do zarządzania i interakcji z dużymi zbiorami danych. Możliwość precyzyjnego przeszukiwania, wersjonowania i cytowania informacji w sposób agentowy otwiera nowe perspektywy dla automatyzacji procesów w branżach wymagających dokładności i weryfikowalności, takich jak prawo czy finanse. Jest to przykład, jak połączenie zaawansowanych modeli językowych z inteligentnymi narzędziami do zarządzania danymi może zrewolucjonizować sposób, w jaki pracujemy z informacją.

Źródło: marktechpost.com