Meta AI wykorzystuje drugiego agenta AI jako "trenera pamięci" do długotrwałych zadań

Podczas wykonywania długotrwałych zadań agenci sztucznej inteligencji często zapominają o ustalonych ograniczeniach, powtarzają nieudane komendy lub ponownie diagnozują błędy, które już wcześniej zidentyfikowali. Meta AI, w odpowiedzi na ten problem, proponuje nowe rozwiązanie w postaci modułu pamięci, który śledzi istotne informacje i decyduje, kiedy należy przypomnieć o nich głównemu agentowi.

Naukowcy z Meta AI w nowym artykule opisują, jak te problemy się manifestują. Agent może na przykład rozpoznać ograniczenie na wczesnym etapie zadania, by później je naruszyć, próbując naprawić niezwiązany z tym błąd. Innym razem, po niepowodzeniu komendy, niemal natychmiast próbuje jej bardzo podobnej wersji. Diagnozuje wzorzec błędu, a następnie traktuje ten sam wzorzec jako nowy problem.

Autorzy nazywają to zjawisko "rozpadem stanu behawioralnego". Stan, który kieruje decyzjami agenta, rozprasza się w rosnącej historii zadań. Może zostać pogrzebany głęboko w oknie kontekstowym lub całkowicie z niego wypaść. Nawet jeśli informacja pozostaje w transkrypcie lub oknie kontekstowym, może już nie wpływać wiarygodnie na zachowanie agenta. Meta AI podkreśla, że samo zapewnienie agentom dostępu do dłuższych historii nie rozwiązuje problemu.

Nowe podejście do zarządzania pamięcią

Istniejące systemy pamięci koncentrują się na przechowywaniu, aktualizowaniu i wyszukiwaniu informacji. Według artykułu, sprawdza się to dobrze w przypadku personalizacji i przypominania sobie informacji między sesjami. Jednak agenci pracujący nad zadaniem stają przed innym wyzwaniem: system musi zdecydować, kiedy pamięć jest na tyle użyteczna, aby ją przywołać. Zbyt mało przypomnień prowadzi do powtarzania błędów, natomiast zbyt wiele zwiększa opóźnienia, zużywa tokeny i odciąga agenta od bieżącej pracy.

Rozwiązanie Meta AI wykracza poza zwykłe podsumowywanie. Podczas gdy podsumowujący system decyduje jedynie, jakie informacje zachować, system Meta decyduje, czy przechowywany stan wykonania powinien wpłynąć na następny ruch agenta. Ponieważ tryby awarii różnią się znacznie w zależności od zadania, stała reguła podsumowywania nie może niezawodnie podjąć takiej decyzji.

Proponowany system łączy niezmodyfikowanego "agenta akcji" z oddzielnym "agentem pamięci". W ustalonych odstępach czasu agent pamięci przegląda przesuwne okno ostatnich kroków i aktualizuje ustrukturyzowany bank pamięci. Następnie decyduje, czy dodać krótkie przypomnienie do następnego wywołania agenta akcji, czy pozostać cicho. Autorzy twierdzą, że moduł może współpracować z istniejącymi agentami jako komponent typu plug-and-play. W przeciwieństwie do ogólnego modelu doradczego, dostarcza on jedynie przypomnienia oparte na pamięci i nie oferuje szerszych strategicznych porad.

Struktura i działanie banku pamięci

Bank pamięci składa się z trzech sekcji:

• Prywatne pole statusu: Śledzi postępy i bieżące ryzyka, nigdy nie jest pokazywane agentowi akcji.
• Pamięć wiedzy (Knowledge Memory): Przechowuje stabilne fakty, takie jak wymagania, ścieżki plików i konfiguracje.
• Pamięć proceduralna (Procedural Memory): Rejestruje, co agent próbował zrobić i co się wydarzyło, w tym nieudane komendy, udane poprawki i odrzucone hipotezy.

Podczas każdego kroku pamięci, agent może aktualizować bank tylko poprzez predefiniowane wywołania narzędzi, a nie swobodnie nadpisywać jego zawartość. Następnie decyduje, czy ponownie aktywować przechowywany stan i, w razie potrzeby, tworzy ukierunkowane przypomnienie. Wybór braku interwencji jest częścią polityki działania.

Wyniki testów i wnioski

Naukowcy przetestowali system na Terminal-Bench 2.0, oceniającym autonomicznych agentów w realistycznych środowiskach wiersza poleceń, oraz na tau2-Bench, testującym konwersacyjne użycie narzędzi w sektorach lotniczym, handlowym i telekomunikacyjnym. Jako agent pamięci posłużył Claude Opus 4.6, choć model ten od tego czasu otrzymał kilka aktualizacji.

Z Claude Sonnet 4.5 jako agentem akcji, system rozwiązał 46 procent zadań Terminal-Bench przy pierwszej próbie, w porównaniu do 38 procent dla linii bazowej. Na tau2-Bench, średnia ważona zadań wzrosła z 55 do 62 procent.

Wyniki różniły się w zależności od domeny. Wyniki dla zadań lotniczych i handlowych wzrosły o około 10 punktów procentowych każda, podczas gdy telekomunikacja poprawiła się tylko o 3 punkty. Nierównomierne zyski sugerują, że agent pamięci interweniuje z różną częstotliwością w zależności od zadania, zamiast stosować stałą regułę agregacji.

Zyski były większe dla słabszego agenta, ale nie zniknęły w przypadku silniejszego. Opus 4.6 poprawił się o 2,4 punktu procentowego na Terminal-Bench i 2,5 punktu na tau2-Bench. Wynik ten sugeruje, że system pamięci robi więcej niż tylko kompensuje ograniczoną pojemność słabszego modelu.

Zespół usunął po jednej zdolności naraz, aby określić, które części systemu przyczyniły się do wzrostu wydajności. Kiedy agent akcji otrzymywał pełny bank pamięci na każdym kroku, wydajność spadła poniżej tej osiąganej przez pełny system. Wersja bez opcji "ciszy", która zwracała pamięć na każdym kroku, pozostała konkurencyjna, ale przyniosła mniej spójne zyski w różnych domenach.

Wersja w stylu doradcy bez trwałego banku pamięci pomogła w niektórych obszarach, ale w innych pogorszyła wydajność. Pełny projekt, który łączy utrzymywany bank pamięci z selektywnymi przypomnieniami, osiągnął najlepsze wyniki. Podejście to przewyższyło również Mem0, produkcyjną warstwę pamięci, która pobiera rekordy poprzez wyszukiwanie. Różnica polega nie tylko na tym, które rekordy system pobiera, ale także na tym, że agent pamięci decyduje, czy i jak przechowywany stan powinien wejść w pętlę jako ukierunkowane przypomnienie.

Przykład z domeny "Linie lotnicze" w tau2-Bench ilustruje to działanie. Użytkownik twierdził, że ma status Gold, ale narzędzie zidentyfikowało go jako zwykłego klienta. Linia bazowa przyznała odszkodowanie na podstawie twierdzenia użytkownika. Agent pamięci zamiast tego wydał przypomnienie, aby polegać na zweryfikowanych danych narzędzia. Większość pozostałych błędów dotyczyła kalibracji, a nie pamięci. W niektórych przypadkach, na przykład, agent pamięci traktował spekulatywne wnioskowanie ze zbyt dużą pewnością.

Dalsze kierunki rozwoju

Główna wersja systemu nie wymaga specjalnie wytrenowanego modelu i działa jako agent sterowany podpowiedziami. Zespół sprawdził również, czy można nauczyć polityki interwencji otwarty model. Wytrenowano mniejszy model Qwen3.5-27B jako agenta pamięci, utrzymując znacznie większy model akcji w stanie zamrożenia. Bez treningu mniejszy agent pamięci zmniejszył wydajność. Nadzorowane dostrajanie odzyskało tę stratę, a późniejsze uczenie wzmacniające poprawiło jego decyzje dotyczące tego, kiedy przywołać przechowywany stan.

Meta AI wymienia kilka otwartych pytań, w tym wspólne szkolenie agentów pamięci i akcji, nauczenie systemu wywoływania pamięci w razie potrzeby, zamiast podążania za stałym harmonogramem, oraz określenie, kiedy dosłowne wspomnienia działają lepiej niż abstrakcje specyficzne dla zadania. Kod projektu został opublikowany na GitHub.

Meta nie jest jedyna w zmaganiach z tym problemem, a branża nadal nie ma standardowego podejścia. Framework Mastra wykorzystuje dwóch agentów w tle, którzy monitorują i kompresują rozmowę, zamiast przechowywać całą jej historię w oknie kontekstowym. System GAM ma na celu zapobieganie "gniciu kontekstu" w długich czatach i, podobnie jak podejście Meta, porównuje swoje wyniki z warstwą pamięci Mem0. Inni badacze projektują systemy pamięci AI na całe życie, które mogą aktywnie dodawać, poprawiać i zapominać wiedzę. Rozwój tych technologii jest kluczowy dla tworzenia bardziej niezawodnych i autonomicznych systemów AI, zdolnych do efektywnego zarządzania złożonymi zadaniami w dynamicznych środowiskach.

Źródło: the-decoder.com