NVIDIA AI prezentuje ASPIRE: Samodoskonalący się framework dla robotyki, osiągający 31% zero-shot w zadaniach LIBERO-Pro

Tradycyjne programowanie robotów jest procesem trudnym do skalowania, wymagającym ręcznego zarządzania percepcją multimodalną, dynamiką kontaktu fizycznego oraz obsługą błędów. Systemy typu „code-as-policy” pozwalają modelom językowym na tworzenie wykonywalnych programów dla robotów, co ułatwia ich inspekcję, edycję i debugowanie. Dotychczasowe rozwiązania działały jednak w prostych środowiskach, oferując jedynie ogólne informacje zwrotne na poziomie zadania, bez wskazywania przyczyn niepowodzeń. Co więcej, wszelkie wprowadzone poprawki były tracone po zakończeniu zadania, co oznaczało, że robot nie gromadził doświadczenia.

ASPIRE: Ciągłe uczenie się i biblioteka umiejętności

Zespół badaczy z NVIDIA, Uniwersytetu Michigan, UIUC, UC Berkeley i CMU opracował ASPIRE (Agentic Skill Programming through Iterative Robot Exploration) – system ciągłego uczenia się, który nie tylko pisze i udoskonala programy sterujące robotami, ale także destyluje zweryfikowane poprawki do biblioteki umiejętności wielokrotnego użytku. System działa w otwartej pętli uczenia się, składającej się z trzech głównych komponentów:

• Silnik wykonawczy robota w zamkniętej pętli: Zastępuje on ogólne informacje zwrotne szczegółowymi śladami multimodalnymi dla każdej prymitywnej operacji (percepcja, planowanie, kontrola). Przechowuje dane wejściowe, wyjściowe, status zwrotny, a także klatki kluczowe RGB, nakładki, kandydatów do chwytu, pozycje obiektów i wyniki planowania ruchu. Agent analizuje tylko te wywołania, które są związane z awarią, lokalizuje usterkę i weryfikuje naprawę poprzez ponowne wykonanie.
• Biblioteka umiejętności: Zamiast przechowywać całe programy zadań, biblioteka gromadzi heterogeniczne poprawki, takie jak heurystyki lokalizacji, podpowiedzi percepcyjne, ograniczenia chwytu, prymitywy ruchu i procedury debugowania. Każda umiejętność to kompaktowa wskazówka kontekstowa, zawierająca sygnaturę błędu, warunek zastosowania, strategię naprawy i często szkic kodu. Koordynator akceptuje tylko wzorce, które przeszły walidację debugowania i kontrolę zgodności z API.
• Wyszukiwanie ewolucyjne: Aby uniknąć zapętlania się w lokalnych naprawach, ASPIRE proponuje K kandydatów programów w każdej rundzie. Kandydaci są warunkowani na podstawie najlepiej działających wcześniejszych programów i ich pozostałych śladów błędów, co promuje eksplorację różnych strategii zamiast ciągłego udoskonalania jednego rozwiązania.

Testy i wyniki

W symulacji, agent kodujący wykorzystuje Claude Code z Claude Opus 4.6 i oknem kontekstowym 1M tokenów. Programy są pisane w CaP-X, otwartym frameworku code-as-policy zbudowanym na MuJoCo Playground. Agent nie ma dostępu do symulowanych danych rzeczywistych, takich jak stan silnika fizycznego czy plików zasobów, co ma na celu odzwierciedlenie ograniczeń rzeczywistego robota.

ASPIRE został przetestowany w trzech rodzinach benchmarków:

• LIBERO-Pro: Testuje odporność krótkoterminową na zakłócenia obiektowe, celowe i przestrzenne.
• Robosuite: Obejmuje manipulację dwoma ramionami z intensywnym kontaktem.
• BEHAVIOR-1K: Dotyczy długoterminowej mobilnej manipulacji w środowisku domowym.

Wyniki są imponujące. Na LIBERO-Pro, ASPIRE zyskał do 77 punktów w pakiecie Object, 41,5 punktu w Goal i 42,5 punktu w Spatial w porównaniu do najsilniejszej linii bazowej. W zadaniu dwuręcznego przekazywania przedmiotów w Robosuite, skuteczność wzrosła z 20% do 92%. Zadanie podnoszenia radia w BEHAVIOR-1K poprawiło się z 56% do 88%.

Szczególnie godny uwagi jest wynik zero-shot: wykorzystując umiejętności zgromadzone na LIBERO-90, ASPIRE osiągnął około 31% w nieznanych zadaniach LIBERO-Pro Long, podczas gdy wcześniejsze metody osiągały około 4%.

Transfer do rzeczywistych robotów

Zespół badawczy przetestował trzy umiejętności odkryte w symulacji na rzeczywistej stacji dwuręcznej YAM. Agent kodujący dla rzeczywistego robota to OpenAI Codex GPT-5.5. Pomimo różnic w budowie i API między symulacją a rzeczywistością, przeniesione umiejętności znacząco zmniejszyły koszty debugowania. Podnoszenie puszki z napojem poprawiło się z 13/20 do 19/20 przy zużyciu około 10 razy mniej tokenów. Otwieranie szuflady, gdzie bazowa metoda bez umiejętności nigdy nie odniosła sukcesu, poprawiło się z 0/20 do 11/20.

ASPIRE stanowi znaczący krok w kierunku bardziej autonomicznych i adaptacyjnych systemów robotycznych. Zdolność do samodzielnego uczenia się, udoskonalania i ponownego wykorzystywania umiejętności może radykalnie przyspieszyć rozwój robotyki, umożliwiając robotom efektywniejsze działanie w złożonych i nieprzewidywalnych środowiskach, zarówno w przemyśle, jak i w zastosowaniach domowych.

Źródło: marktechpost.com