Robbyant z Ant Group prezentuje LingBot-VA 2.0 – model wideo-akcji dla robotyki

Robbyant, jednostka sztucznej inteligencji należąca do Ant Group, zaprezentowała LingBot-VA 2.0 – model fundamentowy wideo-akcji, który jest pierwszym tego typu rozwiązaniem zaprojektowanym natywnie dla robotyki. Jego głównym celem jest usprawnienie manipulacji robotów ogólnego przeznaczenia. Zespół badawczy odpowiedzialny za projekt podkreśla, że model jest pretreinowany dla ucieleśnionej sztucznej inteligencji, zamiast być jedynie dostrajanym generatorem wideo.

Przełom w architekturze modelu

Większość dotychczasowych modeli wideo-akcji wykorzystuje komponenty stworzone z myślą o cyfrowym tworzeniu treści, takie jak VAE zorientowane na rekonstrukcję oraz dwukierunkowy szkielet dyfuzji wideo z dołączonym modułem akcji. Takie podejście prowadzi do kilku ograniczeń:

• Ograniczona struktura fizyczna: Latenty rekonstrukcji pikseli zachowują wygląd, ale niosą ograniczoną strukturę fizyczną.
• Niska prędkość: Iteracyjne odszumianie tokenów wideo jest zbyt wolne dla sterowania w pętli zamkniętej.
• Brak zrozumienia wpływu na świat: Ogólne cele wideo nie uczą, jak akcje zmieniają świat.
• Niezgodność strukturalna: Szkielety używają dwukierunkowej uwagi, podczas gdy sterowanie rozwija się ściśle w przód w czasie.

LingBot-VA 2.0 rozwiązuje te problemy. Wersja 1.0 dostrajała istniejący stos do modelu przyczynowego, natomiast wersja 2.0 pretreinuje przyczynowy DiT (Diffusion Transformer) natywnie. W pierwszej fazie rozwoju, model zastępuje VAE zorientowane wyłącznie na kompresję. Tokenizer dodaje dwa cele do rekonstrukcji:

• Wyrównanie semantyczne: Przyciąga latenty wizualne w kierunku zamrożonego nauczyciela Perception Encoder.
• Cel latentnej akcji: Ekstrahuje kompaktowe zmienne przejścia między kolejnymi latentami. Model dynamiki odwrotnej przewiduje każdą latentną akcję, a model dynamiki w przód dekoduje ją w mapę transportu plus resztę.

Dzięki temu stany świata i akcje dzielą jedną przestrzeń latentną, co pozwala na wykorzystanie nienotowanych filmów z sieci jako danych nadzorujących, istotnych dla akcji.

Innowacje w treningu i wydajności

Na szczycie tej przestrzeni, wersja 2.0 pretreinuje przyczynowy DiT, zachowując układ Mixture-of-Transformers z wersji 1.0. Ekspert wideo i ekspert akcji dzielą jedną przyczynową samo-uwagę, każdy posiadając oddzielną ścieżkę feed-forward. Strumienie skalują się asymetrycznie: ekspert wideo zastępuje gęsty FFN rzadką warstwą MoE (Mixture of Experts), zawierającą 128 ekspertów SwiGLU z routingiem top-8 i jednym wspólnym ekspertem. Ekspert akcji zachowuje gęsty FFN o wymiarze ukrytym 768.

Szkielet wideo ma około 13,0 miliardów parametrów, z czego około 1,9 miliarda jest aktywnych. Wraz z ekspertem akcji i głowicami MCP, trening obejmuje około 15,3 miliarda parametrów, z czego około 2,5 miliarda aktywuje się na token podczas wnioskowania. Trening wykorzystuje cel rectified-flow z hybrydowym optymalizatorem Muon plus AdamW.

Oprócz architektury, dwa cele kształtują to, czego model się uczy:

• Przewidywanie wielofragmentowe (MCP): Rozwiązuje problem krótkowzrocznego nadzoru. Dołącza trzy lekkie moduły przewidujące kolejne trzy fragmenty, co w testach ablacyjnych pozwoliło osiągnąć dokładność bazową 45 tys. kroków w zaledwie 20 tys. krokach, co oznacza 2.3x przyspieszenie treningu.
• Wspólne trenowanie pięciu celów: T2I, T2V, TI2VA, ICL oraz wspólne trenowanie człowiek-robot są trenowane jednocześnie, a nie etapowo. Próbkowanie odbywa się według harmonogramu od ogólnego do szczegółowego, od ugruntowania wyglądu do kontroli wideo-akcji. Utrzymywanie wszystkich celów aktywnych zapobiega zapominaniu wcześniejszych priorytetów.

Asynchroniczne wykonanie i wnioskowanie z wyprzedzeniem

Sterowanie na poziomie fragmentów nie pozwala na realizację długoterminowych celów. Dlatego nad polityką znajduje się planer VLM, dostrojony za pomocą LoRA z zamrożoną wieżą wizyjną. Emituje on ustrukturyzowany JSON i działa z częstotliwością około 2 Hz za asynchronicznym buforem współdzielonym. Polityka odczytuje go na każdej granicy fragmentu, dzięki czemu opóźnienie planera nigdy nie blokuje wykonania.

Nawet z rzadkim szkieletem, wdrożenie napotyka na wąskie gardło szeregowe. Jeśli robot czeka, opóźnienie modelu staje się opóźnieniem sterowania. Dlatego Foresight Reasoning (wnioskowanie z wyprzedzeniem) uruchamia przewidywanie i wykonanie jako asynchroniczne strumienie. Podczas gdy robot wykonuje fragment a_t, ekspert wideo wyobraża sobie jego wynik. Ekspert akcji dekoduje a_{t+1} na tej podstawie. Ryzyko dryfu jest minimalizowane poprzez kodowanie każdej powracającej obserwacji w prawdziwy latent z_{t+1}, nadpisując wyobrażony. Utrata ugruntowania dynamiki w przód trenuje eksperta wideo do tej roli.

Model został przetestowany zarówno w symulacji, jak i na rzeczywistym sprzęcie. Na platformie RoboTwin 2.0 każdy model trenuje na 2500 czystych i 25 000 zrandomizowanych demonstracji, obejmujących 50 zadań. Destylacja skraca sampler wideo z 5 do 2 kroków, a sampler akcji z 10 do 2. Silniki FP8 TensorRT, stronicowana/nieregularna pamięć podręczna KV z uwagą FlashInfer oraz usunięcie narzutu po stronie hosta uzupełniają resztę optymalizacji, co skutkuje 6.5x przyspieszeniem end-to-end w porównaniu do bazowej implementacji.

LingBot-VA 2.0 stanowi znaczący krok naprzód w dziedzinie ucieleśnionej sztucznej inteligencji, oferując bardziej efektywne i natywne rozwiązania dla robotyki. Jego zdolność do przewidywania akcji i asynchronicznego działania otwiera nowe możliwości dla autonomicznych systemów, które mogą działać szybciej i bardziej niezawodnie w złożonych środowiskach fizycznych. To podejście może przyspieszyć rozwój robotów zdolnych do bardziej złożonych interakcji ze światem rzeczywistym.

Źródło: marktechpost.com