LingBot-World-Infinity: Ant Group prezentuje interaktywny model świata z generowaniem wideo

Robbyant, jednostka zajmująca się sztuczną inteligencją wbudowaną w Ant Group, zaprezentowała LingBot-World-Infinity (LingBot-World 2.0). Jest to przyczynowy model generowania wideo, który funkcjonuje jako interaktywny symulator świata. Zespół twórców skupił się na rozwiązaniu dwóch kluczowych problemów: dryfu w długoterminowych symulacjach oraz opóźnień w interakcji.

Interaktywny model świata generuje klatki wideo sekwencyjnie, bazując na strumieniu działań użytkownika. Każdy stan wizualny zależy wyłącznie od poprzednich klatek i bieżących danych wejściowych. Zespół badawczy sformalizował to jako przyczynową faktoryzację, gdzie stan wizualny w czasie t (x_t) jest warunkowany przez poprzednie stany i akcje (a_≤t). Akcja a_t łączy pozycję kamery, która jest wstrzykiwana za pomocą osadzeń Plückera przez adaptacyjną normalizację warstwową (AdaLN), oraz tekstową podpowiedź, wprowadzana jako fragmenty poprzez uwagę krzyżową. Podstawowy model ma 14 miliardów parametrów, a jego lżejsza wersja, licząca 1,3 miliarda parametrów, jest przeznaczona do wdrożenia na pojedynczej karcie graficznej.

Innowacyjne podejście do stabilności i elastyczności

Kluczowym wkładem w rozwój LingBot-World-Infinity jest Maska Uwagi Mieszanki Dwukierunkowej i Autoregresywnej (MoBA). To właśnie ona odpowiada za eliminację problemu dryfu. Standardowe autoregresywne szkolenie wideo wykorzystuje maskę "teacher forcing", gdzie każda zaszumiona klatka odnosi się do siebie i swojego czystego kontekstu. Zespół badawczy odkrył, że w miarę wzrostu kontekstu model nadmiernie polega na nim, zamiast przewidywać przyszłe klatki, co prowadzi do przeuczenia i pogorszenia jakości wizualnej.

MoBA rozwiązuje ten problem, dodając blok uwagi dwukierunkowej z pełną uwagą do maski "teacher forcing". Ten blok działa jako regularyzator i pomaga modelowi w generowaniu elastycznych długości. Maska uwagi krzyżowej odzwierciedla ten podział: komponent autoregresywny odnosi się do podpowiedzi tła oraz podpowiedzi fragmentowych w schemacie dolnotrójkątnym, co zapobiega wyciekaniu przyszłych semantyk wstecz. Komponent dwukierunkowy odnosi się do jednej globalnej podpowiedzi.

Proces szkolenia obejmuje wstępne szkolenie, które optymalizuje warunkowy cel dopasowania przepływu z interpolacją przepływu rektyfikowanego. Następnie, w fazie post-treningu, wieloetapowy model "nauczyciela" jest kompresowany do modelu "ucznia" o mniejszej liczbie kroków. Ważnym szczegółem jest zastosowanie DMD (Dynamic Mode Decomposition) na długich trajektoriach samorozwijających się, a nie tylko na stanach wymuszonych przez nauczyciela. Dzięki temu model "ucznia" jest optymalizowany na rozkładzie stanów, które generują jego własne przewidywania, co jest deklarowanym mechanizmem zapobiegającym dryfowi.

Architektura Director-Pilot i interakcja z użytkownikiem

Model LingBot-World-Infinity nie działa samodzielnie jako prosty predyktor klatek. Zespół badawczy Robbyant zaimplementował go w Ramach Wspólnej Symulacji Dyrektor-Pilot. W tej architekturze:

• Model Wizualno-Językowy (VLM) pełni rolę Dyrektora, zarządzając makroskopowymi regułami semantycznymi i rozumowaniem przyczynowym.
• Generator wideo Diffusion Transformer pełni rolę Pilota, symulując niskopoziomową dynamikę fizyczną i renderując przejścia.

Interakcja z modelem odbywa się na dwa sposoby:

• Tryb A: Bezpośrednia Interakcja Semantyczna. VLM analizuje bieżącą klatkę i generuje karty zdarzeń, bez potrzeby masek obiektów.
• Tryb B: Interakcja z Obiektami Wspomagana Śledzeniem. Pętla propozycji akcji oparta na SAM (Segment Anything Model) śledzi obiekty w różnych fragmentach. Użytkownicy mogą wybrać śledzony obiekt i wywołać akcje, takie jak otwieranie drzwi czy obracanie piłki.

Użytkownicy mogą również interweniować tekstowo, zmieniając globalne stany, takie jak pora dnia czy pogoda, lub lokalnie wstrzykując nowe byty, np. stworzenia, a VLM wybiera dla nich wiarygodne punkty wejścia. Interfejs użytkownika przypomina konwencje gier, z klawiszami WASD do ruchu, IJKL do sterowania widokiem, Spacją do skoku i P do szybowania. Klawisze U i O wywołują akcje postaci proponowane przez VLM, a F i G zdarzenia środowiskowe. Klawisze numeryczne służą do przypisywania własnych zdarzeń.

Dostępność i wdrożenie

Kod źródłowy LingBot-World-Infinity jest zbudowany na Wan2.2. Obecnie do pobrania jest wersja lingbot-world-v2-14b-causal-fast. Pozostałe warianty, w tym przyczynowy 14B, dwukierunkowy 14B oraz obie wersje 1.3B, są oznaczone jako "TODO". Model jest dostępny do klonowania z repozytorium GitHub. Przykładowy skrypt generate.py umożliwia wnioskowanie przyczynowe z buforowaniem KV, przetwarzając klatki fragmentami. Skrypt referencyjny działa na ośmiu kartach graficznych, generując obraz o rozdzielczości 480x832 pikseli. Podana prędkość 60 klatek na sekundę odnosi się do strumienia po przejściu przez spatio-temporalny rafiner, który skaluje klatki i syntetyzuje klatki pośrednie dla wyższej płynności. Oba etapy są kompilowane do silników TensorRT.

Model jest również dostępny jako usługa hostowana przez Reactor pod nazwą reactor/lingbot-world-2, oferując 48 klatek na sekundę w rozdzielczości 1664x960 pikseli. Sesje są sterowane poleceniami i zachowują stan, co oznacza, że ruch jest stanem trwałym, a nie jednorazowym impulsem. Porównania jakościowe w pracy badawczej opierają się na wizualnych siatkach klatek obok siebie, podkreślając przewagę LingBot-World-Infinity.

LingBot-World-Infinity stanowi znaczący krok w kierunku bardziej realistycznych i interaktywnych symulacji świata, otwierając nowe możliwości w dziedzinie generowania treści wideo i wirtualnych środowisk. Jego architektura, łącząca zaawansowane techniki uwagi z ramami Dyrektor-Pilot, może znaleźć zastosowanie w wielu dziedzinach, od tworzenia gier po symulacje szkoleniowe i rozwój autonomicznych systemów. Dalszy rozwój i udostępnienie kolejnych wariantów modelu z pewnością będą miały istotny wpływ na przyszłość interaktywnych technologii AI.

Źródło: marktechpost.com