Chiński model Orca dorównuje systemom robotycznym bez etykiet akcji

Pekińska Akademia Sztucznej Inteligencji (BAAI) zaprezentowała Orca, nowy „model fundamentowy świata”, który stanowi odejście od dominujących obecnie podejść w sztucznej inteligencji. Zamiast przewidywać kolejny token, klatkę wideo czy akcję robota, Orca modeluje następny stan świata w abstrakcyjnej, wewnętrznej reprezentacji. To innowacyjne podejście może być kluczowe dla rozwiązania problemu chronicznego niedoboru danych w robotyce.

Według twórców, inteligencja nie powinna być definiowana przez wyspecjalizowane modele predykcyjne, takie jak modele językowe, generatory wideo czy kontrolery robotów. Zespół BAAI argumentuje, że potrzebne są modele zdolne do budowania ogólnego zrozumienia, jak świat się zmienia, co mogłoby stanowić podstawę dla wielu różnych zadań.

Dwa tryby uczenia: nieświadome i świadome

Model Orca łączy dwa tryby uczenia, które wspólnie budują jego zdolność do rozumienia świata:

• Uczenie nieświadome wykorzystuje surowe filmy bez żadnych podpisów. Model analizuje obraz i przewiduje, jak będzie wyglądał następny, nie na poziomie pikseli, lecz w abstrakcyjnej przestrzeni. W ten sposób uczy się wzorców ruchu, okluzji i typowej dynamiki sceny.
• Uczenie świadome wprowadza instrukcje werbalne. Filmy są dzielone na segmenty, z których każdy jest oznaczony opisem zmiany stanu. Dzięki temu model uczy się, jak stan zmienia się, gdy wykonywana jest określona akcja. Dodatkowo, Orca jest trenowana na klasycznych zadaniach odpowiadania na pytania dotyczące wideo, co pozwala jej reagować na zapytania w języku naturalnym.

Bazą dla Orca jest wstępnie wytrenowany model językowo-wizualny Qwen3.5. Po treningu, to jądro pozostaje niezmienione. Dla każdego typu wyjścia, badacze dołączają oddzielny, mniejszy moduł, który konwertuje wewnętrzny stan na pożądaną formę. Tekst jest przetwarzany przez istniejącą głowicę językową Qwen3.5, natomiast dla obrazów, Stable Diffusion 3.5 pozostaje niezmieniony, a jedynie małe adaptery są trenowane do przekazywania wewnętrznego stanu Orca do generatora obrazów. Akcje robota pochodzą z modułu sterującego o nazwie „Action Expert”, trenowanego od podstaw.

Takie rozdzielenie jest celowe – zespół nie dąży do osiągania najwyższych wyników w pojedynczych benchmarkach, lecz chce pokazać, że dobrze wytrenowany wewnętrzny stan świata może służyć jako wspólna podstawa dla bardzo różnych zadań.

Skala treningu i osiągnięcia

Do treningu modelu Orca badacze zebrali imponującą ilość danych: 125 000 godzin materiałów wideo, 160 milionów opisów zdarzeń i 11,5 miliona par pytań i odpowiedzi. Filmy obejmują cztery perspektywy, w tym ujęcia pierwszoosobowe z codziennych interakcji, ujęcia trzecioosobowe z manipulacji obiektami, nagrania robotów bez danych o akcjach oraz naturalnie występujące sceny. Co ciekawe, tylko jedna dziesiąta tych danych wideo została wykorzystana w obecnej wersji modelu.

Orca została wytrenowana w dwóch rozmiarach, z 0,8 miliarda i 4 miliardami parametrów. Wyniki testów pokazują, że im lepiej wewnętrzny stan świata jest rozwijany podczas wstępnego treningu, tym lepsze są rezultaty we wszystkich trzech trybach wyjściowych.

W benchmarkach tekstowych, Orca-4B osiąga najlepszą średnią ogólną wynoszącą 51,8 procent w testach MVBench, TemporalBench, 3DSRBench i SWITCH, przewyższając kilka bazowych modeli VLM, takich jak Qwen3.5-4B, Gemma 4-4B i DeepSeek-VL2-3B. Orca-4B wyprzedza również znacznie większe modele świata, takie jak Emu3 (8B) i Emu3.5 (34B).

Do przewidywania obrazów, badacze stworzyli własny benchmark o nazwie PRICE-V0.1, który wykorzystuje rzeczywiste sceny z robotów i perspektywy pierwszej osoby. Orca-4B osiąga w nim średnio 59,8 procent, bijąc wyspecjalizowane generatory obrazów, takie jak FLUX.2 small (56,1 procent) i OmniGen2 (39,6 procent). Orca lepiej zachowuje kształt robota, punkty kontaktu z obiektami i związek z instrukcją niż czyste modele obrazowe, które często dodają nieistotne obiekty lub halucynowane ręce.

Zastosowania w robotyce i przyszłe kierunki

W pięciu zadaniach manipulacyjnych, wykorzystujących dwuramiennego robota humanoidalnego na kółkach (m.in. układanie książek, piętrzenie misek, nabieranie cukru), Orca dorównuje π0.5, systemowi zbudowanemu specjalnie na danych robotycznych. Co istotne, bazowy model Orca nigdy podczas wstępnego treningu nie widział, który ruch odpowiada któremu obrazowi. Do faktycznego sterowania robotem, oddzielny moduł został później wytrenowany na 200 rzeczywistych nagraniach dla każdego zadania, łącząc obrazy z kamer z wykonanymi ruchami.

Modele V-JEPA 2.1 i Qwen3.5, sparowane z tym samym modułem sterującym, znacznie ustępują Orca. Model BAAI wykazuje również przewagę w odzyskiwaniu po błędach, ponawiając próbę po nieudanym chwycie, podczas gdy π0.5 pozostaje w powtarzających się niepowodzeniach. Autorzy widzą w tym potencjalny sposób na złagodzenie chronicznego niedoboru etykietowanych danych akcji w robotyce.

Obecnie Orca uczy się tylko z obrazów i tekstu, brakuje jej danych dźwiękowych, siłowych i dotykowych. Przewidywanie wizualne odbywa się w przestrzeni wstępnie wytrenowanego kodera obrazu, a nie poprzez uczenie własnej przestrzeni świata od podstaw. Modele o 0,8 i 4 miliardach parametrów są również zbyt małe do pełnego modelowania świata. Opisy zdarzeń obejmują jedynie krótkie okna czasowe, trwające kilka minut. BAAI podkreśla, że natywny model świata, trenowany od podstaw na wielu typach sygnałów, pozostaje ostatecznym celem.

Rozwój modeli takich jak Orca wskazuje na ewolucję w badaniach nad sztuczną inteligencją, gdzie nacisk przesuwa się z wyspecjalizowanych, wąskich zadań na budowanie bardziej ogólnego zrozumienia świata. Chociaż definicja i zakres „modeli świata” wciąż są przedmiotem debaty, zdolność Orca do adaptacji i efektywnego działania w złożonych scenariuszach robotycznych, bez konieczności intensywnego etykietowania danych akcji, otwiera nowe perspektywy dla przyszłości autonomicznych systemów i interakcji człowiek-robot.

Źródło: the-decoder.com