NVIDIA udostępnia Alpamayo 2 Super: otwarty model VLA 34B dla autonomicznej jazdy

NVIDIA zaprezentowała Alpamayo 2 Super, zaawansowany model wizyjno-językowo-akcyjny (VLA) z 34 miliardami parametrów, przeznaczony do zastosowań w autonomicznej jeździe. Model ten, dostępny na otwartej licencji komercyjnej, ma za zadanie rozwiązywać problem rzadkich, złożonych sytuacji z wieloma agentami, które są trudne do przewidzenia dla konwencjonalnych systemów detekcji i predykcji.

Alpamayo 2 Super łączy w sobie trzon VLM o wielkości 32 miliardów parametrów, zbudowany na bazie NVIDIA Cosmos 3 Super Reasoner i post-trenowany z wykorzystaniem uczenia ze wzmocnieniem, z dekoderem akcji opartym na dyfuzji o wielkości 2,3 miliarda parametrów. System ten, po jednokrotnym przetworzeniu wideo z kamer obejmujących pełne otoczenie pojazdu, generuje zaplanowaną trajektorię, przyczynowe wyjaśnienie tej trajektorii oraz meta-akcję.

Otwarta licencja i możliwości komercyjne

Model Alpamayo 2 Super jest dostępny do użytku komercyjnego od pierwszego dnia. Wagi modelu zostały udostępnione na licencji OpenMDW-1.1 Fundacji Linuksa, która jest liberalną licencją dla otwartych dystrybucji modeli. Kod źródłowy jest objęty licencją Apache 2.0. Licencja ta obejmuje dostrajanie, tworzenie modeli pochodnych oraz komercyjną redystrybucję. NVIDIA stosuje OpenMDW dla całej rodziny Alpamayo, co oznacza, że wcześniejsze wersje, wprowadzone do badań i rozwoju, mogą być teraz komercyjnie wdrażane bez dodatkowych zezwoleń.

Model przyjmuje jako dane wejściowe wideo RGB z wielu kamer, tekst oraz historię egomocji z sygnaturami czasowymi. Publiczne notatniki walidacyjne wykorzystują sześć kamer i cztery historyczne klatki na kamerę. Egomocja obejmuje translację 3D oraz macierz rotacji 3x3, uwzględniającą wiele kroków czasowych. Interfejs API trajektorii zwraca 64 punkty (waypoints) obejmujące zakres od 0,1 do 6,4 sekundy, z interwałami co 0,1 sekundy. Każdy punkt zawiera dane XYZ w ramce ego oraz macierz rotacji 3x3.

Dane treningowe i wyniki wydajności

Model był trenowany na około 115 000 godzinach nagrań wideo z wielu kamer, zawierających adnotacje dotyczące egomocji i trajektorii. Zbiór danych obejmuje około 3 700 000 śladów łańcucha przyczynowości (CoC) – ustrukturyzowanych, przyczynowo powiązanych wyjaśnień decyzji dotyczących jazdy. Dane treningowe obrazów przekraczają miliard obrazów.

Alpamayo 2 Super osiągnął wynik Lingo-Judge 79.2 na platformie LingoQA, zajmując pierwsze miejsce wśród blisko 40 ocenianych modeli. W testach przeprowadzonych przez NVIDIĘ, model ten pokonał Qwen2.5-VL 72B o 17,0 punktów, Gemini 2.5 Pro o 15,1 punktów oraz GPT-4o o 23,2 punkty.

Wyniki ewaluacji planowania również są obiecujące:

• Ewaluacja w pętli zamkniętej z wykorzystaniem AlpaSim na 910 scenariuszach z zestawu danych PhysicalAI-AV-NuRec dała wynik AlpaSim 1.50 ± 0.13.
• Ewaluacja w pętli otwartej na 937 wymagających próbkach z zestawu danych PhysicalAI-AV wykazała minADE₆ na poziomie 0.911m przy 6,4 sekundy.

Funkcjonalność i zastosowania

Dla każdej sytuacji drogowej model generuje trajektorię, ślad CoC wyjaśniający podjętą decyzję, meta-akcję (taką jak ustąpienie pierwszeństwa czy zmiana pasa), automatyczne etykiety rozumowania oraz wizualne odpowiedzi na pytania z ugruntowaniem 2D. Ta kombinacja sprawia, że wydanie jest operacyjnie interesujące, umożliwiając deweloperom powiązanie tego, co model zaobserwował, z wybraną przez niego akcją. Ślady CoC integrują się z przepływami pracy walidacji bezpieczeństwa NVIDIA Halos i wspierają bezpieczeństwo AI zgodne z ISO/PAS 8800.

NVIDIA podkreśla, że używany jako autolabeler na danych flotowych, model skraca cykle adnotacji z miesięcy do dni. To znacząco przyspiesza procesy rozwoju i walidacji systemów autonomicznych, obniżając koszty i zwiększając efektywność.

Udostępnienie Alpamayo 2 Super na otwartej licencji komercyjnej stanowi istotny krok w demokratyzacji technologii autonomicznej jazdy. Umożliwia to szerszemu gronu deweloperów i firm innowacje w tej dziedzinie, przyspieszając rozwój bezpieczniejszych i bardziej niezawodnych pojazdów autonomicznych, szczególnie w kontekście radzenia sobie z rzadkimi i trudnymi do przewidzenia zdarzeniami drogowymi.

Źródło: marktechpost.com