Robbyant z Ant Group udostępnia LingBot-Vision: miliardowy model wizyjny do percepcji przestrzennej

Robbyant, firma specjalizująca się w sztucznej inteligencji ucieleśnionej (embodied-AI) w ramach Ant Group, udostępniła publicznie LingBot-Vision. Jest to rodzina samonadzorowanych modeli Vision Transformerów, zaprojektowanych z myślą o gęstej percepcji przestrzennej. Wagi modeli są dostępne na platformie Hugging Face na licencji Apache-2.0 w czterech rozmiarach: ViT-giant, ViT-large, ViT-base i ViT-small, wraz z raportem technicznym i kodem do wnioskowania.

Innowacyjne podejście do percepcji przestrzennej

Większość istniejących modeli wizyjnych jest szkolona pod kątem niezmienności semantycznej, co oznacza, że uczą się rozpoznawać obiekty na obrazie, jednocześnie ignorując precyzyjną strukturę przestrzenną, taką jak granice obiektów, kontury czy nieciągłości głębi. Te szczegóły są kluczowe dla robotów i innych systemów fizycznie ucieleśnionych. LingBot-Vision odwraca tę priorytetową kolejność, traktując granice jako natywny sygnał do wstępnego szkolenia, a nie jedynie wynik końcowy. Dzięki temu model z 1 miliardem parametrów dorównuje lub przewyższa modele nawet siedmiokrotnie większe w zadaniach związanych z gęstą percepcją przestrzenną, w tym 7-miliardowy DINOv3.

LingBot-Vision działa jako samonadzorowany, wstępnie wytrenowany koder do zadań o strukturze przestrzennej. Flagowy model ViT-g/16 posiada około 1,1 miliarda parametrów i został wytrenowany przy użyciu nowej metody o nazwie masked boundary modeling. Wykorzystano do tego specjalnie przygotowany korpus około 161 milionów obrazów, wybranych z puli 2 miliardów obrazów internetowych. Co istotne, szkolenie odbyło się bez ludzkich etykiet, zewnętrznych detektorów krawędzi i bez wstępnie wytrenowanego szkieletu. Proces ten był również wyjątkowo ekonomiczny – korpus danych jest o rząd wielkości mniejszy niż LVD-1689M używany przez DINOv3, a model zużył mniej niż jedną trzecią próbek treningowych DINOv3.

Koder generuje gęste cechy tokenów dla zamrożonych odczytów. Dla zastosowań wymagających mniejszych zasobów, flagowy model został destylowany do wersji ViT-L (300M), ViT-B (86M) i ViT-S, które osiągają wiodące wyniki w swoich klasach rozmiarowych w zadaniach gęstej predykcji.

Kluczowe innowacje: Boundary-forcing i kategoryczne pole granic

Metoda LingBot-Vision opiera się na paradygmacie samodestylacji DINO/iBOT, gdzie model nauczyciela (kopia studenta z wykładniczo ważoną średnią) generuje cele online, a student odtwarza je z zamaskowanych widoków. Standardowe maskowanie obrazów ukrywa losowe fragmenty, ignorując ich zawartość. Płaski fragment wnętrza obiektu jest łatwy do odtworzenia z sąsiedztwa, natomiast fragment obejmujący granicę obiektu zawiera strukturę, której sam kontekst nie jest w stanie dostarczyć. Granice są najmniej redundantnymi i najbardziej informatywnymi regionami obrazu, a losowe maskowanie traktuje je jak wszystkie inne.

LingBot-Vision rozwiązuje ten problem dzięki dwóm kluczowym pomysłom:

• Boundary-forcing: Nauczyciel przewiduje gęste pole granic online i identyfikuje tokeny zawierające granice (B). Są one wymuszane do zamaskowanego zbioru studenta, nakładając się na losową maskę (M), tworząc połączoną maskę M⁺ = M ∪ B. Zamaskowane tokeny są następnie kierowane geometrycznie: tokeny graniczne otrzymują wyraźny cel geometryczny oprócz semantycznego celu samodestylacji, podczas gdy wewnętrzne zamaskowane tokeny zachowują tylko standardowy cel semantyczny. To rozdzielenie jest istotne, ponieważ cel semantyczny jest z natury niejednoznaczny dokładnie tam, gdzie stykają się dwa regiony. Cel geometryczny jest dobrze zdefiniowany tam, gdzie konwencjonalne modelowanie maskowane jest najsłabsze, co pozwala na współistnienie reprezentacji semantycznych i geometrycznych, zamiast ich konkurowania.
• Kategoryczne pole granic: Granice są modelowane jako segmenty linii podniesione do gęstego pola. Każdy pobliski piksel przechowuje wektor atrybutów a(p) = (d, θ, φ¹, φ²), rejestrujący jego odległość do najbliższego segmentu i trzy kąty, które go lokalizują. Bezpośrednia regresja tego pola w pętli nauczyciel-student prowadzi do załamania. Rozwiązaniem jest dyskretyzacja każdego kanału na K = 32 przedziały, przekształcając przewidywanie granic w klasyfikację piksel po pikselu. Pozwala to gałęzi granicznej dziedziczyć te same mechanizmy centrowania i wyostrzania, które stabilizują nowoczesną samodestylację.

Kategoryczna forma ma elegancki efekt uboczny. Zgodnie z klasyczną hipotezą zerową a-contrario „braku struktury”, orientacje granic są równomiernie rozłożone – a ta hipoteza zerowa jest teraz dosłownie jednolitym rozkładem w przedziałach. Odchylenie od jednolitości jest dowodem na istnienie prawdziwej granicy, więc bezparametrowy test Number-of-False-Alarms (NFA) waliduje każdy zdekodowany segment bez dodatkowych kosztów. Nauczyciel wykorzystuje to w każdej iteracji: dekoduje kandydackie segmenty z własnego przewidywania pola, zachowuje tylko te zweryfikowane przez NFA i ponownie renderuje je w polu docelowym – dzięki czemu nieobsługiwana struktura nigdy nie staje się sygnałem uczącym.

Wyniki i zastosowania

LingBot-Vision osiąga imponujące wyniki w wielu zadaniach. Na zbiorze danych NYU-Depth v2 model uzyskał najlepszy wynik RMSE (0.296), wyprzedzając 7-miliardowy DINOv3 (0.309) przy około siedmiokrotnie mniejszej liczbie parametrów, a także 2-miliardowy V-JEPA 2.1 (0.307). Na zbiorze KITTI jest to najlepszy model poniżej 2 miliardów parametrów. W segmencie semantycznym dorównuje destylowanemu DINOv3 ViT-H+ (1.3 mIoU różnicy na ADE20K, identyczne wyniki na Cityscapes, lepsze na VOC12), jednocześnie poprawiając wyniki w stosunku do DINOv2 o tej samej wielkości o ponad 4 mIoU na wszystkich trzech benchmarkach.

W segmencie obiektów wideo, LingBot-Vision osiąga 70.0 J&F na DAVIS-2017 i 73.5 na YouTube-VOS, co jest porównywalne z DINOv3 ViT-H+ (71.1 / 74.0) i 7-miliardowym DINOv3 (71.1 / 74.1), będąc najlepszym wśród wszystkich pozostałych modeli w dowolnej skali. Tokeny graniczne są na tyle stabilne, że można je śledzić w wideo za pomocą prostej podobieństwa cosinusowego zamrożonych cech, bez nadzoru czasowego.

Kompromisem jest rozpoznawanie na poziomie obrazu: liniowe sondowanie ImageNet-1K osiąga 86.32, a k-NN 83.39, ustępując DINOv3-7B, który koncentruje się na niezmienności na poziomie obrazu. Co ważne, zalety LingBot-Vision utrzymują się po destylacji – student ViT-L o pojemności 0.3 miliarda parametrów dorównuje 7-miliardowemu DINOv3 w zadaniu szacowania głębi na NYUv2 (0.310 vs. 0.309) przy około 23-krotnie mniejszej liczbie parametrów.

Zamrożone tokeny fragmentów służą bezpośrednio wielu zadaniom gęstym: estymacja głębi odczytuje geometrię bezpośrednio z cech, segmentacja semantyczna korzysta z przejść cech, które dokładnie pokrywają się z konturami obiektów, a segmentacja obiektów wideo działa poprzez dopasowywanie tokenów na podstawie podobieństwa cosinusowego. Koder służy również jako inicjalizacja do dalszego szkolenia w zakresie uzupełniania głębi.

Zespół Robbyant zaktualizował swój system uzupełniania głębi do LingBot-Depth 2.0. Zmiany obejmowały zastąpienie inicjalizacji kodera z DINOv2 na LingBot-Vision (w wariantach ViT-L i ViT-g) oraz zwiększenie danych treningowych z 3 milionów do 150 milionów próbek. Te dwie zmiany doprowadziły do wiodących wyników w 14 benchmarkach uzupełniania głębi. Na DIODE-Indoor RMSE zostało zmniejszone o połowę z 0.132 do 0.062. System jest najsilniejszy w przypadku przezroczystych obiektów ClearGrasp (0.010 / 0.012 RMSE), które są klasycznym przypadkiem awarii aktywnych czujników głębi.

Znaczenie dla przyszłości AI

Udostępnienie LingBot-Vision przez Robbyant stanowi istotny krok w rozwoju modeli wizyjnych, szczególnie w kontekście zastosowań robotycznych i systemów wymagających precyzyjnej percepcji przestrzennej. Skupienie na granicach obiektów jako podstawowym sygnale treningowym, w połączeniu z ekonomicznym procesem szkolenia i imponującymi wynikami, otwiera nowe możliwości dla tworzenia bardziej efektywnych i dokładnych systemów AI. Możliwość uzyskania wysokiej wydajności przy znacznie mniejszej liczbie parametrów, nawet po destylacji, wskazuje na potencjał LingBot-Vision do szerokiego zastosowania w różnych scenariuszach, gdzie zasoby obliczeniowe są ograniczone, a precyzja percepcji przestrzennej jest kluczowa. To podejście może przyspieszyć rozwój autonomicznych systemów i robotyki, oferując im lepsze „widzenie” świata. Warto obserwować, jak ten model wpłynie na dalsze innowacje w dziedzinie sztucznej inteligencji ucieleśnionej i wizji komputerowej.

Źródło: marktechpost.com