Generalist AI prezentuje GEN-1.5: Model fundamentowy dla robotów uczący się zadań z jednej demonstracji

Firma Generalist AI ogłosiła premierę GEN-1.5, innowacyjnego modelu fundamentowego dla robotów, który umożliwia maszynom naukę nowych zadań fizycznych na podstawie zaledwie jednej demonstracji. Wystarczy dostarczyć modelowi 3–12 sekund danych sensoryczno-motorycznych, a robot jest w stanie wykonać zadanie, bez potrzeby aktualizacji gradientów, dostrajania czy programowania specyficznego dla danego zadania.

Rewolucyjne podejście do nauki robotów

GEN-1.5 to duży multimodalny model, który przetwarza dane wideo, sensoryczne, językowe oraz proprioceptywne. Posiada on 30-sekundową pamięć kontekstową i generuje trajektorie działań z częstotliwością 100 Hz. Model jest nieustannie trenowany od ponad ośmiu miesięcy na danych dotyczących interakcji fizycznych, zbieranych w domach, magazynach i fabrykach.

Głównym mechanizmem działania jest fizyczne podpowiadanie (physical prompting). Przykład sensoryczno-motoryczny – strumienie danych z sensorów wraz z trajektorią działania – jest wstawiany do 30-sekundowego okna kontekstowego za pomocą interfejsu przeciągnij i upuść. Pozostała część okna zawiera bieżące obserwacje. Model natychmiast wykonuje zadanie, bez żadnych kroków gradientowych i dostrajania.

Co istotne, zdolność do uczenia się w kontekście nie została celowo zaprojektowana. Generalist AI podkreśla, że nie wprowadzono żadnych zmian architektonicznych w celu promowania tej funkcji, nie zastosowano pętli meta-uczenia ani dodatkowych celów zachęcających do improwizacji. Ta zdolność wyłoniła się ze skali wstępnego trenowania, podobnie jak jednorazowe podpowiadanie pojawiło się w modelu GPT-3.

Wyniki i potencjał

Na przestrzeni 10 różnorodnych zadań manipulacyjnych, jednorazowe podpowiadanie w kontekście (one-shot in-context prompting) osiągnęło średnio 59% sukcesu (±10% odchylenia standardowego) bezpośrednio z wstępnie wytrenowanego modelu, bez żadnego dodatkowego treningu. Zastosowanie dziesięciu kroków gradientowych na pięciu minutach danych dla każdego zadania – co odpowiada około 50 demonstracjom – podniosło wskaźnik sukcesu do 83% (±9%). W skrajnym przypadku, jeden krok gradientowy na jednej minucie danych osiągnął 66,5% sukcesu w zadaniu, którego model wcześniej nie widział, bez specyficznego dostrajania hiperparametrów.

Firma Generalist AI zaznacza, że adaptacja polityk robotów zazwyczaj wymaga dziesiątek tysięcy kroków gradientowych. W przypadku GEN-1.5, dziesięć kroków zmienia wagi modelu w zadaniach testowych o mniej niż 0,15%. Sugeruje to, że dostrajanie rekonfiguruje już posiadaną przez model wiedzę, zamiast budować nowe reprezentacje. Generalist AI określa to jako trening w czasie testowania w reżimie ekstremalnie niskiej ilości danych.

Model wykazuje również zdolności generalizacji po lekkim dostrojeniu. Po wytrenowaniu na pięciu minutach danych dotyczących przesuwania klocka do miski, model potrafił użyć banana jako prowizorycznej szczotki, a szufelki do podniesienia i wsypania klocka – co stanowiło zupełnie inną sekwencję kontaktu. Usunął także kartkę papieru zakrywającą miskę i działał oburęcznie, gdy demonstracje wykorzystywały tylko jedną rękę.

Dostępność i przyszłość

Obecnie GEN-1.5 jest wydaniem badawczym. Nie ma publicznie dostępnych wag, API, cennika ani produktu samoobsługowego. Generalist AI uruchamia GEN-1.5 na własnej flocie i silniku danych. Każdy, kto chce skorzystać z modelu, musi nawiązać bezpośrednie partnerstwo z firmą.

Chociaż zadania, które model potrafi wykonać, są obecnie proste i krótkoterminowe, Generalist AI otwarcie to przyznaje. Niemniej jednak, jest to pierwszy znany zespołowi model, w którym jednorazowe uczenie się umiejętności fizycznych pojawiło się na taką skalę. To osiągnięcie wskazuje na znaczący krok w kierunku bardziej autonomicznych i adaptacyjnych systemów robotycznych, które mogą szybko dostosowywać się do nowych wymagań środowiskowych i zadań bez potrzeby intensywnego programowania czy długotrwałego treningu. Rozwój takich modeli może przyspieszyć wdrażanie robotów w różnorodnych sektorach, od przemysłu po zastosowania domowe, otwierając drogę do bardziej elastycznej i inteligentnej automatyzacji.

Źródło: marktechpost.com