Danijar Hafner tworzy agentów AI zdolnych do przewidywania nieoczekiwanych sytuacji

W San Francisco, w biurze Danijara Hafnera, panuje atmosfera tajemniczości. Jego nowy startup, którego nazwa pozostaje jeszcze nieujawniona, koncentruje się na rozwijaniu zaawansowanych agentów sztucznej inteligencji. Hafner, lat 31, ma na celu stworzenie systemów AI zdolnych do samodzielnego poruszania się i reagowania w środowiskach, których nie napotkały podczas fazy treningowej. Kluczowym elementem jego pracy są humanoidalne roboty, sprowadzane z Chin, które stanowią fizyczne ucieleśnienie tych innowacyjnych rozwiązań.

Modelowe uczenie ze wzmocnieniem i światy wirtualne

Podstawą podejścia Hafnera jest modelowe uczenie ze wzmocnieniem. Tworzy on tzw. modele świata – modele AI zaprojektowane do emulowania fizycznej rzeczywistości. W tych wirtualnych środowiskach agenci AI uczą się, traktując je jako realistyczne symulacje. Zdobyte doświadczenia są następnie wykorzystywane do przewidywania przyszłych wyników, co Hafner określa jako „marzenie” lub „wyobrażanie sobie”. Dzięki temu agenci, a co za tym idzie, roboty, w których są osadzeni, mogą skutecznie nawigować w nieznanych sytuacjach w świecie rzeczywistym. Ta technika pozwala na wykonywanie masywnie skomplikowanych zadań bez konieczności tradycyjnego, czasochłonnego treningu metodą prób i błędów w realnym świecie, co stanowi znaczącą różnicę w stosunku do innych metod w robotyce.

Droga do innowacji: od Google Brain do własnego startupu

Danijar Hafner, pochodzący z małego miasteczka w północno-wschodnich Niemczech, od wczesnych lat fascynował się sztuczną inteligencją. Już w szkole średniej zaczął brać udział w kursach online z AI. W 2015 roku, jako student inżynierii w Hasso Plattner Institute, dołączył do Google Brain jako badacz. Jego kariera w Google obejmowała liczne staże i stanowiska w Google Brain oraz Google DeepMind w Wielkiej Brytanii, Kanadzie i USA. Miał okazję współpracować z takimi autorytetami jak Geoffrey Hinton, często nazywany jednym z ojców AI, oraz Ashish Vaswani, współautor przełomowej pracy „Attention Is All You Need”, która opisała technologię transformatorów używaną w dzisiejszych dużych modelach językowych.

Timothy Lillicrap, były menedżer i współautor Hafnera w Google, określa go jako wybitną postać, plasującą się w „górnej połowie 1%” najzdolniejszych badaczy Google. Podkreśla, że Hafner potrafił „samodzielnie budować rzeczy, do których stworzenia potrzeba by całych zespołów inżynierów”.

Przełomowe osiągnięcia w wirtualnym świecie

Przez lata Hafner doskonalił swoje podejście, testując agenty trenowane w jego modelach świata w popularnych grach wideo:

• PlaNet – jego pierwszy przełomowy model, który umożliwił agentom planowanie działań z wyprzedzeniem.
• Dreamer 2 – pierwszy agent, który osiągnął ludzki poziom wydajności w grach Atari 2600, wykorzystując model świata.
• Dreamer 3 – pierwszy, który samodzielnie rozwiązał wyzwanie „Minecraft Diamond”, skutecznie wydobywając w grze cenne diamenty.
• Dreamer 4 – poszedł o krok dalej, ucząc się wydobywania diamentów z offline'owego zbioru nagranych rozgrywek, bez bezpośredniej interakcji z grą.

Ostatnio Hafner zaczął przenosić swoje agenty ze świata wirtualnego do rzeczywistości fizycznej. Jego projekt DayDreamer wykorzystał algorytm Dreamer, aby umożliwić robotom samodzielne działanie w nowych środowiskach i reagowanie na nieznane doświadczenia (takie jak przewrócenie się) bez specyficznego treningu.

Jesienią 2025 roku Hafner opuścił Google DeepMind, aby założyć swój startup. Choć nie ujawnia szczegółów, jego ambicje są jasne: „Byłem zainteresowany rozwiązaniem problemu, który zmieniłby świat” – sugeruje, wskazując na potencjalnie rewolucyjne zastosowania jego technologii.

Rozwój agentów AI zdolnych do adaptacji i przewidywania w nieznanych środowiskach, bez konieczności intensywnego treningu w realnym świecie, ma ogromne znaczenie dla przyszłości robotyki. Umożliwienie robotom funkcjonowania w dynamicznych i nieprzewidywalnych przestrzeniach ludzkich, takich jak domy, otwiera drogę do szerokiej gamy zastosowań, od pomocy domowej po złożone zadania przemysłowe. Prace Hafnera wskazują na kierunek, w którym sztuczna inteligencja staje się coraz bardziej autonomiczna i wszechstronna, co może fundamentalnie zmienić interakcję ludzi z maszynami.

Źródło: technologyreview.com