Runway prezentuje Solaris: AI generujące interfejsy w czasie rzeczywistym

Firma Runway, działająca w obszarze sztucznej inteligencji, zaprezentowała Solaris – pierwszy model w nowej kategorii, którą określa mianem „Interface World Models”. Zamiast uruchamiać kod, system ten generuje interfejs użytkownika klatka po klatce w miarę interakcji z nim. To znacząca zmiana w stosunku do tradycyjnego działania oprogramowania, gdzie system operacyjny decyduje o tym, co dzieje się na ekranie, a aplikacja pozostaje niezmienna do momentu aktualizacji.

Zamiast tłumaczyć projekt na kod, model renderuje sam interfejs w rozdzielczości 720p i reaguje na kliknięcia, przeciągnięcia czy polecenia głosowe. Solaris bazuje na modelu wideo Gen-4.5 firmy Runway i kontynuuje ścieżkę zapoczątkowaną przez model GWM-1. Model językowy decyduje o zmianach w interfejsie, podczas gdy model świata renderuje każdą klatkę.

Potencjalne zastosowania i wizja przyszłości

Runway wymienia kilka potencjalnych zastosowań dla Solaris:

• Zakupy online: Sklep sam w sobie stałby się interfejsem. Użytkownicy mogliby przeciągać koszulkę na swoje zdjęcie, aby ją „przymierzyć”. Sklep nie miałby stałego układu, lecz dostosowywałby się do każdego użytkownika.
• Wizualizacja produktów: Możliwe byłoby wydawanie poleceń głosowych, takich jak „przesuń stół” czy „zmień kolor kanapy”, a scena reagowałaby natychmiast. Firma Runway widzi to jako idealne rozwiązanie do planowania wnętrz i dopasowywania mebli.
• Samouczki i nauka: Zamiast tekstowej odpowiedzi, jak w przypadku chatbota, Solaris wizualnie pokazywałby kolejny krok w odpowiednim kontekście, na przykład jako demonstrację spalania z różnymi materiałami.

Runway postrzega Solaris również jako platformę szkoleniową dla agentów AI, którzy obecnie mają trudności z zadaniami takimi jak rezerwacje hotelowe, ponieważ są szkoleni na stałych układach i nie radzą sobie ze stronami internetowymi, które od nich odbiegają.

Koniec ery aplikacji?

Ambicją firmy Runway jest to, że „aplikacja” jako stała jednostka zniknie. Obecnie, aby coś zrobić, trzeba otworzyć odpowiednią, wstępnie zbudowaną aplikację – jedną do zakupów, jedną do wiadomości, jedną do rezerwacji. Jeśli system operacyjny będzie mógł samodzielnie generować odpowiednie interfejsy, będzie mniej powodów, aby sortować oprogramowanie w stały katalog aplikacji.

Sklep internetowy nie byłby już stałym układem, który wszyscy widzą w ten sam sposób, ale generowanym środowiskiem, które dostosowuje się do każdego użytkownika. Czy ludzie faktycznie chcą interfejsów, które ciągle się zmieniają, to pytanie, na które Runway nie udziela jednoznacznej odpowiedzi.

Wyzwania i przyszłość badań

Na razie jest to jeszcze odległa perspektywa. Runway przyznaje, że stabilny, czytelny tekst pozostaje trudnym problemem do rozwiązania, mimo że interfejsy w dużej mierze od niego zależą. Długie sesje i niezawodność to również otwarte kwestie, a błędny, ale przekonujący wynik może być gorszy niż jego brak. Generowany interfejs musi również współpracować z technologiami wspomagającymi, takimi jak czytniki ekranu.

Z tego powodu Solaris jest obecnie projektem badawczym. Runway poszukuje partnerów do wdrożenia i oferuje wczesny dostęp poprzez formularz. Rozwój tego typu technologii może znacząco wpłynąć na interakcję człowieka z komputerem, przesuwając granice personalizacji i adaptacyjności oprogramowania, choć droga do pełnej implementacji i akceptacji rynkowej jest jeszcze długa.

Źródło: the-decoder.com