Badacz z Princeton proponuje Recurrent Looped Transformer (RLT) z nieskończoną głębią czasową

Yifan Zhang, badacz z Princeton, przedstawił w raporcie technicznym koncepcję Recurrent Looped Transformer (RLT). Jest to innowacyjny model, który łączy koder przyczynowy z rekurencyjnym dekoderem. Kluczową cechą RLT jest zdolność dekodera do przenoszenia swojego końcowego ukrytego stanu oraz pamięci podręcznej uwagi z przesuwnym oknem na poziomie warstw przez każdy token podpowiedzi i odpowiedzi, bez resetowania na granicy obsługi.

Architektura i działanie RLT

Proponowana konfiguracja RLT wykorzystuje 48 warstw kodera i 48 warstw dekodera. Oznacza to, że model wykonuje 96 logicznych bloków na każdy token. Ścieżka stanu rośnie do 48t bloków dekodera po przetworzeniu t tokenów, co wskazuje na zdolność do utrzymywania kontekstu na bardzo długich sekwencjach. Ta architektura ma na celu zapewnienie nieograniczonej głębi czasowej, co jest znaczącym usprawnieniem w porównaniu do tradycyjnych modeli Transformerów, które często mają ograniczenia w przetwarzaniu długich zależności.

Optymalizacja sprzętowa i kontrakty RL

Projekt RLT przewiduje również wykonanie zoptymalizowane pod kątem sprzętu, skupione wokół rekurencyjnego rdzenia. Dodatkowo, model zawiera dokładny kontrakt odtwarzania RL (Reinforcement Learning) zgodny z bieżącą polityką. Te aspekty sugerują, że RLT jest projektowany z myślą o efektywności obliczeniowej i potencjalnym zastosowaniu w scenariuszach uczenia ze wzmocnieniem.

Obecny status projektu

Na obecnym etapie nie udostępniono jeszcze kodu, wag modelu ani zmierzonych wyników działania RLT. Raport techniczny stanowi propozycję koncepcyjną, a dalsze prace będą miały na celu weryfikację teoretycznych założeń w praktyce. Wprowadzenie RLT może potencjalnie otworzyć nowe możliwości w dziedzinie przetwarzania języka naturalnego i innych zadań sekwencyjnych, oferując bardziej efektywne i skalowalne rozwiązania dla złożonych problemów wymagających długoterminowej pamięci i kontekstu.

Źródło: marktechpost.com