Google Research prezentuje Retrieve-for-Train (R4T) – dyfuzyjny retriever 20 razy szybszy

Google Research przedstawiło Retrieve-for-Train (R4T), innowacyjny framework wyszukiwania, który ma za zadanie dostarczać spójne i zróżnicowane zestawy wyników. Kluczową cechą R4T jest jego zdolność do generowania wszystkich kierunków wyszukiwania w jednym przebiegu, co przekłada się na znacznie większą prędkość działania w porównaniu do tradycyjnych metod.

Architektura i działanie R4T

Framework R4T opiera się na dwuetapowym procesie. W pierwszej fazie, model językowy typu fan-out jest trenowany jednorazowo przy użyciu uczenia ze wzmocnieniem (RL). Proces ten uwzględnia nagrody za ugruntowanie, różnorodność i spójność, co pozwala na optymalizację modelu pod kątem generowania wysokiej jakości danych. Po zakończeniu treningu, ten model językowy jest wykorzystywany do syntezy danych treningowych.

Te syntetyczne dane są następnie używane do szkolenia dyfuzyjnego retrivera o parametrach wynoszących 53,9 miliona. To właśnie ten retriever odpowiada za finalne wyszukiwanie. Dzięki swojej architekturze, jest on w stanie wygenerować wszystkie potrzebne kierunki wyszukiwania podczas jednego przejścia, co znacząco przyspiesza cały proces.

Znacząca poprawa wydajności

Jedną z najbardziej imponujących cech R4T jest jego wydajność. Według Google Research, dyfuzyjny retriever działa od 12 do 20 razy szybciej niż autoregresywne metody fan-out. Ta znacząca poprawa prędkości może mieć istotne konsekwencje dla systemów wyszukiwania, umożliwiając szybsze i bardziej efektywne dostarczanie wyników.

Należy jednak zaznaczyć, że na chwilę obecną nie udostępniono kodu ani wag modelu R4T. Oznacza to, że technologia jest wciąż na etapie badawczym i nie jest jeszcze dostępna dla szerszej publiczności czy deweloperów.

Prezentacja R4T przez Google Research wskazuje na dalsze dążenie do optymalizacji i przyspieszania procesów wyszukiwania w erze sztucznej inteligencji. Rozwiązania takie jak dyfuzyjny retriever, zdolne do wielokrotnego zwiększenia prędkości działania, mogą w przyszłości zrewolucjonizować sposób, w jaki systemy AI przetwarzają i dostarczają informacje, otwierając nowe możliwości dla bardziej dynamicznych i responsywnych aplikacji.

Źródło: marktechpost.com