DiffusionGemma: Nowy model Google przyspiesza generowanie tekstu nawet czterokrotnie

Google wprowadza DiffusionGemma, eksperymentalny otwarty model, który wykorzystuje dyfuzję tekstu do wyjątkowo szybkiego generowania treści. Model ten, udostępniony na licencji Apache 2.0, jest modelem typu Mixture of Experts (MoE) o rozmiarze 26 miliardów parametrów i znacząco różni się od typowych autoregresywnych dużych modeli językowych (LLM), które przetwarzają tekst sekwencyjnie, token po tokenie. Zamiast tego, DiffusionGemma generuje całe bloki tekstu jednocześnie, co przekłada się na nawet czterokrotnie szybsze generowanie tekstu na procesorach graficznych (GPU).

Innowacyjne podejście do generowania tekstu

DiffusionGemma bazuje na architekturze rodziny modeli Gemma 4, znanej z wysokiej inteligencji na parametr, oraz na badaniach Gemini Diffusion. Integruje nowatorską „głowicę dyfuzyjną” zaprojektowaną w celu maksymalizacji szybkości generowania. Podczas gdy autoregresywne modele Gemma 4 pozostają standardem dla wysokiej jakości wyników produkcyjnych, DiffusionGemma jest przeznaczona dla badaczy i programistów eksplorujących interaktywne, lokalne scenariusze pracy, gdzie kluczowa jest szybkość. Przykłady takich zastosowań to edycja tekstu w czasie rzeczywistym, szybka iteracja czy generowanie nieliniowych struktur tekstowych.

Deweloperzy tworzący interaktywne aplikacje AI często borykają się z opóźnieniami wynikającymi z lokalnego wnioskowania. DiffusionGemma ma na celu rozwiązanie tych problemów, choć wiąże się to z pewnymi kompromisami. Model można dostroić do konkretnych zadań, aby poprawić jego wydajność. Jako przykład podano dostrojenie DiffusionGemma przez firmę Unsloth do rozwiązywania Sudoku – zadania, z którym modele autoregresywne mają trudności ze względu na wzajemną zależność tokenów. Dwukierunkowa uwaga w DiffusionGemma znacznie ułatwia takie operacje.

Jak DiffusionGemma zmienia wykorzystanie sprzętu?

Chociaż społeczność badawcza AI od lat eksploruje generowanie tekstu oparte na dyfuzji, zastosowanie tej techniki w dużych modelach pozostawało wyzwaniem. DiffusionGemma zmienia ten stan rzeczy, modyfikując sposób, w jaki modele wykorzystują sprzęt.

Większość modeli językowych działa jak maszyna do pisania, generując jeden token na raz, od lewej do prawej. W środowisku chmurowym jest to efektywne, ponieważ serwery mogą grupować tysiące żądań użytkowników, aby dzielić obciążenie sprzętowe. Jednakże, gdy taki model jest uruchamiany lokalnie dla pojedynczego użytkownika, ten proces „słowo po słowie” sprawia, że dedykowany procesor graficzny (GPU) lub procesor tensorowy (TPU) jest niedostatecznie wykorzystywany – większość czasu spędza on na oczekiwaniu na kolejne „naciśnięcie klawisza”.

DiffusionGemma odwraca tę nieefektywność. Zamiast przewidywać słowa sekwencyjnie, model tworzy cały akapit o długości 256 tokenów jednocześnie. Dzięki temu, że procesor komputera otrzymuje większy fragment pracy naraz, DiffusionGemma wykorzystuje sprzęt do jego pełnego potencjału. To przekształca wnioskowanie modelu z pojedynczej, sekwencyjnej maszyny do pisania w „masywną prasę drukarską”, która jednocześnie stempluje cały blok tekstu.

Przykładowe zastosowania to demo Hugging Face generujące grafikę 3D SVG z tekstu, gdzie proces odbywa się krok po kroku. Model może przetwarzać cały akapit podczas generowania, co otwiera nowe możliwości, takie jak idealne zamykanie złożonego formatowania Markdown czy generowanie i renderowanie kodu niemal w czasie rzeczywistym.

Zastosowania i ograniczenia

Przyspieszenie oferowane przez DiffusionGemma jest szczególnie korzystne dla lokalnego wnioskowania i scenariuszy o niskiej współbieżności. W przypadku serwerów chmurowych o wysokiej liczbie zapytań na sekundę (QPS), gdzie modele autoregresywne mogą być efektywnie wdrażane w celu pełnego wykorzystania mocy obliczeniowej, równoległe dekodowanie DiffusionGemma może przynosić malejące korzyści i potencjalnie prowadzić do wyższych kosztów obsługi. Przewaga w przepustowości jest najsilniejsza przy małych i średnich rozmiarach partii na pojedynczym akceleratorze.

Podobnie jak generatory obrazów AI, które zaczynają od wizualnego szumu i iteracyjnie udoskonalają go w wyraźny obraz, DiffusionGemma stosuje tę samą zasadę do tekstu. Możliwość przetwarzania całego akapitu podczas generowania otwiera nowe wzorce zachowań modelu, takie jak perfekcyjne zamykanie złożonego formatowania Markdown lub generowanie i renderowanie kodu w czasie zbliżonym do rzeczywistego.

Wprowadzenie DiffusionGemma stanowi istotny krok w kierunku zwiększenia efektywności lokalnego przetwarzania języka naturalnego. Model ten, choć eksperymentalny, może znacząco wpłynąć na rozwój interaktywnych aplikacji AI, oferując programistom narzędzie do tworzenia bardziej responsywnych i dynamicznych rozwiązań, szczególnie w środowiskach o ograniczonych zasobach chmurowych lub wymagających natychmiastowej odpowiedzi.

Źródło: deepmind.google