Meta AI prezentuje Muse Glimmer: model agentowy 30B działający na pojedynczej karcie GPU

Meta AI zaprezentowała Muse Glimmer, multimodalny model agentowy o 30 miliardach parametrów, destylowany z Muse Spark. Model ten został zoptymalizowany do ciągłej pracy w lokalnych scenariuszach agentowych i jest dostępny na licencji Apache 2.0. Co istotne, Muse Glimmer może działać na pojedynczej konsumenckiej karcie graficznej lub komputerze Mac, eliminując potrzebę połączenia sieciowego.

Architektura i optymalizacja

Standardowo model 30B wymagałby ponad 55 GB pamięci w pełnej precyzji. Meta sprasowała go do około 4-bitowej precyzji, a następnie dodała dekodowanie spekulacyjne na poziomie bloków, co zapewnia wystarczającą szybkość odpowiedzi w pętli agentowej. Wagi modelu są otwarte na licencji Apache 2.0, a kolekcja Hugging Face zawiera wagi BF16, kwantyzacje GGUF k-quant, kompilacje ExecuTorch oraz drafter DFlash, co umożliwia samodzielne hostowanie już od pierwszego dnia.

Muse Glimmer to gęsty transformator przyczynowy z dedykowanym koderem percepcyjnym. Całkowita liczba parametrów wynosi około 30 miliardów, wliczając w to warstwę wizyjną. Wykorzystuje on grupowaną uwagę z 32 głowicami zapytań i 2 głowicami KV. Wzór uwagi powtarza się jako [Lokalny, Lokalny, Lokalny, Globalny] z oknem ślizgowym o długości 2048. RoPE jest stosowane tylko do warstw lokalnych, z theta 500 000. Strona wizyjna to koder percepcyjny ViT-G/14 o około 1,8 miliarda parametrów, akceptujący do 4096 tokenów wizualnych na obraz. Długość kontekstu wynosi 131 072+, słownictwo obejmuje 202 048 tokenów, a data odcięcia wiedzy to 4 stycznia 2026 roku. Model akceptuje tekst i obrazy jako dane wejściowe, a generuje tekst. Nie obsługuje dźwięku, a wideo jest przetwarzane jako pojedyncze klatki.

Wydajność i szybkość generowania

Kompresja wag do około 4-bitowej precyzji zmniejsza zapotrzebowanie modelu językowego na pamięć do poniżej 20 GB, co pozostawia zapas w ramach 24 GB lub 32 GB VRAM. Pamięć tę współdzielą pamięć podręczna KV, koder percepcyjny i drafter. Dostępne są dwie skwantyzowane wersje: K-Quant-Dynamic celuje w 32 GB VRAM ze średnią degradacją 0,2%, natomiast K-Quant-17GB w 24 GB VRAM z degradacją 1,0%. Degradacja jest uśredniana na podstawie metryk dokładności z 15 popularnych benchmarków.

Szybkość generowania zapewnia DFlash, drafter blokowo-dyfuzyjny, który przewiduje 16 tokenów w jednym przejściu do przodu, podczas gdy główny model weryfikuje blok równolegle. Drafter wykorzystuje 5 warstw, uwagę z oknem ślizgowym o długości 2048 oraz 32 głowice zapytań i 8 głowic KV. Meta zmierzyła K-Quant-17GB przy rozmiarze partii 1 i zachłannym dekodowaniu. Na karcie RTX 5090 przepustowość wzrosła z 74,9 do 233,4 tokenów/s, co stanowi 3,1-krotne przyspieszenie. Na Apple M5 Max prędkość wzrosła z 26,6 do 50,2 tokenów/s, a na M4 Max z 23,7 do 37,8 tokenów/s.

Wyniki benchmarków i bezpieczeństwo

Meta porównała Muse Glimmer z Gemma4-31B i Qwen3.6-27B w trybie myślenia. Muse Glimmer osiągnął lepsze wyniki na MCP Atlas (75,5 vs 54,2 i 62,5), DeepSearch QA (74,6), Gaia2 (43,3) i SWE-Bench Pro (51,2). W kategoriach rozumowania, uzyskał 94,7 na AIME 2026, 77,0 na IFBench i 80,0 na AA-LCR. Qwen3.6-27B wyprzedził Muse Glimmer na OSWorld-Verified (75,6 vs 65,9), TerminalBench 2.1 (60,7) i SWE-Bench Verified (77,2). Wzór jest spójny: Muse Glimmer wygrywa w orkiestracji agentowej i rozumowaniu, ale ustępuje w zadaniach związanych z użyciem komputera i pracą w terminalu.

W kwestii bezpieczeństwa, wskaźnik sukcesu ataku Siren AgentDojo wynosi 28,4 przy użyteczności 94,2. Meta oświadcza, że model nie spełnia definicji Frontier AI w ramach ich Advanced AI Scaling Framework. Ryzyko związane z chemikaliami/biologią, cyberbezpieczeństwem i utratą kontroli oceniono jako umiarkowane lub niższe.

Wprowadzenie Muse Glimmer przez Meta AI stanowi znaczący krok w kierunku demokratyzacji zaawansowanych modeli AI, umożliwiając ich uruchamianie na powszechnie dostępnym sprzęcie. Otwartość wag i skupienie na lokalnym przetwarzaniu może przyspieszyć rozwój innowacyjnych aplikacji agentowych, jednocześnie podnosząc kwestie związane z bezpieczeństwem i kontrolą nad potężnymi narzędziami sztucznej inteligencji.

Źródło: marktechpost.com