PrismML prezentuje Bonsai 27B: Qwen3.6-27B w wersjach 1-bitowych i ternarnych dla urządzeń mobilnych

Firma PrismML zaprezentowała Bonsai 27B, niskobitową reprezentację modelu językowego Qwen3.6-27B, zaprojektowaną do efektywnego działania na urządzeniach o ograniczonych zasobach, takich jak laptopy i smartfony. Model ten nie jest nowym pretreningiem, lecz zoptymalizowaną wersją istniejącej architektury, która pozostaje niezmieniona.

Warianty i specyfikacje techniczne Bonsai 27B

Bonsai 27B jest dostępny w dwóch wariantach, oba na licencji Apache 2.0. Wersja ternarna Bonsai 27B wykorzystuje wagi {-1, 0, +1} z rzeczywistą wartością 1,71 bita na wagę, co przekłada się na idealny rozmiar 5,9 GB. Wariant 1-bitowy Bonsai 27B używa binarnych wag {-1, +1} z wartością 1,125 bita na wagę, co daje rozmiar 3,9 GB. Oba modele są multimodalne, z podziałem na około 24,8 miliarda wag językowych, 0,46 miliarda w wieży wizyjnej oraz 2,5 miliarda w embeddingach i głowicy LM. Wieża wizyjna jest utrzymywana oddzielnie w 4-bitowej precyzji (HQQ). Kontekst wynosi 262 tysiące tokenów, co jest praktyczne dzięki temu, że około 75% uwagi w Qwen3.6-27B jest liniowa.

Metoda kompresji opiera się na przypisaniu każdej wadze kodu z jedną wspólną skalą FP16 na grupę 128 wag. Efektywna waga jest obliczana jako w_i = s_g · t_i. Wartość ternarna przenosi około 1,585 bita, a dodanie skali FP16 na 128 wag zwiększa to do około 1,71 bita na wagę, co oznacza 9,4-krotną redukcję w porównaniu do FP16. Wariant binarny kosztuje 1 + 16/128 = 1,125 bita, co stanowi 14,2-krotną redukcję. Kompresja obejmuje kluczowe komponenty, takie jak embeddingi, projekcje uwagi, projekcje MLP i głowicę LM, podczas gdy parametry normalizacji i skali pozostają w wyższej precyzji.

Dokładność i wydajność

Kluczowym pytaniem w przypadku kompresji jest jej wpływ na dokładność. PrismML przeprowadziło ewaluację na 15 benchmarkach w trybie myślenia, wykorzystując EvalScope z vLLM na procesorach graficznych H100. Ternarny Bonsai 27B zachował 94,6% dokładności w stosunku do bazowego modelu FP16, natomiast 1-bitowy Bonsai 27B osiągnął 89,5%. Jest to znacząca różnica w porównaniu do konwencjonalnych niskobitowych modeli, gdzie np. Qwen3.6-27B w wersji „4-bitowej” (Q4_K_XL) ma 5,2 bita na wagę, a „2-bitowej” (IQ2_XXS) 2,8 bita. Bonsai różni się także od BitNet, który wymaga pretreningu od podstaw, aby uniknąć załamania wydajności.

Modele Bonsai 27B wykazują znacznie lepszą odporność na spadek dokładności w porównaniu do innych niskobitowych modeli. Przykładowo, IQ2_XXS spada do 57,5 punktu na AIME26 i 56,4 na LiveCodeBench, choć na MMLU-Redux nadal osiąga 88,93. Podobny wzorzec zaobserwowano w Gemma-4-31B Q2_K_XL. Wyniki te podkreślają, że krótkie benchmarki mogą maskować rzeczywisty spadek wydajności w bardziej złożonych zadaniach.

Optymalizacja pamięci i zastosowania mobilne

Kluczowym czynnikiem, który uzasadnia wydanie Bonsai 27B, jest optymalizacja pamięci. Modele te zostały zaprojektowane z myślą o urządzeniach mobilnych, gdzie ograniczenia są znacznie bardziej rygorystyczne niż sugerują same liczby dotyczące przechowywania danych. Na przykład, system iOS ogranicza pojedynczą aplikację do około połowy fizycznej pamięci, co oznacza, że iPhone z 12 GB pamięci udostępnia około 6 GB. Cache KV (Key-Value) stanowi drugie ograniczenie budżetu pamięci. Przy 16 z 64 warstwach, które utrzymują rosnący cache pełnej uwagi, koszt FP16 wynosi około 64 KiB/token. Dla okna 262K tokenów koszt ten wynosi około 17,2 GB, podczas gdy 4-bitowy cache KV redukuje go do około 4,3 GB.

W testach tolerancji, ternarny Bonsai wykazał 0,0011 nats wyjściowego forward-KL na MATH-500 w porównaniu do bazowego FP16-KV, podczas gdy Q4_K_XL pokazał 0,0146. Przy 100 tysiącach tokenów z cachem FP16, 1-bitowy model osiąga szczytowe zużycie 11,6 GB, a ternarny 14,7 GB. Wersja Q4_K_XL wymaga w tych warunkach około 25,6 GB.

Po dopasowaniu modelu do pamięci, kolejnym aspektem jest przepustowość. Generowanie jest ograniczone przepustowością pamięci, co oznacza, że mniej bajtów na krok przekłada się na więcej tokenów na sekundę. Prefill jest natomiast ograniczony mocą obliczeniową i zyskuje mniej. PrismML dostarcza również drafter DSpark, wytrenowany pod kątem Bonsai 27B. Na H100 z głębokością draftu k=4, binarny model osiąga akceptowaną długość τ=3.6, co daje 143,8 tokenów na sekundę i 1,37-krotne przyspieszenie. Weryfikacja jest bezstratna, co zapewnia identyczność dystrybucji wyjściowej. Na Apple Silicon drafter jest domyślnie wyłączony przy rozmiarze wsadu 1.

Dostępność i zastosowania

Ternarny Bonsai 27B jest domyślnym modelem w repozytorium demonstracyjnym. Użytkownicy mogą uruchomić serwer kompatybilny z OpenAI API lub generować dane bezpośrednio. Model obsługuje również wywoływanie narzędzi w standardowym formacie OpenAI. Tryb myślenia jest domyślnie włączony, a jego budżet tokenów można regulować dla każdego żądania. Agenci działający lokalnie na laptopach mogą wykorzystywać ternarną wersję do pracy z kodem na pełnym repozytorium do 262 tysięcy tokenów. Model 1-bitowy jest przeznaczony do rozumowania lokalnie na telefonach; biała księga wskazuje, że 672 tokeny zużywają 1% baterii iPhone'a. Dzięki temu, wrażliwe na prywatność i offline'owe przepływy pracy mogą utrzymywać prompt na urządzeniu. W połączeniu z 4-bitowym cachem KV, obsługa na pojedynczym GPU pozwala na osiągnięcie jakości klasy 27B na karcie z 24 GB pamięci.

Premiera Bonsai 27B stanowi ważny krok w demokratyzacji zaawansowanych modeli AI, umożliwiając ich wykorzystanie na szerokiej gamie urządzeń osobistych. Zdolność do uruchamiania tak dużych modeli na smartfonach i laptopach otwiera nowe możliwości dla aplikacji offline, zwiększając prywatność i dostępność sztucznej inteligencji dla użytkowników na całym świecie.

Źródło: marktechpost.com