IBM prezentuje Granite 4.2: Nowe modele językowe z zaawansowanym rozumowaniem i uczeniem agentowym

IBM ogłosił premierę Granite 4.2, nowej rodziny otwartych modeli językowych, które wyróżniają się wbudowanymi zdolnościami rozumowania. Modele te, dostępne w wariantach 3B, 8B i 30B parametrów, zostały zaprojektowane tak, aby generować ciąg myśli przed udzieleniem odpowiedzi, oferując również tryb „myślenia/niemyślenia” oraz tryb niskiego wysiłku dla prostszych zapytań. Wszystkie modele Granite 4.2 są udostępniane na licencji Apache 2.0, co umożliwia ich swobodne pobieranie, dostrajanie i komercyjne wykorzystanie.

Architektura i szkolenie modeli Granite 4.2

Granite 4.2 to gęste transformery typu decoder-only, co odróżnia je od hybrydowych rozwiązań czy architektur MoE. Ich podstawowe komponenty obejmują Grouped Query Attention z 8 głowicami KV, RoPE z θ = 10 000 000, MLPy SwiGLU, RMSNorm (ε = 1e-5), oddzielne osadzanie wejścia/wyjścia oraz precyzję bfloat16.

Modele zostały wytrenowane od podstaw na około 15 bilionach tokenów. Proces ten obejmował pięć faz, w tym fazę długiego kontekstu, rozszerzającą długość sekwencji do 512 tysięcy tokenów, choć opublikowana tabela architektury wskazuje na długość sekwencji 131 072 tokenów (128K). Po wstępnym treningu modele przeszły wieloetapowy łańcuch uczenia ze wzmocnieniem (RL).

Specyfikacja architektoniczna różni się w zależności od rozmiaru:

• 3B: 40 warstw, rozmiar osadzania 2560.
• 8B: 40 warstw, rozmiar osadzania 4096.
• 30B: 64 warstwy, ukryty rozmiar MLP 32 768.

Uczenie ze wzmocnieniem i zdolności agentowe

Kluczowym elementem Granite 4.2 jest zaawansowany proces post-treningowy, który wykorzystuje wieloetapowy łańcuch RL. Każdy etap to oddzielny, asynchroniczny przebieg GRPO, który startuje z poprzedniego punktu kontrolnego. Proces ten obejmuje etapy takie jak RLVR, wzmacniacze umiejętności, inżynieria oprogramowania (SWE), terminal oraz wyszukiwanie, a następnie RLHF (Reinforcement Learning from Human Feedback).

Modele 8B i 30B posiadają dodatkowy blok agentowego uczenia ze wzmocnieniem (agentic RL). Dzięki niemu modele uczą się edytować kod, obsługiwać terminal oraz przeprowadzać wyszukiwania internetowe w rzeczywistych, izolowanych środowiskach. Model 3B koncentruje się na podstawowym RL i wyrównaniu. Ten wybór projektowy w dużej mierze wyjaśnia różnice w możliwościach między poszczególnymi rozmiarami modeli.

Nadzorowane dostrajanie wykorzystało około 7,2 miliona próbek, co odpowiada około 100 miliardom tokenów, z czego około 65 miliardów było trenowalnych. Mieszanka danych do dostrajania składała się w 31,6% z danych agentowych i w 68,4% z danych nieagentowych, przy czym inżynieria oprogramowania stanowiła 69% segmentu agentowego. Trajektorie były generowane przy użyciu różnych narzędzi, w tym OpenHands, SWE-agent, Terminus-2, MiniSWE, Codex i Goose. Kontrolę jakości zapewniły modele GPT-OSS-120B i Gemma 4 jako sędziowie, a także deduplikacja SHA-256.

Trening odbywał się na platformach NeMo-RL i NeMo-Gym, wykorzystując klaster NVIDIA GB200 NVL72 hostowany przez CoreWeave. Ważnymi elementami wspierającymi były również bilion tokenów syntetycznego kodu z potoku CodeAlchemy IBM oraz warstwa spekulatywnego dekodowania dla szybszego serwowania.

Granite Speech 5.0 Turbo CTC

Równolegle z modelami językowymi, IBM wprowadził również dwa modele Granite Speech 5.0 Turbo CTC o rozmiarze 470 milionów parametrów. Modele te całkowicie rezygnują z architektury LLM na rzecz połączeniowej klasyfikacji czasowej (CTC), która mapuje dźwięk na tekst. IBM podaje, że ich przepustowość RTFx wynosi blisko 12 600 na pojedynczym H200, co stanowi znaczną przewagę w porównaniu do obecnych liderów prędkości w rankingu Open ASR, osiągających około 6 000. Dostępna jest również demonstracja WebGPU.

Premiera Granite 4.2 i Granite Speech 5.0 Turbo CTC podkreśla zaangażowanie IBM w rozwój otwartych i zaawansowanych rozwiązań AI. Dostępność tych modeli na licencji Apache 2.0 oraz ich innowacyjne podejście do rozumowania i uczenia agentowego mogą znacząco wpłynąć na rozwój aplikacji korporacyjnych i otworzyć nowe możliwości dla deweloperów i firm poszukujących elastycznych i wydajnych narzędzi sztucznej inteligencji.

Źródło: marktechpost.com