Moonshot AI prezentuje Kimi K3: Model MoE o 2,8 biliona parametrów z kontekstem 1M i innowacyjnymi architekturami

Moonshot AI ogłosiło premierę Kimi K3, modelu o 2,8 biliona parametrów, wyposażonego w natywną wizję i okno kontekstowe o rozmiarze 1 miliona tokenów. Firma określa go mianem pierwszego na świecie otwartego modelu klasy 3T.

Kimi K3 to rzadki model Mixture-of-Experts (MoE), oparty na dwóch kluczowych innowacjach architektonicznych: Kimi Delta Attention (KDA) oraz Attention Residuals (AttnRes). Obie modyfikacje zmieniają sposób przepływu informacji w zależności od długości sekwencji i głębokości modelu. K3 jest przeznaczony do zadań związanych z długoterminowym kodowaniem, pracą z wiedzą i rozumowaniem.

Innowacje architektoniczne i wydajność

Zespół Moonshot podkreśla, że K3 jest pierwszym otwartym modelem, który osiągnął 2,8 biliona parametrów. Przez dziewięć z ostatnich dwunastu miesięcy modele Kimi wyznaczały górną granicę rozmiarów otwartych modeli. Firma otwarcie przyznaje, że ogólna wydajność K3 nadal ustępuje najpotężniejszym modelom własnościowym, takim jak Claude Fable 5 i GPT 5.6 Sol. Niemniej jednak, w wewnętrznych testach Moonshot, K3 konsekwentnie przewyższał inne testowane modele.

Kimi Delta Attention (KDA) to hybrydowy mechanizm uwagi liniowej, który według Moonshot umożliwia do 6,3 razy szybsze dekodowanie w kontekstach miliona tokenów. AttnRes działa na innej płaszczyźnie, głębokości modelu, selektywnie pobierając reprezentacje, zamiast kumulować je w sposób jednolity. Moonshot twierdzi, że AttnRes zapewnia około 25% wyższą efektywność treningu przy mniej niż 2% dodatkowych kosztów.

Trzecim elementem jest rzadkość. K3 wykorzystuje Stable LatentMoE, efektywnie aktywując 16 z 896 ekspertów. Przy takiej rzadkości, routing i optymalizacja stają się kluczowymi wyzwaniami. Quantile Balancing wyprowadza alokację ekspertów bezpośrednio z kwantyli wyników routera, eliminując heurystyczne aktualizacje i wrażliwy hiperparametr równoważący. Per-Head Muon rozszerza Muon, optymalizując niezależnie głowice uwagi. Sigmoid Tanh Unit (SiTU) i Gated MLA poprawiają odpowiednio kontrolę aktywacji i selektywność uwagi.

Udoskonalone metody treningu i przygotowania danych towarzyszą tym zmianom strukturalnym, co łącznie przekłada się na około 2,5 razy lepszą ogólną efektywność skalowania w porównaniu do Kimi K2.

Obsługa i dostępność

Te rozwiązania mają również wpływ na obsługę modelu. K3 stosuje trening uwzględniający kwantyzację od etapu SFT (Supervised Fine-Tuning) włącznie. Wykorzystuje wagi MXFP4 z aktywacjami MXFP8 dla szerokiej kompatybilności sprzętowej. Zespół Moonshot zaleca konfiguracje superwęzłów z 64 lub więcej akceleratorami. Ponieważ KDA stwarza nowe wyzwania dla buforowania prefiksów, Moonshot wniósł implementację do vLLM.

Kimi K3 jest dostępny na platformach Kimi.com, Kimi Work, Kimi Code oraz poprzez API. Dostęp odbywa się za pośrednictwem OpenAI SDK z bazowym adresem URL Moonshot. Ceny są stałe, bez podziału na poziomy w zależności od długości kontekstu. Koszt wejścia z trafieniem w pamięci podręcznej wynosi 0,30 USD/MTok, bez trafienia 3,00 USD/MTok, a wyjścia 15,00 USD/MTok. Moonshot raportuje ponad 90% trafień w pamięci podręcznej w zadaniach kodowania.

Wyniki i zastosowania

K3 wykazuje wiodące wyniki w benchmarkach takich jak Program Bench, SWE Marathon, BrowseComp, Automation Bench i OmniDocBench. Ustępuje Fable 5 w FrontierSWE i HLE-Full, a GPT 5.6 Sol w DeepSWE. Warto zaznaczyć, że zespół Moonshot twierdzi, iż jedna natywna architektura multimodalna obsługuje jednocześnie tekst, obrazy i wideo.

Premiera Kimi K3 stanowi znaczący krok w rozwoju otwartych modeli językowych, oferując zaawansowane możliwości w zakresie rozumienia długiego kontekstu i efektywności obliczeniowej. Chociaż wciąż ustępuje najpotężniejszym modelom własnościowym, jego innowacyjne podejście do architektury i optymalizacji treningu może przyspieszyć rozwój całej branży AI, szczególnie w obszarach wymagających przetwarzania obszernych danych i złożonego rozumowania.

Źródło: marktechpost.com