Niemieckie konsorcjum AI prezentuje Soofi S: otwarty model 30B dominujący w benchmarkach angielskich i niemieckich

Niemieckie konsorcjum badawcze, koordynowane przez KI Bundesverband (Niemieckie Stowarzyszenie AI), udostępniło Soofi S 30B-A3B – otwarty model językowy, który, według raportu przedtreningowego, osiąga najwyższe wyniki w benchmarkach angielskich i niemieckich wśród w pełni otwartych modeli. Przewyższa on dotychczasowych liderów, takich jak OLMo 3 32B i Apertus 70B.

Soofi S jest jednym z pierwszych dużych modeli językowych trenowanych w całości na platformie Deutsche Telekom's Industrial AI Cloud w Monachium. Model 30B wykorzystuje hybrydową architekturę i mieszankę danych treningowych celowo zorientowaną na język niemiecki.

Architektura i wydajność Soofi S

Soofi S to model typu mixture-of-experts (MoE), zawierający łącznie 31,6 miliarda parametrów, ale aktywujący tylko około 3,2 miliarda na wygenerowany token. Dzięki temu jego koszt obliczeniowy jest bliższy modelom 3B niż konwencjonalnym modelom 30B. Konsorcjum zastosowało niezmienioną architekturę Nvidii Nemotron 3 Nano, która jest hybrydowym projektem łączącym warstwy Mamba-2 ze standardowymi warstwami uwagi.

Kluczową różnicą w stosunku do typowych transformerów jest zachowanie pamięci. W konwencjonalnych modelach pamięć podręczna KV, przechowująca poprzednie tokeny do obliczeń uwagi, rośnie liniowo wraz z długością kontekstu. Przy długich danych wejściowych i wielu równoległych żądaniach ponowne ładowanie tej pamięci staje się wąskim gardłem. W Soofi S tylko 6 z 52 warstw utrzymuje taką pamięć podręczną.

Przekłada się to na praktyczną przepustowość generowania. Przy długości kontekstu 40 000 tokenów i 32 równoległych żądaniach, Soofi S generuje około osiem razy więcej tokenów na sekundę na GPU niż gęste modele w zakresie od 14 do 24 miliardów parametrów. Podczas gdy przepustowość konwencjonalnych modeli znacznie spada wraz ze wzrostem kontekstu, Soofi S pozostaje niemal stała w zakresie od 4000 do 256 000 tokenów. Jedynym modelem, który wykazuje podobne zachowanie w pomiarach, jest Alibaba Qwen3.5 35B-A3B, który również wykorzystuje architekturę hybrydową.

Proces treningowy i nacisk na język niemiecki

Konsorcjum przetworzyło łącznie około 27 bilionów tokenów, podzielonych na trzy fazy. W pierwszej fazie model uczy się podstaw języka z około 20 bilionów tokenów pochodzących z szerokiej mieszanki tekstów internetowych, kodu, matematyki i tekstów specyficznych dla dziedzin. Druga faza obejmuje około 6 bilionów tokenów z wyższej jakości źródeł, mających na celu wyostrzenie wcześniej nauczonych wzorców. Krótsza trzecia faza rozszerza okno kontekstowe poprzez trening na bardzo długich dokumentach, liczących do miliona tokenów.

Centralnym elementem jest celowe skupienie się na języku niemieckim. W pierwszej fazie niemiecki stanowi 7,2 procent mieszanki treningowej; w drugiej fazie udział ten wzrasta do 15,3 procent. Dla porównania, w referencyjnej recepturze Nemotron Nvidii, wszystkie języki inne niż angielski łącznie stanowią tylko około 5 procent.

Źródła danych obejmowały niemieckie teksty internetowe z HPLT, otwarty korpus German Commons, niemieckie części FinePDFs i FineWiki, a także komercyjnie licencjonowany korpus Genios, zawierający 193 miliony artykułów prasowych z 916 niemieckich publikacji. Mieszankę uzupełniają teksty niemieckie tłumaczone maszynowo i generowane syntetycznie.

Wyniki benchmarków i słabe strony

W ocenach przeprowadzonych na tle 16 innych otwartych modeli, Soofi S przewodzi wszystkim w pełni otwartym modelom pod względem łącznych wyników zarówno dla języka niemieckiego, jak i angielskiego. Dotyczy to również OLMo 3 32B z Allen Institute for AI oraz Apertus 70B z ETH Zurich i EPFL. W porównaniu z każdym europejskim modelem bazowym, Soofi S wyprzedza go we wszystkich niemieckich benchmarkach, czasem z dwucyfrową przewagą.

W benchmarkach kodu, Soofi S osiąga 73,8 procent na HumanEval, 70,2 procent na MBPP i 84,2 procent na niemieckim wariancie MBPP, co jest najlepszym wynikiem wśród otwartych modeli. Na INCLUDE-DE, teście wiedzy regionalnej specyficznej dla Niemiec, Soofi S zajmuje pierwsze miejsce z 61,2 punktami, ex aequo z większym Qwen3.5 35B-A3B. W porównaniu do bazowego modelu Nemotron, niemiecka receptura danych poprawia biegłość językową o 15,1 punktu i test naukowy GPQA-Diamond o 9,6 punktu, bez poświęcania wydajności w języku angielskim.

Soofi S nie radzi sobie tak dobrze w niemieckiej matematyce konkursowej, gdzie zdobywa 56 punktów na Minerva MATH-DE, znacznie ustępując Qwen3.5 35B-A3B (76,5) i Gemma 3 27B (65,6). Pozostaje również w tyle w otwartym wyszukiwaniu faktów w NaturalQuestions. To ostatnie prawdopodobnie wiąże się z posiadaniem tylko 3 miliardów aktywnych parametrów, które mogą przechowywać mniej wiedzy o świecie niż gęsty model 27B.

Test długiego kontekstu RULER ujawnia również specyficzną słabość: gdy model musi wyodrębnić często występujące słowa z długiego tekstu, wskaźnik trafień Soofi S spada do około 3 procent powyżej 32 000 tokenów kontekstu, podczas gdy porównywalny model Nemotron nadal osiąga 60 do 64 procent. Autorzy przypisują to faktowi, że ich dane treningowe dla długiego kontekstu zawierają wiele długich dokumentów, ale brakuje im danych syntetycznych zaprojektowanych do zadań ekstrakcji. W pozostałych dwunastu zadaniach RULER oba modele działają podobnie.

Konsorcjum i przyszłość projektu

Trening modelu odbył się między marcem a majem na maksymalnie 512 procesorach graficznych Nvidia B200 w Deutsche Telekom's Industrial AI Cloud w Monachium, co łącznie dało około 253 000 godzin GPU. Według raportu, obiekt działa w całości na energii odnawialnej, jest chłodzony wodą z kanału Eisbach i oddaje ciepło odpadowe do okolicznej dzielnicy Tucherpark. Soofi S był jednym z pierwszych dużych treningów na tej infrastrukturze.

Za projektem Soofi stoi konsorcjum niemieckich instytucji badawczych i firm, koordynowane przez Niemieckie Stowarzyszenie AI i finansowane przez Niemieckie Federalne Ministerstwo Gospodarki i Energii w ramach europejskiego programu IPCEI-CIS. Uczestnicy to m.in. Instytuty Fraunhofera IAIS i IIS, Niemieckie Centrum Badań nad Sztuczną Inteligencją (DFKI), TU Darmstadt, Uniwersytet w Würzburgu, L3S Research Center, Berliński Uniwersytet Nauk Stosowanych oraz firmy AI Ellamind i Merantix Momentum. Celem projektu jest zbudowanie otwartej europejskiej rodziny modeli AI, która może działać na suwerennej infrastrukturze i być testowana w zastosowaniach przemysłowych.

Badacze udostępniają wagi modelu wraz z wybranymi pośrednimi punktami kontrolnymi, kompletnym kodem treningowym i ewaluacyjnym oraz szczegółowym inwentarzem danych. Według zespołu, Soofi S spełnia Open Source AI Definition 1.0 z Open Source Initiative. Ściślejsza propozycja europejskiej definicji otwartych danych, która wymagałaby, aby każdy pojedynczy token treningowy był swobodnie dystrybuowalny, nie jest spełniona ze względu na 1,3-procentowy udział danych Genios, które posiadają licencję komercyjną. Raport podaje, że około 99 procent mieszanki treningowej można niezależnie odtworzyć. Dokładna licencja na wydanie modelu nie została jeszcze sfinalizowana.

Jak pisze główny autor Michael Fromm, Soofi S plasuje się między szeroko wielojęzycznymi europejskimi projektami suwerenności, takimi jak EuroLLM czy Teuken, a najwyżej wydajnymi międzynarodowymi modelami o otwartych wagach. Konsorcjum poszukuje partnerów przemysłowych do następnej fazy, aby przetestować model w zastosowaniach obejmujących dokumenty techniczne, generowanie kodu i systemy oparte na agentach. Wprowadzenie Soofi S na rynek stanowi znaczący krok w kierunku budowania niezależnych europejskich zdolności w dziedzinie sztucznej inteligencji, oferując jednocześnie otwarte narzędzie o wysokiej wydajności, szczególnie dla języka niemieckiego, co może przyspieszyć innowacje w wielu sektorach.

Źródło: the-decoder.com