Tencent prezentuje Hy3: otwarty model MoE o 295 miliardach parametrów z 21 miliardami aktywnych

Tencent zaprezentował Hy3, nowy model sztucznej inteligencji typu Mixture-of-Experts (MoE) o łącznej liczbie 295 miliardów parametrów, z których jedynie 21 miliardów jest aktywowanych na token. Model ten jest przeznaczony do zadań związanych z rozumowaniem, działaniem agentów AI oraz przetwarzaniem długich kontekstów. Hy3 jest dostępny do bezpłatnego testowania przez dwa tygodnie, a jego wagi są udostępnione na licencji Apache License 2.0.

Architektura i optymalizacja Hy3

Architektura Hy3 opiera się na rzadkim modelu MoE, zawierającym 192 ekspertów z routingiem typu „top-8”. Oznacza to, że na każdy token aktywowanych jest tylko 8 ekspertów, co pozwala na utrzymanie niskich wymagań obliczeniowych. Dodatkowo, model wykorzystuje warstwę Multi-Token Prediction (MTP), która umożliwia przewidywanie kilku tokenów jednocześnie, przyspieszając proces dekodowania. Funkcjonalność MTP jest wspierana przez vLLM i SGLang poprzez dekodowanie spekulacyjne. Tencent udostępnił również osobną wersję Hy3-FP8, która dzięki formatowi FP8 (8-bitowe liczby zmiennoprzecinkowe) zmniejsza zużycie pamięci, obniżając koszty obsługi.

Wyniki testów i porównania

Zespół badawczy Tencenta opublikował wyniki testów Hy3 w różnych kategoriach, w tym kodowaniu, działaniu agentów i zadaniach STEM (nauka, technologia, inżynieria, matematyka). W zakresie kodowania, Hy3 osiągnął:

• 78.0 na SWE-Bench Verified
• 57.9 na SWE-Bench Pro
• 75.8 na SWE-Bench Multilingual
• 71.7 na Terminal-Bench 2.1
• 28.0 na DeepSWE

W obszarze STEM i rozumowania, wyniki były jeszcze wyższe:

• 90.4 na GPQA Diamond
• 72.0 na USAMO 2026
• 90.0 na IMOAnswerBench
• 53.2 na HLE (z narzędziami)

Przeprowadzono również ślepy test z udziałem 270 ekspertów, którzy dokonali 312 porównań w rzeczywistych scenariuszach pracy. Hy3 uzyskał średni wynik 2.67 na 4, wyprzedzając model GLM-5.1, który osiągnął 2.51. Największą przewagę Hy3 wykazał w obszarach rozwoju frontendowego, CI/CD oraz zarządzania danymi i pamięcią masową.

Porównując Hy3 z GLM-5.2 (modelem MoE o około 744 miliardach parametrów i 40 miliardach aktywnych parametrów), Hy3 jest znacznie mniejszy pod względem całkowitej liczby parametrów i ma mniej niż połowę aktywnych parametrów. Chociaż GLM-5.2 osiąga lepsze wyniki w zadaniach kodowania, Hy3 stawia na mniejszy „ślad” obliczeniowy, co jest kluczowe dla użytkowników hostujących model samodzielnie i ponoszących koszty związane z użyciem GPU.

Wdrożenie i dostępność

Hy3 oferuje API kompatybilne z OpenAI, co ułatwia jego integrację. Model można wdrożyć za pomocą vLLM lub SGLang. Ciekawą funkcją jest flaga reasoning_effort, która kontroluje poziom „myślenia” modelu, z opcjami takimi jak no_think, low i high (dla głębokiego łańcucha myśli). Zespół badawczy Tencenta zaleca użycie temperature=0.9 i top_p=1.0 dla optymalnych wyników. Model można również wypróbować bez lokalnego sprzętu za pośrednictwem OpenRouter, gdzie dostępna jest bezpłatna trasa tencent/hy3:free do 21 lipca 2026 roku.

Do obsługi Hy3, ze względu na jego 295 miliardów parametrów, Tencent zaleca użycie 8 kart graficznych, takich jak H20-3e lub innych z większą pamięcią. Zespół Tencenta udostępnia również narzędzie AngelSlim do kompresji, obejmujące kwantyzację, metody niskobitowe i próbkowanie spekulacyjne, a także kompletną linię do dostrajania Hy3. Skupienie się na niezawodności produkcyjnej i minimalizacji trzech zidentyfikowanych trybów awarii podkreśla praktyczne podejście Tencenta do wdrażania zaawansowanych modeli AI.

Premiera Hy3 przez Tencent stanowi istotny krok w rozwoju otwartych modeli AI, szczególnie tych zoptymalizowanych pod kątem efektywności kosztowej i wydajności w specyficznych zastosowaniach. Dostępność modelu na licencji Apache 2.0 oraz możliwość bezpłatnego testowania przez dłuższy czas mogą przyczynić się do jego szybkiej adopcji i dalszego rozwoju w społeczności AI, zwłaszcza w kontekście rosnącego zapotrzebowania na wydajne rozwiązania do zadań agentowych i przetwarzania długich kontekstów.

Źródło: marktechpost.com