NVIDIA prezentuje Nemotron 3.5 Lightning i NeMo Switchyard dla efektywniejszych agentów AI

NVIDIA zaprezentowała nowe otwarte technologie mające na celu usprawnienie działania agentów sztucznej inteligencji: Nemotron 3.5 Lightning oraz NeMo Switchyard. Rozwiązania te mają za zadanie zoptymalizować pracę agentów AI, które często spędzają dużo czasu na rutynowych operacjach, takich jak wywołania narzędzi czy walidacja wyników, co generuje koszty i opóźnienia przy użyciu dużych modeli rozumowania.

Nemotron 3.5 Lightning: Lekki model do zadań agentowych

Nemotron 3.5 Lightning to lekki, konfigurowalny i otwarty model, zaprojektowany specjalnie do obsługi zadań agentowych o dużej objętości. Jest to model typu Mixture-of-Experts (MoE) o 30 miliardach parametrów, z czego 3 miliardy są aktywne. Jego architektura łączy hybrydowe podejście Mamba-2 + MoE + Attention i oferuje okno kontekstowe o długości 1 miliona tokenów.

NVIDIA informuje, że Lightning jest do 4 razy szybszy w generowaniu wyników niż podobnej wielkości modele. W testach PinchBench, model ten ukończył 10 000 zadań o 30% szybciej niż Qwen3.6 35B, zachowując porównywalną dokładność. Model został wstępnie przeszkolony na ponad 20 bilionach tokenów przy użyciu metody NVFP4.

Jest to najmniejszy członek rodziny Nemotron 3, gdzie modele takie jak Nemotron 3 Ultra odpowiadają za orkiestrację i planowanie, a Lightning zajmuje się rutynowymi wywołaniami. Model jest dostępny na licencji OpenMDW-1.1, z otwartymi wagami, danymi treningowymi i przepisami, co umożliwia jego komercyjne wykorzystanie. Już teraz firmy takie jak CrowdStrike, Harvey, CodeRabbit, Fastino Labs i Lila Sciences dostosowują go do zastosowań w cyberbezpieczeństwie, prawie, kodowaniu, finansach i opiece zdrowotnej.

Wyniki z karty modelu (BF16 / NVFP4) obejmują:

• MMLU Pro: 81.94 / 81.62
• GPQA Diamond: 75.44 / 75.57
• SWE-bench Verified: 51.56 / 52.80
• Terminal-Bench 2.1: 24.58 / 23.46
• AA-LCR: 52.00 / 49.19

NeMo Switchyard: Inteligentne kierowanie zapytań

NeMo Switchyard to otwarta biblioteka do routingu, która kieruje każdy krok przepływu pracy agenta do najbardziej odpowiedniego i wydajnego dostępnego modelu. Rozwiązuje problem wysokich kosztów i opóźnień wynikających z przesyłania każdego rutynowego kroku do dużych, zaawansowanych modeli rozumowania.

Biblioteka oferuje routery niewymagające strojenia, w tym klasyfikator LLM z powinowactwem sesji, router etapowy odczytujący ostatnią aktywność narzędzi oraz router eskalacyjny, który zaczyna od tańszych modeli i promuje je w przypadku utrzymujących się trudności. Dostępny jest również router prefill, który uczy się z resztkowego strumienia modelu, aby przewidzieć, który kandydat odniesie sukces. Serwer referencyjny akceptuje żądania API od OpenAI, Anthropic i Responses.

Testy wykazały znaczące oszczędności. W benchmarku LangChain, routing między Lightning a Claude Opus 4.8 za pomocą routera eskalacyjnego obniżył koszty o 74% w porównaniu do bazowego rozwiązania opartego wyłącznie na modelu frontier, kierując zaledwie 7% wywołań do modelu frontier, przy około 6-punktowej stracie dokładności. Z kolei Cognition, implementując routing etapowy w Devin Desktop, osiągnął 50.6% dokładności przy średnim koszcie 3.11 USD w FrontierCode Main, co stanowiło 2.8 punktu różnicy w dokładności w stosunku do Opus 5, ale przy około 28% niższych średnich kosztach.

Znaczenie dla rozwoju agentów AI

Wprowadzenie Nemotron 3.5 Lightning i NeMo Switchyard przez NVIDIĘ stanowi istotny krok w kierunku budowy bardziej efektywnych i ekonomicznych agentów AI. Dzięki specjalizacji modeli i inteligentnemu zarządzaniu przepływem pracy, możliwe staje się znaczne obniżenie kosztów operacyjnych i opóźnień, co jest kluczowe dla szerokiego wdrożenia autonomicznych systemów AI w różnych branżach. Otwarte udostępnienie tych technologii sprzyja innowacjom i adaptacji przez deweloperów, co może przyspieszyć rozwój zaawansowanych zastosowań sztucznej inteligencji.

Źródło: marktechpost.com