NVIDIA prezentuje Nemotron 3 Embed: nową kolekcję otwartych modeli osadzających, z wariantem 8B na czele rankingu RTEB

NVIDIA zaprezentowała Nemotron 3 Embed, nową kolekcję otwartych modeli osadzających, zaprojektowanych do kluczowych zastosowań w sztucznej inteligencji, takich jak generowanie rozszerzone o pobieranie (RAG), agentowe pobieranie informacji, pobieranie kodu oraz pamięć agentów. Modele te mają za zadanie usprawnić proces decydowania o tym, które fragmenty tekstu agent AI powinien przetwarzać.

Architektura i warianty Nemotron 3 Embed

Kolekcja Nemotron 3 Embed obejmuje trzy otwarte punkty kontrolne, z których każdy został zaprojektowany z myślą o różnych potrzebach wydajnościowych i zasobowych. Wszystkie warianty to transformatorowe kodery trenowane z dwukierunkowym maskowaniem uwagi, a ostateczne osadzenie uzyskuje się poprzez uśrednianie reprezentacji na poziomie tokenów. Maksymalna długość sekwencji dla każdego punktu kontrolnego wynosi 32 768 tokenów.

Trzy dostępne modele to:

• Nemotron-3-Embed-8B-BF16: Wariant priorytetowo traktujący dokładność.
• Nemotron-3-Embed-1B-BF16: Mniejsza wersja, zachowująca tę samą konstrukcję.
• Nemotron-3-Embed-1B-NVFP4: Wariant zoptymalizowany pod kątem architektury Blackwell, wykorzystujący 4-bitową precyzję.

Wszystkie modele zostały poddane ewaluacji w 34 językach i są objęte licencją OpenMDW License Agreement, wersja 1.1 (OpenMDW-1.1). Co istotne, podstawą dla tych modeli są modele Mistral: wariant 8B został zbudowany na bazie Mistral-3-8B-Instruct-2512, natomiast oba warianty 1B wykorzystują Mistral-3-3B-Instruct-2512.

Wydajność i optymalizacja

Model Nemotron-3-Embed-8B-BF16 zajął pierwsze miejsce w ogólnym rankingu RTEB (Retrieval Embedding Benchmark) na dzień 17 lipca 2026 roku, osiągając średni wynik NDCG@10 wynoszący 78.46. Ocena obejmowała 16 publicznych zadań, a wszystkie wyniki przedstawiono dla długości sekwencji modelu 4096.

Warianty 1B również wykazują znaczące ulepszenia. Model 1B zyskał 10.4 punktu RTEB w porównaniu do poprzedniej generacji, llama-nemotron-embed-vl-1b-v2. Wariant NVFP4 zachował 99.5% dokładności w stosunku do swojego odpowiednika BF16, tracąc zaledwie 0.38 punktu RTEB.

Wyniki modeli 1B są efektem zaawansowanego procesu kompresji, a nie mniejszego treningu od podstaw. Proces ten obejmował dwuetapowe iteracyjne przycinanie i destylację z modelu nemotron-3-embed-3b:

1. Przycinanie: Model 3B został przycięty do 2B za pomocą narzędzia NVIDIA ModelOpt mcore_minitron Neural Architecture Search (NAS), które optymalizowało szerokość ukrytych warstw, rozmiar FFN, głowice uwagi i głębokość.
2. Destylacja: Model 2B został następnie poddany destylacji z dostrojonego modelu osadzającego 8B, wykorzystując kombinację strat odległości cosinusowej (COS) i błędu średniokwadratowego (MSE). Proces ten powtórzono, aby uzyskać punkt kontrolny 1.14B.

Kompresja jest kontynuowana w formacie serwowania, gdzie kwantyzacja dotyczy wag i aktywacji warstw liniowych, celując w typ danych NVFP4. Zespół badawczy użył narzędzia nvidia-modelopt v0.45.0. Następnie zastosowano Kwantyzację z Destylacją Świadomą (QAD), aby odzyskać dokładność dla długich danych wejściowych. Badania wskazują, że NVFP4 na platformie Blackwell zapewnia do 2x wyższą przepustowość niż BF16, zachowując ponad 99% dokładności pobierania.

Zastosowania i narzędzia

NVIDIA udostępniła również zoptymalizowaną mikroserwis NIM oparty na Rust dla modelu 1B, który dorównuje lub przewyższa wydajność punktu kontrolnego vLLM na platformach GB200 i RTX PRO 6000. Dodatkowo, przepisy NVIDIA NeMo AutoModel obejmują dostrajanie i destylację.

Przykładowe zastosowania Nemotron 3 Embed obejmują:

• Wielojęzyczne wyszukiwanie korporacyjne: Umożliwia indeksowanie i wyszukiwanie dokumentów w różnych językach, np. biletów wsparcia w językach hindi, japońskim i angielskim, gdzie zapytanie w języku niemieckim może znaleźć rozwiązanie w języku japońskim.
• Pobieranie kodu: Dzięki treningowi na zbiorach danych takich jak coir_apps, coir_cosqa, synthetic_text2sql i SWE-bench, wyszukiwanie kodu na podstawie języka naturalnego staje się bardziej precyzyjne.
• Pamięć agenta: Limit 32 768 tokenów pozwala agentom na osadzanie długich podsumowań rozmów bez agresywnego dzielenia na fragmenty.
• RAG z warstwowymi kosztami: Umożliwia wykorzystanie modelu 1B-NVFP4 dla dużej liczby zapytań o wysokiej objętości i przekierowywanie trudniejszych zapytań do modelu 8B, optymalizując koszty.

Wprowadzenie Nemotron 3 Embed przez NVIDIĘ stanowi znaczący krok w rozwoju otwartych modeli osadzających, oferując zaawansowane możliwości dla deweloperów i firm. Połączenie wysokiej dokładności, elastyczności wariantów i optymalizacji pod kątem sprzętu Blackwell, w tym imponującej wydajności NVFP4, otwiera nowe perspektywy dla budowy bardziej inteligentnych i efektywnych systemów AI. Dostępność tych modeli na otwartej licencji sprzyja innowacjom i demokratyzacji dostępu do zaawansowanych technologii AI.

• Wariant Nemotron-3-Embed-8B-BF16 zajął 1. miejsce w rankingu RTEB, osiągając 78.46 średniego NDCG@10.
• Modele 1B powstały w wyniku kompresji (pruning i destylacja) z modelu 3B, a nie odrębnego treningu, zachowując wysoką dokładność.

Źródło: marktechpost.com