Pokee AI prezentuje Pokee-Isaac 28B: model agentowy z oknem kontekstowym 10M tokenów do wdrożeń lokalnych

Firma Pokee AI ogłosiła premierę Pokee-Isaac 28B, 28-miliardowego modelu językowego, który wyróżnia się ogromnym oknem kontekstowym wynoszącym 10 milionów tokenów. Model ten został zaprojektowany z myślą o uruchamianiu wewnątrz infrastruktury klienta, co jest kluczowe dla branż regulowanych, instytucji sektora publicznego oraz aplikacji działających na urządzeniach, gdzie dane nie mogą opuszczać wyznaczonego środowiska. Rozwiązuje to problem gromadzenia kontekstu przez agentów długoterminowych, którzy często generują więcej danych niż są w stanie przetworzyć, zanim zadanie zostanie rozwiązane.

Wydajność i możliwości modelu Isaac 28B

Zespół badawczy Pokee AI podaje, że Isaac 28B osiąga 93,3% na benchmarku RULER przy 10 milionach tokenów, co stawia go na równi z najsilniejszymi, zoptymalizowanymi kosztowo modelami chmurowymi w testach agentowych. Co więcej, model ten może być obsługiwany na pojedynczej karcie graficznej, takiej jak RTX 4090 lub jej odpowiednik. Należy jednak zaznaczyć, że opublikowane pomiary pochodzą z karty GPU klasy B200, więc deklaracje dotyczące konsumenckich kart graficznych są wskazówką producenta, a nie zweryfikowanym wynikiem.

Model Isaac 28B utrzymuje wynik powyżej 93,3% na RULERze dla każdej testowanej długości kontekstu, kończąc na 93,3% przy 10M tokenów. Dla porównania, modele takie jak GPT-5.6 Luna i Gemini 3.5 Flash Lite dorównują mu do 512K, ale osiągają limit kontekstu przy 1M tokenów.

Na benchmarku MRCR v2 z 8 "igłami" (ang. needles), Isaac uzyskuje wyniki 0,607, 0,743 i 0,500 odpowiednio przy 256K, 512K i 1M tokenów. Jego przewaga nad Gemini rośnie z 0,133 do 0,295 w tym zakresie. W teście BFCL v4 Isaac osiąga 70,94, nieznacznie wyprzedzając Lunę (70,61), co twórcy interpretują jako równorzędny wynik. Na τ³-bench model uzyskuje średnio 0,662 w czterech domenach, wyprzedzając Gemini (0,631), przy czym bankowość okazała się trudna dla wszystkich modeli (0,186). W MCP-Atlas Isaac zajmuje trzecie miejsce z 74,59% pokrycia, ale wymaga tylko 9,10 tur na zadanie, w porównaniu do 14,99 dla Gemini. Jedynym benchmarkiem, w którym model chmurowy zwycięża, jest Terminal-Bench 2.1, gdzie Isaac rozwiązuje 56 z 86 zadań (65,1%), ustępując Lunie.

Bezpieczeństwo i wdrożenie

W testach DTAP red-teaming, Isaac odnotował najniższe wskaźniki sukcesu ataków bezpośrednich (36,0), pośrednich (35,2) i łącznych (35,6), przy 82,5% sukcesów w zadaniach łagodnych. Warto jednak zaznaczyć, że modele bazowe działały pod standardowym środowiskiem testowym, podczas gdy Isaac używał własnego środowiska Pokee.

Model jest licencjonowany, a nie udostępniony jako otwarte oprogramowanie. Pokee AI oferuje Isaac za pośrednictwem API kompatybilnego z OpenAI i licencjonuje go do wdrożeń w wirtualnych chmurach prywatnych (VPC), w środowiskach lokalnych (on-premises) lub na urządzeniach. Ogłoszenie premiery wspomina o wsparciu vLLM i SGLang od pierwszego dnia. Pod względem wydajności, na karcie GPU klasy B200, czas do pierwszego tokena (TTFT) wynosi 23,6 sekundy przy 1M tokenów i 72,9 sekundy przy 10M tokenów. Przepustowość prefillu rośnie wraz z kontekstem, z 42 400 do 137 200 tokenów/s, co oznacza, że dziesięciokrotnie dłuższy prompt kosztuje około trzykrotnie więcej w TTFT. Cennik, oznaczony jako prowizoryczny, wynosi 0,15 USD za milion tokenów wejściowych i 1,00 USD za milion tokenów wyjściowych. Isaac może również działać w pełni na urządzeniach wyposażonych w Intel Arc Pro B70, Core Ultra Series 3 (Panther Lake) oraz Qualcomm Snapdragon X2 Elite.

Znaczenie dla rynku AI

Premiera Pokee-Isaac 28B stanowi istotny krok w kierunku demokratyzacji zaawansowanych modeli językowych, umożliwiając ich wykorzystanie w scenariuszach, gdzie bezpieczeństwo danych i zgodność z regulacjami są priorytetem. Możliwość uruchamiania tak potężnego modelu lokalnie, bez konieczności przesyłania wrażliwych informacji do chmury, otwiera nowe perspektywy dla firm i instytucji, które dotychczas były ograniczone restrykcjami. To rozwiązanie może znacząco przyspieszyć adopcję AI w sektorach o wysokich wymaganiach dotyczących prywatności i kontroli nad danymi, jednocześnie oferując wydajność porównywalną z czołowymi modelami chmurowymi.

Źródło: marktechpost.com