OpenAI prezentuje Jalapeño: nowy chip AI przewyższa konkurencję w testach wydajności

Podczas konferencji Hot Chips, OpenAI ujawniło szczegółowe informacje na temat swojego nowego chipa Jalapeño, prezentując jednocześnie pierwsze wyniki testów benchmarkowych. System ten, testowany na platformie SemiAnalysis InferenceX, wykazał znaczną przewagę nad obecnymi, najnowocześniejszymi procesorami wnioskującymi, oferując więcej tokenów na użytkownika oraz wyższą przepustowość na kilowat.

Przewaga wydajnościowa i efektywność energetyczna

Richard Ho, szef działu sprzętu w OpenAI, podkreślił w rozmowie z mediami, że wyniki testów wskazują na „bardzo, bardzo znaczący postęp w wydajności w porównaniu do obecnego stanu techniki”. Jak dodał, Jalapeño jest w stanie obsłużyć więcej zadań AI na jednostkę mocy, jednocześnie dostarczając odpowiedzi szybciej. Oznacza to, że chip jest zarówno bardzo efektywny w obsłudze wielu klientów, jak i charakteryzuje się niskim opóźnieniem.

Co istotne, porównanie to dotyczyło systemu Nvidia Blackwell. Należy jednak pamiętać, że do czasu pełnego wdrożenia Jalapeño, konkurencja może znacząco się rozwinąć. Ho oszacował, że Jalapeño zostanie wdrożone pod koniec 2026 roku w „bardzo małych ilościach”, a szersze wdrożenie nastąpi w 2027 roku.

Kompleksowe podejście do projektowania

Jalapeño, ogłoszone po raz pierwszy w październiku ubiegłego roku, zostało opracowane przez OpenAI w ścisłej współpracy z firmą Broadcom. Co ciekawe, w procesie projektowania wykorzystano również własne modele AI OpenAI. Firma planuje uczynić z Jalapeño platformę wielopokoleniową, co pozwoli na równoczesne rozwijanie produktów AI, modeli, chipów i pamięci.

Dzięki temu kompleksowemu podejściu, OpenAI było w stanie skutecznie zająć się konkretnymi fazami procesu wnioskowania, które często powodują opóźnienia. Jalapeño zostało zaprojektowane w celu minimalizowania opóźnień podczas faz prefill i komunikacji, które według OpenAI często stanowią wąskie gardła.

„Zaprojektowaliśmy Jalapeño tak, aby zminimalizować ruch danych i opóźnienia komunikacyjne” – podała firma w poście na blogu prezentującym wyniki. Oznacza to, że stan modelu, w tym pamięć podręczna KV cache używana podczas generowania odpowiedzi, może być jawnie umieszczony i utrzymywany lokalnie, podczas gdy system aktywuje odpowiednią kombinację obliczeń, pamięci i sieci dla każdej fazy wnioskowania.

Szersze konsekwencje dla branży AI

Wprowadzenie chipa Jalapeño przez OpenAI, z jego udowodnioną przewagą w testach wydajnościowych i efektywności energetycznej, może znacząco wpłynąć na rozwój infrastruktury AI. Zdolność do obsługi większej liczby zadań AI przy niższym zużyciu energii i z mniejszymi opóźnieniami jest kluczowa dla skalowania zaawansowanych modeli językowych i innych zastosowań sztucznej inteligencji. Sukces Jalapeño, zwłaszcza jeśli OpenAI utrzyma przewagę w kolejnych generacjach, może przyspieszyć innowacje w dziedzinie sprzętu AI i wpłynąć na strategie innych gigantów technologicznych, takich jak Nvidia, w wyścigu o dominację na rynku procesorów do wnioskowania.

Źródło: techcrunch.com