General Compute pozyskuje 400 mln dolarów na rozwój chmury wnioskującej AI, stawiając na chipy SambaNova

Startup General Compute, specjalizujący się w chmurze wnioskującej AI, pozyskał pożyczkę w wysokości 400 milionów dolarów od firmy inwestycyjnej Upper90. Transakcja ta jest prawdopodobnie pierwszą, w której jako zabezpieczenie wykorzystano chipy przeznaczone specjalnie do wnioskowania AI, a nie droższe układy używane do trenowania modeli. To wydarzenie sygnalizuje rosnące zainteresowanie rynków infrastrukturą umożliwiającą tańsze uruchamianie modeli open source, w odpowiedzi na wysokie koszty narzędzi i tokenów AI.

Nowe podejście do infrastruktury AI

Firma General Compute, założona przez CEO Finna Puklowskiego i CTO Jasona Goodisona, w maju pozyskała 15 milionów dolarów w rundzie zalążkowej. Jej celem jest zbudowanie „neochmury” wnioskującej, opartej na układach firmy SambaNova, producenta chipów wspieranego przez Intela. Neochmury to infrastruktury stworzone specjalnie do obciążeń AI, w przeciwieństwie do ogólnego przeznaczenia usług oferowanych przez tradycyjnych dostawców hiperskalowych, takich jak AWS czy Azure.

Chipy SN50 firmy SambaNova, na których General Compute opiera swoją działalność, są zoptymalizowane pod kątem wnioskowania. Charakteryzują się wysoką efektywnością energetyczną i nie wymagają kosztownych systemów chłodzenia wodnego, co pozwala na ich szybsze wdrożenie w szerszej gamie centrów danych niż tradycyjne GPU. General Compute twierdzi, że nowe chipy zapewnią 16-krotnie szybsze wnioskowanie niż chmury oparte na GPU.

Ewolucja finansowania chipów AI

Billy Libby, współzałożyciel i CEO Upper90, były trader ilościowy w Goldman Sachs, ma doświadczenie w finansowaniu zaawansowanych technologii. W 2021 roku jego firma sfinansowała zakup GPU przez startup Crusoe, co, jak uważa, było pierwszą pożyczką zabezpieczoną wartością zaawansowanych chipów. Tradycyjni pożyczkodawcy początkowo unikali takich transakcji ze względu na ryzyko i niepewność związaną z deprecjacją GPU. Jednak po tym, jak CoreWeave przekształciło pożyczki zabezpieczone chipami w model biznesowy, a następnie w podstawę udanej oferty publicznej, ten rodzaj finansowania stał się powszechny.

Libby zauważył, że kiedy Upper90 jako pierwsza grupa finansowała GPU firmy Nvidia, rynek był nieefektywny, co pozwoliło im na wczesne zaangażowanie i uzyskanie rekompensaty za podjęte ryzyko. Obecnie, gdy GPU są już dobrze rozumiane i być może nadmiernie kupowane, Upper90 zwraca się ku firmom takim jak General Compute, aby wykorzystać kolejną falę boomu AI. Libby podkreśla, że modele open source będą odgrywać kluczową rolę, a zapotrzebowanie na wnioskowanie AI jest powszechne, nawet jeśli nie każdy potrzebuje superkomputera.

Rosnąca konkurencja dla dominacji Nvidii

Teza o rosnącym znaczeniu modeli open source zyskuje na sile, czego dowodem są wysokie wyceny firm takich jak OpenRouter i Fireworks, które pozyskują nowe rundy finansowania. Nowe modele, takie jak K3 firmy Kimi, udowadniają, że mogą konkurować z najnowszymi wydaniami Anthropic i OpenAI w testach kodowania. Również nowi producenci chipów, jak Groq i Cerebras, wzbudzają zainteresowanie zarówno potencjalnych nabywców, jak i rynków publicznych.

Zdolność General Compute do pozyskiwania chipów spoza ekosystemu Nvidii jest istotna. Podobne podejście przyjmuje TensorWave, inna firma zajmująca się infrastrukturą AI, która stawia na partnerstwo z AMD. W miarę pojawiania się alternatyw dla Nvidii, dostawcy mocy obliczeniowej, którzy nie są związani umowami z tą firmą, mogą zyskać przewagę w oferowaniu kosztowo efektywnego wnioskowania.

Finn Puklowski z General Compute podkreśla, że wiele nowych chipów oferuje zadziwiająco niski całkowity koszt posiadania (TCO) lub działa znacznie szybciej niż rozwiązania Nvidii, ale brakuje dla nich nabywców. Współpraca z Upper90 to nie tylko finansowanie dla obiecującego startupu, ale także sygnał, że kapitał zaczyna się organizować, a dominacja Nvidii na rynku może ulec fragmentacji. To zjawisko może prowadzić do bardziej zróżnicowanego i konkurencyjnego krajobrazu w branży AI, gdzie innowacyjne rozwiązania sprzętowe i finansowe otwierają nowe możliwości dla rozwoju technologii wnioskującej.

Źródło: techcrunch.com