Firmy inwestują w infrastrukturę AI szybciej, niż są w stanie mierzyć jej koszty

Przedsiębiorstwa intensywnie inwestują w infrastrukturę sztucznej inteligencji, jednak ich zdolność do monitorowania i zarządzania kosztami tych inwestycji pozostaje w tyle. Badanie VentureBeat Pulse Research, przeprowadzone na próbie 107 firm, ujawnia znaczną lukę obliczeniową – rozbieżność między agresywnymi wydatkami a brakiem przejrzystości ekonomicznej, co skutkuje niskim wykorzystaniem zasobów i nieefektywnym zarządzaniem.

Luka obliczeniowa i niskie wykorzystanie zasobów

Centralnym wnioskiem badania jest istnienie luki obliczeniowej, która polega na tym, że firmy inwestują w infrastrukturę AI znacznie szybciej, niż są w stanie zrozumieć i kontrolować jej ekonomię. Tylko około jedna piąta (21%) przedsiębiorstw wykorzystuje AI w produkcji na dużą skalę, jednak plany inwestycyjne wyprzedzają tę dojrzałość. Największym obszarem planowanych ocen w ciągu najbliższego roku są specjalistyczne chmury AI (45%), kategoria, z której obecnie prawie żadna z badanych firm nie korzysta. Jednocześnie istniejące zasoby obliczeniowe są słabo wykorzystywane – 83% firm zgłasza wykorzystanie procesorów graficznych (GPU) na poziomie 50% lub mniej, a prawie połowa (49%) działa na poziomie 25% lub poniżej. Co więcej, mniej niż połowa (44%) przedsiębiorstw jest w stanie rygorystycznie śledzić rzeczywiste koszty swoich obliczeń AI.

Niezdecydowanie co do dostawców i kryteria wyboru

Przedsiębiorstwa nie są zadowolone ze swoich obecnych dostawców infrastruktury. Zdecydowana większość (64%) planuje zmienić lub dodać dostawcę w ciągu dwunastu miesięcy, a 38% zamierza to zrobić w ciągu najbliższego kwartału. Jest to niezwykle wysoki wskaźnik rotacji jak na tak fundamentalną kategorię. Co ciekawe, decyzje o wyborze dostawcy nie są podyktowane ceną za token, lecz innymi czynnikami:

• Integracja z istniejącym stosem technologicznym (41%)
• Całkowity koszt posiadania (TCO) (35%)

Cena za milion tokenów jest decydującym czynnikiem dla zaledwie 8% badanych firm. To wskazuje, że kupujący optymalizują pod kątem dopasowania dostawcy i rzeczywistych kosztów operacyjnych, a nie reklamowanych stawek jednostkowych.

Przyszłe kierunki inwestycji i wyzwania

Obecnie większość firm korzysta z hiperskalerów (takich jak Google Cloud, Microsoft, AWS, Oracle) oraz API dostawców modeli (Gemini, OpenAI, Anthropic). Google Cloud jest liderem, używanym przez 48% przedsiębiorstw. Jednak plany na przyszłość wskazują na znaczącą zmianę. Specjalistyczne chmury GPU, takie jak CoreWeave, Lambda czy Crusoe, które obecnie są marginalne, stanowią największy obszar planowanych ewaluacji. Aż 45% firm planuje oceniać te rozwiązania, co sugeruje nadchodzącą replatformizację i przeniesienie znaczącej części obliczeń AI poza ogólnego przeznaczenia chmury. Badanie wskazuje również, że przejście od obliczeń GPU do przepustowości pamięci jako kluczowego ograniczenia w skalowaniu wnioskowania jest ledwo zauważane przez około jedną piątą przedsiębiorstw.

Wyniki badania VentureBeat Pulse Research rysują obraz dynamicznie rozwijającego się rynku infrastruktury AI, gdzie inwestycje wyprzedzają zdolność firm do efektywnego zarządzania i optymalizacji kosztów. Niskie wykorzystanie drogich zasobów, takich jak GPU, oraz brak przejrzystości w mierzeniu całkowitego kosztu posiadania, stanowią poważne wyzwania, które przedsiębiorstwa będą musiały rozwiązać, aby w pełni wykorzystać potencjał sztucznej inteligencji. Zmiana dostawców i zainteresowanie specjalistycznymi chmurami AI wskazują na poszukiwanie bardziej efektywnych i dopasowanych rozwiązań, co może prowadzić do znaczących przekształceń w krajobrazie dostawców infrastruktury w najbliższych latach.

Źródło: venturebeat.com