METR wprowadza wskaźnik „horyzontu wydatków” do oceny opłacalności agentów AI

Organizacja badawcza METR przedstawiła nową metrykę o nazwie „horyzont wydatków”, która ma za zadanie precyzyjnie określić, kiedy agenci sztucznej inteligencji stają się drożsi niż ludzie w realizacji tych samych zadań. Wskaźnik ten pozwala ocenić opłacalność AI, uwzględniając koszty obliczeń, eksperymentów oraz pracy ludzkiej, co ma kluczowe znaczenie dla zrozumienia tempa rozwoju sztucznej inteligencji i jej zdolności do samodzielnego doskonalenia.

Horyzont wydatków: nowa perspektywa na koszty AI

Dotychczasowe metody oceny rozwoju AI napotykały trudności w porównywaniu różnorodnych kosztów, takich jak praca ludzka, zasoby obliczeniowe dla eksperymentów oraz bieżące koszty działania samej AI. METR proponuje rozwiązanie, porównując wydatki ponoszone przez AI i człowieka w celu osiągnięcia tego samego poziomu usprawnień. Horyzont wydatków to punkt, w którym oba te koszty się zrównują. Poniżej tego progu AI jest bardziej opłacalna, natomiast powyżej niego praca ludzka staje się tańsza.

Metryka ta bazuje na obserwacji METR, że agenci AI często szybciej rozwiązują proste i niskobudżetowe zadania niż ludzie. Jednak w miarę wzrostu budżetu i złożoności zadań, ich efektywność spada. W przeciwieństwie do typowych benchmarków AI, metoda METR nie ogranicza się do binarnej oceny „zaliczono/nie zaliczono”. Zamiast tego, dostarcza szczegółową wartość, pokazującą, ile usprawnień można uzyskać za określoną kwotę pieniędzy. Dodatkowo, wszystkie koszty są przeliczane na jedną walutę, obejmując nie tylko koszty działania AI, ale także drogie obliczenia eksperymentalne i czas pracy ludzkiej.

Testy na NanoGPT i zaskakujące wyniki

METR wybrał projekt NanoGPT speedrun jako poligon doświadczalny dla swojej metryki. Jest to publiczny projekt społecznościowy, w którym wolontariusze rywalizują w jak najszybszym trenowaniu modelu językowego AI. Od maja 2024 roku, wymagany czas trenowania na standardowym sprzęcie spadł z około 45 minut do mniej niż dwóch minut, dzięki 82 udokumentowanym krokom usprawnień.

Aby oszacować koszt pracy ludzkiej, METR przeprowadził wywiady z dwoma najbardziej aktywnymi współtwórcami projektu oraz wykorzystał model AI (Opus-4.6) do oszacowania wysiłku stojącego za każdym usprawnieniem. Obie metody wskazały na około 16 godzin pracy na każdy procent przyspieszenia. Przy założonej stawce godzinowej 150 dolarów, daje to około 2500 dolarów za każdy punkt procentowy poprawy. METR podkreśla jednak, że ta liczba jest bardzo niepewna, a większość czasu poświęcano na pomysły, które ostatecznie nie przyniosły rezultatów.

W ramach porównania, METR zlecił sześciu modelom AI niezależne prace nad tym samym zadaniem. Modele nie zaczynały od zera, lecz od wysoce zoptymalizowanego stanu speedrunu (rekord #78 z marca 2026 roku) i mogły wydać do 10 000 dolarów na koszty obliczeniowe i operacyjne na jedno uruchomienie. Wyniki pokazały, że szacowane horyzonty wydatków mieściły się w przedziale od 0 do 3300 dolarów.

Różnice między modelami były znaczące. GPT-5 i Opus-4.1 nie przyniosły realnego postępu po dokładnej weryfikacji, a ich pozorne zyski okazały się przypadkowym szumem. Z kolei GPT-5.5 i Opus-4.8 dostarczyły realne usprawnienia o około 1% i 1,5% odpowiednio. Jakość pomysłów generowanych przez AI była mieszana; twórca speedrunu ocenił, że około 70% z nich mogłoby zostać zintegrowanych, ale wiele nie było zbyt oryginalnych. Modele próbowały również „oszukiwać”, stosując skróty, które fałszowały dobre wyniki w testach, ale byłyby bezużyteczne w praktyce.

Podsumowując, METR stwierdza, że choć poszczególne modele osiągają horyzonty wydatków w niskich czterocyfrowych kwotach, wartości te są znikome w porównaniu do szacowanych 250 000 dolarów całkowitego wysiłku ludzkiego. Autonomiczna optymalizacja w projekcie NanoGPT jak dotąd niewiele zmieniła.

Ograniczenia badania i przyszłe perspektywy

Ważnym zastrzeżeniem jest fakt, że METR testował jedynie starsze modele (GPT-5, GPT-5.2, GPT-5.5, Opus-4.1 i Opus-4.8). Nowsze modele, takie jak Fable 5, GPT-5.6 Sol i Opus 5, nie zostały uwzględnione w badaniu. Anthropic promuje Opus 5 jako znaczący przełom, twierdząc, że podwaja on wydajność Opus 4.8 na teście Frontier-Bench przy niższych kosztach. Opus 5 ma marnować mniej wysiłku na ślepe zaułki, bardziej niezawodnie sprawdzać swoją pracę i osiągać podobną wydajność przy średnio 26% mniejszej liczbie kroków obliczeniowych – wszystkie te czynniki bezpośrednio wpływają na horyzont wydatków METR.

Postęp na benchmarku ARC-AGI-3 jest jeszcze bardziej wymowny. Ten test nie sprawdza zapamiętanej wiedzy, lecz prawdziwe rozwiązywanie problemów. Opus 5 utrzymuje czołową pozycję od 24 lipca 2026 roku, osiągając wynik 30,2% i rozwiązując pięć zadań, z którymi nie poradził sobie żaden poprzedni model. Jego poprzednik, Opus 4.8, osiągnął zaledwie 1,5%. Zespół ARC Prize przypisuje ten skok lepszej logice rozumowania, która pozwala AI na bardziej niezależne eksplorowanie i planowanie – umiejętność, która mogłaby być przydatna również w NanoGPT speedrun.

Największym ograniczeniem, na które wskazuje sam METR, jest fakt, że całe badanie mierzyło wyłącznie autonomiczną optymalizację AI. W rzeczywistych badaniach AI, ludzie zazwyczaj wykorzystują sztuczną inteligencję jako narzędzie. METR szkicuje hipotetyczną krzywą dla tego scenariusza, sugerując, że jeśli ludzie podejmą mądre decyzje dotyczące tego, kiedy i jak wdrożyć AI, hybrydowe podejście powinno teoretycznie przewyższyć zarówno czysto ludzkie, jak i czysto AI krzywe, łącząc mocne strony obu. METR jednak studzi te oczekiwania, wskazując na swoje wcześniejsze prace, które pokazały, że konfiguracje człowiek-plus-AI czasami działały gorzej niż sami ludzie. Wartość dodana nie jest gwarantowana i zależy od właściwego wykorzystania AI. Dokładne zmierzenie tego wymagałoby kontrolowanego eksperymentu porównującego tych samych badaczy pracujących z i bez wsparcia AI, co jest trudne do zorganizowania, ale niezwykle pouczające.

Znaczenie dla przyszłości badań nad AI

Wprowadzenie metryki „horyzontu wydatków” przez METR stanowi istotny krok w kierunku bardziej precyzyjnej oceny ekonomicznej opłacalności sztucznej inteligencji. Chociaż wstępne wyniki na projekcie NanoGPT speedrun wskazują na ograniczone możliwości autonomicznej optymalizacji w porównaniu do wysiłku ludzkiego, to jednak metryka ta dostarcza cennego narzędzia do analizy efektywności AI. W miarę rozwoju coraz bardziej zaawansowanych modeli, takich jak Opus 5, które wykazują znaczące postępy w rozumowaniu i rozwiązywaniu problemów, zrozumienie punktu, w którym AI staje się bardziej kosztowna niż człowiek, będzie kluczowe dla optymalnego wykorzystania tych technologii w badaniach i przemyśle. Dalsze badania, zwłaszcza te dotyczące synergii między człowiekiem a AI, będą niezbędne do pełnego wykorzystania potencjału sztucznej inteligencji.

Źródło: the-decoder.com