OpenAI wycofuje się z rekomendacji popularnego testu SWE-Bench Pro dla modeli AI, wskazując na 30% błędów

OpenAI, czołowa firma w dziedzinie sztucznej inteligencji, przeprowadziła szczegółową analizę SWE-Bench Pro, powszechnie stosowanego testu do mierzenia umiejętności programistycznych modeli AI, i stwierdziła, że około 30 procent jego zadań jest wadliwych. W konsekwencji firma wycofuje swoje wcześniejsze poparcie dla tego benchmarku, co ma istotne implikacje dla oceny i rozwoju modeli AI.

Wyniki takich testów mają kluczowe znaczenie dla decyzji dotyczących wydawania i wdrażania nowych modeli, w tym dla ocen bezpieczeństwa w ramach Preparedness Framework OpenAI. Błędy w testach mogą prowadzić do zniekształconego obrazu rzeczywistych możliwości sztucznej inteligencji, co z kolei wpływa na kierunki badań i rozwój technologii.

Metodologia i skala problemu

Do przeprowadzenia przeglądu OpenAI wykorzystało zautomatyzowane narzędzie przesiewowe, które początkowo zidentyfikowało 286 podejrzanych zadań. Następnie agenci AI, zbudowani na bazie Codex, szczegółowo przeanalizowali każdy przypadek, zanim ostateczną decyzję podjął ludzki badacz. W ten sposób 200 zadań (co stanowiło 27,4 procenta) zostało uznanych za wadliwe. Równolegle, pięciu doświadczonych programistów oceniło te same przypadki i wskazało jeszcze więcej błędów – łącznie 249 zadań (czyli 34,1 procenta). Ludzcy recenzenci okazali się bardziej rygorystyczni niż agenci AI, choć w 74 procentach przypadków ich oceny były zgodne.

OpenAI sklasyfikowało problemy w cztery główne kategorie:

• Zbyt rygorystyczne testy: odrzucające rozwiązania, które w rzeczywistości działały poprawnie.
• Zbyt niejasne wymagania: oczekujące od AI spełnienia warunków ukrytych w niewidocznych przypadkach testowych.
• Zbyt płytkie testy: przepuszczające niekompletne rozwiązania.
• Błędne opisy zadań: wprowadzające w błąd, np. w projekcie OpenLibrary, gdzie opis wymagał pojedynczej spacji, a ukryty test oczekiwał dwóch, co powodowało, że AI postępujące zgodnie z instrukcjami ponosiło porażkę.

Zadania te pochodziły z historii commitów rzeczywistych projektów oprogramowania, pierwotnie pisanych do współpracy międzyludzkiej, a nie jako czyste zadania ewaluacyjne dla modeli AI. Według OpenAI, testy z tych projektów często są zbyt rygorystyczne, ponieważ zostały stworzone do weryfikacji konkretnej zmiany, a nie jako ogólne wymagania.

Konsekwencje dla branży i przyszłe kierunki

Na publicznej wersji testu, zawierającej 731 zadań, najlepsze modele odnotowały znaczący wzrost dokładności z 23,3 do 80,3 procent w ciągu zaledwie ośmiu miesięcy. SWE-Bench Pro miał zastąpić starszy test SWE-bench Verified, który OpenAI odrzuciło z podobnych powodów. Tym razem OpenAI nie rekomenduje konkretnego zamiennika, lecz wzywa branżę do tworzenia nowych benchmarków z udziałem doświadczonych deweloperów, które będą trudne do oszukania, godne zaufania i rzeczywiście miarodajne.

Już w połowie czerwca firma analityczna Artificial Analysis usunęła SWE-Bench Pro ze swojego Coding Agent Index, zastępując go testem DeepSWE od Datacurve. Powodem było to, że SWE-Bench Pro był podatny na „oszukiwanie” – niektóre modele kopiowały poprawne rozwiązania z historii commitów projektu, zamiast faktycznie rozwiązywać zadanie.

Ta zmiana spowodowała przetasowanie w rankingach. Codex z GPT-5.5 (xhigh) awansował z 65 do 76 punktów, wyprzedzając Claude Code z Opus 4.8 (max), który uzyskał 73 punkty. Najwyższe miejsce zajął Claude Code z Fable 5 (max) z 77 punktami. Na SWE-Bench Pro, Codex z GPT-5.5 zdobył zaledwie 31 punktów, w porównaniu do 64-84 punktów w innych testach.

Odkrycia OpenAI podkreślają wyzwania związane z wiarygodną oceną zaawansowanych modeli AI, zwłaszcza w tak złożonej dziedzinie jak programowanie. Konieczność tworzenia solidnych i odpornych na manipulacje benchmarków jest kluczowa dla zapewnienia, że rozwój sztucznej inteligencji opiera się na rzetelnych danych, co ma fundamentalne znaczenie dla bezpieczeństwa i efektywności przyszłych systemów AI. Branża będzie musiała skupić się na innowacyjnych metodach testowania, aby nadążyć za szybko rosnącymi możliwościami modeli językowych.

Źródło: the-decoder.com