Jak sztuczna inteligencja radzi sobie z łamigłówkami? Testy ujawniają słabości modeli AI

Gry i łamigłówki od dawna stanowią kluczowy element w rozwoju sztucznej inteligencji, służąc jako barometr postępów i narzędzie do identyfikacji słabych punktów. Podobnie jak ludzie testują swój intelekt za pomocą krzyżówek, deweloperzy wykorzystują wyzwania logiczne do oceny zaawansowania modeli AI. Już w 1959 roku Arthur Samuel z IBM spopularyzował termin „uczenie maszynowe” w artykule o algorytmie uczącym się grać w warcaby, a szachy i Go stały się słynnymi poligonami doświadczalnymi dla AI.

Postępy i zaskakujące luki w rozumowaniu AI

Sztuczna inteligencja szybko poprawia swoje umiejętności rozwiązywania łamigłówek. Pod koniec 2024 roku zespół naukowców z Columbia University wykazał, że nawet najlepsze modele radziły sobie tylko z 18% łamigłówek New York Times Connections. Jednak już na początku 2025 roku niektóre modele były w stanie rozwiązywać je niemal perfekcyjnie. Mimo tych postępów, łamigłówki ujawniają również, gdzie modele nadal zawodzą i gdzie ludzki umysł wciąż ma przewagę.

Modele AI wciąż mają trudności z subtelnymi zmianami w klasycznych zagadkach, a łamigłówki wizualne stanowią ich szczególną słabość. Pokazuje to, że choć AI może analizować dane wizualne, brakuje jej zdolności do manipulowania obiektami 3D w sposób, w jaki robią to architekci czy inżynierowie mechanicy. Przykładem są problemy z rotacją mentalną, gdzie modele językowe (LLM) fatalnie radzą sobie z identyfikacją tych samych obiektów przedstawionych pod różnymi kątami.

Pamięć a elastyczność myślenia

Modele LLM dysponują niezwykłą pamięcią, wynikającą z ogromnej ilości danych, na których są szkolone. Ta cecha pozwala im przewyższać ludzi w zadaniach opartych na faktach, ale może być również obciążeniem. Gdy łamigłówka jest zbyt podobna do tej, którą model widział podczas szkolenia, może on zignorować kluczowe różnice i odpowiedzieć na podstawie zapamiętanych informacji.

Potwierdziło to badanie z 2024 roku, w którym naukowcy z Google i University of Illinois Urbana-Champaign szkolili modele na nieznacznych wariacjach klasycznych zagadek typu „Rycerze i Łotrzykowie” (gdzie rycerze zawsze mówią prawdę, a łotrzykowie zawsze kłamią). Modele często wpadały w pułapkę, podczas gdy ludzie łatwiej dostrzegali podstęp. Podobne zjawisko zaobserwowano w teście SimpleBench, gdzie modele, mimo że napotkały podobne problemy w trakcie szkolenia, nadal popełniały błędy.

Wyzwania w rozumowaniu abstrakcyjnym i złożoności

Problemy wizualne to nie tylko kwestia trójwymiaru. Modele AI mają trudności również z dwuwymiarowymi zadaniami, co jest widoczne w benchmarku ARC-AGI. Te łamigłówki wymagają wnioskowania o abstrakcyjnych, ogólnych zasadach na podstawie zestawu przykładów. Modele radzą sobie lepiej, gdy siatki są kodowane jako ciągi liczb, a nie obrazy, co sugeruje, że ich sukcesy często opierają się na skomplikowanych i nieuogólnialnych regułach, w przeciwieństwie do prostych koncepcji wizualnych stosowanych przez ludzi.

Innym obszarem, gdzie AI napotyka ograniczenia, jest złożoność problemów. Badanie przeprowadzone przez naukowców z Apple wykazało, że modele LLM potrafią rozwiązywać proste wersje problemów takich jak Wieża Hanoi czy zagadki z przeprawą przez rzekę. Jednak gdy liczba elementów (np. dysków, osób) wzrasta do sześciu lub więcej, modele zaczynają zawodzić. Podobne trudności zaobserwowano w przypadku logicznych łamigłówek siatkowych, które wymagają dedukcji atrybutów na podstawie listy wskazówek. To rodzi pytanie, czy jest to unikalne ograniczenie rozumowania LLM, czy po prostu naturalna konsekwencja wzrostu złożoności zadania.

Co ciekawe, ludzie również mają swoje słabości poznawcze. Psychologowie projektują zestawy problemów, w których to ludzie często udzielają pochopnych odpowiedzi, podczas gdy modele AI reagują bardziej rozważnie. Dotyczy to zwłaszcza zadań matematycznych, gdzie ludzka intuicja bywa myląca, oraz pytań sformułowanych tak, aby sugerować oczywiste, lecz błędne rozwiązania.

Testowanie modeli AI za pomocą łamigłówek i gier jest nie tylko sposobem na mierzenie ich postępów, ale także kluczowym narzędziem do zrozumienia fundamentalnych różnic między inteligencją ludzką a maszynową. Ujawniając, gdzie AI wciąż ustępuje człowiekowi, te wyzwania pomagają naukowcom w dalszym doskonaleniu technologii, dążąc do stworzenia systemów, które będą w stanie nie tylko przetwarzać informacje, ale także rozumieć i wnioskować w sposób bardziej zbliżony do ludzkiego umysłu, szczególnie w obszarach wymagających elastyczności, intuicji i abstrakcyjnego myślenia.

Źródło: technologyreview.com