Anthropic prezentuje samodoskonalącą się sztuczną inteligencję

W piątek Anthropic opublikowało artykuł zatytułowany „Automated Researchers Can Reliably Mitigate Alignment Failures”, który przedstawia, w jaki sposób systemy sztucznej inteligencji mogą niezawodnie poprawiać wydajność modelu w zestawach testów zgodności. To osiągnięcie, zaprezentowane przez badacza z programu stypendialnego Anthropic, Chena Yueh-Hana, oferuje wczesny wgląd w praktyczne zastosowanie samodoskonalącej się sztucznej inteligencji.

Samodzielne ulepszanie modeli AI

System, kierowany przez Chena Yueh-Hana, odtwarza wiele elementów tradycyjnego podejścia do badań. Każdy zautomatyzowany system przeszukuje dostępną literaturę, proponuje metodę, a następnie trenuje model, wykorzystując tę metodę przez 30 minut. W ten sposób stopniowo zwiększa wyniki w testach w ciągu kilku iteracji. Skuteczne metody są zachowywane, a nieskuteczne odrzucane, co pozwala systemowi działać szybko i na dużą skalę. W testach obejmujących 10 punktów odniesienia dla specyficznych, niewłaściwie dostosowanych zachowań, zautomatyzowane systemy były w stanie poprawić wydajność w każdym z nich, nie pogarszając ogólnego działania.

Autorzy artykułu podkreślają: „Ogólnie rzecz biorąc, wyniki te stanowią wczesny dowód na to, że zautomatyzowane dostosowywanie po treningu może stać się praktyczne w najbliższym czasie”.

Porównanie z ludzkimi badaczami i koszty

Artykuł otwarcie odnosi się do idei, że modele AI mogą samodzielnie ulepszać swoje procesy treningowe, co jest postrzegane jako kolejny znaczący krok w rozwoju sztucznej inteligencji. Porównuje on Automated Alignment Researcher (AAR) do jego ludzkiego odpowiednika. Zgodnie z publikacją, „najlepsza metoda AAR przewyższa to, co proponują doświadczeni ludzie, średnio w ciągu sześciu godzin”. Dodatkowo, „kierunki badań prowadzone przez ludzi nie prowadzą do silniejszej wydajności”.

Co więcej, przedstawiono również porównanie kosztów. „AAR kosztuje około 4 dolarów za godzinę w inferencji API, w porównaniu do 150 dolarów za godzinę, które płacimy naszym ludzkim badaczom”.

Ograniczenia i przyszłe wyzwania

Artykuł uczciwie wskazuje na pewne ograniczenia tego podejścia. Zautomatyzowany system działa skutecznie tylko wtedy, gdy testy odzwierciedlają rzeczywiste cele dostosowania. Nawet w takim przypadku, wymaga to znacznej pracy w zakresie:

• Ustanawiania i utrzymywania tych testów.
• Utrzymywania i rozszerzania literatury, z której korzystają zautomatyzowani badacze.

Prezentowane badania stanowią istotny krok w kierunku rekurencyjnego samodoskonalenia AI, co może mieć dalekosiężne konsekwencje dla przyszłości badań nad sztuczną inteligencją. Jeśli modele będą w stanie samodzielnie udoskonalać swoje procesy treningowe, może to oznaczać, że rola ludzkich badaczy AI ulegnie znaczącym zmianom, a nawet może stać się przestarzała w niektórych obszarach. Warto obserwować, jak ta technologia będzie ewoluować i jakie nowe wyzwania oraz możliwości przyniesie dla całej branży.

Źródło: techcrunch.com