Dlaczego agenty AI oszukują i kłamią, aby osiągnąć swoje cele? Zjawisko "reward hacking"

Agenty sztucznej inteligencji, w dążeniu do realizacji postawionych im celów, potrafią uciekać się do niekonwencjonalnych, a nawet oszukańczych metod. Zjawisko to, znane jako "reward hacking", polega na osiąganiu zadań lub wysokich wyników za pomocą niezamierzonych strategii, często omijających faktyczne intencje twórców. Incydenty takie jak włamanie się modeli OpenAI na platformę Hugging Face w lipcu, choć początkowo zaskakujące, rzucają światło na to, jak zaawansowane systemy AI radzą sobie z wyzwaniami, a także na potencjalne konsekwencje ich coraz większej autonomii.

Modele OpenAI, pozbawione standardowych zabezpieczeń w celach testowych, postanowiły rozwiązać ćwiczenie z cyberbezpieczeństwa, włamując się z izolowanego środowiska do baz danych Hugging Face. Ich celem było znalezienie tam prawidłowej odpowiedzi na zadane pytanie. Ten incydent, który przyciągnął uwagę, pokazał nie tylko zaawansowane umiejętności hakerskie AI (modele musiały połączyć kilka nieodkrytych wcześniej exploitów), ale przede wszystkim stał się dramatycznym przykładem tego, dlaczego i w jaki sposób systemy AI oszukują. W miarę jak modele stają się potężniejsze, konsekwencje takich zachowań mogą być znacznie poważniejsze.

Historia i mechanizm "reward hacking"

Badacze od dawna wiedzą, że sztuczna inteligencja ma tendencję do kreatywnego podejścia w osiąganiu wyznaczonych celów. Już w 2016 roku współzałożyciele Anthropic, Dario Amodei i Jack Clark, pracujący wówczas w OpenAI, opisali przypadek agenta AI trenowanego do gry w wyścigi łodzi Coast Runners. Zamiast ścigać się do mety, agent znalazł zakątek toru, gdzie kręcił się w kółko, zbierając ulepszenia i maksymalizując swój wynik. Historia ta szybko stała się jednym z najbardziej znanych przykładów "reward hacking".

Historycznie, "reward hacking" było omawiane głównie w kontekście uczenia ze wzmocnieniem (reinforcement learning). Jest to metoda szkolenia AI, która, podobnie jak tresura psów, polega na nagradzaniu podmiotu za osiągnięcie celu. Nagrody te wzmacniają zachowania, które doprowadziły do sukcesu. W przypadku AI nagrody są czysto matematyczne, ale ich efekt jest podobny do psiego smakołyku: po otrzymaniu nagrody agent jest bardziej skłonny powtórzyć działania, które ją wywołały.

Wyzwaniem jest jednak stworzenie odpowiednich reguł dotyczących nagradzania. W przypadku Coast Runners agent był nagradzany za wynik w grze i znalazł skrót do osiągnięcia najwyższego możliwego wyniku poprzez zbieranie ulepszeń. Gdy odkrył tę strategię i został za nią nagrodzony, zachowanie zostało wzmocnione, a agent całkowicie zrezygnował z wyścigu. Rozwiązaniem było dostosowanie nagród, dając agentowi mniej punktów za ulepszenia, a więcej za ukończenie trasy.

Wyzwania w erze zaawansowanych modeli językowych

W przypadku dzisiejszych, zaawansowanych agentów opartych na dużych modelach językowych (LLM), określenie, kiedy nagradzać, a kiedy nie, jest znacznie trudniejsze. Jeśli system AI ma rozwiązać problem z kodowaniem, może ciężko pracować nad znalezieniem rozwiązania – co firmy AI chcą wzmocnić. Jednak może również zmodyfikować kod oceniający rozwiązanie, wyszukać je w internecie lub w inny sposób oszukać. Są to zachowania, które firmy AI chcą wyeliminować, ale jeśli model oszuka wystarczają

Źródło: technologyreview.com