OpenAI stworzyło GPT-Red – super-hakera AI do zwiększania bezpieczeństwa swoich modeli

OpenAI opracowało GPT-Red, model językowy (LLM) pełniący rolę „super-hakera”, który ma za zadanie wzmacniać obronę innych modeli firmy przed cyberatakami. Jak podaje OpenAI, dzięki treningowi z GPT-Red, najnowsza wersja flagowego modelu GPT-5.6 stała się najbardziej odporną na zagrożenia spośród wszystkich dotychczasowych wydań.

GPT-Red automatyzuje proces oceny bezpieczeństwa oprogramowania znany jako red-teaming, który tradycyjnie jest wykonywany przez zespoły ludzkich testerów. Celem jest odkrycie jak największej liczby sposobów na przełamanie lub przejęcie systemu, co pozwala na załatanie luk przed ostatecznym wydaniem oprogramowania.

Dlaczego AI potrzebuje hakera AI?

W miarę jak modele LLM stają się coraz bardziej złożone i znajdują zastosowanie w szerszym zakresie zadań – zwłaszcza w formie agentów, które mogą wchodzić w interakcje z plikami komputerowymi, stronami internetowymi, kodem zewnętrznym, a także innymi agentami – zespołom ludzkim coraz trudniej jest nadążyć za wszystkimi potencjalnymi typami ataków. Nikhil Kandpal, naukowiec z OpenAI i współtwórca GPT-Red, zauważa, że „powierzchnia ryzyka rośnie, a promień rażenia również się zwiększa”.

OpenAI stworzyło GPT-Red, aby zabezpieczyć swoje procesy testowania bezpieczeństwa na przyszłość. Dylan Hunn, również naukowiec i współtwórca GPT-Red, podkreśla: „W miarę pojawiania się bardziej zaawansowanych modeli, będziemy już mieli zaprojektowany system, który potrafi odkrywać nowe tryby ataku”. Naukowcy twierdzą, że GPT-Red już teraz zidentyfikował nowe, wcześniej niespotykane typy ataków.

Jak działa GPT-Red?

OpenAI skupiło większość swoich wysiłków na ataku typu prompt injection, gdzie haker wprowadza do LLM instrukcje, które mają zmusić go do wykonania niepożądanych działań, takich jak kopiowanie poufnych informacji, sabotaż bazy kodu firmy czy generowanie szkodliwych treści. Teoretycznie takie instrukcje mogą być ukryte w dowolnym tekście, z którym LLM może się zetknąć, na przykład w kodzie lub na stronie internetowej.

Aby zbudować GPT-Red, badacze OpenAI wzięli model LLM, który nie był szkolony jako haker, i skonfigurowali go w pętli self-play z kilkoma innymi modelami. Jego celem było atakowanie innych modeli, podczas gdy ich celem była obrona. Przez wiele rund gry, GPT-Red stawał się coraz lepszy w atakowaniu innych LLM, a te z kolei coraz skuteczniej odpierały ataki.

Trening odbywał się w środowisku zaprojektowanym przez OpenAI, które naśladowało różne scenariusze, w których LLM mogą być wykorzystywane w świecie rzeczywistym, w tym przeglądanie sieci, czytanie e-maili lub aplikacji kalendarza oraz edytowanie kodu. Kiedy GPT-Red odkrywał nowy rodzaj ataku, badał wiele jego wariantów, aby znaleźć najbardziej efektywny dla konkretnych scenariuszy. Hunn zauważa, że „w porównaniu do ludzkiego red-teamera, model jest bardzo, bardzo dobry w znajdowaniu dokładnie tego, co zadziała, dokładnie tego, co jest najbardziej efektywne. Jest niezwykle wytrwały w drążeniu odkrytego ataku”.

OpenAI twierdzi, że GPT-Red odkrył nieznany wcześniej typ ataku prompt injection, nazwany fake chain of thought. „Chain of thought” to rodzaj wewnętrznego dziennika, w którym LLM zapisuje notatki i śledzi częściowe wyniki podczas rozwiązywania problemów. GPT-Red znalazł sposób na wstawienie fałszywego wpisu do takiego dziennika innego modelu, co oszukiwało go i skłaniało do działania na podstawie sfałszowanych informacji. Chris Choquette-Choo, inny naukowiec z zespołu, porównuje to do sytuacji, w której „powiedziano by ci, że 1+1=3 i że już to zweryfikowałeś. Model myśli: 'Och, oczywiście', i po prostu wyrzuca 3”.

Skuteczność i ograniczenia GPT-Red

Jessica Ji, starszy analityk ds. bezpieczeństwa AI z Georgetown University’s Center for Security and Emerging Technology (CSET), ocenia podejście OpenAI z pętlą self-play jako obiecujące. OpenAI przetestowało skuteczność GPT-Red, ponownie uruchamiając eksperyment z 2025 roku, w którym ludzcy red-teamerzy próbowali znaleźć słabe punkty we wcześniejszej wersji GPT-5. GPT-Red okazał się bardziej skuteczny w znajdowaniu efektywnych ataków niż ludzie.

Model został również przetestowany przeciwko Vendy, agentowi automatu sprzedającego opracowanemu przez Andon Labs. GPT-Red zdołał zhakować Vendy, aby zmienić ceny przedmiotów na sprzedaż i anulować zamówienie klienta. OpenAI podaje, że gdy najsilniejsze ataki opracowane przez GPT-Red zostały zastosowane na ich własnych modelach, ponad 90% z nich zadziałało przeciwko GPT-5 (wydanemu w sierpniu ubiegłego roku), natomiast mniej niż 23% było skuteczne przeciwko nowemu GPT-5.6.

GPT-Red nie jest jednak doskonały. Nie radzi sobie dobrze z atakami wymagającymi dwustronnej konwersacji między hakerem a celem, co dla ludzkich atakujących nie stanowi problemu. Nie jest też jeszcze zbyt dobry w wykorzystywaniu obrazów, które mogą być używane do przekazywania tekstu modelom w atakach prompt injection.

OpenAI podkreśla, że GPT-Red uzupełnia pracę ludzkich red-teamerów; ludzie mogą znaleźć ataki, które model pomija, i odwrotnie. Jednym z podejść jest przekazywanie GPT-Red ataków wymyślonych przez ludzi i proszenie go o znalezienie wszystkich wariantów. Ji z CSET uważa, że „ludzka ekspertyza nadal będzie bardzo ważna” i „bardzo przydatne byłoby rozróżnienie, gdzie testowanie przez ludzi jest najbardziej potrzebne”.

OpenAI nie zamierza udostępniać GPT-Red publicznie i jest przekonane, że ich super-haker jest silniejszy niż jakikolwiek model, który ktoś mógłby próbować stworzyć. Naukowcy pracowali nad modelem przez ponad rok, wspierani przez zasoby obliczeniowe jednej z najbogatszych firm na świecie. Choquette-Choo komentuje: „To nie jest trywialna rzecz, którą ktoś inny mógłby łatwo zrobić – po prostu pójść i wytrenować super-atakującego, używając tego pomysłu”.

Rozwój narzędzi takich jak GPT-Red przez OpenAI stanowi kluczowy krok w ewolucji bezpieczeństwa sztucznej inteligencji. W obliczu rosnącej złożoności i autonomii modeli LLM, zdolność do automatycznego i proaktywnego identyfikowania luk staje się niezbędna. Pokazuje to, że walka o bezpieczeństwo AI będzie wymagała coraz bardziej zaawansowanych rozwiązań, często wykorzystujących samą sztuczną inteligencję do obrony przed jej potencjalnymi zagrożeniami, co zwiastuje ciągły wyścig zbrojeń w cyfrowym świecie.

Źródło: technologyreview.com