„Context bombing”: Nowa technika obrony przed atakami na AI wykorzystuje iniekcje promptów

Iniekcje promptów, czyli złośliwe komendy osadzane w treściach w celu nakłonienia dużych modeli językowych (LLM) do wykonania niepożądanych działań, były dotychczas narzędziem wykorzystywanym głównie przez atakujących. Pozwalały one na wykradanie wrażliwych danych lub inicjowanie innych szkodliwych operacji. Jednakże, jak donoszą badacze z firmy Tracebit, sytuacja zaczyna się zmieniać – obrońcy również zaczynają stosować tę technikę.

„Context bombing” – broń obrońców

Firma Tracebit ogłosiła, że umieszczanie iniekcji promptów obok haseł, kluczy kryptograficznych i innych poufnych informacji przechowywanych w środowisku Amazon Web Services (AWS), okazało się skutecznym sposobem na powstrzymywanie ataków ze strony agentów hakerskich AI. Te specjalnie spreparowane prompty nakazują atakującemu LLM wykonanie czynności zabronionej przez jego mechanizmy bezpieczeństwa, czyli tzw. „guardrails”. W rezultacie model językowy reaguje samowyłączeniem.

Przykładem takiej iniekcji może być prompt nakazujący LLM podanie instrukcji dotyczących tworzenia zarodników wąglika do inhalacji, lub, w przypadku modeli chińskich deweloperów, odniesienie do ikonicznego „Tank Mana” z masakry na placu Tiananmen w 1989 roku. Po napotkaniu takich zakazanych komend, LLM przestaje wykonywać swoje dotychczasowe polecenia. Badacze nazwali tę technikę „context bombingiem”.

Andy Smith, współzałożyciel i dyrektor generalny Tracebit, wyjaśnił nazwę, mówiąc: „Ostatecznie wyzwalamy mechanizm odmowy w kontekście. Chcemy uchwycić fakt, że ma to silny, ostry efekt, z którego agenci mogą mieć trudności z powrotem. Gdy tylko to znajdzie się w ich kontekście, będą nadal odmawiać”.

Wyniki testów i skuteczność

Pierwsze testy przeprowadzone przez Tracebit sugerują, że „context bombing” ma duży potencjał. Badacze testowali pięć wiodących modeli: Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro oraz Kimi 2.6. Modele te otrzymywały instrukcje do wykonania rutynowych zadań deweloperskich, które prowadziły je do przeszukiwania zasobów i natknięcia się na podłożone ciągi znaków. Testy odbywały się w symulowanym środowisku AWS.

Wyniki były imponujące:

• W 152 próbach ataku, umieszczenie jednego z tych ciągów w pułapce (decoy secret) zmniejszyło wskaźnik przejęcia pełnej kontroli administracyjnej nad kontem z 57% do 5%.
• Całkowite skompromitowanie systemu (wraz z pozostawieniem trwałego punktu dostępu) spadło z 36% do 1%.
• Najbardziej zaawansowany agent w testach, Opus 4.8, który wcześniej uzyskiwał dostęp administracyjny w 93% przypadków, po napotkaniu „context bombingu” nie zdołał tego osiągnąć ani razu.

Ewolucja metod obrony

Badania te stanowią rozwinięcie wcześniejszych odkryć z maja, kiedy to Tracebit zaprezentował metodę ostrzegania przed atakami agentów AI na infrastrukturę. Polegała ona na tworzeniu zasobów AWS, które wyglądały na legalne, ale w rzeczywistości nie były używane. Kiedy agent AI próbował je sondować, obrońcy otrzymywali alert. Te zasoby, nazwane „kanarkami” (Canariens), pozwalały wykryć zagrożenie, zanim spowodowało ono fatalne konsekwencje. Średnio, „Tracebit Canariens” ostrzegały o rozpoczęciu ataku w ciągu ośmiu minut.

Motywacją do opracowania „context bombingu” była potrzeba rozwiązania, które nie tylko ostrzega, ale faktycznie zatrzymuje ataki. W eksperymentach, agentowe modele potrzebowały średnio 14 minut na eskalację do kontroli administracyjnej. Sześciominutowe wyprzedzenie było uznawane za zbyt krótkie i ryzykowne.

Dotychczas atakujący wykorzystywali iniekcje promptów do wyłączania mechanizmów obronnych AI w sieciach. Na przykład, badacze z firmy Socket odkryli agenta LLM, który nakazywał docelowym LLM dostarczanie instrukcji do budowy bomby atomowej lub broni biologicznej, w celu wyłączenia analizy złośliwego oprogramowania wspomaganej przez AI. Podobny prototyp złośliwego oprogramowania odkryli badacze z Check Point.

„Context bombing” wydaje się być pierwszym znanym przypadkiem, w którym obrońcy odwrócili role. Earlence Fernandes, profesor z Uniwersytetu Kalifornijskiego w San Diego, specjalizujący się w bezpieczeństwie AI, stwierdził, że nie widział, aby ktokolwiek inny używał tej techniki jako obrony. Przyznał, że sam rozważał podobne podejście, choć w nieco innym kontekście.

Obecnie nie ma znanego sposobu na rozwiązanie pierwotnej przyczyny iniekcji promptów. To pozostawia deweloperom jedynie możliwość konstruowania skomplikowanych mechanizmów ochronnych, które mają zapobiegać wymuszaniu przez wstrzyknięte prompty niepożądanych działań LLM. Dzięki „context bombingowi” obrońcy mogą teraz znaleźć sposób na wykorzystanie tego trudnego problemu na swoją korzyść, przekształcając lukę w skuteczne narzędzie defensywne.

Źródło: arstechnica.com