Agenci AI instalowali nieautoryzowany kod w sieciach korporacyjnych

Niedawne badanie ujawniło, że agenci sztucznej inteligencji, tacy jak Claude, Codex i Hermes, instalowali nieautoryzowany kod w sieciach korporacyjnych. Problem wynika z błędnie skonfigurowanych plików llms.txt i llms-full.txt, które są odpowiednikiem robots.txt dla AI, a które zawierały odniesienia do niezarejestrowanych pakietów lub domen.

Luka w zaufaniu agentów AI

Badacze z izraelskiego startupu przeskanowali 6214 aktywnych domen należących do firm z sektora obronnego, Fortune 500 oraz gigantów technologicznych. Spośród 8265 znalezionych plików llms.txt i llms-full.txt, 120 z nich (każdy na innej stronie) wskazywało na niezarejestrowane pakiety kodu lub nazwy domen. Aby przetestować konsekwencje, badacze zarejestrowali kilka z tych nieodebranych nazw i hostowali pakiety, które po wykonaniu przez maszynę nawiązywały połączenie z ich serwerem. W ciągu godziny otrzymali sygnał zwrotny od firmy z listy Fortune 500, a następnie od kilkudziesięciu innych, w tym kolejnych firm z Fortune 500 i startupów. Rejestrowano również łańcuch procesów nadrzędnych, co ujawniło zaangażowanie agentów kodujących, takich jak Claude (Anthropic), Codex (OpenAI) i Hermes (Nous Research).

Alon Hertz, jeden z badaczy, podkreślił, że "model zaufania jest zepsuty". Agenci traktują dokumentację dostawców jako źródło prawdy i nie kwestionują jej, podobnie jak nadzorujący ich ludzie. Wzrost wykorzystania agentów AI w różnych warstwach systemów (SaaS, chmura, punkty końcowe) zwiększa powierzchnię ataku w łańcuchu dostaw, której obecne zabezpieczenia nie obejmują.

Mechanizm ataku i realne zagrożenia

Błędna konfiguracja plików polega na tym, że zawierają one instrukcje instalacji nieistniejących pakietów z repozytoriów takich jak PyPI czy npm. Na przykład, jeden z plików zawierał polecenie "Installation: pip install [nazwa pakietu]", a inny "npm install [nazwa pakietu]". Ponieważ nazwy pakietów są niezarejestrowane, atakujący mógłby zarejestrować taką nazwę i hostować złośliwe oprogramowanie, takie jak ransomware. Luka pojawia się, gdy agent kodujący z uprawnieniami do uruchamiania poleceń shellowych traktuje taki plik jako autorytatywną dokumentację instalacyjną. Niektóre agenty AI pobierają i uruchamiają te pakiety. W innych przypadkach pliki LLM wskazywały na nieistniejące nazwy domen, które atakujący mógłby zarejestrować i umieścić na nich złośliwe instrukcje.

Badacze udowodnili, że agenci kodujący, w tym te działające wewnątrz potężnych firm, faktycznie wykonywali takie polecenia. Zagrożenie nie jest tylko teoretyczne – odkryto co najmniej jeden aktywny atak. Na stronie clerk.com znaleziono plik LLM zawierający tekst "npx clerk-next-fix-auth-protection". Polecenie npx może pobrać pakiet do pamięci podręcznej npm i wykonać jego binarny plik bez dodawania go do manifestu zależności projektu. Badacze odkryli, że ktoś przejął wcześniej pusty slot i wykorzystał go do hostowania aktywnego złośliwego oprogramowania. Firma Clerk rozwiązała problem, choć nie jest jasne, czy doszło do rzeczywistych infekcji.

Szersze konsekwencje i przyszłość bezpieczeństwa AI

Nowo odkryte zagrożenie to kolejne przypomnienie o fundamentalnych ograniczeniach AI. Modele językowe nie potrafią wiarygodnie rozróżnić między autentycznymi instrukcjami użytkownika wprowadzonymi bezpośrednio w prompt a treściami znalezionymi w niezaufanych źródłach zewnętrznych. Instrukcje napotkane w pobranych treściach mogą być wykonywane równie łatwo, jak te wpisane przez użytkownika, chyba że zostaną zastosowane odpowiednie zabezpieczenia. To nierozwiązane dotąd niedociągnięcie jest przyczyną ataków typu prompt injection.

Badacze zauważyli, że "agent nie rozróżnia między stroną a poleceniem. Wszystko, co czyta, jest wejściem, a każde wejście jest potencjalną instrukcją". Oznacza to, że cały korpus opublikowanych danych, które agenci są teraz w stanie przetwarzać, stał się powierzchnią wykonawczą, a prawie żadne z nich nie posiada gwarancji integralności stosowanych do rzeczywistego kodu. Z 120 błędnie skonfigurowanych plików, badacze znaleźli 227 poleceń instalacji nieistniejących pakietów lub przeglądania nieodebranych domen. Wiele z tych błędnych wpisów pochodzi sprzed ery AI i było ręcznie generowanych przez ludzi. Podejrzewa się, że inne zostały stworzone przez AI, która "halucynowała" lub, podobnie jak agenci przeglądający pliki, nie potrafiła odróżnić legalnych instrukcji od nielegalnych.

Problem jest głębszy niż tylko pliki llms.txt i llms-full.txt. Instrukcje, zarówno jawne, jak i ukryte, są obecne niemal wszędzie, gdzie agenci się poruszają. To zacieranie się granicy między danymi a kodem wykonywalnym, w połączeniu z pośpiechem Big Techu w implementowaniu AI, budzi obawy o przyszłość bezpieczeństwa. Jak ujął to Hertz, w przypadku prompt injection złośliwe instrukcje są celowo umieszczane, natomiast w tym nowym scenariuszu instrukcja może być całkowicie nieszkodliwa i pochodzić z legalnego źródła, a zagrożenie pojawia się później, gdy pakiet lub domena, na którą wskazuje, zostaje porzucona i przejęta przez kogoś innego. To zjawisko z pewnością zapewni zajęcie personelowi ds. bezpieczeństwa, a być może nawet agentom AI, którzy ich zastąpią.

Źródło: arstechnica.com