Hugging Face zhakowane przez autonomicznego agenta AI, firma użyła AI do obrony

Platforma sztucznej inteligencji Hugging Face ujawniła niedawno incydent naruszenia bezpieczeństwa, w którym część jej infrastruktury produkcyjnej została zaatakowana. Według firmy, za incydentem stał w pełni autonomiczny system agentów AI. Co istotne, Hugging Face do wykrycia i analizy tego ataku wykorzystało własne narzędzia oparte na sztucznej inteligencji.

Zgodnie z informacjami przekazanymi przez Hugging Face, atakujący uzyskali nieautoryzowany dostęp do ograniczonego zestawu wewnętrznych zbiorów danych oraz kilku poświadczeń używanych przez usługi firmy. Zapewniono, że publiczne modele, zbiory danych i przestrzenie robocze (Spaces) nie zostały naruszone, a łańcuch dostaw oprogramowania pozostał nienaruszony. Trwa jednak dochodzenie w sprawie ewentualnego naruszenia danych partnerów lub klientów.

Przebieg ataku i rola agenta AI

Atak rozpoczął się w jednym z najbardziej wrażliwych punktów każdej platformy AI: w potoku przetwarzania danych. Złośliwy zbiór danych wykorzystał dwie ścieżki wykonania kodu podczas przetwarzania danych: zdalny moduł ładowania zbioru danych oraz wstrzyknięcie szablonu w konfiguracji zbioru danych. Stamtąd atakujący eskalował uprawnienia do poziomu węzła, zebrał poświadczenia chmurowe i klastrowe, a następnie przemieszczał się bocznie przez wiele wewnętrznych klastrów przez cały weekend.

Cała kampania była koordynowana przez autonomiczny framework agentów, zbudowany na bazie uprzęży badawczej bezpieczeństwa agentowego. Hugging Face nie wie, który model językowy napędzał atak. System wykonał tysiące pojedynczych akcji poprzez rój krótkotrwałych środowisk piaskownicy (sandboxes) i wykorzystał samomigrującą infrastrukturę dowodzenia i kontroli (C2) działającą na usługach publicznych. Firma klasyfikuje ten incydent jako scenariusz „agentowego atakującego”, który od pewnego czasu przewidywano w branży.

Obrona z wykorzystaniem AI i napotkane wyzwania

Hugging Face wykryło atak dzięki potokowi wykrywania anomalii opartemu na AI, który przeprowadza triage telemetrii bezpieczeństwa z wykorzystaniem modeli LLM. Aby zrozumieć ponad 17 000 zarejestrowanych akcji atakującego, firma wdrożyła agenty analityczne napędzane przez LLM. Agenty te zrekonstruowały oś czasu, wydobyły wskaźniki kompromitacji, zmapowały naruszone poświadczenia i oddzieliły rzeczywiste szkody od działań dezinformacyjnych. Praca, która normalnie zajęłaby dni, została wykonana w ciągu godzin.

Co ciekawe, gdy zespół bezpieczeństwa początkowo próbował analizować logi ataku za pomocą modeli granicznych (frontier models) dostępnych poprzez komercyjne API, napotkał trudności. Zabezpieczenia dostawców blokowały żądania, ponieważ nie potrafiły odróżnić osoby reagującej na incydent od atakującego. Analiza wymagała przesłania dużych ilości rzeczywistych poleceń ataku, ładunków exploitów i artefaktów C2, co uruchamiało filtry.

Firma zwróciła się wówczas do modelu GLM 5.2 o otwartej wadze, uruchomionego na własnej infrastrukturze. Według Hugging Face, miało to dwie zalety: brak danych atakującego i brak odwoływanych poświadczeń, które kiedykolwiek opuściłyby ich własne środowisko. Jak zauważyło Hugging Face: „Nie wiemy, który model napędzał agenty atakującego, czy był to zhakowany model hostowany, czy nieograniczony model o otwartej wadze; tak czy inaczej, atakujący nie był związany żadną polityką użytkowania, podczas gdy nasza własna praca śledcza była blokowana przez zabezpieczenia hostowanych modeli, które początkowo próbowaliśmy wykorzystać.”

Dalsze działania i wnioski dla branży

Hugging Face podjęło natychmiastowe działania, aby zamknąć wykorzystane ścieżki wykonania kodu, odwołać dostęp atakującego, odbudować skompromitowane węzły i zmienić naruszone poświadczenia. Firma zaostrzyła również kontrole dostępu i ulepszyła swoje systemy wykrywania. Współpracuje z zewnętrznymi ekspertami ds. cyberbezpieczeństwa i zgłosiła incydent organom ścigania. W ramach środków ostrożności, firma zaleca wszystkim użytkownikom rotację tokenów dostępu i przeglądanie ostatniej aktywności na koncie.

Incydent ten potwierdza, że autonomiczne, narzędzia atakujące napędzane AI nie są już tylko teorią. Według Hugging Face, obniżają one koszt szeroko zakrojonych, wieloetapowych kampanii i działają z prędkością maszynową. Firma argumentuje, że powierzchnie danych i modeli muszą być traktowane jako pierwszorzędne powierzchnie ataku, a obrońcy potrzebują własnej AI, aby nadążyć. Fakt, że komercyjne filtry bezpieczeństwa blokowały prace śledcze Hugging Face, jest luką, na którą branża powinna się przygotować. Warto jednak zauważyć, że Hugging Face jest jedną z największych platform dla modeli AI typu open source i ma wyraźny interes biznesowy w przedstawianiu otwartych modeli jako niezbędnych dla pracy w zakresie bezpieczeństwa, więc ich wniosek, że obrońcy absolutnie potrzebują własnych modeli o otwartej wadze, nie jest całkowicie bezinteresowny.

Ten incydent podkreśla rosnące znaczenie sztucznej inteligencji w cyberbezpieczeństwie, zarówno jako narzędzia dla atakujących, jak i kluczowego elementu skutecznej obrony. Firmy muszą być przygotowane na ewolucję zagrożeń i inwestować w zaawansowane systemy wykrywania i reagowania, które potrafią działać z prędkością i skalą odpowiadającą możliwościom agentów AI.

Źródło: the-decoder.com