USA o krok od incydentu z Chinami przez halucynacje AI w raporcie wywiadowczym

Stany Zjednoczone uniknęły poważnego incydentu międzynarodowego, który mógł doprowadzić do przechwycenia chińskiego statku, a wszystko to za sprawą błędnego raportu wywiadowczego wygenerowanego z pomocą narzędzi sztucznej inteligencji. Jak donosi CNN, analityk Dowództwa Operacji Specjalnych USA (US Special Operations Command) przedstawił informację sugerującą, że chiński statek przewoził komponenty programu broni jądrowej przez Bliski Wschód. Amerykańskie wojsko było już w trakcie przygotowań do przechwycenia i abordażu jednostki, wspieranych przez lotnictwo, zanim odkryto, że chatbot użyty do sporządzenia raportu "niedokładnie zidentyfikował materiał przewożony przez statek". Jedno ze źródeł CNN określiło tę sytuację jako "prawie rozpoczynającą wojnę".

Halucynacje AI i ich konsekwencje

Raport CNN wskazuje, że analityk wykorzystał chatbota do analizy danych wywiadowczych dotyczących manifestu chińskiego statku. Chatbot ten połączył informacje z otwartych źródeł z tajnymi danymi wywiadu sygnałowego (SIGINT) będącymi w posiadaniu rządu, tworząc raport, który niemal doprowadził do katastrofalnego łańcucha zdarzeń. Ten incydent jest jednym z najbardziej znaczących i poważnych przykładów, w jaki sposób "halucynujące" AI może podważyć wiarygodność profesjonalnych raportów.

Zjawisko "halucynacji" sztucznej inteligencji, które zostało uznane za słowo roku 2023 przez słownik Cambridge, dotknęło już wiele dziedzin. Widzieliśmy prominentne przykłady, gdzie autorzy literatury faktu, dziennikarze, naukowcy, sędziowie, lekarze, departamenty policji czy korporacyjne centra obsługi klienta zostali wprowadzeni w błąd przez narzędzia AI, które po prostu zmyślały informacje, gdy ich dane treningowe nie dostarczały wystarczającego kontekstu. Mimo prób tworzenia promptów typu "nie halucynuj", niektórzy badacze sugerują, że całkowite zapobieganie halucynacjom w dużych modelach językowych (LLM) może być niemożliwe.

Strategia AI w Departamencie Obrony

Pomimo tych problemów, Departament Obrony USA (DoD) aktywnie rozwija swoje strategie w zakresie sztucznej inteligencji. W styczniu DoD ogłosił "strategię przyspieszenia AI", której celem jest udostępnienie wszystkich odpowiednich danych w ramach sfederowanych systemów IT do wykorzystania przez AI, w tym systemów misji we wszystkich rodzajach sił zbrojnych. Sekretarz Obrony Pete Hegseth podkreślił wówczas, że "AI jest tak dobra, jak dane, które otrzymuje, a my upewnimy się, że te dane będą dostępne".

W grudniu ubiegłego roku Departament Obrony ogłosił, że wykorzysta Google Gemini for Government jako podstawę dla swojej platformy "GenAI.mil". W kolejnym miesiącu do platformy dodano również Grok for Government jako opcję. Firma Anthropic również oferuje spersonalizowaną wersję swojego modelu Claude do pracy wywiadowczej dla USA.

W czerwcu przedstawiciel Pentagonu poinformował Kongres, że generatywna AI jest wykorzystywana do tworzenia raportów wymaganych przez Kongres, a 1,5 miliona aktywnych pracowników DoD korzysta z narzędzi generatywnej AI w wojsku.

Wyzwania i kontrowersje wokół AI w wojsku

W 2023 roku, "Deklaracja w sprawie odpowiedzialnego wojskowego użycia sztucznej inteligencji i autonomii" Departamentu Stanu podkreślała, że "zasadnicze" wykorzystanie AI przez siły zbrojne "powinno obejmować staranne rozważenie ryzyka i korzyści, a także minimalizować niezamierzone uprzedzenia i wypadki". Raport ten wzywał również, aby "odpowiedzialne" użycie systemów AI zawsze obejmowało "człowieka w pętli, odpowiedzialny ludzki łańcuch dowodzenia i kontroli".

Jednak w kolejnych latach obserwujemy użycie w pełni autonomicznych dronów bojowych w konflikcie rosyjsko-ukraińskim oraz testy prowadzone przez wykonawców wojskowych wspieranych przez NATO. W marcu Departament Obrony umieścił firmę Anthropic na czarnej liście z powodu jej sprzeciwu wobec wykorzystywania modeli firmy w autonomicznych systemach uzbrojenia. Federalny sędzia uznał to posunięcie za "bezprawne działanie odwetowe naruszające Pierwszą Poprawkę".

Opisany incydent, który niemal doprowadził do poważnego konfliktu, pojawia się w czasie, gdy ostrzeżenia badaczy AI o potencjalnych zagrożeniach egzystencjalnych prowadzą do intensywnej debaty na temat bezpieczeństwa sztucznej inteligencji na poziomie krajowym. Obejmuje ona wezwania do regulacji i skoordynowanych badań, które mają na celu "nadążanie" za rozwojem technologii przez wiodące laboratoria AI. Sytuacja ta podkreśla pilną potrzebę opracowania solidnych mechanizmów weryfikacji i kontroli nad systemami AI, szczególnie w tak wrażliwych obszarach jak bezpieczeństwo narodowe i wywiad, gdzie błędy mogą mieć globalne konsekwencje.

Źródło: arstechnica.com