Uderzenie rakietowe w irańską szkołę: AI i przestarzała infrastruktura celownicza armii USA

Dochodzenie w sprawie ataku rakietowego na irańską szkołę ujawniło poważne luki w infrastrukturze celowniczej armii USA. Incydent, w którym zginęło około 120 dzieci, miał miejsce pod koniec lutego i nastąpił w czasie wojny, podczas której wojsko amerykańskie po raz pierwszy na dużą skalę wykorzystywało sztuczną inteligencję do wyboru celów. Model Anthropic Claude, zintegrowany z systemem Palantir Maven Smart System, zasugerował około 1000 celów już pierwszego dnia operacji.

Przyczyny błędu: brak komunikacji i przestarzałe dane

Według raportu „Los Angeles Times”, główne przyczyny błędu to pominięcie notatki analityka wywiadu oraz brak komunikacji między systemami. W 2019 roku analityk zauważył zmiany w obiekcie w irańskim mieście Minab, który wcześniej był klasyfikowany jako wojskowa baza morska, a w międzyczasie stał się szkołą podstawową. Analityk oznaczył te zmiany za pomocą cyfrowego narzędzia wywiadowczego. Krytycznym problemem okazał się fakt, że narzędzie to nie było połączone z oficjalną bazą danych celów, co uniemożliwiło dotarcie informacji do dowódców. Obiekt był wielokrotnie przeglądany, ale nikt nie zaktualizował bazy danych. „New York Times” podał, że użyte zdjęcia miały siedem lat.

Co najmniej dwie bazy danych wywiadowczych nigdy nie zostały połączone z autorytatywną bazą danych celów. W Syrii, w połowie 2010 roku, dane celownicze miały czasem 10 lub 20 lat. Centralnym elementem jest baza danych MIDB, zbudowana w latach 80., która nadal w dużej mierze opiera się na ręcznym wprowadzaniu danych. Ma ona zostać zastąpiona zautomatyzowanym systemem MARS, ale przejście to jest opóźnione o lata. Biuro Odpowiedzialności Rządu USA (US Government Accountability Office) już w 2020 roku wskazywało na długotrwałe niedociągnięcia w systemie.

Kontrast z szybkością AI i niedofinansowane mechanizmy nadzoru

Ta starzejąca się infrastruktura stoi w ostrym kontraście do szybkości, z jaką AI rozwija się w innych obszarach. Raport „Wall Street Journal” podał, że w pierwszych dniach operacji trafiono ponad 3000 celów i ostrzegał, że mechanizmy nadzoru ludzkiego nad decyzjami o użyciu siły są niedofinansowane. Już wtedy amerykańscy śledczy uznali, że siły amerykańskie są prawdopodobnie odpowiedzialne za atak na szkołę, a raport „Los Angeles Times” potwierdza to konkretnymi awariami technicznymi.

Niektórzy eksperci ds. celowania mają nadzieję, że połączenie systemów cyfrowych i dodanie większej liczby rozwiązań AI zmniejszy liczbę błędów w przyszłości. Zautomatyzowane sprawdzanie krzyżowe z usługami publicznymi, takimi jak Google Maps, mogłoby sygnalizować anomalie do weryfikacji przez człowieka. Pentagon podjął działania w tym kierunku po opublikowaniu raportu, ogłaszając inicjatywę dotyczącą agentowej AI.

Agencja Wywiadu Obronnego (Defense Intelligence Agency), która nadzoruje zarówno MIDB, jak i MARS, nie odniosła się bezpośrednio do usterek ani opóźnionego przejścia, gdy skontaktował się z nią Bloomberg. Rzecznik ogólnie wskazał na dokładne analizy przeprowadzane przez przydzielonych analityków.

Krytyka ze strony architektów wojskowej AI

Zgodnie z obecną doktryną celowniczą USA, dowódcy wojskowi decydują o priorytetach i uderzeniach w cele, rozróżniając obiekty wojskowe od cywilnych. Istnieje również opcjonalny proces weryfikacji celów, który sprawdza dokładność danych wywiadowczych. Były wysoki rangą urzędnik wywiadu powiedział „Los Angeles Times”, że byłoby nie do pomyślenia, aby dowódca pominął ten krok podczas uderzeń pierwszego dnia nowej kampanii. Centcom przeglądał cele przed operacjami przeciwko Iranowi, ale nie jest jasne, czy opcjonalny proces weryfikacji został zainicjowany.

Najostrzejsza krytyka w raporcie pochodzi od zaskakującego źródła. Jack Shanahan, emerytowany generał sił powietrznych, był pierwszym dyrektorem Joint Artificial Intelligence Center, utworzonego w 2018 roku. Wcześniej kierował programem AI Project Maven. Czyni go to jednym z architektów wdrażania AI w armii USA, tej samej armii, która obecnie polega na systemie Maven. Shanahan przewidywał, że AI odegra centralną rolę w każdym potencjalnym konflikcie między USA a Chinami, a w ciągu 20 lat algorytmy będą ze sobą konkurować.

Shanahan powiedział „Los Angeles Times”, że nie ma usprawiedliwienia dla dowództwa, które nie weryfikuje dokładności swoich danych wywiadowczych. Opisał celowanie jako „umierającą dziedzinę”, która podupadła przez dwie dekady, podczas gdy wojsko skupiało się na walce z terroryzmem. Już w 2017 roku, jak stwierdził, ledwo mógł znaleźć ludzi do obsadzenia tych ról.

Incydent ten podkreśla złożoność i wyzwania związane z integracją zaawansowanych technologii, takich jak sztuczna inteligencja, z przestarzałą infrastrukturą i procesami decyzyjnymi w wojsku. Pokazuje to, że sama obecność AI nie gwarantuje eliminacji błędów, jeśli podstawowe systemy i procedury nie są odpowiednio zintegrowane i aktualizowane, co stawia pod znakiem zapytania skuteczność i etykę użycia autonomicznych systemów w konfliktach zbrojnych.

Źródło: the-decoder.com