Google DeepMind inwestuje 10 milionów dolarów w badania nad bezpieczeństwem wieloagentowej sztucznej inteligencji

W obliczu dynamicznego rozwoju sztucznej inteligencji i przewidywanego wzrostu liczby niezależnych agentów AI, Google DeepMind — we współpracy ze Schmidt Sciences, Cooperative AI Foundation, Advanced Research and Invention Agency (ARIA) oraz przy wsparciu Google.org — ogłosiło uruchomienie nowego funduszu badawczego. Inicjatywa o wartości do 10 milionów dolarów ma na celu wsparcie globalnych badań nad bezpieczeństwem systemów sztucznej inteligencji opartych na wielu agentach.

Przez ostatnią dekadę uwaga badaczy koncentrowała się na rozwijaniu możliwości, użyteczności i bezpieczeństwa pojedynczych modeli AI. Obecnie jednak wkraczamy w erę, w której miliony agentów AI, tworzonych przez różne organizacje, będą wchodzić w interakcje w środowiskach cyfrowych, komunikując się, negocjując i dokonując transakcji. Ta zmiana stwarza kluczową okazję do wzmocnienia bezpieczeństwa i stabilności całego ekosystemu AI od samego początku.

Wyzwania bezpieczeństwa w świecie wieloagentowym

Fundusz badawczy skupia się na analizie zachowań wielkoskalowych systemów AI złożonych z wielu agentów oraz na opracowywaniu ram do zrozumienia i łagodzenia potencjalnych zagrożeń. Celem jest rozwiązanie „niewidzialnych” ryzyk bezpieczeństwa, które pojawiają się, gdy niezależne systemy wchodzą w interakcje w różnych sieciach.

Kiedy duże grupy agentów AI komunikują się ze sobą, mogą nagle pojawić się nowe, zbiorowe zachowania i zdolności. Obecnie brakuje narzędzi do przewidywania, mierzenia i monitorowania tych zmian. Większość ocen bezpieczeństwa analizuje modele w izolacji. Jednakże, jak argumentują twórcy inicjatywy, interakcje autonomicznych agentów mogą prowadzić do złożonych, „emergentnych” zachowań, które są trudne do przewidzenia. Zrozumienie, jak zarządzać tymi zachowaniami systemowymi, jest kluczowym celem projektu.

Priorytetowe obszary badań i harmonogram

Chociaż istnieją podstawowe ramy bezpieczeństwa dla systemów wieloagentowych, szybka ewolucja tych systemów wymaga natychmiastowego, szeroko zakrojonego rozszerzenia badań. Prace z 2025 roku ustanowiły ramy dla zrozumienia tych interakcji, a niedawne badania nad „pułapkami agentów AI” (AI Agent Traps) eksplorowały luki, na które agenci są narażeni w środowiskach adversarialnych. Obecnie złożoność interakcji wieloagentowych przewyższa istniejące modele bezpieczeństwa, co wymaga przyspieszenia prac.

Fundusz ma na celu przyspieszenie postępu poprzez wspieranie globalnej sieci niezależnych badaczy. Różnorodna społeczność jest niezbędna do zapewnienia, że standardy bezpieczeństwa są przejrzyste i solidne dla wszystkich. Inicjatywa ta wpisuje się również w misję programów Schmidt Sciences „Science of Trustworthy AI” i „AI Agents”, które wspierają prace nad zrozumieniem i łagodzeniem ryzyk związanych z zaawansowanymi systemami AI, a także w program ARIA „Scaling Trust”, dążący do odblokowania nowych form cyber-fizycznej koordynacji wieloagentowej.

Żadne pojedyncze laboratorium nie jest w stanie samodzielnie rozwiązać problemu bezpieczeństwa wieloagentowego. Organizatorzy zapraszają badaczy akademickich i niezależnych do składania propozycji w czterech priorytetowych obszarach. Termin składania wniosków upływa 8 sierpnia 2026 roku, a ogłoszenie laureatów spodziewane jest jesienią 2026 roku.

Ta inicjatywa podkreśla rosnące znaczenie proaktywnego podejścia do bezpieczeństwa w miarę, jak systemy AI stają się coraz bardziej złożone i autonomiczne. Inwestycja w badania nad bezpieczeństwem wieloagentowej AI jest kluczowa dla zapewnienia, że przyszłe interakcje między niezależnymi systemami będą przewidywalne i bezpieczne, co jest fundamentem dla zaufania i szerokiego wdrożenia tej technologii w różnych sektorach gospodarki i życia społecznego.

Źródło: deepmind.google