Cisco Foundation AI udostępnia modele Antares do lokalizacji luk bezpieczeństwa w kodzie

Cisco Foundation AI zaprezentowało Antares, rodzinę małych modeli językowych (SLM) stworzonych z myślą o jednym, wąskim zadaniu bezpieczeństwa: lokalizacji luk. Ich celem jest wskazanie plików zawierających błąd na podstawie opisu luki i dostępu do repozytorium kodu.

Dwa z tych modeli – Antares-350M i Antares-1B – są już dostępne publicznie na platformie Hugging Face na licencji Apache 2.0. Zespół Cisco udostępnił również Vulnerability Localization Benchmark (VLoc Bench), narzędzie do ewaluacji agentowej składające się z 500 zadań, również na tej samej licencji.

Skuteczność i architektura Antares

Modele Antares nie ustanawiają nowego stanu wiedzy (state-of-the-art) w bezwzględnej skuteczności, jednak ich wyniki są obiecujące. Model Antares-1B osiąga wynik 0.209 File F1, co jest porównywalne z GPT-5.5 (0.229) i przewyższa model open-weight o 753 miliardach parametrów (0.186). Antares-3B osiąga 0.223 File F1, niewiele mniej niż GPT-5.5. Warto zauważyć, że Antares-1B osiąga najwyższy wskaźnik recall spośród wszystkich testowanych systemów, wynoszący 0.224.

Antares składa się z trzech transformerów typu decoder-only o rozmiarach 350M, 1B i 3B parametrów. Wszystkie modele są inicjowane z punktów kontrolnych IBM Granite 4.0 i współdzielą tokenizer oraz architekturę, w tym uwagę grupowaną (grouped-query attention), MLP SwiGLU, RMSNorm, RoPE oraz współdzielone osadzenia wejścia/wyjścia.

Modele Antares nie zastępują pełnego łańcucha narzędzi do bezpieczeństwa aplikacji. Cisco podkreśla, że zespoły deweloperskie nadal potrzebują skanowania zależności, skanowania sekretów, testów dynamicznych, kontroli kontenerów, modelowania zagrożeń i eksperckiej oceny. Antares ma za zadanie usprawnić pierwszy etap triage'u, gdzie koncentrują się koszty związane z łączeniem zewnętrznej wiedzy o lukach z wewnętrznym kodem źródłowym.

VLoc Bench i proces ewaluacji

VLoc Bench to zestaw 500 zadań pochodzących z 290 unikalnych, rzeczywistych repozytoriów. Źródłami są publiczne GitHub Security Advisories z sześciu ekosystemów: npm, pip, Maven, Go, Rust i Composer. Obejmuje 147 unikalnych kategorii CWE, a 78% wpisów posiada przypisane identyfikatory CVE.

Modele Antares są oceniane w pętli z trzema narzędziami. Model otrzymuje opis kategorii CWE i nic więcej – bez tekstu doradczego, wskazówek dotyczących plików czy szczegółów dotyczących wagi luki. Następnie wydaje terminalowe polecenia tylko do odczytu w środowisku Docker sandbox z wyłączoną siecią. Wyniki poleceń są obcinane do 2000 znaków przed wprowadzeniem do transkrypcji. Budżet wynosi 15 wywołań terminala na zadanie. Model kończy działanie, wywołując submit_vulnerable_files z posortowaną listą lub submit_no_vulnerability_found.

Co ciekawe, w danych widać „przepaść zdolności” (capability cliff), a nie liniową krzywą skalowania. Nieprzeszkolone punkty kontrolne Granite 4.0 osiągają znikome wyniki (0.001, 0.000, 0.000 File F1), co wskazuje na kluczową rolę nadzorowanego dostrajania (SFT). Korpus SFT składa się w 71.5% z rozumowania cyberbezpieczeństwa, 15.4% z trajektorii wyszukiwania kodu i 13.1% z głębokich badań i ogólnego rozumowania. Wszystkie ślady rozumowania pochodzą od jednego „nauczyciela”, GPT-OSS-120B, aby uniknąć rozbieżności dystrybucji między nauczycielami.

Narzędzia do analizy statycznej, takie jak Semgrep (0.086 File F1), CodeQL (0.023) i Horusec (0.020), osiągnęły znacznie niższe wyniki w tej samej ewaluacji. Cisco interpretuje to jako dowód, że skanery oparte na regułach odnajdują niektóre podatne pliki, ale nie potrafią adaptacyjnie analizować kontekstu repozytorium.

Strategie modeli i przyszłość bezpieczeństwa kodu

Po zastosowaniu GRPO (Generalized Reward Policy Optimization), modele Antares-350M i Antares-1B wykorzystują od 87% do 89% poleceń wyszukiwania i zgłaszają więcej plików. Model 3B natomiast stabilizuje się na poziomie 52% wyszukiwania i 37% odczytu, zgłaszając mniej plików, ale z wyższą precyzją. Co istotne, polityka ta nie była z góry narzucona przez system nagród.

Udostępnienie modeli Antares przez Cisco Foundation AI stanowi ważny krok w kierunku automatyzacji i usprawnienia procesów bezpieczeństwa oprogramowania. Dzięki otwartemu dostępowi do modeli i benchmarku, społeczność deweloperska i badawcza zyskuje potężne narzędzia do dalszego rozwoju i testowania rozwiązań w zakresie lokalizacji luk, co może znacząco przyczynić się do zwiększenia ogólnego poziomu bezpieczeństwa cyfrowego. To podkreśla rosnące znaczenie małych modeli językowych w specjalistycznych zastosowaniach, gdzie precyzja i efektywność są kluczowe. Warto obserwować, jak te otwarte zasoby wpłyną na innowacje w dziedzinie bezpieczeństwa kodu.

Źródło: marktechpost.com