Liquid AI prezentuje LFM2.5-230M: mały model AI do zadań agentowych na urządzeniach brzegowych

Liquid AI zaprezentowało LFM2.5-230M, swój najmniejszy model sztucznej inteligencji, który ma za zadanie wykonywać zadania agentowe na urządzeniach brzegowych, takich jak smartfony, roboty czy systemy automatyki. Model, dostępny jako otwarte wagi na platformie Hugging Face, jest zoptymalizowany pod kątem ekstrakcji danych i wykorzystania narzędzi, a nie ogólnego rozumowania. Jego wydajność jest imponująca: osiąga 213 tokenów na sekundę na smartfonie Galaxy S25 Ultra i 42 tokeny na sekundę na Raspberry Pi 5.

Architektura i możliwości LFM2.5-230M

LFM2.5-230M to model tekstowy z 230 milionami parametrów, oparty na architekturze LFM2. Składa się z 14 warstw, w tym ośmiu bloków konwolucyjnych LIV z podwójnym bramkowaniem oraz sześciu bloków uwagi grupowej (GQA). Ta hybrydowa konstrukcja ma na celu zapewnienie szybkiego wnioskowania na procesorach. Model obsługuje kontekst o długości 32 768 tokenów i posiada słownictwo o rozmiarze 65 536 pozycji. Jego baza wiedzy obejmuje dane do połowy 2024 roku i wspiera dziesięć języków, w tym angielski, chiński, arabski i japoński.

Liquid AI udostępnia dwie wersje modelu: LFM2.5-230M-Base, czyli wstępnie wytrenowany model do dalszego dostrajania, oraz LFM2.5-230M, ogólnego przeznaczenia, dostrojony do instrukcji. Oba modele są objęte licencją lfm1.0.

Proces trenowania i wydajność

Model został wstępnie wytrenowany na 19 bilionach tokenów, co obejmowało fazę rozszerzenia kontekstu do 32 tysięcy tokenów. Proces potrenowania składał się z trzech etapów:

• Nadzorowane dostrajanie z destylacją wiedzy z większego modelu LFM2.5-350M.
• Optymalizacja bezpośrednich preferencji (DPO).
• Uczenie wzmacniające w wielu domenach, co zachowuje elastyczność dla dalszej specjalizacji.

Kluczowym elementem, który pozwala LFM2.5-230M konkurować z większymi modelami, jest destylacja, dzięki której dziedziczy zachowania z LFM2.5-350M w ukierunkowanych zadaniach.

Liquid AI przeprowadziło ewaluację modelu na dziesięciu benchmarkach, oceniających wiedzę, zdolność do wykonywania instrukcji, ekstrakcję danych i użycie narzędzi. W testach IFEval model osiągnął 71.71 punktów, przewyższając Qwen3.5-0.8B (59.94) i Gemma 3 1B IT (63.49). Na IFBench uzyskał 38.40 punktów, również wyprzedzając konkurencję. W teście ekstrakcji danych klinicznych CaseReportBench osiągnął 22.51 punktów.

Model wykazuje silne strony w wykonywaniu instrukcji i ekstrakcji danych, jednak ustępuje w obszarach wymagających szerokiej wiedzy, takich jak MMLU-Pro, gdzie zdobył 20.25 punktów (wobec 37.42 dla Qwen3.5-0.8B), oraz w niektórych zastosowaniach narzędzi agentowych, np. τ²-Bench Telecom (tylko 5.26 punktów).

Liquid AI podkreśla, że model nie jest zalecany do zadań wymagających intensywnego rozumowania, takich jak zaawansowana matematyka, generowanie kodu czy kreatywne pisanie.

Zastosowanie i integracja

Jako wczesny przykład zastosowania, Liquid AI wdrożyło model na humanoidalnym robocie Unitree G1. Model działał w całości na wbudowanym procesorze NVIDIA Jetson Orin robota, pełniąc rolę warstwy selekcji umiejętności. Przekształcał instrukcje w języku naturalnym w sekwencje wywołań narzędzi, które aktywowały niskopoziomowe umiejętności z frameworka NVIDIA SONIC.

LFM2.5 wspiera wywoływanie funkcji w czterech krokach:

1. Definiowanie narzędzi jako JSON w systemowym prompcie.
2. Model generuje wywołanie funkcji w stylu Pythona między specjalnymi tokenami.
3. Wykonanie wywołania i zwrócenie wyniku.
4. Model generuje odpowiedź w postaci zwykłego tekstu.

Domyślnie wywołanie funkcji jest listą Pythona, umieszczoną między tokenami |tool_call_start| i |tool_call_end|. Możliwe jest również wymuszenie formatu JSON dla wywołań poprzez systemowy prompt.

Model współpracuje z biblioteką Transformers 5.0.0 i nowszymi wersjami. Zalecane ustawienia generowania to temperature 0.1, top_k 50 i repetition_penalty 1.05, z flagą do_sample=True.

Liquid AI udostępnia również przepisy na dostrajanie modelu, obejmujące SFT, DPO i GRPO z LoRA, za pośrednictwem Unsloth i TRL, w postaci notebooków Colab.

Premiera LFM2.5-230M stanowi ważny krok w kierunku przenoszenia zaawansowanych możliwości AI na urządzenia brzegowe. Koncentracja na specyficznych zadaniach, takich jak ekstrakcja danych i obsługa narzędzi, w połączeniu z optymalizacją pod kątem niskiego zużycia zasobów, otwiera nowe perspektywy dla automatyzacji i interakcji z robotami w środowiskach, gdzie tradycyjne, większe modele są niepraktyczne. To podejście może znacząco przyspieszyć rozwój inteligentnych systemów wbudowanych i autonomicznych.

Źródło: marktechpost.com