Liquid AI wprowadza nowe enkodery LFM2.5-Encoder-230M i LFM2.5-Encoder-350M, zoptymalizowane pod kątem CPU i długiego ko

Liquid AI wprowadziło na rynek dwa dwukierunkowe enkodery o otwartej wadze: LFM2.5-Encoder-230M i LFM2.5-Encoder-350M. Oba modele to maskowane modele językowe zbudowane na hybrydowej architekturze LFM2 i charakteryzują się zdolnością do przetwarzania kontekstu o długości 8192 tokenów, co odpowiada około 13-15 stronom tekstu. Ich kluczową zaletą jest efektywna praca na procesorach CPU, co ma znaczenie w wielu zastosowaniach.

Enkodery stanowią podstawę dla wielu systemów AI, takich jak klasyfikatory, routery intencji, filtry bezpieczeństwa czy detektory danych osobowych (PII). Zadania te często działają w sposób ciągły, zazwyczaj bez użycia kart graficznych (GPU) i coraz częściej na dłuższych danych wejściowych. Architektura LFM2, według Liquid AI, kontynuuje rozwój zapoczątkowany przez modele BERT i ModernBERT, oferując wolniejszy wzrost kosztów obliczeniowych wraz ze wzrostem długości danych wejściowych.

Architektura i proces konwersji

Nowe enkodery nie zostały wytrenowane od podstaw. Są one inicjowane z bazowych modeli dekoderów LFM2.5-230M i LFM2.5-350M, a następnie konwertowane z trzema kluczowymi zmianami. Architektura bazowa przeplata bramkowane bloki krótkich konwolucji z uwagą grupowaną (grouped-query attention), co zostało opisane w raporcie technicznym LFM2. Model wykorzystuje ukrytą warstwę o rozmiarze 1024 i słownik liczący 65 536 tokenów, obsługując 15 języków. Enkodery są udostępniane na licencji LFM Open License v1.0.

Wyniki wydajności i ranking

Liquid AI przeprowadziło ewaluację 14 modeli na 17 zadaniach pochodzących z zestawów GLUE, SuperGLUE oraz klasyfikacji wielojęzycznej. Każdy model był dokładnie dostrajany do konkretnego zadania, a zgłaszane wyniki odzwierciedlają efektywność tak dostrojonych modeli.

LFM2.5-Encoder-350M osiągnął średni wynik 81.02 (±1.00) na 17 zadaniach, zajmując czwarte miejsce w rankingu. Wyprzedziły go trzy większe modele:

• XLM-R XL (3.5B parametrów) z wynikiem 83.06
• ModernBERT-large (395M parametrów) z wynikiem 81.68
• XLM-R large (560M parametrów) z wynikiem 81.34

Należy zauważyć, że wiodący model jest prawie 10 razy większy od LFM2.5-Encoder-350M.

Model LFM2.5-Encoder-230M uzyskał wynik 79.29 (±1.02), plasując się na szóstym miejscu. Przewyższył on ModernBERT-base (78.19) oraz wszystkie modele EuroBERT uwzględnione w tabeli, w tym EuroBERT-610M (75.87) i EuroBERT-2.1B (72.19). Oba nowe enkodery Liquid AI osiągnęły również lepsze wyniki niż ich własne modele do wyszukiwania: LFM2.5-ColBERT-350M (76.18) i LFM2.5-Embedding-350M (75.68). Ta różnica w wydajności była głównym powodem, dla którego Liquid AI zdecydowało się na stworzenie ogólnego przeznaczenia enkodera zamiast ponownego wykorzystania istniejących modeli do wyszukiwania.

Metodologia i zastosowania

Metodologia testów, udostępniona na licencji Apache-2.0, jest szczególnie interesująca. Wszystkie modele ładowano z wagami głównymi w formacie fp32 i automatycznym rzutowaniem na bf16, co pozwoliło na porównanie samych modeli, a nie formatów liczbowych. Użyto tej samej receptury AdamW, a szybkość uczenia była dobierana indywidualnie dla każdego modelu i zadania. Wyniki są uśredniane z pięciu niezależnych uruchomień. Wersja biblioteki Transformers została przypięta do 4.56.2, aby uniknąć zmienności spowodowanej zmianami zależności.

Liquid AI wskazuje na trzy główne obszary zastosowań dla swoich nowych enkoderów:

• Urządzenia brzegowe i wbudowane: takie jak systemy pokładowe w samochodach czy kontrolery przemysłowe, gdzie brak jest dedykowanych GPU i nie można polegać na przetwarzaniu w chmurze.
• Systemy regulowane i lokalne (on-premise): w sektorach finansowym, medycznym i prawnym, gdzie dokumenty są długie, wrażliwe i nie mogą opuszczać wewnętrznej infrastruktury.
• Wysokowolumenowe, wrażliwe na koszty potoki danych: gdzie mały enkoder może służyć jako tania pierwsza faza przetwarzania przed użyciem większego modelu.

Kontekst 8192 tokenów pozwala na jednorazowe przetworzenie pełnej umowy lub kompletnej dokumentacji medycznej. Zespół badawczy udostępnił również pięć demonstracji, które działają wyłącznie na CPU w środowisku Hugging Face Space, obejmujące m.in. zero-shot prompt routing, zero-shot policy linting, sprawdzanie pisowni oraz detektor PII obsługujący 40 typów informacji w 16 językach. Dodatkowo, zaprezentowano demo maskowanej dyfuzji, gdzie enkoder działa jako chatbot generujący tekst poprzez iteracyjne odkrywanie maskowanych fragmentów.

Enkodery są ładowane za pośrednictwem biblioteki Transformers. Główny moduł jest dostępny jako Lfm2BidirectionalModel, a ładowanie maskowanego modelu językowego odbywa się za pomocą Lfm2BidirectionalForMaskedLM. Wymaga to ustawienia trust_remote_code=True przy każdym ładowaniu.

Ponieważ bazowy enkoder generuje ogólne reprezentacje, a nie bezpośrednie wyniki zadań, dostrajanie (fine-tuning) jest obowiązkowe. Liquid AI udostępniło tutorial dotyczący dostrajania dla długich dokumentów prawnych w konfiguracji 8k kontekstu. Wybór modelu jest prosty: 350M gdy najważniejsza jest dokładność, a 230M dla bardziej restrykcyjnych wymagań sprzętowych lub wyższej przepustowości.

Wprowadzenie tych modeli przez Liquid AI stanowi istotny krok w kierunku demokratyzacji zaawansowanych możliwości przetwarzania języka naturalnego. Oferując wydajne enkodery, które dobrze radzą sobie na procesorach CPU i obsługują długie konteksty, firma otwiera drogę do szerszego zastosowania AI w środowiskach, gdzie dedykowane karty graficzne są niedostępne lub nieopłacalne. To może przyspieszyć adopcję sztucznej inteligencji w sektorach wymagających bezpieczeństwa danych i przetwarzania lokalnego, a także w urządzeniach brzegowych, co jest kluczowe dla dalszego rozwoju technologii AI poza centrami danych.

Źródło: marktechpost.com