Perplexity udostępnia Lily: silnik wnioskujący w Rust i Metal dla Apple Silicon

Firma Perplexity udostępniła Lily, lokalny silnik wnioskujący, który stanowi kluczowy element technologii Hybrid Compute wykorzystywanej w produkcie Perplexity Computer. Lily, napisany w języku Rust i wykorzystujący niestandardowe jądra Metal, został zaprojektowany specjalnie dla jednego modelu i jednej rodziny układów, co pozwala na osiągnięcie wysokiej wydajności na urządzeniach Apple.

Wydajność Lily na Apple Silicon

Testy przeprowadzone na procesorze M5 Max z 40 rdzeniami i 128 GB pamięci RAM wykazały znaczną przewagę Lily nad MLX-LM. Silnik Perplexity osiągnął średnio 1,23x większą przepustowość prefill (wstępnego przetwarzania danych) oraz 1,35x większą przepustowość dekodowania w porównaniu do MLX-LM. Optymalizacja pod kątem konkretnego sprzętu i modelu, jakim jest Qwen3.6-35B-A3B, pozwoliła na maksymalne wykorzystanie możliwości układów Apple Silicon.

Technologia stojąca za Lily

Lily został zbudowany w języku programowania Rust, który jest ceniony za bezpieczeństwo, wydajność i kontrolę nad zasobami systemowymi. Dodatkowo, wykorzystanie niestandardowych jąder Metal – niskopoziomowego API graficznego i obliczeniowego Apple – umożliwia bezpośrednią interakcję z procesorem graficznym i innymi komponentami sprzętowymi, co jest kluczowe dla optymalizacji zadań związanych z wnioskowaniem modeli sztucznej inteligencji. Ta kombinacja technologii pozwala na efektywne przetwarzanie dużych modeli językowych bezpośrednio na urządzeniach użytkowników, bez konieczności polegania wyłącznie na zasobach chmurowych.

Udostępnienie Lily jako oprogramowania open source może mieć istotne konsekwencje dla rozwoju lokalnych aplikacji AI, szczególnie w ekosystemie Apple. Zapewnia to deweloperom narzędzie do tworzenia wydajniejszych rozwiązań, które mogą działać bezpośrednio na urządzeniach użytkowników, otwierając nowe możliwości dla aplikacji wymagających niskich opóźnień i większej prywatności danych.

Źródło: marktechpost.com