Inferencja
Zaktualizowano:
Inferencja, często nazywana również fazą produkcyjną lub wdrożeniową, następuje po zakończeniu procesu trenowania modelu uczenia maszynowego. Polega na podaniu modelowi nowych danych wejściowych i uzyskaniu od niego odpowiednich wyników, takich jak przewidywania, klasyfikacje czy generowane treści. W przeciwieństwie do trenowania, które wymaga intensywnych obliczeń i dużych zbiorów danych do nauki, inferencja koncentruje się na szybkości i efektywności przetwarzania pojedynczych lub małych partii danych.
Koszty inferencji są zazwyczaj znacznie niższe niż koszty trenowania, ponieważ nie wymaga ona iteracyjnych optymalizacji parametrów modelu. Kluczowe znaczenie ma tutaj latency (opóźnienie) – czas, jaki upływa od momentu podania danych do modelu do otrzymania wyniku. W wielu zastosowaniach, takich jak autonomiczne pojazdy, systemy rekomendacji w czasie rzeczywistym czy asystenci głosowi, niska latencja jest krytyczna. Dlatego optymalizacja modeli pod kątem szybkiej inferencji, często z wykorzystaniem specjalizowanych akceleratorów sprzętowych (np. GPU, TPU, NPU), jest kluczowym elementem wdrożeń AI.
Podczas gdy trening buduje inteligencję, inferencja ją aplikuje. Jest to etap, na którym wartość modelu AI jest faktycznie dostarczana użytkownikom lub innym systemom.