Latencja
Zaktualizowano:
Latencja w kontekście modeli AI to czas, jaki upływa od momentu wysłania zapytania do modelu do otrzymania pierwszej części odpowiedzi. Jest to kluczowy parametr mierzący szybkość reakcji systemu.
Latencja, często określana jako time-to-first-token (TTFT), to miara opóźnienia w systemach AI, zwłaszcza w modelach generatywnych. Oznacza czas, jaki upływa od momentu, gdy użytkownik zada pytanie lub wprowadzi dane, do momentu, gdy model zacznie generować i zwracać pierwszą część swojej odpowiedzi.
Niska latencja jest niezwykle ważna w aplikacjach wymagających interakcji w czasie rzeczywistym, takich jak:
- Chatboty i asystenci głosowi, gdzie użytkownik oczekuje natychmiastowej reakcji.
- Systemy rekomendacyjne, które muszą szybko przetwarzać dane i sugerować produkty.
- Gry komputerowe wykorzystujące AI, gdzie opóźnienia mogą negatywnie wpływać na doświadczenie gracza.
Na latencję wpływa wiele czynników, w tym:
- Złożoność modelu – większe modele wymagają więcej obliczeń.
- Moc obliczeniowa dostępna dla modelu (CPU, GPU, TPU).
- Rozmiar danych wejściowych – dłuższe zapytania wymagają więcej czasu na przetwarzanie.
- Obciążenie serwera i infrastruktura sieciowa.
Latencja różni się od przepustowości (throughput), która mierzy liczbę zapytań, jakie system może przetworzyć w danej jednostce czasu, podczas gdy latencja skupia się na czasie odpowiedzi na pojedyncze zapytanie.