Temperatura
Zaktualizowano:
Temperatura w kontekście modeli generatywnych to parametr kontrolujący losowość i kreatywność generowanych wyników. Niższa temperatura prowadzi do bardziej przewidywalnych i spójnych odpowiedzi, podczas gdy wyższa zwiększa różnorodność i oryginalność.
Parametr temperatury (ang. temperature) jest kluczowym ustawieniem w modelach generatywnych, takich jak duże modele językowe (LLM), wpływającym na proces próbkowania kolejnych tokenów. Technicznie, temperatura modyfikuje rozkład prawdopodobieństwa dla następnego tokenu, który ma zostać wybrany.
- Niska temperatura (np. 0.1-0.5) sprawia, że model częściej wybiera tokeny o najwyższym prawdopodobieństwie, co skutkuje bardziej deterministycznymi, spójnymi i często powtarzalnymi wynikami. Jest to przydatne w zadaniach wymagających precyzji, takich jak podsumowywanie tekstów, tłumaczenie czy generowanie kodu.
- Wysoka temperatura (np. 0.8-1.5) spłaszcza rozkład prawdopodobieństwa, dając większą szansę na wybranie mniej prawdopodobnych tokenów. Prowadzi to do bardziej zróżnicowanych, kreatywnych, a czasem zaskakujących lub nawet nonsensownych wyników. Jest to preferowane w zadaniach wymagających innowacyjności, takich jak burza mózgów, generowanie pomysłów czy tworzenie fikcyjnych opowieści.
Wartość temperatury 0 sprawia, że model zawsze wybiera token o najwyższym prawdopodobieństwie, co czyni generację całkowicie deterministyczną. Zbyt wysoka temperatura może prowadzić do niespójnych lub niezrozumiałych odpowiedzi. Temperatura jest jednym z głównych mechanizmów pozwalających użytkownikom dostosować zachowanie modelu do konkretnych potrzeb.