Temperatura i top-p w modelach AI — co to znaczy?

Parametry Temperatura i Top-p w modelach sztucznej inteligencji, takich jak duże modele językowe (LLM), to mechanizmy kontrolujące proces generowania tekstu, wpływające na jego kreatywność, różnorodność i przewidywalność. Upraszczając, pozwalają one użytkownikowi decydować, czy model ma być bardziej zachowawczy i trzymać się najbardziej prawdopodobnych odpowiedzi, czy też ma eksperymentować i generować bardziej unikatowe, ale potencjalnie mniej spójne treści.

Czym jest Temperatura w modelach AI?

Temperatura (ang. Temperature) to parametr, który bezpośrednio wpływa na losowość i kreatywność generowanych przez model AI odpowiedzi. Działa na zasadzie modyfikowania rozkładu prawdopodobieństwa, z którego model wybiera kolejne słowa. Im wyższa temperatura, tym bardziej „rozmyty” staje się ten rozkład, co oznacza, że mniej prawdopodobne słowa mają większą szansę na wybranie.

Jak działa Temperatura?

Modele językowe generują tekst, przewidując kolejne słowo na podstawie poprzednich. Dla każdego możliwego następnego słowa model przypisuje prawdopodobieństwo. Na przykład, po frazie „Kot siedzi na...”, model może przypisać wysokie prawdopodobieństwo słowom takim jak „kanapie”, „parapecie”, „dywanie” i niższe słowom takim jak „samochodzie” czy „chmurze”.

• Niska Temperatura (np. 0.0 - 0.5): Gdy temperatura jest niska (bliżej 0), model staje się bardziej determinowany i przewidywalny. Wybiera słowa o najwyższym prawdopodobieństwie z większą pewnością. Odpowiedzi będą spójne, logiczne, często powtarzalne i bliskie „średniej” dla danego kontekstu. Może to być przydatne do generowania faktów, podsumowań czy kodu programistycznego, gdzie precyzja jest kluczowa.

  Przykład: Przy niskiej temperaturze, po pytaniu „Stolicą Polski jest...”, model niemal zawsze odpowie „Warszawa”.

• Wysoka Temperatura (np. 0.6 - 1.0+): Gdy temperatura jest wysoka, model staje się bardziej kreatywny i losowy. Rozkład prawdopodobieństwa jest spłaszczany, co daje większą szansę na wybranie słów o niższym prawdopodobieństwie. Odpowiedzi będą bardziej zróżnicowane, oryginalne, a czasem nawet zaskakujące. Może to być idealne do generowania pomysłów, pisania kreatywnych tekstów, poezji czy scenariuszy.

  Przykład: Przy wysokiej temperaturze, po pytaniu „Stolicą Polski jest...”, model nadal prawdopodobnie odpowie „Warszawa”, ale w innym kontekście, np. w opowiadaniu, może wygenerować coś bardziej nieoczekiwanego, lub nawet „pomylić” się, jeśli kontekst na to pozwala (np. „W alternatywnej rzeczywistości stolicą Polski jest...”).

Kiedy zmieniać Temperaturę?

• Obniż temperaturę, gdy potrzebujesz:
  • Faktycznych, precyzyjnych informacji.
  • Podsumowań, streszczeń.
  • Generowania kodu programistycznego.
  • Tłumaczeń.
  • Odpowiedzi, które mają być spójne i przewidywalne.
  • Minimalizacji „halucynacji” (generowania nieprawdziwych informacji).
• Podnieś temperaturę, gdy potrzebujesz:
  • Generowania pomysłów, burzy mózgów.
  • Pisania kreatywnych tekstów: poezji, opowiadań, scenariuszy.
  • Tworzenia dialogów o różnorodnym tonie.
  • Eksperymentowania z różnymi stylami i formami.
  • Unikania powtarzalności w długich tekstach.

Czym jest Top-p w modelach AI?

Top-p (ang. nucleus sampling lub cumulative probability threshold) to kolejny parametr kontrolujący proces generowania tekstu, często używany w połączeniu z temperaturą. Zamiast modyfikować prawdopodobieństwa wszystkich słów, Top-p skupia się na wyborze podzbioru najbardziej prawdopodobnych słów, z których model następnie losuje.

Jak działa Top-p?

Model najpierw sortuje wszystkie możliwe następne słowa od najbardziej do najmniej prawdopodobnego. Następnie wybiera tylko te słowa, których skumulowane prawdopodobieństwo (suma prawdopodobieństw od najbardziej prawdopodobnego w dół) osiągnie określoną wartość p.

• Top-p = 1.0 (lub blisko 1.0): Model może wybierać spośród niemal wszystkich możliwych słów, podobnie jak przy wysokiej temperaturze. Daje to dużą swobodę i różnorodność.

  Przykład: Jeśli Top-p wynosi 1.0, model może wybrać dowolne słowo, nawet to o bardzo niskim prawdopodobieństwie, jeśli temperatura na to pozwoli.

• Top-p = 0.1 (lub blisko 0): Model wybiera tylko z bardzo małej puli najbardziej prawdopodobnych słów. Na przykład, jeśli Top-p = 0.1, model weźmie pod uwagę tylko te słowa, które łącznie stanowią 10% najbardziej prawdopodobnych opcji. To sprawia, że odpowiedzi są bardzo skoncentrowane i przewidywalne, ale mogą być mniej naturalne, jeśli te kilka słów nie pasuje idealnie do kontekstu.

  Przykład: Po frazie „Kot siedzi na...”, jeśli Top-p jest niskie, model może rozważyć tylko „kanapie” i „parapecie”, ignorując „dywanie”, jeśli jego prawdopodobieństwo jest niższe i nie mieści się w progu 0.1.

Kiedy zmieniać Top-p?

• Obniż Top-p, gdy potrzebujesz:
  • Bardzo spójnych i logicznych odpowiedzi.
  • Unikania dziwnych lub niepasujących słów.
  • Generowania tekstu, który ma być bardzo „na temat”.
  • Zmniejszenia ryzyka generowania nonsensu.
• Podnieś Top-p, gdy potrzebujesz:
  • Większej różnorodności i kreatywności w słownictwie.
  • Bardziej naturalnie brzmiącego języka, który może zawierać mniej oczywiste, ale pasujące słowa.
  • Eksploracji szerszego zakresu możliwych odpowiedzi.

Temperatura a Top-p: Kluczowe różnice i synergia

Chociaż zarówno Temperatura, jak i Top-p wpływają na kreatywność i różnorodność, robią to w nieco inny sposób:

• Temperatura modyfikuje kształt rozkładu prawdopodobieństwa, czyniąc go bardziej płaskim (wysoka temperatura) lub bardziej ostrym (niska temperatura). Wpływa na wszystkie słowa.
• Top-p odcina „ogon” rozkładu prawdopodobieństwa, ignorując słowa o niskim prawdopodobieństwie, które nie mieszczą się w określonym progu skumulowanego prawdopodobieństwa. Wpływa na liczbę słów, z których dokonuje się wyboru.

Często używa się ich razem. Na przykład, można ustawić umiarkowaną temperaturę (np. 0.7) i Top-p na 0.9. To pozwoli modelowi na pewną losowość (dzięki temperaturze), ale jednocześnie ograniczy wybór do 90% najbardziej prawdopodobnych słów (dzięki Top-p), zapobiegając w ten sposób generowaniu całkowicie przypadkowych i niepasujących wyrazów.

Praktyczne zastosowanie w Prompt Engineeringu

Rozumienie i umiejętne manipulowanie tymi parametrami jest kluczowe w prompt engineeringu. Pozwala to na precyzyjne dostosowanie zachowania modelu do konkretnych potrzeb:

• Generowanie nagłówków artykułów: Wysoka temperatura i Top-p mogą pomóc w wygenerowaniu wielu różnorodnych i chwytliwych propozycji.
• Pisanie e-maili biznesowych: Niska temperatura i niskie Top-p zapewnią spójny, profesjonalny i pozbawiony błędów tekst.
• Tworzenie postaci do gry: Umiarkowana temperatura i Top-p mogą dać interesujące, ale nadal spójne opisy charakterów.
• Tłumaczenia: Zazwyczaj niska temperatura i niskie Top-p są preferowane, aby zapewnić wierność i dokładność tłumaczenia.

Eksperymentowanie z tymi parametrami jest najlepszym sposobem na zrozumienie ich wpływu i znalezienie optymalnych ustawień dla danego zadania. Pamiętaj, że „idealne” wartości zależą od konkretnego modelu, kontekstu i oczekiwanego rezultatu. Nie ma jednej uniwersalnej zasady, ale zrozumienie mechanizmów działania pozwala na świadome podejmowanie decyzji.