Top-p (nucleus sampling)
Zaktualizowano:
Top-p, znane również jako nucleus sampling, to metoda próbkowania stosowana w modelach językowych do kontrolowania procesu generowania tekstu. Zamiast wybierać następny token spośród wszystkich możliwych tokenów na podstawie ich prawdopodobieństwa, top-p najpierw sortuje wszystkie dostępne tokeny malejąco według ich prawdopodobieństwa. Następnie tworzy dynamiczny podzbiór tokenów, zaczynając od najbardziej prawdopodobnego, i dodaje kolejne, aż ich skumulowane prawdopodobieństwo osiągnie lub przekroczy zadaną wartość progową 'p'. Ostateczny wybór następnego tokenu odbywa się losowo, ale tylko spośród tokenów znajdujących się w tym wyselekcjonowanym podzbiorze.
Głównym celem top-p jest zapewnienie równowagi między spójnością a różnorodnością generowanego tekstu. Wysokie wartości 'p' (np. 0.9 lub 0.95) oznaczają, że model będzie brał pod uwagę większą pulę tokenów, co może prowadzić do bardziej kreatywnych i zróżnicowanych odpowiedzi. Niskie wartości 'p' (np. 0.5) ograniczają wybór do najbardziej prawdopodobnych tokenów, co skutkuje bardziej przewidywalnym i często bardziej spójnym tekstem. Jest to szczególnie przydatne w zastosowaniach, gdzie chcemy uniknąć powtarzalności lub nonsensownych fraz, które mogłyby pojawić się przy prostym próbkowaniu z wysoką temperaturą. Różni się od top-k sampling, gdzie wybierane jest zawsze stała liczba 'k' najbardziej prawdopodobnych tokenów, niezależnie od ich skumulowanego prawdopodobieństwa.