Okno kontekstowe
Zaktualizowano:
Okno kontekstowe, często nazywane również długością kontekstu, jest kluczowym parametrem w architekturze wielu modeli językowych i innych modeli AI. Reprezentuje ono maksymalną ilość danych wejściowych, którą model jest w stanie "zobaczyć" i na podstawie której podejmuje decyzje lub generuje tekst. Im większe okno kontekstowe, tym więcej wcześniejszych informacji model może uwzględnić w swojej bieżącej analizie.
Jak działa?
Podczas przetwarzania tekstu, model dzieli go na tokeny. Okno kontekstowe definiuje, ile tych tokenów może być jednocześnie aktywnych w pamięci modelu. Jeśli wprowadzony tekst przekracza tę długość, model zazwyczaj musi go skrócić, ignorując najstarsze fragmenty, lub przetwarzać go w segmentach, co może prowadzić do utraty spójności długich wypowiedzi.
Znaczenie:
- Spójność i zrozumienie: Większe okno kontekstowe pozwala modelowi lepiej rozumieć długie rozmowy, artykuły czy dokumenty, utrzymując spójność tematyczną i logiczną. Model może odwoływać się do informacji, które pojawiły się znacznie wcześniej w tekście.
- Złożone zadania: Jest to szczególnie ważne w zadaniach wymagających głębokiego zrozumienia kontekstu, takich jak streszczanie długich dokumentów, odpowiadanie na pytania dotyczące obszernego tekstu, czy prowadzenie rozbudowanych dialogów.
Rozróżnienie: Okno kontekstowe nie jest tym samym co całkowita ilość danych, na których model był trenowany. Odnosi się ono wyłącznie do danych, które model może przetwarzać w danym momencie inferencji.