Transformer

Architektura Transformer została wprowadzona w 2017 roku w pracy "Attention Is All You Need" i szybko stała się dominującym modelem w dziedzinie przetwarzania języka naturalnego (NLP). Jej kluczowym elementem jest mechanizm uwagi (attention mechanism), który pozwala modelowi ważyć znaczenie różnych części sekwencji wejściowej podczas generowania wyjścia. Dzięki temu Transformer może jednocześnie przetwarzać wszystkie elementy sekwencji, w przeciwieństwie do wcześniejszych modeli rekurencyjnych (RNN) czy konwolucyjnych (CNN), które przetwarzały dane sekwencyjnie lub w ograniczonym oknie.

Model składa się z dwóch głównych części: kodera (encoder) i dekodera (decoder). Koder przetwarza sekwencję wejściową, tworząc jej reprezentację kontekstową, natomiast dekoder generuje sekwencję wyjściową, wykorzystując tę reprezentację. Obie części składają się z wielu identycznych warstw, z których każda zawiera podwarstwy uwagi i sieci neuronowych z połączeniami resztkowymi i normalizacją warstwową.

Zastosowanie uwagi pozwala Transformerowi na efektywne uchwycenie długoterminowych zależności w tekście, co jest kluczowe dla zrozumienia kontekstu i generowania spójnych wypowiedzi. Architektura ta stała się podstawą dla wielu przełomowych modeli językowych, takich jak BERT, GPT czy T5, które osiągnęły znaczące sukcesy w zadaniach takich jak tłumaczenie maszynowe, generowanie tekstu, odpowiadanie na pytania czy podsumowywanie. W przeciwieństwie do tradycyjnych sieci rekurencyjnych, Transformer nie przetwarza danych w sposób sekwencyjny, co pozwala na znacznie większą równoległość obliczeń i efektywniejsze trenowanie na dużych zbiorach danych.