Model bazowy (foundation model)

Modele bazowe (ang. foundation models) to klasa dużych modeli AI, które wyróżniają się skalą i wszechstronnością. Są one trenowane na ogromnych ilościach danych z różnych dziedzin, co pozwala im nabyć szeroki zakres wiedzy i umiejętności. Proces ten, często nazywany pre-treningiem, ma na celu nauczenie modelu ogólnych wzorców, relacji i reprezentacji danych, bez specyficznego ukierunkowania na jedno zadanie.

Kluczową cechą modeli bazowych jest ich zdolność do transferu wiedzy. Oznacza to, że po wstępnym treningu mogą być one adaptowane (fine-tuning) do konkretnych, bardziej wyspecjalizowanych zadań z relatywnie niewielką ilością dodatkowych danych. Na przykład, model bazowy wytrenowany na tekstach może być następnie dostosowany do generowania podsumowań, odpowiadania na pytania, tłumaczenia języków czy klasyfikacji sentymentu. Podobnie, model wizyjny może być adaptowany do rozpoznawania obiektów, segmentacji obrazu czy generowania opisów.

Ich uniwersalność wynika z emergentnych zdolności, czyli umiejętności, które pojawiają się wraz ze wzrostem skali modelu i danych treningowych, a które nie były bezpośrednio programowane. Dzięki temu, jeden model bazowy może stać się fundamentem dla wielu różnorodnych aplikacji AI, znacząco przyspieszając rozwój i wdrażanie nowych rozwiązań.

Model bazowy nie jest tożsamy z modelem językowym, choć wiele modeli bazowych to właśnie duże modele językowe. Model językowy jest specyficznym typem modelu bazowego, skupionym na przetwarzaniu i generowaniu języka naturalnego, podczas gdy model bazowy może obejmować również inne modalności, takie jak obraz czy dźwięk.