Transfer learning

Transfer learning, czyli uczenie transferowe, jest strategią w uczeniu maszynowym, gdzie model, który został już wytrenowany na dużym zbiorze danych do wykonania określonego zadania (np. rozpoznawania obiektów na zdjęciach), jest adaptowany do nowego, ale powiązanego zadania. Zamiast zaczynać trening od zera, wykorzystuje się wagi i architektury wcześniej wytrenowanego modelu jako bazę.

Proces ten zazwyczaj polega na:

• Zamrożeniu (ang. freezing) większości warstw wstępnie wytrenowanego modelu, które odpowiadają za ekstrakcję ogólnych cech.
• Dostrojeniu (ang. fine-tuning) kilku ostatnich warstw lub dodaniu nowych warstw, które są trenowane na nowym, często mniejszym zbiorze danych, specyficznym dla docelowego zadania.

Główną zaletą transfer learningu jest znaczące zmniejszenie zapotrzebowania na duże zbiory danych i moc obliczeniową dla nowych zadań, a także skrócenie czasu treningu. Jest to szczególnie przydatne w dziedzinach, gdzie gromadzenie obszernych, etykietowanych danych jest kosztowne lub trudne, np. w medycynie czy przetwarzaniu języka naturalnego. Model wstępnie wytrenowany na ogólnym zadaniu uczy się uniwersalnych reprezentacji danych, które są następnie adaptowane do bardziej specyficznych celów.