Kwantyzacja
Zaktualizowano:
Kwantyzacja polega na przekształceniu wartości numerycznych, często reprezentowanych jako liczby zmiennoprzecinkowe (np. 32-bitowe), na format o niższej precyzji, na przykład liczby całkowite 8-bitowe lub nawet binarne. Dzięki temu każda waga i aktywacja zajmuje mniej pamięci, co prowadzi do znaczącego zmniejszenia całkowitego rozmiaru modelu.
Zmniejszenie precyzji danych pozwala również na szybsze wykonywanie operacji obliczeniowych, ponieważ procesory mogą przetwarzać dane o niższej precyzji efektywniej. Jest to szczególnie korzystne w przypadku wdrażania modeli na urządzeniach o ograniczonych zasobach, takich jak smartfony, urządzenia IoT czy systemy wbudowane, gdzie pamięć i moc obliczeniowa są kluczowymi ograniczeniami.
Istnieją różne techniki kwantyzacji, takie jak:
- Kwantyzacja po treningu (Post-Training Quantization - PTQ): Model jest najpierw trenowany z pełną precyzją, a następnie kwantyzowany.
- Kwantyzacja podczas treningu (Quantization-Aware Training - QAT): Proces kwantyzacji jest symulowany podczas treningu, co pozwala modelowi dostosować się do utraty precyzji i często prowadzi do lepszych wyników.
Kwantyzacja różni się od przycinania (pruning), które polega na usuwaniu mniej istotnych wag lub połączeń w sieci, zamiast zmieniać ich precyzję.