Nunchux AI prezentuje VC-Attention: Nowy kernel przyspieszający wideo Diffusion Transformers

Firma Nunchux AI ogłosiła premierę VC-Attention, innowacyjnego kernela uwagi o niskiej precyzji bitowej, który nie wymaga dodatkowego treningu. Rozwiązanie to zostało stworzone z myślą o akceleracji działania wideo Diffusion Transformers (DiT) i ma na celu jednoczesne wyeliminowanie dwóch kluczowych problemów: błędu kwantyzacji wartości oraz spowolnienia na etapie funkcji softmax.

Dlaczego uwaga jest wąskim gardłem w przetwarzaniu wideo?

Wideo Diffusion Transformers (DiT) przetwarzają klipy wideo w specyficzny sposób. Polega to na spłaszczaniu sekwencji klatek wideo do postaci jednego długiego ciągu tokenów czasoprzestrzennych. Następnie, na każdej warstwie modelu, wykonywane jest pełne self-attention (samouważność). Ten proces, choć kluczowy dla zrozumienia kontekstu wideo, jest również głównym czynnikiem spowalniającym działanie tych zaawansowanych modeli. Złożoność obliczeniowa operacji uwagi, zwłaszcza w przypadku długich sekwencji tokenów generowanych z wideo, staje się znaczącym wyzwaniem, prowadząc do długiego czasu przetwarzania i wysokiego zużycia zasobów.

VC-Attention: Rozwiązanie dwóch problemów

VC-Attention zostało zaprojektowane, aby sprostać dwóm głównym wyzwaniom, które ograniczają wydajność wideo DiT:

• Błąd kwantyzacji wartości: W modelach głębokiego uczenia, zwłaszcza tych optymalizowanych pod kątem wydajności, często stosuje się kwantyzację, czyli redukcję precyzji liczbowej. Może to jednak prowadzić do utraty informacji i błędów. VC-Attention ma za zadanie minimalizować negatywne skutki tej kwantyzacji w kontekście wartości używanych w mechanizmach uwagi.
• Wolny etap softmax: Funkcja softmax jest integralną częścią mechanizmu uwagi, odpowiadającą za normalizację wag. Jej obliczenia mogą być kosztowne, szczególnie przy dużej liczbie tokenów. Nowy kernel Nunchux AI ma zoptymalizować ten etap, znacząco przyspieszając cały proces.

Wprowadzenie VC-Attention przez Nunchux AI stanowi ważny krok w kierunku zwiększenia efektywności modeli generatywnych wideo. Poprawa szybkości i redukcja błędów kwantyzacji mogą otworzyć nowe możliwości dla zastosowań wideo Diffusion Transformers, od generowania realistycznych treści po bardziej złożone analizy wideo, czyniąc te technologie bardziej dostępnymi i praktycznymi w codziennym użytkowaniu.

Źródło: marktechpost.com