ByteDance rozwija największy chiński model AI z dziesięcioma bilionami parametrów

ByteDance, firma macierzysta popularnej platformy TikTok, pracuje nad zaawansowanym modelem sztucznej inteligencji, który może osiągnąć dziesięć bilionów parametrów. Informacja ta, podana przez Financial Times, wskazuje, że nowy model byłby trzykrotnie większy niż obecnie największy chiński model, Kimi K3 firmy Moonshot. Takie rozmiary stawiają ByteDance w czołówce globalnych innowatorów AI, zbliżając go do poziomu Mythos 5 firmy Anthropic, który według szacunków branżowych ma około ośmiu bilionów parametrów, choć Anthropic nie ujawnił oficjalnych danych.

Faza treningowa i unikanie destylacji

Według trzech anonimowych źródeł, na które powołuje się Financial Times, model ByteDance znajduje się obecnie w fazie przedtreningowej. Jest to kluczowy etap, który zazwyczaj trwa od trzech do sześciu miesięcy. Liczba parametrów jest istotnym czynnikiem wpływającym na zdolność modelu do przechowywania informacji, jednak jego ostateczna wydajność zależy również od jakości danych użytych do treningu oraz zastosowanych metod szkoleniowych.

Jedno ze źródeł podkreśliło, że ByteDance od ponad roku konsekwentnie unika destylacji, czyli praktyki trenowania swoich modeli na wynikach generowanych przez modele innych firm. Takie podejście może świadczyć o dążeniu firmy do budowania unikalnych i niezależnych zdolności w zakresie sztucznej inteligencji.

Globalne ambicje i konkurencja

Założyciel ByteDance, Zhang Yiming, wewnętrznie nakreślił ambitny cel dla 2000-osobowego zespołu Seed: dążenie do osiągnięcia wiodących na świecie możliwości modeli w dłuższej perspektywie. To świadczy o strategicznym znaczeniu, jakie firma przywiązuje do rozwoju AI.

Na globalnym rynku AI, ByteDance mierzy się z silną konkurencją. xAI, firma Elona Muska, również trenuje warianty modelu Grok z sześcioma i dziesięcioma bilionami parametrów, wykorzystując do tego swój klaster Colossus 2. To pokazuje, że wyścig o stworzenie największych i najbardziej zaawansowanych modeli AI jest intensywny, a firmy inwestują ogromne zasoby w rozwój tej technologii.

Rozwój tak potężnych modeli AI przez firmy takie jak ByteDance i xAI podkreśla globalną rywalizację w dziedzinie sztucznej inteligencji. Inwestycje w ogromne modele z miliardami parametrów wskazują na dążenie do osiągnięcia przełomowych zdolności, które mogą zrewolucjonizować wiele sektorów gospodarki i wpłynąć na przyszłość technologii. Obserwowanie postępów tych gigantów technologicznych będzie kluczowe dla zrozumienia kierunku, w jakim zmierza rozwój AI.

Źródło: the-decoder.com