Dzieci uczą się języka lepiej niż AI – naukowcy badają dlaczego

Od czasu premiery ChatGPT cztery lata temu, naturalna konwersacja z komputerami stała się powszechna. Modele takie jak Claude, DeepSeek czy GPT potrafią przekonująco naśladować ludzką mowę. Jednak za kulisami tej technologii kryje się fakt, że nauka języka przez komputer wymaga nieporównywalnie większej ilości danych niż w przypadku człowieka. LLM-y przetwarzają sto tysięcy razy więcej słów niż dziecko, które opanowuje język ojczysty, a nawet więcej niż niemowlę słyszy do pierwszych urodzin, kiedy to zaczyna przyswajać mowę.

Przepaść w efektywności danych

Michael C. Frank, kognitywista ze Stanford University, podkreśla, że choć postęp w dziedzinie LLM jest zdumiewający, to wciąż "musimy spalić las i przeszukać całą sumę ludzkiej wiedzy, aby odtworzyć kamień milowy, który wydarza się w naszych salonach w ciągu roku". Ta ogromna różnica między dziećmi a maszynami nazywana jest luką w efektywności danych. Stanowi ona intrygujące pytanie dla kognitywistów i wyzwanie dla twórców AI: jak to możliwe, że dzieci wciąż przewyższają najbardziej zaawansowane lingwistycznie maszyny?

Odpowiedzi na to pytanie mają kluczowe znaczenie zarówno dla badań nad AI, jak i dla kognitywistyki. W ciągu ostatniej dekady modele językowe stawały się lepsze głównie dzięki zwiększaniu ich rozmiarów. Na przykład Llama 3.1 firmy Meta, wydana dwa lata temu, przetworzyła 15 bilionów tokenów (fragmentów języka przypominających słowa) podczas etapu wstępnego treningu. Ethan Gotlieb Wilcox, kognitywista i lingwista z Georgetown University, szacuje, że najnowsze modele mogą być trenowane na dziesięć razy większej ilości danych. Jednak zasoby internetu są ograniczone i, być może już w latach 30. XXI wieku, łatwo dostępne dane mogą się wyczerpać.

Dzieci pokazują, że możliwe jest uczenie się więcej, zużywając znacznie mniej danych. Nastolatek wychowany w bogatym językowo środowisku mógł usłyszeć około 100 milionów słów. Po dodaniu umiejętności czytania, liczba ta może wzrosnąć do 300 milionów słów do 20. roku życia. Wilcox porównuje to do skali, mówiąc, że "Claude widział tyle języka, ile całe miasto doświadczy w ciągu jednego pokolenia". Gdyby wydrukować wszystkie słowa użyte do trenowania nowoczesnego LLM, stos papieru sięgnąłby poza Międzynarodową Stację Kosmiczną. Tymczasem 100 milionów słów usłyszanych przez nastolatka utworzyłoby stos o wysokości zaledwie 20 metrów.

Od Chomsky'ego do BabyLM

Naukowcy mają nadzieję, że odwracając inżynierię procesu uczenia się dzieci, będą w stanie stworzyć bardziej efektywne pod względem danych modele AI. Mogłoby to znaleźć zastosowanie od efektywnego trenowania AI na wideo po tworzenie chatbotów dla społeczności posługujących się językami mniejszościowymi. Testowanie hipotez dotyczących ludzkiego uczenia się na modelach maszynowych mogłoby również rozstrzygnąć odwieczne pytania dotyczące języka i rozwijających się umysłów dzieci. Czy rodzimy się z instynktem językowym, czy też dziecko mogłoby nauczyć się języka wyłącznie z doświadczenia? Czy sposób, w jaki przetwarzamy język, jest specyfiką naszej biologii, czy też odzwierciedla uniwersalne ograniczenia dotyczące tego, jak języki mogą być używane i uczone?

Złożoność języka staje się oczywista, gdy dorośli próbują nauczyć się nowego. Niemowlęta natomiast zazwyczaj zaczynają tworzyć gramatycznie poprawne zdania po usłyszeniu około 10 milionów słów, a maksymalnie 30 milionów. Frank nazywa to "cudem", zauważając, że "jeśli wytrenujesz GPT-2 na 30 milionach słów, otrzymasz generator nonsensu; nie otrzymasz dziecka".

Dokładny mechanizm, dzięki któremu dzieci to osiągają, pozostaje tajemnicą. Badacze wiedzą wiele o tym, czego dzieci się uczą i jak używają języka na różnych etapach rozwoju, ale wciąż brakuje pełnego zrozumienia. Jedno z najtrwalszych pytań dotyczy tego, dlaczego dzieci w ogóle są w stanie uczyć się języka. Składnia ludzkiego języka, z jej rekurencyjnymi, zagnieżdżonymi strukturami, pozwala wyrażać niemal nieskończone idee za pomocą skończonego leksykonu. Wydaje się to problemem dla niemowląt, które zanurzają się jedynie w płytkich wodach oceanu języka, a jednak to wystarcza.

Jedno z rozwiązań, zaproponowane w latach 50. przez lingwistę Noama Chomsky'ego z MIT, zakłada, że dzieci rodzą się z wbudowaną wiedzą o gramatyce. Chomsky sprzeciwiał się poglądowi psychologa B.F. Skinnera, który uważał, że przyswajanie języka jest całkowicie środowiskowe, oparte na warunkowaniu i wzmocnieniu. Chomsky argumentował, powołując się na "ubóstwo bodźca", że język, zwłaszcza składnia, jest zbyt złożony, a ekspozycja dzieci na niego zbyt "uboga", aby mogły nauczyć się go wyłącznie z doświadczenia. "Jego główny argument brzmiał, że języka nie można nauczyć się wyłącznie na podstawie statystyk" – mówi Richard Futrell, lingwista i kognitywista z University of California, Irvine. Chomsky postulował, że język opiera się na zbiorze logicznych reguł i że dzieci potrzebują wrodzonej wiedzy o tych regułach, aby wydedukować gramatykę swojego języka z fragmentów mowy.

Pogląd Chomsky'ego dominował w lingwistyce w USA przez dziesięciolecia pod nazwą gramatyki generatywnej i miał duży wpływ na informatykę w latach 50. i 60., kiedy to AI przeżywała swój pierwszy boom. Wówczas, pomimo wczesnych sukcesów prostych sieci neuronowych, które uczyły się rozpoznawać i odtwarzać wzorce statystyczne, badacze AI w USA w dużej mierze przyjęli ramy oparte na regułach, inspirowane teoriami Chomsky'ego. Próbowali uczyć komputery języka poprzez jawne kodowanie reguł w programach. To podejście, będące częścią szerszego trendu zwanego symboliczną AI, dominowało przez dziesięciolecia, ale w dużej mierze nie doprowadziło do powstania modeli zdolnych do obsługi ludzkiego języka na dużą skalę. Zainteresowanie przetwarzaniem języka naturalnego osłabło podczas "zimy AI", która rozpoczęła się w latach 70.

Sieci neuronowe zaczęły powracać dopiero w latach 2010., kiedy sprzęt komputerowy stawał się tańszy i wydajniejszy, a internet rósł w siłę. W latach 2018 i 2019 modele BERT i GPT-2, zbudowane na nowej architekturze transformera i trenowane na miliardach tokenów, jasno pokazały, że uczenie się z ogromnej ilości danych może działać w przypadku języka. W 2022 roku, wraz z sukcesem ChatGPT firmy OpenAI, stało się to jasne dla wszystkich.

LLM-y nie są mózgami. Są potężnymi uczącymi się statystycznie maszynami do wykrywania wzorców, pozbawionymi biologicznych osobliwości ludzkiej kory mózgowej. Innymi słowy, są dokładnie tym, czego lingwista generatywny dwie dekady temu uznałby za niemożliwe do nauczenia się języka. A jednak potrafią pisać wiarygodne sonety i zdawać testy gramatyczne.

Alison Gopnik, psycholog rozwojowy z University of California, Berkeley, przyznaje, że "bez względu na to, jak sceptycznie podchodzisz do AI, to, co wszystkich naprawdę zaimponowało, to: te rzeczy uczą się składni". Dodała, że nie sądziła, iż "można po prostu spojrzeć na statystyki dużej próbki języka i rozszyfrować gramatykę".

Projekt BabyLM

Alex Warstadt, lingwista i analityk danych z University of California, San Diego, wspomina lata wokół premiery BERT i GPT-2 jako ekscytujący czas. W 2019 roku, będąc doktorantem lingwistyki na New York University, obserwował, jak jego dziedzina się zmienia. Sam fakt, że modele językowe mogły uczyć się angielskiego, przetwarzając tekst, stanowił wyzwanie dla dominujących idei Chomsky'ego. Jednak wielu lingwistów pozostawało sceptycznych, czy LLM-y mogą powiedzieć nam cokolwiek o tym, jak ludzie przyswajają język.

Warstadt dostrzegł jednak potencjał w LLM-ach. Model naukowy nie musi być doskonały, aby być pouczający, a LLM-y były wyraźnie potężnymi symulacjami ludzkiego użycia języka. Czy budując hipotezy dotyczące tego, jak dzieci się uczą, w modelach i mierząc ich wydajność – jak blisko są do zniwelowania luki w danych – naukowcy mogliby przetestować swoje pomysły? W sierpniu 2022 roku Warstadt opublikował wątek na Twitterze, przedstawiając argument, że sieci neuronowe mogą być użytecznymi modelami przyswajania języka. Po dyskusji z badaczem AI Leshemem Choshenem, Warstadt wpadł na pomysł stworzenia BabyLM – corocznego konkursu organizowanego przez Warstadta, Choshena i kilku innych badaczy, mającego na celu trenowanie modeli na małych zbiorach danych.

Od tego czasu BabyLM rozszerzyło się o warsztaty i zainspirowało projekty poboczne, w tym konkurs dla modeli trenowanych na języku chińskim. Główne wydarzenie stawia przed badaczami wyzwanie trenowania modeli językowych na "rozwojowo wiarygodnym" korpusie zaledwie 100 milionów słów (dla ścieżki w skali małego dziecka – 10 milionów), pochodzących z książek dla dzieci, dialogów, napisów filmowych, uproszczonej Wikipedii, zwykłej Wikipedii oraz transkrypcji mowy skierowanej do dzieci. Modele są oceniane na podstawie wskaźników gramatycznych, których psycholingwiści używają w przypadku ludzi, jak wyjaśnia Wilcox, jeden z organizatorów.

Jednym z zadań jest przedstawianie badanym – ludziom lub maszynom – zdań i szukanie oznak dezorientacji lub zaskoczenia w przypadku niegramatycznych cech. Na przykład, test może porównać zdania "Klucze do szafki są na stole" i "Klucze do szafki jest na stole". "Kiedy ludzie widzą 'jest', myślą: Co? To nie powinno być 'jest'" – mówi Wilcox. U człowieka to zaskoczenie można zmierzyć, śledząc ruchy gałek ocznych. W przypadku modeli językowych badacze używają miary zwanej surprisal, która ocenia, jak nieprawdopodobne model przewiduje, że zdanie lub jego część będzie. Konkurs już podważył niektóre założenia, takie jak skuteczność uczenia się programowego, które zaczyna się od prostych danych treningowych i stopniowo przechodzi do bardziej złożonych.

Badania nad luką w efektywności danych między ludźmi a AI, takie jak projekt BabyLM, mają potencjał, aby nie tylko zrewolucjonizować sposób, w jaki rozwijamy sztuczną inteligencję, czyniąc ją bardziej efektywną i dostępną, ale także pogłębić nasze fundamentalne zrozumienie ludzkiego umysłu i procesów przyswajania języka. Obserwowanie, jak maszyny radzą sobie z ograniczonymi danymi, może dostarczyć bezcennych wskazówek dotyczących wrodzonych mechanizmów, które pozwalają dzieciom opanować tak złożoną umiejętność, jaką jest mowa, otwierając nowe perspektywy w kognitywistyce i lingwistyce.

Źródło: technologyreview.com