Badanie na 26 000 studentów ujawnia ukryte koszty uczenia się z AI, widoczne po dwóch latach

Nowe badanie przeprowadzone w centralnych Chinach, obejmujące ponad 26 000 uczniów szkół średnich, rzuca światło na ukryte koszty korzystania ze sztucznej inteligencji w procesie nauki. Okazuje się, że choć studenci używający AI kończyli zadania domowe szybciej i uzyskiwali lepsze oceny, ich wyniki na egzaminach spadły nawet o 24 procent. Co więcej, pełna skala tej luki edukacyjnej na egzaminach wstępnych ujawniła się dopiero po około dwóch latach od rozpoczęcia korzystania z narzędzi AI.

Metodologia i skala badania

Naukowcy przeanalizowali dane panelowe z 30 miesięcy, obejmujące uczniów klas od 7 do 12 z jednego z chińskich regionów liczącego ponad milion mieszkańców. Dane dotyczyły miesięcznych egzaminów, ocen z prac domowych, czasów ich ukończenia oraz kluczowych egzaminów wstępnych do szkół średnich i na studia. Samodzielnie zgłaszane użycie AI wzrosło w okresie badania z niemal zera do około 80 procent, z wyraźnym skokiem po premierach DeepSeek V2.5 we wrześniu 2024 roku i DeepSeek R1 w styczniu 2025 roku. Najpopularniejszymi narzędziami były Doubao, DeepSeek, ChatGLM, Ernie Bot i Qwen.

Badanie wykorzystało metodę difference-in-differences, śledząc zmiany w wynikach każdego studenta przed i po rozpoczęciu korzystania z AI, a następnie porównując je z grupą kontrolną. Założono, że obie grupy rozwijałyby się podobnie bez interwencji AI.

Konsekwencje użycia AI dla wyników w nauce

Sześć miesięcy po pierwszym użyciu AI, oceny z prac domowych wzrosły o 18 procent, a średni czas poświęcony na zadanie spadł z 64 do 45 minut. Jednocześnie, wyniki na miesięcznych egzaminach pisemnych spadły o 20 procent. Wpływ na egzaminy wstępne o wysokiej stawce był równie znaczący, ale narastał wolniej, osiągając spadek od 18 do 24 procent po około dwóch latach. To wskazuje, że krótkoterminowe badania mogą nie dostrzegać długoterminowych kosztów dla procesu uczenia się.

Autorzy badania sugerują, że połączenie krótkich czasów ukończenia zadań, wysokich ocen z prac domowych i niskich wyników egzaminacyjnych wskazuje na to, że studenci „outsourcingowali” swoją pracę do AI. Co ciekawe, studenci, którzy poświęcali na prace domowe podobną ilość czasu co ich rówieśnicy niekorzystający z AI, osiągali równie dobre wyniki na egzaminach, jednocześnie uzyskując lepsze oceny z prac domowych. Ta grupa nie wykazywała oznak wcześniejszej lepszej wydajności, co sugeruje, że AI nie jest szkodliwa z natury, lecz głównie wtedy, gdy zastępuje samodzielne myślenie.

Spadki wyników różniły się w zależności od przedmiotu i grupy studentów:

• Przedmioty społeczne (polityka, geografia): spadek o 27 procent
• Przedmioty STEM: spadek o 22 procent
• Angielski: spadek o 17 procent
• Chiński: spadek o 9 procent

Młodsi studenci (szkoła podstawowa) stracili więcej niż starsi (24% vs 17%), a chłopcy ucierpieli bardziej niż dziewczęta (21,6% vs 18,4%), co przypisano intensywniejszemu użyciu AI przez chłopców. Najlepsi studenci odnotowali największe spadki (górna jedna trzecia: -24%, dolna jedna trzecia: -16%). Wzór dawka-reakcja również był widoczny: studenci używający AI do godziny tygodniowo stracili około 5 procent, podczas gdy ci używający jej pięć godzin lub więcej stracili 30 procent.

Adaptacja i rekomendacje

Szacowana kara za naukę spadła z około 25 procent na początku 2023 roku do 16 procent do czerwca 2025 roku. Ten spadek zaobserwowano również w stałej grupie wczesnych użytkowników, co sugeruje pewien stopień adaptacji zarówno ze strony studentów, jak i nauczycieli, jednak straty nie zniknęły całkowicie.

Badanie wyjaśnia, dlaczego reakcja na ten problem była dotychczas stonowana. Nauczyciele często widzą studentów tylko w jednym przedmiocie, gdzie 20-procentowy spadek ocen nie jest sam w sobie niezwykły. Łączny efekt na średnią w regionie nie osiągnął około minus 10 procent aż do czerwca 2025 roku, ponieważ niewielu studentów używało AI wystarczająco długo, aby szkody się skumulowały. Sami studenci często nie łączą faktów, myląc wysiłek umysłowy związany z samodzielną nauką z oznaką słabej nauki.

Jako środki zaradcze, badanie sugeruje dostarczanie studentom wiarygodnych informacji o długoterminowych kosztach „outsourcingu” zadań, większe skupienie na egzaminach stacjonarnych oraz śledzenie czasu ukończenia zadań zamiast ocen z prac domowych. AI podważa wartość prac domowych jako sygnału, a wśród użytkowników AI z ponadprzeciętnymi ocenami z prac domowych, wyższe oceny z zadań domowych faktycznie przewidują gorsze wyniki egzaminacyjne. Te wnioski są zgodne z argumentacją badacza Anthropic, Andreja Karpathy'ego, który sugeruje, aby szkoły zaprzestały prób kontrolowania prac domowych generowanych przez AI i zamiast tego przeniosły większość oceniania na pracę w klasie. Kiedy studenci wiedzą, że będą testowani bez AI, pozostają zmotywowani do faktycznego uczenia się materiału.

Podobne wnioski płyną z innych badań. Badanie Anthropic wykazało, że uczestnicy, którzy uczyli się programowania z pomocą AI, uzyskali 17 procent gorsze wyniki w testach wiedzy, nie oszczędzając przy tym czasu. Badanie Swiss Business School wykazało negatywny związek między użyciem AI a krytycznym myśleniem, a inne badania wskazały, że osoby traktujące AI głównie jako maszynę do odpowiedzi najszybciej tracą umiejętności poznawcze. Badanie UC Berkeley, analizujące ponad 500 000 ocen, również wykazało wzrost udziału najwyższych ocen A w kursach wymagających pisania i programowania o 13 punktów procentowych od premiery ChatGPT, przy czym efekt ten koncentrował się na niekontrolowanych pracach domowych, a nie na egzaminach nadzorowanych.

Wyniki tego obszernego badania podkreślają złożoność wpływu sztucznej inteligencji na edukację. Zamiast jednoznacznie potępiać technologię, wskazują na potrzebę świadomego i strategicznego jej wykorzystania, które wspiera, a nie zastępuje, samodzielne myślenie i głębokie uczenie się. Jest to kluczowe dla kształtowania przyszłych pokoleń, które będą potrafiły efektywnie korzystać z narzędzi AI, jednocześnie rozwijając niezbędne umiejętności poznawcze.

Źródło: the-decoder.com