Badanie: GPT-4o poprawia oceny studentów, ale niekoniecznie ich wiedzę

Narzędzia sztucznej inteligencji, takie jak ChatGPT, mogą znacząco poprawić jakość prac studenckich, co przekłada się na wyższe oceny. Jednakże, jak pokazuje najnowsze badanie, otwarta pozostaje kwestia, czy AI faktycznie wspiera proces uczenia się, czy jedynie pomaga w generowaniu lepszych wyników bez pogłębiania wiedzy studentów.

Wpływ GPT-4o na oceny i jakość prac

Eksperyment przeprowadzony w listopadzie 2025 roku na 1053 studentach pierwszego roku Uniwersytetu Bocconi w Mediolanie rzucił światło na wpływ GPT-4o na wyniki akademickie. Studenci, podzieleni na cztery grupy (kontrolną, z lekcją rozumowania przyczynowego, z dostępem do GPT-4o oraz z obiema interwencjami), mieli za zadanie napisać rekomendacje marketingowe dla sklepu uniwersyteckiego. Prace oceniano w skali od 1 do 5.

Studenci korzystający z GPT-4o uzyskali średnio prawie cały punkt wyższą ocenę. Ich prace zawierały średnio o dwie idee więcej, były bardziej spójne logicznie i lepiej odpowiadały rekomendacjom ekspertów. Co ciekawe, nawet po uwzględnieniu jakości argumentacji, liczby i różnorodności pomysłów, przewaga GPT-4o pozostała mierzalna. Autorzy badania przypisują ten efekt wyższej jakości treści generowanych przez AI, a nie większej wiedzy studentów.

Rola rozumowania przyczynowego i oryginalności

Interwencja w postaci krótkiej lekcji na temat rozumowania przyczynowego nie podniosła tradycyjnych ocen. W rzeczywistości, prace tych studentów uzyskały nieco niższe wyniki. Jednakże, studenci ci częściej wyjaśniali, dlaczego proponowane działania miałyby zadziałać i w jakich warunkach mogłyby zawieść. Generowali również bardziej zróżnicowane pomysły, odbiegające od rozwiązań prezentowanych przez rówieśników.

Połączenie lekcji z dostępem do GPT-4o nie przyniosło dodatkowego wzrostu tradycyjnych ocen. W kontekście wskaźników rozumowania przyczynowego, obie metody uzupełniały się, a większa różnorodność pomysłów z grupy objętej lekcją utrzymywała się. Badacze zauważyli, że więcej pomysłów, spójniejsze argumenty i większa różnorodność idei w ramach jednej odpowiedzi korelowały z wyższymi ocenami. Z drugiej strony, silniejsza falsyfikowalność, bardziej szczegółowe wyjaśnienia działania proponowanych rozwiązań oraz większe odstępstwo od pomysłów innych studentów korelowały z niższymi ocenami.

Autorzy badania podkreślają, że nie oznacza to, iż oryginalność była karana. W przypadku tego konkretnego zadania, tradycyjna ocena nagradzała przede wszystkim dobrze ustrukturyzowane odpowiedzi, które mieściły się w oczekiwanym zakresie rozwiązań. Wskazują, że różnorodność i oryginalność muszą być wyraźnie wbudowane w kryteria oceniania, jeśli mają być brane pod uwagę.

AI jako narzędzie do oszustwa czy wsparcia nauki?

Obecne systemy oceniania mierzą przede wszystkim dopracowanie, strukturę i kompletność prac, a nie faktyczne uczenie się i zrozumienie. To sprawia, że AI może być łatwo wykorzystywane jako narzędzie do oszustwa. Badanie nie obejmowało testu sprawdzającego, co studenci faktycznie zrozumieli lub zapamiętali bez pomocy ChatGPT. Autorzy wyraźnie zaznaczają, że nie jest jasne, czy przewaga wynikająca z użycia GPT-4o pochodziła z faktycznie zdobytej wiedzy, czy jedynie z lepszej jakości wyników uzyskanych dzięki AI.

Inne badania potwierdzają te obserwacje. Analiza ponad 500 000 ocen studentów w USA wykazała, że po uruchomieniu ChatGPT najwyższe oceny wzrosły najbardziej na kursach wymagających dużo pisania i programowania, z dużym komponentem prac domowych. Kontrolowane eksperymenty pokazały, że po odebraniu dostępu do AI, uczestnicy radzili sobie gorzej niż grupa kontrolna, zwłaszcza ci, którzy używali GPT głównie do uzyskiwania bezpośrednich odpowiedzi.

Podobny wzorzec zaobserwowano w 30-miesięcznym badaniu na ponad 26 000 studentów w Chinach. Prace domowe były lepsze i szybsze dzięki AI, ale wyniki egzaminów spadły. Długoterminowo, wyniki na późniejszych egzaminach wstępnych były o 18 do 24 procent niższe. Studenci, którzy pomimo dostępu do AI poświęcali na prace domowe tyle samo czasu co osoby niekorzystające z technologii, nie odnotowali porównywalnych spadków.

Wyzwania dla systemów edukacji

Pomimo rosnącej liczby dowodów, OpenAI, które było zaangażowane w badanie i dostarczało technologię, postrzega wyniki głównie jako wyzwanie dla systemów oceniania. Jeśli AI może produkować dopracowane, eksperckie prace, to sam produkt końcowy mówi mniej o tym, co studenci faktycznie rozumieją. Autorzy badania argumentują za nagradzaniem studentów za oryginalność, rozumowanie i rozważanie wielu podejść, a nie tylko za najbardziej konwencjonalne czy dopracowane odpowiedzi. Zmiana systemu oceniania prawdopodobnie pociągnie za sobą zmianę całego systemu edukacji.

Wyniki badania z Uniwersytetu Bocconi oraz innych analiz podkreślają pilną potrzebę przemyślenia metod oceniania i nauczania w erze sztucznej inteligencji. Kluczowe wydaje się nie to, czy studenci używają AI, ale czy narzędzia te wspierają ich własne myślenie, czy je zastępują. W przypadku zastępowania myślenia, studenci mogą cierpieć na dłuższą metę, co ma poważne konsekwencje dla ich rozwoju intelektualnego i przyszłych umiejętności.

Źródło: the-decoder.com