Sztuczna inteligencja może pogorszyć jakość badań naukowych, twierdzą naukowcy z Princeton i University of Washington

Sztuczna inteligencja, a zwłaszcza duże modele językowe (LLM), jest powszechnie postrzegana jako narzędzie, które zrewolucjonizuje naukę, przyspieszając każdy etap badań – od formułowania hipotez po analizę danych i pisanie artykułów. Powszechnie panuje nadzieja, że dzięki automatyzacji rutynowych zadań naukowcy zyskają więcej czasu na twórcze myślenie. Jednak nowe badanie teoretyczne, przeprowadzone przez naukowców z Princeton, University of Washington i innych instytucji, podważa to założenie, argumentując, że nawet perfekcyjnie działające AI może w rzeczywistości pogorszyć jakość badań, prowadząc do większej liczby, ale mniej dogłębnych prac.

Koszt alternatywny czasu naukowca

Autorzy badania, opierając się na koncepcji kosztu alternatywnego z ekonomii, twierdzą, że gdy AI odciąża naukowca od pracy, jego czas staje się cenniejszy. Każda godzina poświęcona na dopracowanie istniejącego projektu to godzina, której nie można przeznaczyć na rozpoczęcie nowego. Model matematyczny, stworzony na podstawie teorii optymalnego żerowania z ekologii behawioralnej, symuluje, jak naukowcy rozdzielają swój wysiłek między projekty i co dzieje się, gdy LLM skracają różne fazy cyklu życia projektu.

Model zakłada, że projekt badawczy składa się z dwóch faz: wstępnej oceny pomysłu i decyzji o kontynuacji, a następnie części obowiązkowej (np. tworzenie wykresów, formatowanie tekstu) oraz dobrowolnej (np. dodatkowe eksperymenty, głębsza analiza, dopracowanie języka). To właśnie ta dobrowolna część jest najczęściej poświęcana, gdy czas staje się deficytowy.

Trzy scenariusze wpływu AI na badania

Badanie wyróżnia trzy scenariusze, w zależności od tego, na jakim etapie procesu badawczego zastosowano AI:

1. AI wspiera ocenę wstępnych pomysłów: Naukowcy stają się bardziej wybredni, ponieważ rozpoczęcie nowego projektu jest tańsze. Tylko najbardziej obiecujące pomysły są kontynuowane, ale nawet one otrzymują mniej dogłębne traktowanie, gdyż zaoszczędzony czas jest lepiej wykorzystany na uruchomienie kolejnych badań. Ten wzorzec jest typowy dla dziedzin technicznych.
2. AI pomaga w publikowaniu: Przyspieszenie pisania, formatowania i analizy sprawia, że nawet słabsze projekty stają się warte realizacji. W rezultacie pojawia się więcej artykułów, ale każdy z nich jest bardziej powierzchowny. Ten scenariusz jest charakterystyczny dla dyscyplin opartych na badaniach terenowych.
3. AI przyspiesza fazę dobrowolnego pogłębiania analizy: Tylko w tym przypadku AI faktycznie poprawia jakość badań. Skrócenie czasu potrzebnego na dodatkowe eksperymenty czy dokładniejszą analizę, czyli etapu, na którym naukowcy często oszczędzali czas, prowadzi do bardziej gruntownych prac.

W dwóch z trzech scenariuszy dokładność badań spada. Gdy czas staje się cenniejszy, dopracowywanie już gotowego do publikacji artykułu przestaje mieć sens – lepiej poświęcić ten czas na kolejny projekt. Autorzy podsumowują, że LLM, jako technologia zwiększająca wydajność pracy, podnosi koszt alternatywny naszego czasu, skłaniając nas do robienia więcej, ale gorzej, zamiast tyle samo, ale lepiej. Idea, że zaoszczędzony czas automatycznie przekłada się na głębszą analizę, nie znajduje potwierdzenia.

Teoria w praktyce: obciążenie systemu naukowego

Teoretyczne wnioski z modelu znajdują odzwierciedlenie w praktyce. Raport OpenAI z ośmiu studiów przypadku naukowych wykazał nawet 60-krotne przyspieszenie w przepisywaniu oprogramowania badawczego, jednak wąskie gardło przesunęło się z kodowania na walidację i długoterminowe utrzymanie. Co więcej, badanie METR wykazało, że doświadczeni deweloperzy open-source korzystający z narzędzi AI faktycznie potrzebowali o 19 procent więcej czasu na ukończenie zadań, mimo że subiektywnie czuli się o 24 procent szybsi.

Tarcia są widoczne również w systemie publikacji. W dziedzinach, gdzie LLM przyspieszają pisanie, liczba zgłoszeń gwałtownie rośnie, obciążając już i tak przeciążony system recenzji naukowej. Przykładem jest artykuł wygenerowany w całości przez Sakana AI „AI Scientist-v2”, który trafił na warsztaty ICLR, zawierając błędy w cytowaniach. W odpowiedzi na takie zjawiska, platforma Arxiv zaostrzyła kary, grożąc rocznym zakazem publikacji za halucynacje w źródłach lub metakomentarze AI pozostawione w tekście.

Artykuł podkreśla, że reakcje instytucjonalne muszą być specyficzne dla danej dyscypliny, ponieważ wpływ AI na badania nie jest jednolitym przyspieszeniem. Zależy on od tego, która faza procesu badawczego zostaje przyspieszona. Podobną dynamikę, określaną jako tragedia wspólnego pastwiska, opisano w badaniach nad tworzeniem oprogramowania, gdzie indywidualne zyski produktywności osiągane są kosztem osób, które później muszą przeglądać i utrzymywać wygenerowane treści. W kontekście nauki, oznacza to, że korzyści z AI dla pojedynczego badacza mogą prowadzić do systemowego obciążenia i spadku ogólnej jakości badań, co wymaga przemyślanych strategii zarządzania i regulacji, aby zapewnić, że innowacje technologiczne faktycznie służą postępowi naukowemu, a nie tylko zwiększają liczbę publikacji.

Źródło: the-decoder.com