Recenzowanie naukowe w kryzysie: Czy system peer review przetrwa erę AI?

System recenzowania prac naukowych (tzw. peer review), od dawna uznawany za fundament weryfikacji badań, przeżywa obecnie poważny kryzys. Rosnąca liczba publikacji, wspieranych przez narzędzia sztucznej inteligencji, przytłacza wolontariuszy, którzy z trudem nadążają z oceną napływających manuskryptów. Sytuacja ta prowadzi do frustracji badaczy i podważa wiarygodność całego procesu.

Przykładem jest doświadczenie Jasona Sempriniego, ekonomisty zdrowia z Des Moines University. Jego badanie dotyczące polityki obowiązkowych szczepień przeciwko wirusowi HPV u dzieci zostało odrzucone z powodu niezrozumienia przez jedynego recenzenta. Recenzent błędnie zinterpretował cel pracy, sądząc, że kwestionuje ona skuteczność samej szczepionki, zamiast analizować efektywność polityki mającej zwiększyć wskaźniki szczepień. Semprini podkreśla, że to coraz częstsze zjawisko, wynikające z przeciążenia systemu.

Rosnące obciążenie i jego konsekwencje

Liczba artykułów indeksowanych w bazach danych takich jak Scopus i Web of Science rośnie w tempie 5,6 procent rocznie. Szacuje się, że naukowcy na całym świecie poświęcają łącznie 15 000 lat pracy na recenzowanie każdego roku, co w samych Stanach Zjednoczonych kosztowałoby 1,5 miliarda dolarów, gdyby praca ta była płatna. Coraz trudniej jest znaleźć chętnych do poświęcania tak dużej ilości czasu.

Haseeb Irfanullah, członek rady redakcyjnej Wiley’s Learned Publishing, przyznaje, że ma ogromne trudności ze znalezieniem recenzentów. Podobnie Steven Mack, redaktor Human Immunology, musiał ostatnio wysłać około trzydziestu e-maili, aby znaleźć jednego recenzenta, podczas gdy pięć lat temu wystarczyłoby pięć do dziesięciu wiadomości, by znaleźć trzech. W efekcie, redaktorzy często zlecają recenzje osobom, które nie są w pełni wykwalifikowane lub nie mają czasu na dokładne zapoznanie się z pracą.

Sebastian Lourido, mikrobiolog z Whitehead Institute, opisuje system jako „niezwykle przewlekły i bolesny”. Mimo to, naukowcy są zmuszeni do publikowania recenzowanych prac, aby zabezpieczyć posady i granty. Lourido otrzymuje około 10 próśb o recenzje miesięcznie, choć realnie jest w stanie zrealizować tylko jedną lub dwie. Mack otrzymuje prośbę o recenzję niemal codziennie, co jest dodatkowym obciążeniem do jego pracy jako immunogenetyka na University of California, San Francisco.

Przyczyny tego przeciążenia są złożone:

• Wzrost liczby zgłoszeń: Coraz więcej badaczy przesyła swoje prace do czasopism.
• Proliferacja czasopism: Liczba czasopism znacznie wzrosła w latach 1960-2020, a wiele z nich wydaje „wydania specjalne” generujące dodatkową treść.
• Publikacje online: Czasopisma online nie są ograniczone fizyczną objętością, co pozwala na publikowanie większej liczby manuskryptów.
• Interdyscyplinarność: Badania są coraz bardziej interdyscyplinarne, co wymaga większej wiedzy i czasu na recenzję.
• Wpływ AI: Sztuczna inteligencja ułatwia pisanie prac i zgłaszanie ich do anglojęzycznych czasopism przez badaczy z całego świata.
• „Fabryki papierów”: Istnieją usługi, które za opłatą umieszczają nazwiska badaczy na sfabrykowanych, choć wyglądających na legalne, publikacjach.

Historyczne korzenie i alternatywy w erze AI

Peer review w obecnej formie stało się uniwersalne dopiero około 50 lat temu. Jak wyjaśnia historyczka nauki Aileen Fyfe z University of St Andrews, wczesne mechanizmy oceny w XIX wieku były znacznie mniej sformalizowane. Wówczas naukowcy, często niezależni dżentelmeni, traktowali pracę dla czasopism jako przyjemność, a publikowanie nie było tak ściśle związane z karierą akademicką.

Uniwersalizacja peer review nastąpiła w latach 70. XX wieku w USA, gdy National Science Foundation musiała uzasadnić swoje wydatki publiczne. System niezależnych recenzentów, używany już od lat 50. do oceny wniosków grantowych, nadał decyzjom o finansowaniu legitymację. Podobny proces miał miejsce w Wielkiej Brytanii w latach 80. i 90., gdy w obliczu kontrowersyjnych kwestii naukowych (HIV, autyzm, zimna fuzja) organizacje naukowe zaczęły podkreślać, że „właściwa nauka jest recenzowana”, aby odróżnić ją od pseudonauki, jak zauważa Melinda Baldwin, historyczka nauki z University of Maryland.

Obecnie, w obliczu kryzysu, środowisko naukowe poszukuje alternatyw. Szczególnie w dziedzinie sztucznej inteligencji, gdzie badania rozwijają się błyskawicznie, a wielu badaczy pracuje poza akademią, rośnie popularność nieformalnych metod komunikacji wyników, takich jak blogi. Haewon Jeong, informatyczka z University of California, Santa Barbara, zauważa, że „utrzymywanie dobrego bloga jest prawie jak posiadanie dobrego kanału podcastowego”, co pozwala na wzmocnienie głosu badacza.

Helen Qu, badaczka AI z Flatiron Institute, zdecydowała się publikować swoje prace wyłącznie na własnym blogu, zniechęcona procesem zgłaszania prac na konferencje. Innym przykładem jest AI Alignment Forum, blog prowadzony przez szeroką społeczność badaczy, którzy zamiast tradycyjnego recenzowania, używają systemu głosowania (upvote/downvote) i komentarzy. Oliver Habryka, CEO Lightcone Infrastructure, które prowadzi forum, przyznaje, że system ma swoje słabości, ale oferuje też zalety:

• Szybkość: Publikacja jest znacznie szybsza, co jest kluczowe w dynamicznie rozwijającej się dziedzinie.
• Widoczność: System głosowania zwraca uwagę zarówno na dobre badania, jak i na kontrargumenty, co jest lepsze niż poleganie na algorytmach mediów społecznościowych.
• Dostępność: Kolokwialny styl pisania na blogach może ułatwić zrozumienie złożonych koncepcji, choć David Thorstad, filozof z Vanderbilt University, ostrzega, że może to prowadzić do utraty rygoru naukowego i promowania charyzmatycznych głosów kosztem jakości.

Kryzys systemu peer review jest wyraźnym sygnałem, że tradycyjne mechanizmy weryfikacji nauki nie nadążają za tempem rozwoju badań, zwłaszcza w erze sztucznej inteligencji. Poszukiwanie i wdrażanie nowych, bardziej elastycznych i efektywnych modeli oceny staje się koniecznością, aby zapewnić zarówno jakość, jak i dostępność wiedzy naukowej, jednocześnie unikając pułapek związanych z brakiem rygoru czy stronniczością. Przyszłość nauki może zależeć od zdolności środowiska akademickiego do adaptacji i innowacji w tym kluczowym obszarze.

Źródło: arstechnica.com