Czytelnicy wyżej oceniają opowiadania AI, dopóki nie wiedzą, kto jest autorem

W najnowszych badaniach, przeprowadzonych przez Sydney Sears i Deenę Skolnick Weisberg, opublikowanych w czasopiśmie „Judgment and Decision Making”, ujawniono zaskakujące wyniki dotyczące odbioru tekstów generowanych przez sztuczną inteligencję. Okazuje się, że czytelnicy nie tylko mają trudności z odróżnieniem opowiadań stworzonych przez ChatGPT od tych napisanych przez ludzi, ale wręcz oceniają te pierwsze wyżej – pod warunkiem, że nie wiedzą, iż autorem jest maszyna.

Trzy eksperymenty, jeden wniosek

Badanie objęło ponad 2500 uczestników w trzech eksperymentach. W pierwszym z nich, 1682 osoby przeczytały jedno z sześciu opowiadań, każde liczące około 1000 słów. Trzy z nich pochodziły z renomowanych magazynów literackich, a pozostałe trzy zostały wygenerowane przez ChatGPT 4.0 na podstawie podpowiedzi odzwierciedlających styl i tematykę ludzkich oryginałów.

Połowie uczestników powiedziano, że historia została napisana przez człowieka, a drugiej połowie, że pochodzi od ChatGPT. Informacja ta była prawdziwa tylko dla połowy osób w każdej grupie. Wyniki były jednoznaczne: opowiadania AI zostały ocenione znacznie wyżej niż teksty ludzkie zarówno pod względem postrzeganej jakości, jak i immersji. Dla jakości średni wynik dla opowiadań AI wyniósł 1,54 w porównaniu do 0,97 dla opowiadań ludzkich (w skali od -3 do +3). W przypadku immersji różnica wynosiła 1,42 kontra 1,00.

Rola uprzedzeń i doświadczenia

Postawy uczestników wobec AI również miały wpływ na ich oceny. Niezależnie od faktycznego autora, uczestnicy przyznawali wyższe oceny, gdy sądzili, że autorem jest człowiek. Osoby pozytywnie nastawione do AI generalnie dawały wyższe oceny we wszystkich kategoriach. Co ciekawe, gdy powiedziano im, że historia pochodzi od ChatGPT, ich oceny jeszcze bardziej wzrosły. Wśród sceptyków AI efekt ten był odwrotny. Podobne zjawisko zaobserwowano we wcześniejszym badaniu dotyczącym wierszy generowanych przez AI.

W kolejnych dwóch eksperymentach, z udziałem 905 uczestników, zadanie było trudniejsze. Każda osoba przeczytała zarówno opowiadanie ludzkie, jak i generowane przez AI, a następnie musiała wskazać, które jest które. Nawet przy bezpośrednim porównaniu, uczestnicy nie radzili sobie lepiej niż przypadkowo.

Zgłoszone przez uczestników doświadczenie z systemami AI korelowało pozytywnie ze zdolnością do prawidłowego identyfikowania pochodzenia historii. Natomiast deklarowane doświadczenie z fikcją literacką nie pomagało w rozróżnianiu tekstów.

Dlaczego AI jest postrzegane lepiej?

Autorzy badania sugerują, że teksty generowane przez AI są często płynniejsze, łatwiejsze do czytania i bardziej optymistyczne emocjonalnie niż teksty ludzkie. Te cechy mogą wyjaśniać wyższe oceny, bez konieczności uznawania opowiadań AI za lepsze w sensie literackim. Ludzie mają tendencję do preferowania materiałów, które są łatwiejsze do przetworzenia. Wysokiej jakości fikcja literacka, w przeciwieństwie do tego, często celowo stawia wyzwania czytelnikom, zmuszając ich do głębszej interpretacji.

Format krótkiego opowiadania również prawdopodobnie działa na korzyść AI. Stworzenie spójnej historii na 1000 słów to inne wyzwanie niż napisanie powieści na setki stron. Niemniej jednak, wniosek badaczy jest jasny: AI jest w stanie generować dzieła twórcze, które ludzie postrzegają jako co najmniej dorównujące ludzkim, choć często nie wierzą w takie możliwości maszyn.

Kontekst i dalsze badania

Badanie z października ubiegłego roku, przeprowadzone przez Stony Brook University i Columbia Law School, wskazuje, że doświadczenie czytelników ma znaczenie tylko do pewnego stopnia. Przy prostych podpowiedziach profesjonalni czytelnicy wyraźnie preferowali teksty pisane przez ludzi. Jednak gdy modele były specjalnie szkolone na stylach poszczególnych autorów, eksperci osiem razy częściej preferowali teksty generowane przez AI pod kątem imitacji stylu i dwukrotnie częściej pod kątem jakości pisania.

Te odkrycia mają znaczące implikacje dla przyszłości twórczości literackiej i odbioru sztuki. Pokazują, że granice między ludzką a maszynową kreatywnością stają się coraz bardziej płynne, a percepcja jakości jest silnie kształtowana przez uprzedzenia i oczekiwania. W miarę rozwoju AI, coraz trudniej będzie odróżnić dzieła stworzone przez algorytmy od tych ludzkich, co może prowadzić do przewartościowania roli autora i definicji sztuki w erze cyfrowej.

Źródło: the-decoder.com