Dlaczego teksty generowane przez AI są wykrywalne? Bradley Emi wskazuje na "mode collapse"

Modele językowe (LLM) teoretycznie mogłyby tworzyć teksty o różnorodności porównywalnej do ludzkiej twórczości, jednak w praktyce tak się nie dzieje. Bradley Emi, dyrektor techniczny firmy Pangram, zajmującej się wykrywaniem treści generowanych przez AI, w swoim wpisie na blogu argumentuje, że to właśnie post-treningowe zabezpieczenia i mechanizmy bezpieczeństwa sprawiają, że teksty te są łatwo rozpoznawalne jako dzieło sztucznej inteligencji.

Wpływ zabezpieczeń na różnorodność tekstu

Systemy takie jak ChatGPT, Claude czy Gemini są szkolone w oparciu o zestaw reguł behawioralnych, które mają na celu zapobieganie generowaniu niebezpiecznych treści lub cenzurowanie pewnych wypowiedzi politycznych. Emi podkreśla, że te ograniczenia drastycznie zawężają zakres ekspresji modeli, prowadząc do zjawiska, które określa mianem „mode collapse” (załamanie trybu). W efekcie, zamiast szerokiego spektrum stylów i tematów, modele te generują teksty o zauważalnie mniejszej różnorodności.

Modele bazowe a wykrywalność

Według Emiego, tak zwane modele bazowe – czyli surowe modele przed zastosowaniem post-treningowych zabezpieczeń – charakteryzują się znacznie większą różnorodnością w pisaniu. Z tego powodu narzędzia detekcyjne Pangramu nie oznaczają ich jako treści generowanych przez AI. Podobnie jest w przypadku wąsko wyspecjalizowanych modeli, które zostały dostrojone wyłącznie na podstawie tekstów konkretnych autorów, takich jak Ernest Hemingway, lub specyficznych zbiorów danych, na przykład z określonych subredditów. Również niespójne lub niezrozumiałe teksty, będące wynikiem błędów w generowaniu, nie są wykrywane przez system Pangramu.

Warto jednak zaznaczyć, że powyższe obserwacje dotyczą wyłącznie tekstów AI, które nie zostały opatrzone znakowaniem wodnym (watermarking). Emi uważa, że znaki wodne prawdopodobnie zawsze będą skuteczne w identyfikacji treści AI, nawet w przypadku modeli bazowych charakteryzujących się dużą różnorodnością.

Konsekwencje dla przyszłości generowania treści

Analiza Bradleya Emiego rzuca światło na istotny dylemat w rozwoju sztucznej inteligencji: z jednej strony dążymy do tworzenia coraz bardziej zaawansowanych i bezpiecznych modeli, z drugiej zaś strony te same mechanizmy bezpieczeństwa mogą ograniczać ich kreatywność i naturalność. Zrozumienie zjawiska „mode collapse” jest kluczowe dla dalszych prac nad LLM-ami, ponieważ wskazuje na konieczność znalezienia równowagi między bezpieczeństwem a zdolnością do generowania różnorodnych i unikalnych treści, które będą trudniejsze do odróżnienia od tych stworzonych przez człowieka.

Źródło: the-decoder.com