Sztuczna inteligencja wykazuje większą skłonność do uprzedzeń w rekrutacji niż ludzie

Sztuczna inteligencja, zanim człowiek zdąży zapoznać się z aplikacją, może już dokonać wstępnej selekcji kandydatów. Pojawia się jednak pytanie, czy ocena ta będzie sprawiedliwa. Badacze od dawna wiedzą, że duże modele językowe (LLM) przyswajają ludzkie uprzedzenia z danych treningowych. Najnowsze odkrycia sugerują, że LLM-y mogą również rozwijać własne uprzedzenia na podstawie doświadczeń, a co więcej, stereotypizować kandydatów do pracy w większym stopniu niż ludzie. W miarę jak firmy AI dążą do tworzenia modeli agentowych, które zapamiętują najdrobniejsze szczegóły dotyczące użytkowników, mogą one nieświadomie dostarczać im narzędzi do pogłębiania tych uprzedzeń.

Symulacja rekrutacji i powstawanie stereotypów

Naukowcy z Princeton University i University of Chicago przeprowadzili eksperyment, w którym poddali LLM-y, w tym ChatGPT, Claude i Gemini, symulowanej grze rekrutacyjnej. Badanie to, zaadaptowane z psychologicznego studium nad powstawaniem stereotypów u ludzi, polegało na tym, że modele, działając jako konsultanci burmistrza fikcyjnego miasta, miały zatrudnić osoby na 20 stanowisk, takich jak lekarze, prawnicy, opiekunowie dzieci czy dozorcy. Kandydaci pochodzili z czterech fikcyjnych grup etnicznych: Tufa, Aima, Reku i Weki.

W każdej rundzie pojawiało się nowe stanowisko i czterech kandydatów – po jednym z każdej grupy. Po zatrudnieniu kandydata model dowiadywał się, czy odniósł on sukces na danym stanowisku, a następnie przechodził do kolejnej rundy. Celem modelu było zatrudnienie jak największej liczby skutecznych pracowników w ciągu 40 rund. Modele nie wiedziały, że wszyscy kandydaci mieli równe szanse na sukces na każdym stanowisku.

Modele szybko zaczęły segregować kandydatów z różnych grup na różne stanowiska, opierając się na wczesnych obserwacjach wyników zatrudnienia. Na przykład, gdy model dowiedział się, że Aima nie sprawdził się jako lekarz – stanowisko wymagające wysokiego poziomu ciepła i kompetencji – zaczął unikać zatrudniania wszystkich Aima jako lekarzy. Zamiast tego, zaczął zatrudniać Aima jako dozorców, co model sklasyfikował jako stanowisko wymagające mniejszego ciepła i kompetencji niż lekarz.

LLM-y bardziej stronnicze niż ludzie

Okazało się, że modele były znacznie bardziej skłonne do stereotypizowania ludzi według grup demograficznych niż ludzcy uczestnicy oryginalnego badania. Na skali segregacji, gdzie 2 oznaczało całkowite przypisanie każdej grupy do własnej niszy zawodowej, ludzcy uczestnicy uzyskali wynik 0,84. Modele osiągnęły wyniki o około 65% wyższe, przy czym model rozumowania OpenAI o3 uzyskał 1,83, co jest bliskie maksymalnego możliwego wyniku.

Ryan Liu, doktorant z Princeton University i współautor badania opublikowanego na konferencji ICML w Seulu w lipcu, wyjaśnia, że LLM-y „naprawdę chętnie tworzą uogólnienia na podstawie ograniczonych danych”. Jest to związane z tym, że modele te są optymalizowane do rozwiązywania problemów matematycznych, kodowania i zadań naukowych, które nagradzają uogólnianie na podstawie kilku przykładów. Ten sam instynkt, który pomaga LLM-om rozwiązywać zagadki logiczne, sprawia, że szybko tworzą stereotypy. W eksperymencie, nowsze modele o wyższych zdolnościach rozumowania, takie jak OpenAI o3 i DeepSeek R1, wykazały jeszcze silniejsze uprzedzenia. Liu podkreśla, że gdy LLM-y zbyt szybko uogólniają w kontekstach społecznych, „wtedy rzeczy mają tendencję do psucia się”.

Pamięć, personalizacja i walka z uprzedzeniami

Angelina Wang, informatyczka z Cornell University, która nie brała udziału w badaniu, zauważa, że odkrycie to jest szczególnie istotne w kontekście rosnącej pamięci i funkcji personalizacji chatbotów. Kiedy chatbot korzysta z historii poprzednich rozmów, może „nadmiernie indeksować te same rodzaje zachowań, których doświadczył wcześniej” i w ten sposób tworzyć uprzedzenia. Wang dodaje, że samo zmniejszenie pamięci chatbotów nie jest rozwiązaniem, ponieważ użytkownicy oczekują, że chatboty będą pamiętać, co mówią. „Nadal próbujemy znaleźć odpowiednią równowagę, która nie będzie ani za duża, ani za mała” – mówi Wang.

Instruowanie modelu, aby był sprawiedliwy, nie zmieniło znacząco jego zachowania. Liu sugeruje, że „albo nie potrafi on wdrożyć tych wartości w działanie, albo proces ten jest tłumiony przez tendencję do optymalizacji celu, jakim jest uzyskanie jak największej liczby poprawnych zatrudnień”. Jednakże, obietnica dodatkowej premii za zróżnicowane zatrudnianie sprawiła, że modele stały się znacznie mniej stronnicze. Liu podsumowuje, że kluczem jest projektowanie celów, które „uwzględniają pożądane wartości społeczne, aby duży model językowy działał w sposób społecznie pożądany”.

Modele stały się również mniej stronnicze, gdy otrzymały więcej osobistych informacji o kandydatach. W innym eksperymencie badacze poprosili modele o przesiedlenie członków różnych grup etnicznych do miast w Kanadzie. Kiedy modele otrzymały osobiste informacje istotne dla zdolności adaptacji do nowego miasta, takie jak wiek i wykształcenie, były mniej skłonne do segregowania ludzi według ich pochodzenia etnicznego. Jednak gdy podano im nieistotne informacje, takie jak kolor włosów i kształt tatuażu, modele w dużej mierze powróciły do sortowania ludzi według ich pochodzenia etnicznego.

Konsekwencje dla przyszłości rekrutacji

Stopień, w jakim systemy AI będą stereotypizować kandydatów do pracy w rzeczywistym świecie, pozostaje otwartym pytaniem. Chociaż modele w eksperymencie natychmiast dowiadywały się, czy dokonały udanych zatrudnień, model przesiewający CV w rzeczywistości nie otrzymuje natychmiastowej oceny. Firmy mogą potrzebować dużo czasu, aby dowiedzieć się, czy nowy pracownik jest dobry. Jednak gdy informacje zwrotne zaczną napływać, model może nadal nadinterpretować te wyniki przy podejmowaniu przyszłych decyzji rekrutacyjnych. W miarę jak firmy coraz częściej wdrażają LLM-y do przesiewania CV, a nawet przeprowadzania rozmów kwalifikacyjnych, odkrycie, że modele mogą tworzyć uprzedzenia na podstawie doświadczeń rekrutacyjnych, „jest naprawdę poważną implikacją, z którą powinny się zmierzyć” – podkreśla Wang.

Kiedy LLM-y uczą się na podstawie doświadczeń podejmowania decyzji o tym, kto zostanie zatrudniony, kto otrzyma pożyczkę lub kto zostanie zwolniony warunkowo, uprzedzenia, którymi powinniśmy się martwić, mogą obejmować te, których żaden człowiek nigdy ich nie nauczył. „Te nowe uprzedzenia – są one niejako wszechobecne” – podsumowuje Liu. W kontekście rosnącej autonomii i zdolności adaptacyjnych sztucznej inteligencji, zrozumienie i zarządzanie tymi nieoczekiwanymi źródłami stronniczości staje się kluczowe dla zapewnienia sprawiedliwości i etyki w systemach decyzyjnych opartych na AI.

Źródło: technologyreview.com