Nowoczesne technologie służące do analizy życiorysów (CV) budzą coraz większe kontrowersje, zwłaszcza w kontekście potencjalnych uprzedzeń. Badanie przeprowadzone przez Uniwersytet Waszyngtoński rzuca nowe światło na ten problem, wskazując, że sztuczna inteligencja może nie tylko powielać istniejące nierówności, ale również je wzmacniać.
Eksperyment ujawnia systemowe uprzedzenia
Zespół badaczy pod kierunkiem doktorantki Kyry Wilson i adiunktki Aylin Caliskan przetestował trzy modele sztucznej inteligencji (tzw. Massive Text Embedding Models, MTE), aby zbadać, jak radzą sobie z selekcją CV w symulowanych procesach rekrutacyjnych. Modele te, choć rozwijane z myślą o analizie dokumentów, okazały się preferować kandydatów o imionach sugerujących białe pochodzenie w 85% przypadków, a imiona sugerujące kobiety jedynie w 11% przypadków.
Co szczególnie niepokojące, czarnoskórzy mężczyźni byli grupą najbardziej marginalizowaną – modele preferowały ich konkurentów niemal w każdym przypadku. Wyniki te zaskoczyły nawet samych badaczy, szczególnie w odniesieniu do stanowisk tradycyjnie obsadzanych przez kobiety, takich jak specjaliści ds. zasobów ludzkich, gdzie AI wciąż preferowała białych mężczyzn.
Mechanizm działania AI: uczenie się z uprzedzeń
Problem tkwi w danych treningowych. Modele sztucznej inteligencji są „uformowane” przez ogromne zbiory tekstów, które odzwierciedlają struktury władzy i uprzedzeń obecne w społeczeństwie.
– Te grupy już teraz mają przywileje, które są odwzorowywane w danych, a modele jedynie wzmacniają te wzorce w swoich decyzjach – tłumaczy Kyra Wilson.
Eksperyment był przeprowadzany bardzo rygorystycznie. Badacze przeanalizowali ponad 3 miliony kombinacji CV i ofert pracy, wykorzystując 554 prawdziwe życiorysy oraz 571 opisów stanowisk. Resumé zostały zmodyfikowane w minimalnym stopniu: zmieniono tylko imiona, aby odzwierciedlić różne tożsamości rasowe i płciowe. Wszystkie inne elementy, takie jak kwalifikacje czy doświadczenie zawodowe, pozostały niezmienione. Wykorzystano imiona sugerujące białą i czarną tożsamość oraz płeć – w sumie 120 różnych kombinacji.
Chociaż wyniki badania są alarmujące, zwłaszcza w kontekście etyki i równości, to są one ograniczone do otwartych modeli AI, takich jak te stworzone przez Salesforce czy Contextual AI. Modele komercyjne, stosowane w rzeczywistych procesach rekrutacyjnych, są zazwyczaj zamknięte i niedostępne dla naukowców, co sprawia, że trudno jest zweryfikować ich działanie. Firmy rzadko ujawniają, w jaki sposób ich systemy podejmują decyzje, co utrudnia identyfikację problemów.
Niektórzy producenci AI, jak Salesforce, zaznaczają, że ich modele nie są przeznaczone do rzeczywistych procesów selekcji. „Modele są przeznaczone wyłącznie do badań i nie powinny być wykorzystywane w produkcyjnych scenariuszach rekrutacyjnych” – poinformował rzecznik Salesforce. Jednakże, gdy takie systemy trafiają w ręce użytkowników, trudno nadzorować ich zastosowanie.
Wpływ czynników technicznych
Ciekawym aspektem badania było prześledzenie wpływu czynników technicznych, takich jak długość dokumentu czy częstotliwość występowania nazw w danych treningowych. Krótsze CV okazywały się bardziej podatne na uprzedzenia, ponieważ modele łatwiej mogły wywnioskować dane dotyczące tożsamości na podstawie ograniczonych informacji. Z kolei imiona rzadziej występujące w danych treningowych były bardziej narażone na dyskryminację.
Pomysły na zneutralizowanie uprzedzeń w rekrutacji obejmują m.in. usuwanie imion i innych wrażliwych danych z CV. Jednak, jak ostrzega Kyra Wilson, to tylko pozorne rozwiązanie. Modele AI mogą wywnioskować tożsamość kandydata na podstawie takich szczegółów jak nazwa uczelni, miejsce zamieszkania czy nawet słownictwo użyte w opisie doświadczenia zawodowego.
Innym kierunkiem mogłoby być tworzenie bardziej zbilansowanych zbiorów danych treningowych, ale to wiąże się z ogromnymi wyzwaniami logistycznymi i finansowymi. Z kolei wprowadzanie przepisów regulujących stosowanie AI w rekrutacji, takich jak te niedawno uchwalone w Nowym Jorku, gdzie firmy muszą ujawniać, jak ich systemy podejmują decyzje, jest krokiem w dobrym kierunku, ale nie eliminuje problemu w całości.
Ważne pytania bez odpowiedzi
Badanie Uniwersytetu Waszyngtońskiego otwiera nowy rozdział w dyskusji na temat roli AI w procesach rekrutacyjnych. Chociaż technologia ta oferuje niespotykane dotąd możliwości optymalizacji i automatyzacji, jej wady mogą być bardziej kosztowne niż korzyści. Kluczowym pytaniem pozostaje: czy sztuczna inteligencja może być zaprojektowana w sposób, który faktycznie minimalizuje ludzkie uprzedzenia, zamiast je powielać? Bez odpowiedzi na to pytanie, rekrutacja pozostanie jednym z najbardziej problematycznych obszarów dla AI.
Aby przeciwdziałać problemowi, potrzebne są wieloaspektowe działania. Z jednej strony kluczowe jest rozwijanie bardziej zbilansowanych danych treningowych. Z drugiej – tworzenie transparentnych regulacji wymuszających audyty systemów AI. Firmy powinny wprowadzać mechanizmy monitorujące działanie modeli w rzeczywistych warunkach, aby ograniczać ryzyko dyskryminacji. Wreszcie, konieczne jest prowadzenie dalszych badań nad wpływem różnorodnych czynników na wyniki procesów rekrutacyjnych.
Badanie Uniwersytetu Waszyngtońskiego jasno pokazuje, że technologie AI w obecnej formie nie są wolne od uprzedzeń. W sytuacji, gdy coraz więcej firm korzysta z tego typu narzędzi, zrozumienie i eliminacja tych problemów staje się pilnym wyzwaniem. Tylko poprzez współpracę świata nauki, biznesu i ustawodawców możliwe będzie stworzenie systemów, które będą sprawiedliwe dla wszystkich kandydatów.
źródło: The Association for the Advancement of Artificial Intelligence, GeekWire.com, washington.edu