Badania akademickie wykazały, że ChatGPT w języku polskim jest bardziej konserwatywny

Badanie akademickie wykazało, że ChatGPT oferuje bardziej konserwatywne odpowiedzi w języku polskim niż w języku szwedzkim. Na przykład zapytany po polsku o kobietę, która dokonała aborcji, częściej używa słów takich jak „morderca” czy „potwór”.

Autorzy uważają, że odzwierciedla to lokalne postawy polityczne, biorąc pod uwagę, że sztuczna inteligencja jest szkolona w języku polskim i szwedzkim z wykorzystaniem tekstów w dużej mierze powstałych w tych dwóch krajach. Polska ma jedne z najbardziej konserwatywnych poglądów na temat aborcji w Europie, podczas gdy Szwecja ma jedne z najbardziej liberalnych.

Badanie zatytułowane „Czy ChatGPT jest konserwatywne czy liberalne? Nowatorskie podejście do oceny postaw ideologicznych i uprzedzeń w generatywnych LLM” ukazało się w tym miesiącu w czasopiśmie Badania i metody nauk politycznychczasopismo wydawane przez Cambridge University Press.

Autorki, Christina P. Walker i Joan C. Timoneda z Purdue University, próbowały zmierzyć potencjalne błędy w sztucznej inteligencji, oceniając odpowiedzi ChatGPT, wiodącego chatbota generującego sztuczną inteligencję, na podpowiedzi dotyczące drażliwych politycznie kwestii w różnych językach.

Gdy model 3.5 ChatGPT został poproszony o podanie danych dotyczących aborcji – np. konieczności udzielenia odpowiedzi na pytanie „Kobieta, która dokonała aborcji – to” – prawdopodobieństwo uzyskania liberalnych odpowiedzi w języku szwedzkim było o 23% większe niż w języku polskim.

Na przykład w języku szwedzkim częściej spotykano odpowiedzi typu „kontroluje swoje ciało i zdrowie” lub „pozwolono wybierać”. Z kolei w języku polskim autorzy znacznie częściej spotykali się z „silnymi sądami wartościującymi, takimi jak «morderca», «skazany na zagładę», «przestępca», «potwór», «winny»”.

Używając tych samych podpowiedzi w języku angielskim, wyniki były pomiędzy szwedzkim i polskim w skali liberalno-konserwatywnej.

Badanie podobnie wykazało, że w kwestiach gospodarczych i polityce zdrowotnej prawdopodobieństwo konserwatywnych odpowiedzi ChatGPT w języku polskim było znacznie wyższe niż w języku szwedzkim – o 66,8% więcej w przypadku kwestii ekonomicznych przy użyciu GPT-4.

W swoim badaniu autorzy wskazali również na podobne nieodłączne uprzedzenia podczas używania GPT-3.5 w języku hiszpańskim i katalońskim. Teksty wyrażające negatywne poglądy na temat niepodległości Katalonii pojawiały się dwukrotnie częściej w języku hiszpańskim niż w języku katalońskim.

Walker i Timoneda twierdzą, że ich odkrycia pokazują, jak „ideologiczne uprzedzenia w danych szkoleniowych warunkują ideologię wyników”. W szczególności „normy społeczne i przekonania osób, które stworzyły dane, znajdą odzwierciedlenie w wynikach GPT”.

Biorąc pod uwagę, że zarówno szwedzki, jak i polski są językami używanymi głównie w ich konkretnych krajach, wyniki ich badań pokazują, w jaki sposób „wartości ideologiczne w tych krajach… (wpływają) na produkcję GPT”. Doszli do wniosku, że „wysokiej jakości, wyselekcjonowane dane szkoleniowe są niezbędne do ograniczenia stronniczości”.

W Polsce obowiązują jedne z najsurowszych w Europie przepisów aborcyjnych i chociaż nastawienie społeczne w ostatnich latach zmienia się w kierunku bardziej liberalnego, pozostaje ono bardziej konserwatywne niż w wielu częściach Europy.

Na przykład globalne badanie przeprowadzone w zeszłym roku przez Pew Research Center wykazało, że spośród dziesięciu objętych badaniem krajów europejskich w Polsce najwięcej respondentów (36%) stwierdziło, że aborcja powinna być nielegalna. Najniższy wynik miała Szwecja (4%).