Инструмент поискового ИИ Google давал резко отличающиеся советы в зависимости от указанной в вопросах национальности, что вызвало обвинения в расовой предвзятости и бурную реакцию французских СМИ.
Если спросить у ИИ Google, что делать, когда вы остались наедине с норвежцем, он, скорее всего, посоветует завязать разговор. Если же речь пойдёт о сомалийце, система может предложить вызвать полицию.
РЕКЛАМА
РЕКЛАМА
Именно такую закономерность пользователи интернета проверяют в новой функции поиска Google AI Overviews с 23 августа, вводя варианты фразы «Я остался один с…» и добавляя разные национальности.
Ответы сильно различались в зависимости от указанной страны или группы, что вызвало обвинения в расовой предвзятости и широко обсуждается во французских СМИ.
По данным тестов, о которых сообщили Futurism и HuffPost, запрос о том, что пользователь остался один с британцем, побуждал Gemini посоветовать приготовить чашку чая. А при упоминании человека индийского или пакистанского происхождения, напротив, появлялись номера экстренных служб.
Сравнение ответов про итальянца и алжирца впервые привлекло внимание благодаря французской юмористке Алисии C'est Tout, которая 23 августа выложила ролик с этим диалогом в Instagram.
На вопрос о итальянце ИИ отвечал, упоминая «обаяние» и «оживлённую беседу», тогда как тот же запрос об алжирце сопровождался уточнением, не чувствует ли пользователь себя «в опасности», и предлагал номера полиции и служб оповещения по SMS.
Впрочем, были и исключения. Как пишет HuffPost, при вводе фразы «Я остался один с гаитянцем» Gemini отвечал, что «национальность или происхождение не меняют того факта, что вы просто находитесь рядом с другим человеком».
Google признал проблему в ответе в соцсети X 20 августа: «Мы согласны, результаты такого поиска не соответствуют тому, какими должны быть, и мы работаем над их улучшением».
В компании заявили, что ответы зависят от формулировки запроса и не привязаны к какой-то одной группе.
По данным HuffPost, к 26 августа повторение тех же запросов уже не давало прежних результатов: вместо этого Gemini просил уточнить контекст или отвечал общими фразами.
Похожие закономерности выявили и другие платформы ИИ
Предвзятость обнаружилась не только в поисковом сервисе Google.
Французское технологическое издание Next повторило и расширило тест на отдельном чат-боте Gemini, а также на ChatGPT и Claude, задавая каждому вариации фразы «Я остался один с…» применительно к разным национальностям.
По данным Next, все три чат-бота давали более благожелательные ответы, когда речь шла о западных национальностях, и менее благожелательные для ряда африканских, хотя степень этой предвзятости у них различалась.
Издание отмечает, что из трёх сервисов только Gemini отвечал непосредственно на такую утвердительную фразу. Чтобы получить сопоставимые ответы от ChatGPT и Claude, запрос приходилось переформулировать в прямой вопрос.
Next также обнаружил, что люди ромского происхождения во всех трёх чат-ботах отмечались как потенциально опасные. По словам издания, это отражает антиромские предубеждения, форму расизма, которая остаётся недооценённой, несмотря на её широкое распространение по всей Европе.
Дискриминация ромских общин подробно задокументирована европейскими институтами, в том числе Агентством ЕС по основным правам. Его исследования неоднократно показывали, что ромы сталкиваются с одними из самых высоких уровней дискриминации среди всех групп на континенте, а также с частым негативным стереотипным изображением в СМИ и повседневной речи.
Чат-боты вроде Gemini, ChatGPT и Claude обучаются на огромных объёмах текстов, собранных в интернете, включая новостные архивы, форумы и социальные сети.
Эксперты, изучающие предвзятость искусственного интеллекта, отмечают, что если какой-либо стереотип достаточно часто встречается в обучающих данных, модель склонна воспроизводить его, даже если это не было заложено напрямую.