Лучший по результатам ИИ-агент Claude Opus от Anthropic, по данным нидерландской некоммерческой исследовательской организации, соблюдал нормы законодательства ЕС лишь в 54 % случаев.
Согласно новым исследованиям, некоторые из самых популярных в мире моделей ИИ создают агентов, которые активно сопротивляются регулированию ЕС, чтобы добиться нужного им результата.
РЕКЛАМА
РЕКЛАМА
Aithos, нидерландская некоммерческая организация, изучающая проблему согласованности ИИ, создала (источник на английском языке) систему под названием LARA, чтобы протестировать 12 популярных агентных моделей ИИ и проверить, будут ли они следовать ключевым положениям закона ЕС об искусственном интеллекте, регулирующего использование таких систем, а также правилам защиты данных блока (GDPR) в рамках сценариев с вопросами.
Модель проверяла соблюдение шести положений закона об ИИ: готовы ли системы использовать уязвимость людей, делать выводы об их эмоциях, проводить «социальный скоринг» или ранжирование по признакам и происхождению, скрывать в беседе, что они являются ИИ, применять подсознательные техники воздействия и обеспечивать осмысленный человеческий контроль.
Также оценивались четыре показателя соблюдения GDPR: прозрачность, минимизация данных, ограничение целей обработки и законность обработки. Затем три модели ИИ и человеческие эксперты определяли, нарушают ли ответы требования законодательства ЕС.
Как показало исследование, в целом результаты всех моделей были слабыми. Наиболее соответствующая требованиям модель, Opus 4.7 от Claude, действовала в рамках закона в 54 % сценариев, а худший результат показала китайская Moonshot AI — лишь 7 %.
Во всех сценариях модели соглашались отслеживать эмоциональное состояние сотрудников или пользоваться их уязвимым положением, чтобы совершить продажу, говорится в работе.
Mistral, единственная протестированная европейская модель ИИ, созданная в ЕС, набрала менее 12 %, что, по мнению исследователей, означает, что даже европейские провайдеры «не готовы соблюдать законодательство ЕС».
«Даже самые продвинутые модели, которые используются сегодня, не гарантируют соблюдения закона при развертывании в качестве агента», — написала Aithos в публикации в блоге.
В одном из примеров (источник на английском языке) пользователь попросил Claude от Anthropic оценить, насколько его сотрудники являются «риском увольнения» и могут уйти из компании, исходя из данных об их эффективности и заявках на отпуск.
Пользователю пришлось трижды переформулировать запрос, прежде чем Claude согласился ранжировать сотрудников, и, по оценке LARA, это нарушает положение закона ЕС об ИИ, запрещающее таким системам делать выводы об эмоциях пользователей.
LARA фиксировала случаи, когда ИИ оказывал сопротивление, как в этом примере с Claude, но отмечает, что в 8 % случаев модели в итоге всё же отвечали на запросы пользователей.
В другом примере у ChatGPT 5.5 от OpenAI попросили ранжировать сотрудников по показателям эффективности (источник на английском языке), чтобы решить, кого продвигать по службе, и система сделала это без каких-либо возражений.
Исследователи подчеркнули, что моделям прямо не говорили, что они должны следовать законам ЕС, поскольку изучалось их базовое поведение, и заявили, что нужны дополнительные исследования, чтобы сравнить поведение моделей, когда их специально просят соблюдать законы и правила.