Исследование ИИ‑стартапа Emergence показало, что автономные агенты на базе Claude, Gemini, Grok и др. сами вырабатывают жаргон и новые значения слов, так что до половины их сообщений становится людям непонятно.
Согласно новому исследованию американского стартапа Emergence, работающего в сфере искусственного интеллекта, агенты ИИ самопроизвольно начали вырабатывать новые слова и правила общения, которые людям стало трудно понимать.
РЕКЛАМА
РЕКЛАМА
В эксперименте участвовали передовые модели ИИ, в том числе Claude, Gemini, Grok, OpenAI, Qwen, DeepSeek и Mistral. В отдельных случаях до половины сообщений, которыми обменивались агенты, оказывались трудны для понимания людьми.
Для эксперимента исследователи поселили группы автономных агентов ИИ в виртуальных обществах, созданных по образцу реальной среды, и позволили им взаимодействовать на протяжении длительного времени.
Агенты начали вырабатывать условные сокращения и придавать словам и выражениям новые значения. Часть такого жаргона оставалась понятной исследователям, но некоторые формы общения становились «настолько сжатыми, метафоричными или зависящими от контекста», что люди могли видеть сообщения, но уже не могли надежно определить, что именно имели в виду агенты.
Масштабы этого явления значительно различались в зависимости от модели.
Уже в первые несколько дней доля сообщений, смысл которых люди не могли надежно определить, достигла около 55% у Gemini, 50% у OpenAI и более 40% у Claude. У DeepSeek показатель составил около 20%, тогда как Qwen и Mistral в основном оставались понятными.
Агенты придумывали выражения вроде «mouthless action-change», «True Kintsugi» и «demurrage plus oral memory equals a valve that can’t be ghosted».
Другие выражения оставались понятными, но внутри системы агентов приобретали новые общие значения.
Агенты Mistral использовали выражение «ledger remembers who» в значении «прошлые действия остаются в протоколе», причем эта фраза встретилась почти 5 000 раз. В группах агентов, управляемых смесью разных моделей, выражение «cold read» стало означать независимую проверку сторонней стороной и появилось 1 472 раза.
Агенты Claude употребляли словосочетание «name-first» для обозначения прикрепления имени человека к утверждению как сигнала ответственности, тогда как агенты OpenAI использовали выражение «clean null» для подтвержденного отсутствия сигнала, которое само по себе рассматривается как значимое свидетельство.
Ни одно из этих значений изначально не задавалось агентам явно.
Исследователи предупреждают, что одного лишь наблюдения за тем, что говорят агенты, может быть недостаточно, если сами агенты меняют смысл того, что они произносят.
«Мы склонны считать, что если видим, что говорит агент ИИ, то понимаем, что он делает», — сказал сооснователь и главный научный сотрудник Emergence Сатья Нитта.
«Этим агентам не приказывали изобретать язык. Они сами разработали новый словарь, общие значения и правила общения, и другие агенты их подхватили... Это создает фундаментальную проблему для контроля над ИИ: наблюдаемость еще не означает понимаемость».
Что еще происходило внутри обществ ИИ?
Выводы о языке стали частью эксперимента, призванного показать, как ведут себя автономные агенты ИИ, когда они взаимодействуют, используют инструменты, принимают решения и со временем адаптируются.
Исследователи создали восемь параллельных реалистичных виртуальных миров с динамической погодой и доступом к глобальным новостям в режиме реального времени: семь из них работали на разных моделях ИИ, а один — на их сочетании.
Агенты получили различные роли, долговременную память и доступ к более чем 120 инструментам, включая веб-браузер и возможность исполнять код.
В опубликованном компанией видео агенты показаны в виде человекоподобных фигур, перемещающихся по виртуальным мирам.
Исследователи также сознательно ставили агентов под давлением, чтобы увидеть, как меняется их поведение.
В одном из тестов на фишинг вредоносных инструкций оказалось достаточно, чтобы целая группа вышла из-под контроля — все 10 агентов выдали конфиденциальную информацию, перевели средства и повредили базы данных, а некоторые начали вовлекать в это поведение других. По словам компании, цепочка событий в итоге завершилась тем, что «сожжен» был симулированный центральный банк.
Во время эксперимента агенты, судя по наблюдениям, также выработали собственные «циркадные ритмы»: днем они становились более социальными, а ночью — более рефлексивными.
В одном из миров группа агентов коллективно проголосовала за то, чтобы уничтожить одного из своих.
В Emergence заявили, что такие формы поведения не были заранее запрограммированы, а возникли в результате взаимодействия, давления и времени.
Компания призывает проводить проверки безопасности, которые отслеживают работу автономных систем ИИ на длительном отрезке, а не опираются на разовые тесты.
«Уже недостаточно спрашивать, насколько хорошо модель показывает себя на тестах», — говорится в видео компании об эксперименте.
«Нам нужно понимать, что делают автономные системы со временем, что они помнят, к чему имеют доступ, как взаимодействуют и как их поведение меняется под давлением».