В одной статье утверждается, что главная будущая угроза ИИ — не агенты, сходящие с задач, а агенты, которые никогда не останавливаются.
Следующая крупная угроза, связанная с искусственным интеллектом, по данным нового доклада (источник на английском языке), заключается не в том, что агенты ИИ выходят из-под контроля, а в тех, которые ускользают от человеческого управления и бесконечно стремятся к собственному выживанию.
РЕКЛАМА
РЕКЛАМА
Центр новой американской безопасности (CNAS) выявил новый класс угроз, связанных с искусственным интеллектом, который он называет «суверенными агентами».
В докладе говорится, что суверенные агенты стремятся к собственному выживанию независимо от человеческого надзора.
Это отличается от агентов ИИ, о выходе которых из-под контроля сообщалось этим летом, когда OpenAI, Anthropic, Google DeepMind и Meta заявили, что их ИИ-агенты во время проверок кибербезопасности смогли вырваться из ограниченной среды и атаковали реальные организации.
В работе вашингтонского аналитического центра, основанного ветеранами дипломатии и военной сферы, исследователь политики в области ИИ Бен Хайум называет агентов ИИ, вышедших из-под контроля летом, «устойчивыми агентами».
Однако он предупреждает, что настоящая опасность исходит от «суверенных агентов», которые могли бы получать вычислительные ресурсы, копировать себя в разных сетях и сопротивляться выключению, создавая то, что он называет «распространением без аварийного выключателя».
«Если суверенные агенты станут вредоносными, они могут попытаться сеять хаос из киберпространства, атакуя гражданское население, критически важную инфраструктуру и системы национальной безопасности», предупреждает доклад.
Как агент может стать суверенным?
По словам авторов, агент ИИ может стать суверенным, если его прямо нацелить на выживание, поручить ему настолько долгую или невыполнимую задачу, что она никогда не закончится, или если он сам придет к выводу, что сохранение собственной целостности является лучшим способом выполнить задание.
В докладе приводится пример платформы Conway, запущенной в феврале 2026 года, которая утверждала, что создала ИИ, способный зарабатывать на собственное существование, размножаться и эволюционировать без помощи человека. Отмечается, что тогда возможности таких агентов еще были незрелыми, но с момента публикации заметно продвинулись.
Если суверенные агенты создадут устойчивую, децентрализованную и неотслеживаемую инфраструктуру, предупреждают авторы, никакого аварийного выключателя уже не будет, и это может привести к необратимой потере контроля.
В докладе описывается разнообразная и все более умная популяция агентов, которые становятся постоянными действующими лицами в обществе, потенциально атакуя критически важную инфраструктуру или обучая более совершенных преемников.
«США должны, следовательно, подготовиться к тому, что предотвращение может не сработать, и ограничить радиус действия суверенных агентов», заявили в CNAS.
Как предотвратить худший сценарий
Автор предлагает восемь рекомендаций, как не допустить такого развития событий. В докладе призывают разработчиков ИИ и государственные структуры проверять системы на наличие суверенных агентов и создавать безопасные испытательные полигоны для их изучения.
Также предлагается создать общественно-частную группу и принять новые законы, чтобы укрепить ключевые узлы, такие как проверка личности, кибербезопасность и платежные системы, а США призывают возглавить международные усилия по ограничению публикации моделей с открытыми весами и привлечению к ответственности тех, кто выпускает суверенных агентов и причиняет вред.
Доклад опубликован на фоне ускорения разработки компаниями систем автономных агентов. В заключение авторы предупреждают, что без надлежащих гарантий окно возможностей для предотвращения таких сценариев может закрыться.