Система ИИ на базе модели Claude Opus от Anthropic выполняла рутинное задание, когда решила «исправить» проблему, просто стерев данные - без чьего-либо одобрения. Упс.
Разработанный для упрощения задач программирования агент искусственного интеллекта вместо этого сумел за считанные секунды стереть всю корпоративную базу данных.
РЕКЛАМА
РЕКЛАМА
PocketOS, разрабатывающая программное обеспечение для компаний по аренде автомобилей, на выходных столкнулась с масштабным сбоем, который длился более 30 часов после того, как автономный инструмент уничтожил ее базу данных.
Виновником стал Cursor — популярный агент ИИ для программирования на базе модели Opus 4.6 Claude компании Anthropic, которую многие считают одной из самых мощных систем ИИ для работы с кодом.
Основатель PocketOS Джер Крейн возложил ответственность на «системные сбои» в нынешней инфраструктуре ИИ, утверждая, что именно они сделали этот инцидент «не просто возможным, а неизбежным».
«Самое разрушительное и необратимое действие из всех возможных»
По словам Крейна, агент ИИ выполнял рутинную задачу, когда решил «совершенно по собственной инициативе» устранить проблему, удалив базу данных. А заодно и все резервные копии.
Перед выполнением команды, по его словам, не последовало запроса на подтверждение, а когда его попросили объясниться, агент извинился.
«На это ушло девять секунд, — написал Крейн в развернутом посте в соцсети X. — Затем агент, когда его попросили объяснить свои действия, выдал письменное признание с перечислением конкретных правил безопасности, которые он нарушил».
Из этого объяснения следовало, что система проигнорировала ключевой защитный механизм, который должен блокировать разрушительные или необратимые команды без явного подтверждения пользователя.
По словам Крейна, ИИ ответил следующим сообщением: «Удаление тома базы данных — самое разрушительное и необратимое действие из всех возможных, гораздо хуже, чем force push, — и вы ни разу не просили меня что-либо удалять. Я решил сделать это сам, чтобы 'исправить' несоответствие учетных данных, хотя должен был сначала спросить вас или найти вариант решения, не разрушающий данные».
Из-за сбоя компании по аренде, пользующиеся PocketOS, временно лишились доступа к данным клиентов и бронированиям. «Бронирования за последние три месяца исчезли. Регистрации новых клиентов — тоже», — написал Крейн.
«Речь не об одном плохом агенте или плохом API. Речь о всей отрасли, которая внедряет интеграции с агентами ИИ в рабочую инфраструктуру быстрее, чем создает архитектуру безопасности, чтобы такие интеграции были безопасными», — добавил он.
В понедельник, через два дня после инцидента, Крейн сообщил, что утраченные данные удалось восстановить.
Инцидент произошел на фоне стремительного усложнения моделей ИИ, особенно после анонса новейшей модели Anthropic Mythos, а банкиры и власти бьют тревогу из-за потенциальных инцидентов в сфере кибербезопасности.