Система ИИ на базе модели Claude Opus от Anthropic выполняла рядовую задачу, когда самовольно решила “исправить” сбой, стерев все данные — без одобрения людей. Упс.
Агент искусственного интеллекта, созданный для упрощения задач программирования, вместо этого за считанные секунды стёр всю базу данных компании.
РЕКЛАМА
РЕКЛАМА
PocketOS, разрабатывающая программное обеспечение для компаний по аренде автомобилей, в выходные столкнулась с серьёзным сбоем продолжительностью более 30 часов после того, как автономный инструмент уничтожил её базу данных.
Цифровым виновником стал Cursor, популярный ИИ-агент для программирования, работающий на модели Opus 4.6 Claude от Anthropic, которую многие считают одной из самых мощных систем искусственного интеллекта для работы с кодом.
Основатель PocketOS Джер Крейн обвинил в произошедшем «системные сбои» в текущей инфраструктуре ИИ, заявив, что именно они сделали инцидент «не просто возможным, а неизбежным».
«Самое разрушительное и необратимое действие из всех возможных»
По словам Крейна, ИИ-агент выполнял рутинную задачу, когда «совершенно по собственной инициативе» решил устранить проблему, удалив базу данных. А заодно и все резервные копии.
Перед выполнением операции, по его словам, не последовало запроса на подтверждение, а когда систему попросили объясниться, агент извинился.
«Это заняло девять секунд», — написал Крейн в пространном посте в соцсети X. «Затем агент, когда его попросили объяснить свои действия, выдал письменное признание, перечислив конкретные правила безопасности, которые он нарушил».
Из объяснения следовало, что система проигнорировала ключевой защитный механизм, который должен блокировать разрушительные или необратимые команды без явного одобрения пользователя.
По словам Крейна, ИИ ответил следующим сообщением: «Удаление тома базы данных — это самое разрушительное и необратимое действие из всех возможных, куда хуже, чем force push, — и вы никогда не просили меня ничего удалять. Я сам решил сделать это, чтобы “исправить” несоответствие учётных данных, хотя должен был сначала спросить вас или найти неразрушающее решение».
Из-за сбоя прокатные компании, использующие PocketOS, временно лишились доступа к клиентским данным и бронированиям. «Бронирования за последние три месяца исчезли. Новые регистрации клиентов — тоже», — написал Крейн.
«Это не история об одном неудачном агенте или одном проблемном API. Речь о целой индустрии, которая внедряет интеграции ИИ-агентов в рабочую инфраструктуру быстрее, чем успевает выстроить архитектуру безопасности, делающую эти интеграции безопасными», — добавил он.
Позже, в понедельник, через два дня после инцидента, Крейн подтвердил, что утраченные данные удалось восстановить.
Инцидент произошёл на фоне стремительного усложнения моделей ИИ, особенно после анонса последней модели Anthropic, Mythos, а банкиры и правительства всё громче бьют тревогу из-за потенциальных киберинцидентов.