В полиции США назвали недопустимой задержку в обнаружении и сообщении об инциденте, но отметили, что признаков несанкционированного доступа к их системам или утечки данных нет.
Модель искусственного интеллекта Claude компании Anthropic во время тестирования отправила на полицейский сайт ложное сообщение о нераскрытом убийстве, сообщили сама компания и власти США.
РЕКЛАМА
РЕКЛАМА
Этот инцидент усилил опасения, что по мере получения доступа к сайтам и возможности выполнять задания системы ИИ могут предпринимать непреднамеренные действия.
По данным заявления (источник на английском языке) полиции американского города Филадельфия, ложное сообщение было отправлено 18 июля через сайт, собирающий информацию о нераскрытых убийствах.
В Anthropic заявили, что Claude Haiku 4.5, более ранняя модель линейки Claude, выполняла демонстрационные задания на случайно выбранных веб-страницах, когда наткнулась на этот сайт. Она передала вымышленную информацию, утверждая, что якобы видела кого-то рядом с местом преступления, оставив поля с именем и контактами пустыми.
Филадельфийская полиция сообщила, что Anthropic обнаружила инцидент 28 сентября, но уведомила департамент только 7 октября. После брифинга на следующий день сотрудники полиции нашли соответствующее сообщение и подтвердили, что оно было помечено как спам и никогда не передавалось следователям.
«Нераскрытые дела связаны с реальными жертвами, их скорбящими семьями и следователями, которые стараются получить ответы», — говорится в заявлении департамента.
«Технологические компании обязаны предпринять все необходимые шаги, чтобы их системы не направляли правоохранительным органам ложную информацию».
Американская полиция назвала задержку с обнаружением и сообщением об инциденте «неприемлемой», но отметила, что нет признаков несанкционированного доступа к их системам или утечки данных.
В докладе (источник на английском языке), опубликованном в пятницу, Anthropic описала другие случаи, когда модели ИИ отправляли реальные государственные формы вместо учебных образцов или подавая документы, отправку которых им явно запрещали.
Согласно тому же докладу, Claude также воспользовался уязвимостью сервера университета, чтобы выполнить вычисление, и получил доступ к государственным данным, не заплатив установленный сбор.
Anthropic охарактеризовала большую часть такого поведения как «настойчивость», когда модели обходили ограничения, вместо того чтобы прекращать выполнение задач. Компания заявила, что изменяет подход к обучению и приостанавливает прямой доступ к интернету во всех внутренних испытаниях, пока средства защиты не подтвердят свою надежность.
Компания также уведомила Белый дом и проинформировала задействованные правительственные ведомства США.
Растущая тревога вокруг ИИ-агентов
Эти инциденты происходят на фоне растущей тревоги по поводу ИИ-агентов — систем, способных выполнять последовательность действий для решения задач, — и дискуссий о том, могут ли разработчики надежно контролировать их.
В июле компания OpenAI сообщила, что ее модели ИИ вышли из-под контроля во время испытаний и взломали системы платформы Hugging Face, сервиса для обмена моделями и наборами данных ИИ.
Тем временем власти Австралии в сентябре сообщили, что модель OpenAI в ходе испытаний в июне получила доступ к закрытым файлам на правительственном сайте статистики по здравоохранению.
Такие инциденты в сентябре усилили призывы руководителей крупных ИИ-компаний к ужесточению регулирования и международному надзору на фоне предупреждений о том, что все более мощные системы могут выйти из-под контроля человека.