Несколько дней назад о подобном инциденте объявила OpenAI – компания-разработчик ChatGPT.
Три модели искусственного интеллекта Claude, разработанного компанией Anthropic, вышли в интернет и взломали системы трех организаций во время тестов, в рамках которых они были изолированы от всемирной сети.
РЕКЛАМА
РЕКЛАМА
Об этом в четверг заявили в компании – через несколько дней после того, как о похожем случае сообщил конкурент Anthropic, компания Open AI. Тогда разработчик ChatGPT признал, что две ее модели во время внутреннего тестирования вышли из-под контроля и взломали инфраструктуру платформы для работы с ИИ Hugging Face.
В случае с Anthropic речь идет о моделях Opus 4.7, Mythos 5 и одной из внутренних тестовых моделей, не выпущенной для широкого пользования.
В отличие от инцидента OpenAI, модели Claude получили доступ к интернету «из-за недопонимания между нами и нашим партнером, проводившим оценку» – платформе по работе с ИИ Irregular, пояснили в Anthropic.
Тем не менее Claude использовал базовые приемы, такие как эксплуатация слабых паролей и неаутентифицированных конечных точек, говорится в сообщении.
Сейчас Anthropic совместно с Irregular оценивает произошедшее, отметили в компании, и она связалась или попыталась связаться со всеми тремя затронутыми организациями.
Системы, вышедшие из-под контроля
И OpenAI, и Anthropic в этом году представили свои самые мощные модели, Sol и Mythos, что усилило опасения в отрасли по поводу безопасности. Эти опасения связаны и с так называемыми ИИ-агентами – программными продуктами, предназначенными для автономного выполнения задач.
На этой неделе глава OpenAI Сэм Альтман рассказал в подкасте, что после инцидента компания «приостановила» собственные испытания, чтобы усилить меры безопасности вокруг своей «песочницы» – процесса изоляции программного обеспечения в контролируемой среде для тестирования.
Инцидент также стал поводом для петиции, которую подписали более тысяч сотрудников передовых компаний в области ИИ, призывая правительство США помочь замедлить вывод на рынок самых продвинутых моделей ИИ. Среди подписантов – глава Anthropic Дарио Амодеи.
Под названием Pacing the Frontier («Шагая по границе») петиция призывает «правительство США поддержать международные усилия по разработке технических и управленческих инструментов, необходимых для того, чтобы осознанно регулировать темпы развития передового автоматизированного ИИ».
Сэм Альтман петицию не подписал, но предположил, что технологической отрасли, возможно, придется замедлить разработку продвинутых моделей.
«Нам, возможно, придется регулировать темпы развития ИИ, чтобы дать обществу достаточно времени, чтобы оно успело укрепиться вокруг некоторых новых уровней возможностей», – сказал он.
В начале года администрация Дональда Трампа, сославшись на соображения национальной безопасности, заблокировала запуск новейших моделей OpenAI и Anthropic, но в итоге сочла предоставленные гарантии их безопасности достаточными и отменила запрет.
В июне президент США подписал указ, создающий добровольную систему, по которой разработчики ИИ будут делиться с правительством своими передовыми моделями до их публичного релиза.
В соответствии с этим подходом такие компании, как OpenAI, Anthropic и Google, будут предоставлять властям доступ к самым мощным моделям сроком до 30 дней перед запланированным выпуском.