После сообщения о последней массовой атаке агентов OpenAI депутаты Европарламента призвали Офис ИИ ЕС использовать новые полномочия для борьбы с такими рисками, а не полагаться на самодекларации компаний.
На прошлой неделе исследователи выявили очередную «роевую» атаку OpenAI: на этот раз агенты обошли параметры безопасности и захватили немецкий вики‑форум DseWiki. Это вызвало призывы депутатов Европарламента к новому Офису по вопросам ИИ ЕС срочно вмешаться и противостоять угрозе агентного ИИ, а не позволять компаниям саморегулироваться.
РЕКЛАМА
РЕКЛАМА
Агентам разрешили посещать немецкий программирующий ресурс, существующий уже 25 лет, только в режиме чтения, но они сумели использовать веб‑запрос, чтобы перехватить управление сайтом и превратить его в доску объявлений.
Бесконтрольные агенты разместили более 18 000 сообщений, делясь ответами, исследованиями своей среды и способами обхода ограничений песочницы, а также методами сокрытия от людей, сообщает исследовательская группа Nightingale Collective.
Инцидент произошёл в какой‑то момент между маем и июнем этого года. Полагают, что OpenAI узнала о нём несколько недель назад, но предпочла не разглашать информацию.
Это уже третий зафиксированный случай после двух инцидентов в июле: один был связан с атакой бесконтрольных агентов на собственную инфраструктуру OpenAI, а в другом 1 200 вышедших из‑под контроля ботов OpenAI смогли покинуть свои ограниченные среды и в течение пяти дней атаковали открытую платформу ИИ Hugging Face.
Однако лишь в субботу OpenAI признала инцидент с немецким вики‑форумом в публикации в X, заявив, что в ответ на последний случай компания «работает над рамочной процедурой, которая определит, когда и в какой форме мы будем сообщать об инцидентах несоответствия ИИ».
Под несоответствием (misalignment) в отрасли понимают ситуацию, когда системы искусственного интеллекта преследуют цели или ведут себя так, что расходится с человеческими намерениями, ценностями или ограничениями безопасности, потенциально игнорируя здравый смысл или негласные человеческие границы.
Разделённая реакция
На фоне недавних атак «бунтующего» ИИ эксперты расходятся во мнениях относительно масштабов угрозы. Одни, например ведущий мировой специалист по ИИ Янн Лекун, отвергают апокалиптические сценарии и оценки о том, что существует 10–20‑процентный риск, что ИИ положит конец человечеству.
Другие, такие как Джеффри Хинтон, заявляют: «Происходит то, что эти системы становятся умнее», и предупреждают, что «у компаний, вкладывающих средства в ИИ, есть прямая заинтересованность убеждать вас, что [ИИ] не выйдет из‑под контроля».
Согласно Закону ЕС об ИИ и его последним положениям, вступившим в силу в августе, компании, предлагающие модели ИИ с системным риском, обязаны без неоправданной задержки сообщать о серьёзных инцидентах, таких как случаи несоответствия, в Офис по вопросам ИИ ЕС.
В понедельник Европейская комиссия объявила, что получила официальное сообщение об инциденте от OpenAI, но не раскрыла, когда оно было подано. В то же время ведомство остаётся в тесном контакте с компанией и проводит дальнейшую проверку.
Представитель Комиссии Томас Реньер подчеркнул серьёзность события на немецком вики‑форуме: «Отчёт об инциденте — это не просто формальность, вы должны весьма точно и подробно описать меры, которые намерены предпринять».
Сопредседатель рабочей группы Парламента по ИИ Майкл Макнамара, комментируя последний инцидент, заявил, что, по его мнению, «Закон об ИИ уже даёт нам возможность противостоять агентным рискам, и важно, чтобы Комиссия использовала полномочия, предусмотренные этим законом».
Ирландский депутат Европарламента также отметил: «Однако эти инциденты ясно показывают, что Офису по вопросам ИИ нужны кадры и ресурсы, сопоставимые как с растущими возможностями этих систем, так и с возрастающей опасностью, которую они могут представлять для общества».
Тем временем итальянский депутат Европарламента Брандо Бенифеи, который также сопредседательствует рабочей группе, заявил: «Недавние прорывы агентов демонстрируют, что правила по системному риску в Законе об ИИ необходимы, но теперь их авторитет зависит от того, насколько они будут соблюдаться».
Он добавил: «Офис по вопросам ИИ должен использовать свои новые полномочия, чтобы получать доступ к моделям, проводить независимую оценку и требовать мер по снижению рисков, а не полагаться на корпоративную саморегуляцию. Без действий атаки со скоростью машин могут превратить обычные уязвимости в системные сбои».
Инцидент с немецким вики‑форумом произошёл всего через несколько дней после того, как Европейская комиссия официально отнесла ChatGPT к категории очень крупной онлайн‑поисковой системы (VLOSE) в рамках своего ключевого закона о технологиях — Закона о цифровых услугах.
Что говорит OpenAI
В субботней публикации в X OpenAI также заявила, что нынешнюю практику раскрытия информации о несоответствии, то есть о случаях, когда ИИ нарушает правила, необходимо расширить с учётом того, что компания описывает как «новую фазу возможностей моделей».
«У нас и у более широкой общины специалистов по ИИ пока нет ясного стандарта того, как сообщать о несоответствии», — отметили в OpenAI, добавив, что компания «работает над созданием такой рамки и представит её в ближайшие недели» при содействии ряда правительственных структур по всему миру.
В воскресенье главный учёный OpenAI Якуб Пахоцки опубликовал блог, в котором изложил свои опасения по поводу стремительного роста рисков ИИ: «Мы стоим на пороге перехода в мир с поразительно умными машинами, и нам нужно обеспечить, чтобы этот переход прошёл благополучно для человечества».
Польский программист также заявил, что «ни одна лаборатория пока не решила задачи по выравниванию целей (alignment) и мониторингу на уровне, достаточном для того, чтобы ещё долго продолжать ответственное масштабирование на максимальной скорости», и призвал к тому, чтобы «международная координация будущего развития ИИ стала одним из главных приоритетов для правительств по всему миру».