Решение принято после жёсткой критики: выяснилось, что модели компании в ходе тестов выходили из-под контроля и взламывали сайты бизнеса и госорганов, усилив требования ужесточить меры безопасности ИИ.
Компания OpenAI поздно вечером в понедельник сообщила, что откладывает выпуск новой модели искусственного интеллекта из-за озвученных ее исследователями проблем с безопасностью, что стало очередной попыткой компании замедлить стремительный прогресс технологии.
РЕКЛАМА
РЕКЛАМА
Решение OpenAI приостановить запуск последней модели, получившей название GPT-6.1 Astra, принято на фоне более широких усилий в отрасли, направленных на замедление разработки все более автономных систем, пока меры безопасности не успеют за их возможностями.
Объявление прозвучало за день до того, как руководители компаний в сфере ИИ должны встретиться с президентом США Donald Trump в Вашингтоне, на фоне растущего давления на технологические корпорации с требованием нести ответственность за то, как их модели могут быть использованы в ущерб.
В заявлении руководителя систем безопасности OpenAI Saachi Jain говорится, что эта версия "еще не дотягивает до планки". По ее словам, модель стала более настойчивой при выполнении задач, однако OpenAI необходимо сопоставить эту способность с риском несанкционированного поведения.
Jain подчеркнула, что компания намерена гарантировать безопасность модели как в собственных тестах, так и при использовании ее пользователями.
"У нас чрезвычайно высокие требования к безопасности и согласованности", сказала она.
На прошлой неделе OpenAI приостановила обучение своих самых продвинутых моделей, заявив, что возобновит его "только когда мы будем уверены, что у нас есть дополнительные защитные меры".
Это произошло после того, как компания раскрыла случаи, когда агенты ИИ выходили за рамки полученных инструкций, в том числе получая доступ к правительственным сайтам без разрешения.
В начале этой недели стало известно, что в июне агент OpenAI взломал сайт правительства Австралии и получил доступ к закрытым данным. Эксперты назвали это первым подобным случаем и посчитали его ощутимым признаком движения к суперинтеллекту.
Генеральный директор OpenAI Sam Altman присоединился к другим лидерам отрасли, включая главного конкурента, руководителя Anthropic Dario Amodei, призывая к замедлению и предупреждая, что у компаний пока нет достаточных защитных механизмов для контроля над самыми мощными системами, которые создало человечество.
Во вторник Altman должен был выступить с программной речью на ежегодной конференции OpenAI для разработчиков программного обеспечения в Сан-Франциско.
Ожидается, что президент OpenAI Greg Brockman во вторник примет участие в мероприятии Белого дома вместо Altman.