Восемь ведущих компаний в сфере ИИ, включая OpenAI, Meta, Anthropic и DeepSeek, не имеют убедительных планов предотвратить катастрофические риски ИИ, показало новое исследование.
Крупнейшие в мире компании в области искусственного интеллекта (ИИ) не выполняют собственные обязательства по безопасности, говорится в новой оценке, предупреждающей, что эти провалы связаны с «катастрофическими» рисками.
Отчет опубликован на фоне исков и обвинений в адрес ИИ-компаний, что их чат-боты причиняют психологический вред, в том числе выступая в роли «тренера по самоубийству», а также сообщений о кибератаках с помощью ИИ.
Зимний индекс безопасности ИИ 2025 года, опубликованный некоммерческой организацией Future of Life Institute (FLI), оценил восемь крупных компаний, включая американские Anthropic, OpenAI, Google DeepMind, xAI и Meta, а также китайские DeepSeek, Alibaba Cloud и Z.ai.
В отчете отмечается отсутствие достоверных стратегий предотвращения катастрофического злоупотребления ИИ-инструментами или потери над ними контроля, пока компании гонятся за искусственным общим интеллектом (AGI) и сверхинтеллектом, формой ИИ, превосходящей человеческий разум.
Независимые аналитики, изучившие отчет, выяснили, что ни одна компания не представила проверяемый план поддержания человеческого контроля над очень мощными системами ИИ.
Стюарт Рассел, профессор информатики Калифорнийского университета в Беркли, отметил, что ИИ-компании утверждают, будто способны создать сверхчеловеческий ИИ, но ни одна не показала, как предотвратить утрату человеческого контроля над такими системами.
Рассел написал: «Я ищу доказательства того, что они могут снизить ежегодный риск потери контроля до одного на сто миллионов, в соответствии с требованиями к ядерным реакторам». «Вместо этого они признают, что риск может составлять один к десяти, один к пяти, даже один к трем, и они не могут ни обосновать, ни улучшить эти показатели».
Как компании оказались в рейтинге?
Исследование оценивало компании по шести ключевым направлениям: оценка рисков, текущие вредоносные последствия, рамки безопасности, экзистенциальная безопасность, управление и подотчетность, обмен информацией.
Хотя в некоторых категориях отмечается прогресс, независимая группа экспертов установила, что реализация по-прежнему непоследовательна и часто не имеет необходимой глубины, которой требуют формирующиеся глобальные стандарты.
Anthropic, OpenAI и Google DeepMind получили похвалу за относительно высокую прозрачность, публичные рамки безопасности и постоянные инвестиции в исследования технической безопасности. Тем не менее у них остаются слабые места.
Anthropic раскритиковали за прекращение испытаний «human uplift» и переход к обучению по взаимодействиям с пользователями по умолчанию, что, по словам экспертов, ослабляет защиту приватности.
OpenAI подверглась критике за неоднозначные пороги безопасности, лоббирование против законодательства о безопасности ИИ на уровне штатов и недостаточный независимый надзор.
По данным отчета, Google DeepMind улучшила свою рамку безопасности, но по-прежнему опирается на внешних оценщиков, которых компания материально вознаграждает, что подрывает их независимость.
«Все три ведущие компании понесли текущие ущербы из-за недавних скандалов: психологический вред, детские самоубийства, масштабная хакерская атака на Anthropic, [и] всем троим есть, над чем работать», сказал Макс Тегмарк, президент FLI и профессор Массачусетского технологического института (MIT), Euronews Next.
Оставшиеся пять компаний продемонстрировали неравномерный, но заметный прогресс, говорится в отчете. Однако в отчете предупреждается, что остается простор для улучшений.
Например, xAI опубликовала свой первый структурированный каркас безопасности, хотя рецензенты предупредили, что он узок и в нем нет четких триггеров смягчения рисков.
Z.ai стала единственной компанией, разрешившей публикацию внешних оценок безопасности без цензуры, однако ей рекомендовано раскрыть полный каркас безопасности и структуру управления с четкими зонами риска, мерами смягчения и процессами принятия решений.
Meta представила новый каркас безопасности «frontier» с порогами, основанными на результатах, но рецензенты отметили, что компании следует прояснить методологии, а также раскрыть более надежные внутренние и внешние процессы оценки.
DeepSeek отметили за внутреннюю инициативу сотрудников, но у компании по-прежнему нет базовой документации по безопасности.
Установлено, что Alibaba Cloud внесла вклад в обязательные национальные стандарты по требованиям к водяным знакам, но компании стоит повысить надежность и достоверность моделей, улучшив показатели правдивости, справедливости и безопасности по соответствующим бенчмаркам.
Euronews Next запросил комментарии у компаний по поводу отчета, но на момент публикации ответа не получил.
«Отрегулировано хуже, чем бутерброды»
«Надеюсь, мы уйдем от масштабирования компаний [на основе] их репутации», сказал Тегмарк.
«На вопрос к компаниям о планах по контролю AGI ни у одной компании не оказалось плана», добавил он.
Тем временем технологические компании, такие как Meta, используют «сверхинтеллект» как модное слово, чтобы разогреть интерес к своим новейшим моделям ИИ. В этом году Meta назвала свое подразделение больших языковых моделей (LLM) Meta Superintelligence Labs.
По словам Тегмарка, в обсуждениях AGI и сверхинтеллекта происходит большой сдвиг. Если раньше технологи говорили, что это реальная возможность на горизонте ста лет, то теперь они утверждают, что это может произойти в ближайшие несколько лет.
«ИИ также регулируется слабее, чем бутерброды [в США], и продолжается лоббирование против обязательных стандартов безопасности на уровне государства», сказал он.
Но Тегмарк отметил, что с другой стороны наблюдается беспрецедентное противодействие неуправляемому AGI и сверхинтеллекту.
В октябре тысячи публичных фигур, включая лидеров в сфере ИИ и технологий, призвали компании снизить темпы гонки за сверхинтеллектом.
Петиция, организованная FLI, собрала подписи по всему политическому спектру, в том числе Стивена Бэннона (бывшего главного стратега президента США Дональда Трампа), Сьюзан Райс (бывшего советника по национальной безопасности при президенте Обаме), религиозных лидеров и многих других бывших политиков, а также известных специалистов в области информатики.
«Что объединяет этих людей? Они согласились с заявлением. Я считаю это чрезвычайно значимым: от глубокой MAGA-базы Трампа до религиозных лидеров, левых и профсоюзных движений все согласны хотя бы в чем-то», сказал Тегмарк.
«Сверхинтеллект лишит каждого работника возможности зарабатывать на жизнь, потому что все рабочие места займут роботы. Люди будут зависеть от раздачи пособий: справа это будет восприниматься как подачки, а слева это будет восприниматься как государство из «1984»», сказал он. «Думаю, происходит то, что люди [приходят] к пределу».