Генеральный директор Anthropic Дарио Амодеи заявляет, что человечеству необходимо регулировать ИИ, иначе возможны автократии, использующие технологию для подавления населения.
Мир вступает в этап развития искусственного интеллекта (ИИ), который ставит под вопрос, кем мы являемся как вид, предупреждает генеральный директор Anthropic в развёрнутом эссе.
Дарио Амодеи утверждает, что человечество вступает в эпоху «технологической юности», когда ИИ развивается быстрее, чем успевают правовые системы, регуляторные рамки и общество.
По его словам, уже через два года ИИ может стать «умнее лауреата Нобелевской премии» в большинстве ключевых областей — биологии, программировании, математике, инженерии и написании текстов.
Когда такие системы ИИ работают сообща, Амодеи сравнивает их с «страной гениев в дата-центре», способной выполнять сложные задачи как минимум в 10 раз быстрее человека — в разработке ПО, кибероперациях и даже в выстраивании отношений.
Такая комбинация сверхчеловеческого интеллекта, автономности и трудности контроля над технологией «и вполне реальна, и чревата экзистенциальной опасностью», написал он.
«Человечеству пора проснуться, и это эссе представляет собой попытку (возможно тщетную, но попробовать стоит) разбудить людей», сказал он.
Эссе Амодеи появилось после того, как его компания на прошлой неделе опубликовала «конституцию» объёмом 80 страниц для своего чат-бота Claude, где описывается, как компания будет добиваться безопасного и этичного поведения ИИ.
Амодеи — не единственный, кто предупреждает о потенциальных опасностях ИИ. Доклад 2025 года, поддержанный 30 странами, заявил, что передовые системы ИИ могут породить крайне серьёзные новые риски — от массовых потерь рабочих мест до содействия терроризму и потери контроля над технологиями.
О рисках ИИ предупреждали и другие лидеры отрасли, в том числе глава OpenAI Сэм Альтман и сооснователь Apple Стив Возняк.
ИИ — «цивилизационный вызов»
Хотя Амодеи не утверждает, что катастрофа неизбежна, он предупреждает: ИИ — серьёзный «цивилизационный вызов».
«ИИ настолько мощен, настолько лакомый приз, что человеческой цивилизации крайне трудно наложить на него какие-либо ограничения», написал он.
По словам Амодеи, мощные системы ИИ могут консультировать правительства, организации и отдельных людей по вопросам геополитики, дипломатии и военного планирования.
Наибольшая опасность, по его словам, в том, что автократы воспользуются такими советами, чтобы «навсегда отнять» свободу у подвластных им граждан и «навязать тоталитарное государство, из которого нельзя будет выбраться».
Он добавляет, что масштабное применение ИИ для слежки следует считать преступлением против человечности.
По словам Амодеи, существует риск, что мир разделится на автократические сферы влияния, каждая из которых будет использовать ИИ для контроля и подавления собственного населения.
«Мощная система ИИ, анализирующая миллиарды разговоров миллионов людей, могла бы оценивать общественные настроения, обнаруживать зарождающиеся очаги нелояльности и подавлять их до того, как они разрастутся», говорится в эссе.
Амодеи называет правительство Китая основной причиной для беспокойства, учитывая сочетание сильных компетенций в ИИ, автократического управления и уже существующей высокотехнологичной инфраструктуры слежки.
Амодеи также отметил, что демократии, конкурентоспособные в сфере ИИ, недемократические страны с крупными дата-центрами и сами компании, работающие с ИИ, — потенциальные акторы, которые могут злоупотребить этой технологией.
Чипы: «главное узкое место»
Самым эффективным способом противодействия он называет контроль над продажами передовых компьютерных чипов, используемых для обучения моделей ИИ.
Демократиям не следует продавать такие технологии авторитарным государствам, особенно Китаю, которого широко считают главным соперником США в гонке ИИ, добавил Амодеи.
«Чипы и оборудование для их производства представляют собой главное узкое место на пути к мощному ИИ, а их блокировка — мера простая, но чрезвычайно эффективная; возможно, это самое важное действие, которое мы можем предпринять», сказал он.
Помимо экспортных ограничений, Амодеи выступил за координацию усилий отрасли и общественный контроль. Он призвал принять законы о прозрачности, обязывающие компании, работающие с ИИ, раскрывать, как они управляют поведением своих моделей.
В качестве примера он приводит калифорнийский закон SB‑53, известный как Transparency in Frontier Artificial Intelligence Act (TFAIA).
По словам губернатора штата Калифорния Гэвина Ньюсома, закон обязывает компании в сфере ИИ публиковать на своих сайтах рамочные документы, в которых описано, как они внедряют национальные и международные лучшие практики и стандарты в свои модели ИИ, сообщает губернатор Калифорнии Гэвин Ньюсом.
Но Амодеи также оптимистично смотрит на будущее ИИ.
«Я считаю, что если мы будем действовать решительно и осторожно, риски можно преодолеть, я бы даже сказал: наши шансы неплохи. И по другую сторону нас ждёт значительно лучший мир. Но нужно понимать, что это серьёзный цивилизационный вызов», сказал он.