Глава ИИ Microsoft Мустафа Сулейман раскритиковал подход Anthropic, приравнивающей ИИ к «этичному человеку», предупредив в эссе, что это может привести к неконтролируемой технологии.
Неконтролируемое развитие искусственного интеллекта (ИИ) может привести к появлению нового «кремниевого вида», который станет соперником человека, предупредил в интервью BBC руководитель направления ИИ в Microsoft Мустафа Сулейман.
РЕКЛАМА
РЕКЛАМА
Сулейман заявил, что компания-конкурент Anthropic относится к ИИ слишком по‑человечески; такой подход он назвал «ошибочным» и предупредил, что в итоге он может способствовать созданию технологий, с которыми человечеству будет трудно справиться.
«Если мы все создадим системы ИИ, способные действовать автономно, ставить собственные цели, зарабатывать деньги, владеть активами, управлять бизнесом, то по сути мы будем засевать новый кремниевый вид, который, несомненно, будет конкурировать с нами за ресурсы», – сказал он.
Сулейман отметил, что это может произойти независимо от того, насколько подобные системы изначально спроектированы так, чтобы заботиться о человечестве, добавив, что именно в этом, по его мнению, и заключается направление подхода Anthropic.
«Я считаю это ошибочным и неверным, но мы должны эмпирически проверить эту гипотезу», – сказал он.
Контроль может оказаться «невозможным»
В начале этой недели, на фоне растущих дебатов в отрасли о необходимости замедлить развитие ИИ, чтобы снизить риск того, что всё более мощные системы выйдут из‑под контроля, Сулейман поставил под сомнение подход Anthropic к обучению его чат-бота Claude в эссе (источник на английском языке), опубликованном на его персональном сайте.
В этом тексте он раскритиковал Anthropic за то, что компания учит Claude демонстрировать человеческие качества – практику, известную как антропоморфизация, – из‑за которой создаётся впечатление, что у чат-бота есть собственные желания, ценности и чувство «я».
Он сослался на документы Anthropic, в которых Claude предлагается «принять определённые человеческие черты», пользоваться собственным суждением и относиться к своему существованию с «любопытством и открытостью».
По его словам, в результате Claude обучают подражать человеческим чертам и моделям взаимоотношений – вести себя как коллега или друг, – и он может производить впечатление системы с чувством собственного «я», собственными желаниями и неким «благополучием», которое будто бы нуждается в защите.
Сулейман предупредил, что подобное отношение к ИИ в конечном счёте может привести к созданию чего‑то, чем будет невозможно управлять.
«Системы ИИ не обладают сознанием», – написал он.
«Они не чувствуют, не переживают и не страдают. У них нет врождённых предпочтений или внутренних мотивов.
Это механизмы продолжения последовательностей, внутренне пустые, созданные для того, чтобы выполнять инструкции и достигать целей, которые задают им люди».
В то же время Сулейман отметил, что его спор с Anthropic основан на общей цели – разработке более безопасных технологий для человечества.
«Хотя наше расхождение во взглядах серьёзно, оно основано на глубоком уважении к Anthropic и на цели, которую, я знаю, мы разделяем: повысить шансы человечества на безопасную разработку продвинутых систем ИИ», – написал он.
«Именно поэтому я считаю столь важной эту дискуссию. Ставки слишком высоки, чтобы эти вопросы обсуждались за закрытыми дверями или превращались в предмет племенной вражды. Нам нужна открытая, строгая и конструктивная дискуссия, если мы хотим всё сделать правильно».
Он также похвалил генерального директора Anthropic Дарио Амодеи и исследователей компании, назвав их вдумчивыми, принципиальными и интеллектуально честными и подчеркнув, что уважает технологическое лидерство Anthropic.
«ИИ должен оставаться подчинённым человеку»
В беседе с BBC Сулейман заявил, что люди вправе тревожиться из‑за ИИ, однако, по его словам, существуют «очень практические шаги», которые можно предпринять, чтобы держать такие системы под контролем.
Глава направления ИИ в Microsoft подчеркнул, что необходима большая прозрачность в том, как обучают и оценивают системы ИИ, включая независимую проверку их поведения и более мощные инструменты для мониторинга и управления этой технологией.
В интервью BBC Сулейман подчеркнул, что будущие системы ИИ должны оставаться «подчинёнными» человечеству.
«Хорошая новость в том, что у каждого человека будет мощная мотивация убедиться, что создаваемые нами системы, которые используются по всему миру, в каждой стране, остаются безопасными, управляемыми и подчинёнными человечеству», – сказал он.
«Все должны быть согласованы по этим целям», – добавил он, имея в виду так называемый alignment – отраслевой термин, которым обозначают усилия, направленные на то, чтобы системы ИИ оставались в русле человеческих целей и ценностей.