В документах по IPO компании ИИ говорится о возможном вреде от всё более автономных систем, а также о финансовых и регуляторных рисках.
Бесконтрольные системы ИИ, кибератаки и возможное использование искусственного интеллекта для разработки опасного вооружения — лишь часть рисков, о которых Anthropic сообщила инвесторам, готовясь к выходу на биржу.
РЕКЛАМА
РЕКЛАМА
Из 335 страниц, где подробно изложены финансовые показатели Anthropic, вознаграждение руководства, дивидендная политика и другие аспекты, 93 страницы отведены разделу «факторы риска» — то есть тому, что может негативно сказаться на вложениях будущих акционеров. Для сравнения, у соперника SpaceX факторы риска занимают 38 страниц из более чем 250.
Такие раскрытия информации являются обязательной частью процедуры IPO и дают потенциальным инвесторам более чёткое представление о рисках, с которыми они сталкиваются, покупая акции компании.
Продвигая себя перед инвесторами, Anthropic подаёт предстоящий выпуск акций как шаг к снижению тех рисков, которые, по её мнению, создаёт ИИ.
«Создавать ИИ — значит обуздывать саму когницию, а всё настолько мощное может быть использовано как во благо, так и во вред», — пишут основатели компании в письме потенциальным акционерам, включённом в регистрационные документы по IPO. «Anthropic — организация, глубоко ориентированная на ценности; во многом она была основана для того, чтобы помочь миру воспользоваться преимуществами ИИ и избежать его опасностей».
Тем не менее рисков остаётся много. Они колеблются от вполне прозаичных — например, утраты ключевых сотрудников или сложностей с преодолением регуляторных барьеров — до участия в кибератаках и распространения опасной дезинформации.
Вот некоторые из рисков, которые подробно описывает Anthropic:
Стремительное развитие технологии
В Anthropic заявили, что не исключают ситуации, при которой их модели будут развиваться настолько быстро, что компания не успеет внедрить достаточные меры безопасности, «что может повысить вероятность инцидентов, привлечения регуляторов или репутационного ущерба и негативно сказаться на нашем бизнесе».
Глава Anthropic Дарио Амодеи в сентябре предупреждал, что через шесть–двенадцать месяцев ИИ может научиться управлять роем агентов, способных захватить весь интернет. Это предупреждение, а теперь и решение Anthropic разместить акции, прозвучали на фоне растущей тревоги внутри отрасли и за её пределами из‑за всё более мощных систем, которые способны решать задачи за пределами человеческих возможностей, но при этом могут действовать автономно и выполнять вредоносные действия.
По мере того как системы ИИ «становятся более автономными и способны совершать значимые действия при меньшем участии человека», говорится в документах, поданных в SEC, возрастает риск того, что такие системы «смогут самостоятельно и в массовом масштабе совершать вредоносные действия без вмешательства людей».
«Даже если наши собственные модели не причинят такого вреда, крупный инцидент, связанный с любым передовым ИИ, может привести к серьёзному репутационному ущербу для всей отрасли, общественной реакции и жёстким мерам со стороны регуляторов, которые также способны негативно повлиять на наш бизнес», — отмечают в Anthropic.
Теперь, когда сами модели ИИ участвуют в исследованиях и разработках Anthropic, не исключено, что развитие ИИ выйдет «за пределы нашей способности оценивать и защищать новые модели», говорится в проспекте эмиссии. Это, подчёркивается в документе, также может негативно сказаться на бизнесе Anthropic.
Злоумышленники могут устроить хаос с помощью технологии
В документах также выражается обеспокоенность тем, что передовые системы ИИ, если их создавать и эксплуатировать без достаточных защитных механизмов и контроля, «несут катастрофические или даже экзистенциальные риски для человечества, особенно если такие системы будут использованы не по назначению, тиражированы, превращены в оружие или получат высокую степень автономности».
Компания отмечает, что понесёт ущерб, если действия злоумышленников приведут к вреду, «или если наши защитные механизмы и ограничения моделей не смогут предотвратить такое злоупотребление».
Anthropic описывает сценарии, при которых злоумышленники используют модели ИИ для создания химического оружия, а авторитарные лидеры обращаются к технологии, чтобы усилить репрессии против собственных граждан. В сентябре компания сообщила, что заблокировала попытки задействовать её модели ИИ для кибератак, слежки и исследований, которые могли бы привести к разработке биологического оружия.
Компания может столкнуться с ограничениями вычислительных мощностей
Вычислительные ресурсы — так называемый compute, то есть мощности и инфраструктура, необходимые для создания, тестирования и улучшения моделей ИИ, — дороги и пользуются высоким спросом. Anthropic отмечает, что если ей не удастся обеспечить достаточный объём compute или «мы не сумеем эффективно распределять вычислительные ресурсы между нашими задачами, мы можем лишиться возможности обучать модели, сопоставимые по уровню с решениями конкурентов, или должным образом обслуживать клиентов».
Anthropic называет риском для своего бизнеса и общественное сопротивление строительству дата‑центров. Возведение таких объектов «вызывает споры и пристальное внимание регуляторов в связи с воздействием на окружающую среду, использованием земли и водных ресурсов, а также распределением ограниченных энергетических мощностей», говорится в проспекте. Если в результате регуляторы введут новые требования или сборы, это может осложнить ведение бизнеса.
Кроме того, значительную часть выручки компании обеспечивают всего несколько крупных клиентов, среди которых SpaceX и Microsoft, и связанные с ними каналы дистрибуции. Это означает, что если хотя бы один из таких заказчиков сократит сотрудничество или полностью откажется от услуг Anthropic, её перспективы и финансовые показатели могут серьёзно пострадать, признают в компании.
Снижение рисков
В определённом смысле сочетание колоссальных рисков и огромного потенциала ИИ является главным аргументом Anthropic для инвесторов. Компания стремится позиционировать себя как ответственного разработчика ИИ и привлекает корпоративных клиентов, делая упор на безопасность своих решений.
«Мы считаем, что компании, работающие с передовым ИИ, обязаны инвестировать в безопасность и согласование систем, чтобы обеспечить ответственное распространение этой технологии», говорится в документах.
По словам Брайана Малберри, главного рыночного стратега Zacks Investment Research, компании, выходящие на биржу, должны «предельно ясно» обозначать, с какими рисками сталкиваются люди, вкладывая деньги в только что ставшие публичными акции.
«Это одно из преимуществ наших внутренних рынков капитала: уровень прозрачности, которого компания обязана придерживаться. Чтобы стать публичной корпорацией, торгующейся на американской бирже, вы должны в максимально понятной форме описать все риски, чтобы люди осознавали, готовы ли они участвовать, вкладывая свои тяжело заработанные деньги и финансируя подобные сделки», — пояснил он.