Сооснователь Anthropic Джек Кларк заявил, что вскоре ИИ-агенты смогут самостоятельно создавать и обучать модели, и тогда люди рискуют утратить контроль над такими системами.
Сооснователь Anthropic Джек Кларк призывает индустрию ИИ притормозить, прежде чем технологии начнут дальше развиваться самостоятельно, без участия человека.
РЕКЛАМА
РЕКЛАМА
В интервью BBC Кларк рассказал, что уже сейчас 80 % работы по написанию кода в Anthropic выполняет их ИИ Claude, и через пару лет эта доля может достигнуть 100 %. Однако, по его словам, то, позволят ли компании дойти до этого без остановки, — «это вопрос выбора».
«Мы считаем, что мир должен гораздо больше говорить об этой теме, — сказал Кларк. — Сейчас у индустрии ИИ есть педаль газа, но в этой машине нет педали тормоза, и мы хотим проделать часть работы по её созданию».
Этот процесс называется «рекурсивным самоусовершенствованием» — так в Anthropic называют способность ИИ улучшать себя без участия человека, о чём компания рассказала в сопроводительной записи в блоге (источник на английском языке), опубликованной в четверг вечером.
В рекурсивной модели агенты ИИ — автономные «исполнители», создаваемые чат-ботом, — могут «стать достаточно компетентными, чтобы самостоятельно создавать и обучать модели», так что Claude «сможет непрерывно улучшать самого себя», поясняют в Anthropic.
Рекурсивный ИИ может принести пользу науке и здравоохранению, но в Anthropic предупреждают, что это одновременно повышает «риски того, что люди утратят контроль над системами ИИ».
«Если системы способны полностью создавать собственных преемников, то способы, которыми мы их защищаем, контролируем и формируем их поведение, становятся гораздо важнее», — говорится в записи в блоге.
Собственная модель Anthropic, по их словам, уже подаёт сигналы о том, что рекурсия — вопрос ближайшего будущего. В компании указывают, что за последний год доля правок кода, вносимых сотрудниками, стабильно сокращается, то есть в том, что создаёт Claude, становится меньше ошибок.
Claude также способен самостоятельно проводить исследовательские эксперименты, если ему задать открытый вопрос — например: «Может ли более слабая модель контролировать более сильную?» — и находить собственные решения без участия человека.
«Имеющиеся данные показывают, что роль человека на каждом этапе разработки ИИ постепенно сужается», — говорится в блоге.
В Anthropic сообщили, что их институт займётся исследованиями, чтобы создать систему проверки того, действительно ли разработчики остановили или замедлили движение в сторону рекурсивного ИИ.
Однако для реального замедления потребуются, по их словам, «несколько хорошо обеспеченных ресурсами лабораторий на переднем крае разработок, в разных странах, которые согласятся остановиться при одних и тех же условиях».