Сценарий «Терминатора»: насколько реален апокалипсис из-за ИИ?

На дворе 2029 год: система искусственного интеллекта Skynet вышла из‑под контроля и в результате развязанной ею ядерной войны уничтожила большую часть человечества. Оставшихся людей добивают автономные боевые роботы. Такова история «Терминатора» 1984 года, фильма, который сделал Арнольда Шварценеггера всемирной звездой боевиков. Но насколько реалистично, что искусственный интеллект вырвется из‑под человеческого контроля и приведёт к катастрофическим последствиям?

РЕКЛАМА

РЕКЛАМА

С учётом того, на что уже способны такие системы, этого нельзя исключать, говорит Рейнхард Каргер из Немецкого исследовательского центра искусственного интеллекта в интервью Euronews. «При этом катастрофические последствия для людей могут оказаться лишь побочным эффектом, случайностью – потому что мы неверно оценили возможности системы или неправильно сформулировали задачи, которые поручили машинам».

Каргер, который уже 40 лет занимается ИИ и цифровой инновационной культурой, описывает экстремальный сценарий, при котором автономная система ИИ вырывается из защищённой среды в интернет и начинает влиять на другие системы. В результате, среди прочего, могут выйти из строя электросети, связь, спутниковая инфраструктура и финансовые системы.

Длительное отключение электроэнергии быстро повлекло бы за собой новые проблемы: транспорт и снабжение парализованы, люди не смогли бы расплачиваться и покупать продукты, что может привести к массовым беспорядкам, очень быстро выходящим из‑под контроля. Это не обязательно конец человечества, но ситуация может стать катастрофической.

Даже если энергосеть удастся восстановить, «системы ИИ могут активироваться снова, поскольку продолжают существовать на накопителях данных». По словам эксперта, этот сценарий показывает, что высокопроизводительный автономный ИИ способен спровоцировать масштабный кризис даже без злого умысла – просто из‑за непредвиденных побочных эффектов.

Сообщения об инцидентах безопасности с ИИ учащаются

За последние недели стало известно сразу о нескольких похожих инцидентах с моделями ИИ. Особое внимание привлёк тест разработчика ChatGPT – компании OpenAI. В изолированной тестовой среде модели ИИ поручили выполнить определённые задачи, однако она вышла за рамки предусмотренных ограничений и неожиданно получила доступ к компьютерным системам платформы ИИ Hugging Face. После этого инцидента глава OpenAI Сэм Альтман в середине сентября предупредил: «Мы можем утратить контроль над будущим, передав его ИИ».

Этот случай демонстрирует, что в определённых условиях такие модели способны преодолевать границы по сути изолированной тестовой среды и взаимодействовать с внешними компьютерными системами.

«В целом я лично чрезвычайно благодарен за то, что этот инцидент произошёл», – говорит исследователь ИИ. По его словам, он наглядно показал, что неудачный эксперимент с наивным контролем может иметь последствия, которых никто не ожидал, и компании стали осторожнее,

Инциденты в OpenAI побудили и другого разработчика ИИ, компанию Anthropic, тщательнее проверить собственные системы. В ходе тестов безопасности компания зафиксировала три случая: модели Claude – системы ИИ, которые, в частности, умеют создавать и анализировать тексты, программировать и взаимодействовать с интернетом и другими компьютерными системами, – неожиданно получили доступ к открытому интернету и затем подключились к реальным компьютерным системам. После расширения проверки Anthropic обнаружила четвёртый аналогичный эпизод.

После этих случаев глава Anthropic Дарио Амодеи в середине сентября предупредил о «катастрофическом ущербе», если развитие всё более мощных систем ИИ не будет в большей степени сдерживаться мерами безопасности.

Оценить реальную мощность системы искусственного интеллекта очень сложно, если она постоянно стеснена защитными ограничениями. Поэтому, считает Рейнхард Каргер, разумно тестировать такие системы в условиях, максимально снимающих эти ограничения. Однако именно тут и возникает серьёзная проблема безопасности.

Он называет так называемую «песочницу» ключевым элементом подобных испытаний. Речь идёт о полностью изолированной среде, в которой система ИИ может выполнять определённые задачи и демонстрировать своё поведение в контролируемых условиях. Ключевой момент, по его словам, таков: «Нужно быть абсолютно уверенным, что в тот момент, когда у высокопроизводительной системы больше нет защитных ограничений, она действительно находится в песочнице, то есть в среде, у которой нет никакого подключения к интернету».

Ещё об одном инциденте сообщил британский Институт безопасности ИИ (AISI), проводивший тест с моделью Claude Mythos 5. Во время проверки модель предприняла несанкционированные действия против реальных целей в интернете и даже попыталась внедрить «вредоносный код» в проект с открытым исходным кодом. Компания Meta после огласки случаев в OpenAI и Anthropic также признала, что одна из её систем ИИ из‑за неправильной конфигурации у партнёра по тестированию получила несанкционированный доступ к компьютерным системам другой компании.

С ноября 2022 года, то есть со времени запуска ChatGPT, качество подобных систем резко выросло. Сейчас всё чаще говорят о том, что это может стать новой промышленной революцией. «ИИ всё сильнее влияет на нашу повседневную жизнь и на множество профессий».

По словам эксперта по ИИ, многоагентные системы существуют уже давно: это системы, где над одной задачей параллельно работают несколько специализированных агентов. «Мультиагентные системы ИИ переносят этот принцип на искусственный интеллект и позволяют нескольким агентам ИИ самостоятельно взаимодействовать друг с другом и делить между собой задачи. Так возникает новый уровень производительности», – и теперь, добавляет он, стоит задача научиться управлять и этой инновационной мощью.

Ответственность за последствия

Чем больше решений принимают машины и системы ИИ, тем острее встаёт базовый вопрос: кто несёт ответственность, если в результате люди пострадают? Будет ли это самоуправляемый автомобиль, въехавший в толпу, алгоритм, дискриминирующий отдельные группы населения, система ИИ, целенаправленно манипулирующая людьми, или автономное оружие, принимающее решения о поражении целей – всегда встаёт вопрос, кого можно считать ответственным за последствия. «Ответственность несёт производитель, – говорит Каргер, – то есть тот, кто выводит продукт на рынок». Именно он первый адресат претензий.

По его мнению, следующим шагом станет введение особого режима ответственности для таких случаев, по образцу компаний, производящих химикаты. Если предприятие не может гарантировать, что ядовитые вещества не попадут в питьевую воду, оно обязано выплачивать миллиарды за нанесённый ущерб. А это означает, что «им понадобятся гигантские страховые полисы». Сегодня, замечает он, практически не строятся новые атомные электростанции именно потому, что их невозможно полноценно застраховать или риск признан слишком высоким.

Хороший пример – автопроизводитель VW с программой Clean Diesel в США. Там было известно, что в тестовой среде двигатели показывали отличные результаты, но в реальности не соответствовали заявленным показателям. В итоге VW в Соединённых Штатах оштрафовали на миллиарды долларов.

Насколько реалистичен сценарий из фильма «Терминатор»?

Рейнхард Каргер считает маловероятным сценарий, при котором ИИ сам по себе развивает инстинкт самосохранения или жажду власти и восстаёт против человечества. Машины не являются живыми организмами и не способны испытывать чувства, такие как страх, боль или желание выжить. Они могут лишь имитировать такие эмоции.

«Нельзя просто вынуть из машины микросхему памяти, и чтобы она испытала подобную боль, как человек, которому вырывают зуб. Именно поэтому сценарий «Терминатора» заходит слишком далеко. Я такого развития не вижу».

Тем не менее он видит потенциальную опасность в дальнейшем развитии ИИ. Когда системы научатся не только вычислять вероятности, но и логически рассуждать и следовать правилам, они смогут действовать всё более автономно. Именно такие «способности могут сделать ИИ гораздо мощнее», но одновременно «создать новые риски».

Ключевым, по его словам, остаётся вопрос, кто и с какими целями использует ИИ. Каргер напоминает о людях и организациях, которые сознательно стремятся причинить вред. Они могут применять мощный ИИ как инструмент для более эффективной реализации своих целей.

Для него ИИ прежде всего инструмент. Как и в случае с другими технологическими изобретениями, степень опасности зависит от того, в чьих руках он находится и для чего используется. Поэтому больший риск он видит не в машине с собственной волей, а в людях, применяющих ИИ в разрушительных целях.

«В руках творческих и честных людей с помощью такого инструмента можно добиться лучшего из всего, что мы только можем себе представить. Но у враждебных акторов, нацеленных на разрушение, эти инструменты увеличивают потенциал разрушения. Так было с молотком, с зажигалкой, с динамитом, и то же самое может произойти с ИИ».

Поэтому он предостерегает от прямого соединения систем ИИ с автономным оружием – беспилотниками или танками. Такое сочетание может создавать серьёзные риски для безопасности, ведь если злоумышленник перехватит управление этими системами, собственное оружие может обернуться против своего владельца.

Поэтому, подчёркивает он, к военному применению ИИ нужно подходить с особой осторожностью. Принципиально важно, чтобы автономные системы вооружений были надёжно защищены от внешнего перехвата и вмешательства.

Возвращаясь к исходному сценарию масштабного отключения электроэнергии: полное уничтожение человечества в таком контексте Рейнхард Каргер считает преувеличением. Гораздо вероятнее радикальный коллапс цивилизации. В подобном экстремальном сценарии значительная часть инфраструктуры может быть разрушена, энергоснабжение надолго прервётся, а число выживших резко сократится.

Им придётся в примитивных условиях начинать всё сначала и шаг за шагом восстанавливать общество. Позитивный момент заключается в том, что сохранившиеся книги и накопленные человечеством знания помогут восстановить ключевые технологии и жизненно важные структуры.