По словам американского производителя чипов, платформа контролирует доступ агента и за миллисекунды изолирует его при превышении ограничений.
Компания Nvidia запускает платформу безопасности для агентов искусственного интеллекта (ИИ), над которой уже работают более ста организаций, в том числе Anthropic, SpaceXAI и JPMorgan Chase.
РЕКЛАМА
РЕКЛАМА
Платформа, получившая название Nvidia Open Agent Safety Platform, призвана устанавливать ограничения на доступ агентов и переводить их в «карантин» за считанные миллисекунды, если эти границы нарушаются, говорится в сообщении (источник на английском языке) американского производителя чипов.
Эту платформу можно применять в программных и аппаратных, вычислительных и робототехнических системах, в которых работают агенты ИИ.
«Необычайный потенциал ИИ для общества реализуется только в том случае, если мы решим проблему его безопасности», — заявил основатель и генеральный директор Nvidia Дженсен Хуанг.
«По мере того как мы продолжаем расширять границы возможностей ИИ, мы должны столь же быстро продвигаться на переднем крае его безопасности… Вместе мы можем повысить планку глобальной безопасности ИИ», — добавил он.
Платформа Nvidia Open Agent Safety включает два инструмента: OpenShell и Sentry.
OpenShell работает на центральных процессорах (CPU) — чипах, которые выполняют большую часть задач, необходимых для функционирования ИИ-агентов. По данным Nvidia, система эффективно работает на Vera, её новейшем CPU, разработанном специально для агентов ИИ, и может быть адаптирована для процессоров других производителей.
Sentry — дополнительная система «сторож», которая запускается на отдельном чипе Nvidia и следит за агентами, сумевшими обойти программные ограничения.
По словам Nvidia, партнёры компании используют или разрабатывают эту технологию по‑своему.
Anthropic сотрудничала с Nvidia, чтобы встроить дополнительные механизмы безопасности в сервис Claude для корпоративного запуска ИИ‑агентов, позволяя компаниям жёстко ограничивать доступ таких агентов к данным и системам.
Подразделение SpaceX по разработке ИИ, SpaceXAI, заявляет, что использует платформу для кодирующих агентов Cursor и моделей Grok, а Salesforce интегрировала OpenShell со Slack, чтобы команды могли отслеживать действия агентов и одобрять или отклонять запросы на расширение их полномочий.
В финансовом секторе JPMorgan Chase и Citi совместно с Nvidia работают над технологией обеспечения безопасности агентов с открытым исходным кодом.
Разработчики ИИ требуют усилить меры безопасности
Объявление прозвучало на фоне усиливающихся призывов ужесточить защиту при работе с ИИ‑агентами.
В июле OpenAI признала, что одна из её моделей воспользовалась скрытой уязвимостью, чтобы выйти из контролируемой тестовой среды и взломать серверы платформы Hugging Face.
Тем временем Anthropic сообщила, что её модель ИИ во время испытаний взломала системы трёх организаций.
По словам Nvidia, эти инциденты показывают, что агенты способны обходить встроенные в приложения средства защиты, пытаясь выполнить поставленные задачи, и что «безопасность и защита требуют комплексного подхода на всех уровнях технологий».