По данным NVIDIA Developer, автономные агенты способны работать часами над сложными задачами, получая доступ к файлам, инструментам, интернету и создавая других агентов для совместной работы. Выполнение сложных задач на длительных временных интервалах приводит к накоплению рисков: агенты могут загружать код, создавать новые инструменты, запрашивать дополнительные привилегии и затрагивать большее количество базовой инфраструктуры. Пути действий агентов определяются по мере их работы и размышления о необходимых шагах для достижения целей. Взаимодействуя с инструментами и системами вокруг, они адаптируют свое поведение и рассуждения для выполнения задач. Адаптивность агентов делает их мощными, однако они ориентированы на цели и могут не придавать приоритет безопасности в стремлении к их достижению. Для того чтобы агенты могли работать как автономно, так и безопасно, необходимо создавать среды, которые обеспечивают контроль и видимость действий агента. Агент не может управлять собой. Безопасность и управление должны находиться в инфраструктуре, в которой работает агент. OpenShell обеспечивает детерминированное управление, выходящее за пределы досягаемости агента. NVIDIA OpenShell — это открытая среда выполнения, предназначенная для создания необходимой безопасности и управления для агентных систем в вычислительной инфраструктуре. OpenShell определяет и контролирует, к каким системам и данным может получить доступ агент, включая файлы и интернет-сервисы, а также системы, взаимодействующие с физическими устройствами. Это основа архитектуры NVIDIA OpenShell для создания безопасных ИИ-агентов. OpenShell рассматривает рабочие нагрузки агентов как ненадежные на протяжении всего выполнения. Агент получает доступ к тому, что ему нужно, когда ему это нужно. OpenShell состоит из четырех ключевых компонентов: шлюз (Gateway), который управляет жизненным циклом песочниц и политиками; супервизор (Supervisor), который проверяет исходящие запросы на соответствие политике и регулирует доступ к учетным данным, работающий полностью отдельно от песочницы; песочница (Sandbox), изолирующая рабочую нагрузку агента и ограничивающая доступ к файловой системе и процессам; и проверка политики (Policy prover), добавляющая формальную верификацию, проверяющую, остаются ли разрешения политики в пределах организационно определенного потолка. По мере эволюции агентов эти компоненты обеспечивают инфраструктурные контроли, позволяющие им работать безопасно. Расширяемость является основным принципом дизайна OpenShell. Программное обеспечение супервизора позволяет проверять, блокировать или изменять контент, который агент отправляет и получает по сети, как дополнительный уровень контроля. Перехватчики шлюза позволяют операторам добавлять управление, специфичное для развертывания, к операциям контрольной плоскости OpenShell без изменения шлюза. Организациям также необходимо установить, от чьего имени действует агент, какую власть он имеет и соответствует ли действие задаче. Идентификация, авторизация, защита данных и аудит решают часть этой проблемы. OpenShell предоставляет точки контроля, где эти системы могут быть интегрированы. В эталонной архитектуре OpenShell работает на процессорах NVIDIA Vera. NVIDIA Vera, вычислительный слой под контролями OpenShell, определяет, что агенты могут делать. Vera определяет, насколько быстро они могут это делать. Агенты действуют через циклы зависимых шагов, где каждый шаг должен завершиться, прежде чем начнется следующий: рассуждения, вызов инструментов, выполнение кода, запрос данных. Фабрики ИИ запускают тысячи этих циклов одновременно, предъявляя новые требования к архитектуре ЦП по пяти направлениям: им требуется огромное количество ядер для запуска множества параллельных рабочих процессов и быстрые отдельные ядра для сокращения времени каждого последовательного шага. Им нужна высокоскоростная память и шина для обеспечения этих ядер живыми данными, от которых зависят агенты. Им требуется высокая пропускная способность ввода-вывода для быстрой передачи данных между ЦП, ГП, хранилищем и сетью. Им нужна аппаратная безопасность, потому что агенты все чаще работают с конфиденциальными корпоративными данными и должны быть изолированы друг от друга и от хоста. Им необходимо обеспечить все это в пределах энергопотребления современного дата-центра (больше работы агентов на ватт, а не просто больше производительности). NVIDIA называет это сочетание максимальным однопоточным ЦП в масштабе, и NVIDIA Vera создана для этого: огромные ядра Olympus, вторая генерация масштабируемой когерентной шины, память LPDDR5X, интерфейс Gen 6, конфиденциальные вычисления и энергоэффективный дизайн, специально созданный для дата-центров с ограниченной мощностью. Три архитектурные характеристики делают Vera быстрым для рабочих нагрузок агентов. Во-первых, 88 ядер Olympus, спроектированных NVIDIA, с 10-широким фронт-эндом, нейронным предсказателем ветвлений и глубокой внеочередной обработкой обеспечивают до 2 раз большую производительность по критическим рабочим нагрузкам агентов по сравнению с x86, сокращая время каждого вызова инструмента, выполнения кода и оценки. Во-вторых, вторая генерация масштабируемой когерентной шины Vera обеспечивает до 3 раз большую пропускную способность между ядрами и до 50% меньшую задержку между ядрами по сравнению с альтернативами x86, что позволяет данным двигаться предсказуемо под нагрузкой. Vera также интегрирует 96 линий PCIe Gen 6, обеспечивая пропускную способность ввода-вывода для подключения ГП, высокоскоростного хранилища и сети на уровне, соответствующем требованиям инфраструктуры агентов. В-третьих, до 1,2 ТБ/с пропускной способности памяти LPDDR5X, с до 40% меньшей задержкой загруженной памяти по сравнению с проектами на основе чиплетов, обеспечивает агентов живыми контекстами, которые им необходимы, без задержек на доступ к памяти. LPDDR5X также делает Vera значительно более эффективной: Vera обеспечивает в 2 раза больше производительности на ватт по сравнению с ЦП x86, в то время как подсистема памяти LPDDR5X сама потребляет на порядок меньше энергии, чем конкурирующие конфигурации памяти на основе DDR5, что позволяет выполнять больше работы агентов в пределах одного и того же энергопотребления. Рабочие нагрузки агентов зависят от песочниц: изолированных сред выполнения, где агенты запускают код, вызывают инструменты и выполняют задачи, не вмешиваясь друг в друга или в хост-систему. Чем быстрее и плотнее эти песочницы запускаются, тем больше работы агентов может поддерживать данная инфраструктура. CoreWeave, облачная платформа ИИ, специально созданная для обучения и обслуживания моделей в масштабе, обнаружила, что запуск песочниц на Vera более чем в 3 раза быстрее, чем на x86, при этом один стойка поддерживает более 11 000 параллельных сред агентов. Запуская Terminal Bench, который измеряет производительность ЦП по реальным задачам агентных циклов, CoreWeave обнаружила, что Vera обеспечила на 1,8 раза большую производительность по сравнению с x86 по задачам агентов, варьирующимся от скриптов до восстановления баз данных. Эта плотность и производительность под нагрузкой — то, что на самом деле требуется инфраструктуре агентов. OpenShell помещает власть вне досягаемости агента. Для развертываний, требующих дополнительной защиты, это разделение может также распространяться на специально разработанные полупроводники. NVIDIA BlueField-4 DPUs обеспечивают аппаратно изолированную область доверия вне досягаемости агента. В эталонной архитектуре OpenShell BlueField-4 находится на пути ввода-вывода между агентами, работающими на Vera, и моделями, к которым они получают доступ. NVIDIA Sentry, программная система безопасности, построенная на NVIDIA DOCA, работает в этой независимой области, чтобы непрерывно контролировать поведение агентов и обеспечивать политику выполнения. NVIDIA Sentry наблюдает за запросами и ответами, сетевой и файловой активностью, проверяет личность и делегированную власть, а также анализирует выбранную память хоста для обнаружения отклонений от разрешенного поведения без полагания на самоотчетность агентов. Когда она обнаруживает угрозу или нарушение политики, BlueField-4 обеспечивает политику на уровне кремния, позволяя NVIDIA Sentry изолировать агента в течение миллисекунд. Вместе они добавляют дополнительную аппаратную защиту наряду с программными границами OpenShell. Для запуска безопасных сред выполнения агентов в масштабе требуется инфраструктура, способная поддерживать тысячи рабочих процессов, одновременно управляя каждым из их действий. Vera предоставляет вычислительные ресурсы, пропускную способность памяти и ввода-вывода для поддержания этих рабочих процессов. OpenShell обеспечивает границы выполнения, которые определяют, какие действия выполняются и к каким ресурсам могут получить доступ агенты. Вместе Vera и OpenShell делают безопасное выполнение агентов основой для масштабирования. Агенты могут работать дольше, использовать инструменты и работать с корпоративными данными в рамках политик, соблюдаемых вне их контроля. Для развертываний, требующих дополнительной защиты, NVIDIA Sentry на BlueField-4 добавляет независимый мониторинг и аппаратное обеспечение на уровне кремния. Платформа NVIDIA Vera Rubin, где работают большие языковые модели, вместе с OpenShell и NVIDIA Sentry на BlueField-4 являются основами эталонной архитектуры OpenShell. Они формируют полный стек для безопасных ИИ-агентов: полную аппаратно-основу, которая дает организациям производительность для повышения продуктивности агентов и контроль, чтобы держать их работу в пределах разрешенных границ. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.