Nvidia и Oracle расширяют облачную инфраструктуру Vera Rubin для бизнеса

VentureBeat рассказывает, что Nvidia и Oracle расширяют свое партнерство в области искусственного интеллекта с общим запуском систем Vera Rubin NVL72 и отдельных процессоров Vera на облачной инфраструктуре Oracle. В объявлении от 27 октября рассматриваются две разные потребности: вычислительная мощность, необходимая для обучения и работы продвинутых моделей, и мощность процессоров, необходимая для выполнения кода, извлечения информации и использования программных инструментов между вызовами модели. Компании утверждают, что возможность масштабирования ресурсов CPU и GPU отдельно может помочь сократить неиспользуемую емкость. Для корпоративных клиентов это делает объявление более значимым, чем просто доступ к новейшему оборудованию Nvidia: возникает вопрос, может ли другой баланс инфраструктуры обеспечить более полезную работу за ту емкость, за которую они платят. Этот вопрос особенно актуален, учитывая последние данные от VentureBeat Intelligence, внутреннего исследовательского подразделения VentureBeat, показывающие низкое использование GPU в корпоративном секторе. Ежемесячные опросы Pulse от VentureBeat Intelligence за июль, август и сентябрь показали, что 79% из 218 респондентов сообщили об использовании GPU на уровне 50% или ниже; 70% из этой группы тем не менее планируют изменения платформ. Исследование проводилось среди организаций с не менее чем 100 сотрудниками, включая консультантов, отвечающих за клиентов. Эти данные являются саморепортируемыми, а не результатом аудита оборудования. Для покупателей, оценивающих объявление Nvidia и Oracle, это подразумевает, что доступ к более мощным чипам должен сопровождаться анализом того, что мешает существующим ресурсам выполнять полезную работу. GPU, ожидающий завершения выполнения кода процессором, представляет собой иную проблему покупки, чем GPU без ожидаемой работы. Более быстрые процессоры могут помочь в первом случае, но не создадут спрос на второй. Точно так же, если ограничение связано с удаленной службой, доступом к базе данных или проектированием приложения, только обновление процессора может оставить основную проблему нерешенной. Это возможные объяснения, которые предприятие должно проверить, а не причины, установленные на основании данных об использовании. Это различие также отделяет бизнес-кейсы для разработчиков моделей и команд корпоративных приложений. Разработчику модели с постоянным спросом на обучение и вывод может потребоваться дополнительная емкость и более быстрая поддерживающая инфраструктура. Бизнес, использующий GPU с низкой загрузкой, должен сначала установить, какие рабочие нагрузки могут перейти на предложенную систему и почему они будут работать более экономично. Следовательно, подходящий тест заключается не просто в том, быстрее ли новый чип. Важно, снижает ли предложенная конфигурация общую стоимость выполнения приемлемой задачи при необходимом времени отклика и надежности для бизнеса. Nvidia описывает Vera как процессор для работы, связанной с выполнением модели: координация агентов, выполнение кода в изолированных средах, обработка данных и поддержка обучения с подкреплением. Модель может решить, какое действие предпринять, но другое программное обеспечение должно выполнить это действие и вернуть результат. Когда эта работа становится узким местом, улучшение производительности модели само по себе не обязательно позволяет агенту завершить работу быстрее. Техническое объявление Oracle говорит, что Vera доступна через выделенные серверы и гибкие виртуальные машины. Отдельное предложение позволяет клиентам развертывать услуги CPU отдельно от инфраструктуры GPU. Oracle ссылается на утверждение Nvidia о до 80% более высокой производительности при работе с CPU, связанными с агентами, по сравнению с ведущими процессорами x86. Также явно указано, что эти результаты получены из бенчмарков платформы Nvidia, а не тестов самих экземпляров OCI. Покупатели должны рассматривать эту цифру как бенчмарк от поставщика, а не как доказанное улучшение для их приложений. Для предприятия, рассматривающего миграцию, представительный тест должен запустить тот же рабочий процесс агента на существующей инфраструктуре и предложенной конфигурации Vera. Он должен измерить успешное завершение задач, задержки по всему рабочему процессу, потребление CPU и GPU, а также общую стоимость, включая любые расходы на API моделей. Клиентами являются как лаборатории ИИ, так и предприятия с различными потребностями. Самый яркий пример названного клиента — OpenAI. «Мы вводим Vera в эксплуатацию на OCI, чтобы поддерживать эти рабочие нагрузки в масштабе», — говорит Удай Руддараджу, технический директор OpenAI по вычислениям, в совместном объявлении, ссылаясь на рабочие нагрузки их песочницы агентов. Этот пример поддерживает четкую роль для компаний, разрабатывающих модели на базе. Но потенциальная клиентская база выходит за рамки организаций, обучающих свои собственные передовые модели. Oracle определяет извлечение, аналитику, координацию агентов и управление флотом GPU среди применений платформы CPU. Эти рабочие нагрузки также могут существовать внутри корпоративных развертываний ИИ. Наше мнение заключается в том, что характеристики рабочих нагрузок предоставляют более надежное руководство, чем размер компании. Предприятие, выполняющее значительные объемы кода агентов или операций извлечения, может иметь основание оценить Vera без обучения модели на базе. В то же время большая компания, чье использование ИИ в основном состоит из вызовов моделей, размещенных внешне, может иметь мало причин для приобретения большой выделенной мощности GPU. Таким образом, объявление затрагивает оба рынка, но его компоненты обслуживают разные потребности. Расширение Supercluster наиболее непосредственно отвечает на требования к рабочим нагрузкам моделей. Отдельные процессоры предлагают более целенаправленный вариант для организаций, стремящихся ускорить программное обеспечение вокруг этих моделей. Меньшая конфигурация Rubin все еще запланирована. Наряду с доступными системами NVL72 Oracle планирует конфигурацию Rubin NVL8 с восемью GPU, использующими процессоры Intel Xeon. Она предназначена для поддержки обучения, дообучения и вывода, сохраняя совместимость с приложениями x86. Это предлагает более мелкий вариант развертывания по сравнению с конфигурацией на 72 GPU, хотя в объявлении NVL8 описывается как запланированная, а не общедоступная. Oracle также говорит, что ее инфраструктура может переключаться между рабочими нагрузками обучения и вывода и поддерживать последующие платформы Nvidia. Это часть ее аргумента, что клиенты могут продолжать использовать емкость по мере изменения их требований. Для команд по закупкам различие между доступными продуктами и запланированным расширением имеет значение. Расширение много гига ватт описывает амбиции поставщиков по инфраструктуре; это не минимальное требование для развертывания отдельного предприятия. Что покупателям еще нужно установить. Обсуждаемые объявления не предоставляют достаточных данных о ценах и производительности, специфичных для рабочих нагрузок, чтобы рассчитать ожидаемую экономию для клиента. Также необходимо проверить региональный доступ. Хотя компании объявляют о общем доступе, сообщение о процессоре Vera от Oracle говорит, что доступ расширится на выбранные регионы в этом квартале. Покупатели должны подтвердить типы экземпляров, местоположение и емкость, которые они могут фактически получить. Для команды, чьи GPU постоянно ждут работы CPU, Vera представляет собой конкретное предложение для тестирования. Для команды с недостаточным спросом, чтобы занять свои существующие GPU, первая задача иная: определить полезные рабочие нагрузки, пересмотреть обязательства по емкости и установить, улучшает ли новая платформа экономику. Nvidia и Oracle предлагают дополнительную инфраструктуру и способ более независимо сбалансировать части системы ИИ. Решение о покупке в корпоративном секторе зависит от демонстрации того, где эта гибкость переводится в завершенную работу. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.