Как сообщает издание NVIDIA Generative AI, CoreWeave на основе почти десятилетнего сотрудничества с NVIDIA создала облачную инфраструктуру, специально предназначенную для искусственного интеллекта, которая продолжает приносить прибыль на протяжении нескольких поколений развертывания. Теперь CoreWeave выводит на рынок новое поколение инфраструктуры NVIDIA. На мероприятии CoreWeave Fully Connected, проходящем на этой неделе в Сан-Франциско, CoreWeave объявила о доступности систем NVIDIA Vera Rubin NVL72 с сетевым оборудованием Spectrum-X 102.4T Ethernet. Cognition, лаборатория прикладного ИИ, стоящая за программным обеспечением Devin AI, стала первым клиентом, который запустил производственные нагрузки на Vera Rubin. CoreWeave также предложит NVIDIA Vera, первый процессор, созданный для ИИ-агентов. Кроме того, CoreWeave запустила CoreWeave Forge, связанное окружение для обучения, оценки и улучшения моделей и агентов на ускоренных вычислениях NVIDIA. «Ускоренные вычисления NVIDIA приносят ценность на протяжении поколений», — отметил Иэн Бак, вице-президент по гипермасштабным и высокопроизводительным вычислениям в NVIDIA. «Графические процессоры NVIDIA V100 от CoreWeave продолжают обрабатывать нагрузки клиентов почти через десять лет после запуска Volta, даже когда CoreWeave вводит в эксплуатацию Vera Rubin NVL72. Это сила платформы NVIDIA: инфраструктура, которая продолжает приносить прибыль на протяжении многих лет, и гибкость размещения правильного графического процессора на правильной нагрузке.» Cognition использует Vera Rubin NVL72 с увеличением производительности обработки токенов до 4.8 раз. Cognition проводит обучение, обучение с подкреплением и производственную интерпретацию для Devin на CoreWeave. Компания увеличила количество графических процессоров на CoreWeave до тысяч всего за девять месяцев, обеспечивая нагрузки интерпретации Cognition. В начале этого месяца CoreWeave получила свои первые производственные стойки Vera Rubin NVL72. Вскоре после этого Cognition протестировала производительность интерпретации Vera Rubin по сравнению с базовым уровнем GB200 NVL72, используя реальные нагрузки программной инженерии. Для генерации этой нагрузки была выбрана подмножество задач из FrontierCode и развернуты ИИ-агенты для их решения. На ранних тестах Cognition увидела, что Vera Rubin NVL72 обеспечивает увеличение общей производительности обработки токенов до 4.8 раз для нагрузок интерпретации SWE-2 по сравнению с GB200 NVL72. Для Devin эти улучшения означают более быструю генерацию кода в реальном времени и более отзывчивое многошаговое рассуждение. «Агентное кодирование — это сложная нагрузка: длинные контексты, высокая конкуренция и объемы токенов, где стоимость за токен решает, что мы можем отправить», — сказал Силас Альберти, член основного состава Cognition. «Наличие всего этого на одной платформе, с инженерами NVIDIA и CoreWeave, которые решают сложные задачи вместе с нами, имеет для нас большее значение, чем любые отдельные характеристики.» CoreWeave объявила о доступности NVIDIA Vera Rubin на CoreWeave Cloud, став одним из первых облачных провайдеров, предоставляющих платформу в распоряжение клиентов. Клиенты с ранним доступом могут быстро использовать производительность полной платформы AI factory от NVIDIA на CoreWeave Cloud. В течение нескольких дней CoreWeave создала производственный кластер Vera Rubin для Cognition, что стало возможным благодаря совместному проектированию и сотрудничеству между NVIDIA и CoreWeave на всех уровнях, от инфраструктуры до обслуживания токенов. Возможности могут управляться через CoreWeave Kubernetes Service, SUNK, CoreWeave Mission Control, CoreWeave Sandboxes и CoreWeave Inference. Процессор NVIDIA Vera будет доступен на CoreWeave Cloud, тесты показывают более чем в 3 раза более быстрые времена запуска агентных песочниц. Агентный ИИ создает нагрузку на инфраструктуру с двух сторон: работа агентов требует низколатентных вычислений в масштабе, в то время как их улучшение после обучения требует тысяч изолированных сред, работающих одновременно. Процессор NVIDIA Vera создан специально для агентных нагрузок. Для агентного ИИ ключевым показателем производительности является количество изолированных сред агентов, которые могут работать одновременно, и насколько последовательно и эффективно каждая из них работает по мере увеличения этого числа. Развертывание CoreWeave Vera включает 128 процессоров и 11,264 ядра в одной стойке, что достаточно для более чем 11,000 одновременных сред на одно ядро. С помощью CoreWeave Sandboxes эти среды изолированы на аппаратном уровне и работают рядом с учебными заданиями, которые они поддерживают, с коммутаторами Spectrum-X Ethernet и BlueField-4 DPUs, обеспечивающими безопасную, высокопроизводительную связь агентов с низкой задержкой. В ходе тестирования CoreWeave достиг более чем в 3 раза более быстрых времен запуска песочниц агентов на процессорах NVIDIA Vera, ускоряя и масштабируя свои песочницы — уровень выполнения для обучения с подкреплением, использования инструментов агентов и оценки моделей, что позволяет командам ИИ запускать код в изолированных средах на CoreWeave. На Terminal-Bench CoreWeave увидела прирост производительности в 1.7 раз на процессоре Vera по всем успешным задачам. CoreWeave Forge: замыкание цикла ИИ от производства обратно к обучению. Модели и агенты улучшаются, проходя цикл: поведение в производстве информирует о следующем обучении, а каждая оценка уточняет следующую версию. Этот цикл исторически был разделен между инструментами от разных поставщиков, при этом сигнал терялся на каждом этапе передачи. CoreWeave Forge объединяет Weights & Biases, опыт после обучения от OpenPipe и проект открытого исходного кода marimo notebook в одном связанном окружении, созданном для непрерывного улучшения моделей и агентов. Оно остается открытым для моделей, фреймворков и облаков. Новые и расширенные возможности включают: CoreWeave ARIA — теперь в общем доступе — помогает пользователям изучать, исследовать, кодировать и итеративно работать в цикле ИИ, анализируя запуски, предлагая эксперименты, рекомендуя изменения кода и храня их в GitHub, а также возвращая актуальные данные, которые анализируют данные экспериментов, выявляют причины изменений и предлагают следующие эксперименты для запуска. CoreWeave Agent Lens — новая услуга — превращает наблюдаемость производственных агентов в непрерывное улучшение и понятные инсайты. Она улучшает обнаружение сбоев на 20% и исправляет проблемы с половинными затратами, что превращает десятки миллионов следов производственных агентов в инсайты, которые приводят к исправлениям. CoreWeave Sandboxes — теперь в общем доступе — позволяют пользователям запускать агентов, вызовы инструментов, обучение с подкреплением и оценки в изолированных средах выполнения на CPU или GPU, на безсерверной инфраструктуре или на инфраструктуре, на которой они уже обучаются, предоставляя свежую, изолированную среду для каждого вызова инструмента агента, запуска RL или оценки. Улучшение после обучения повышает качество модели и сокращает задержки и затраты, используя собственные производственные сигналы пользователей, без необходимости в учебном кластере. Безсерверная супервизируемая дообучение и безсерверное RL позволяют пользователям экспериментировать с собственными рецептами обучения. Безсерверное RL обучается в 1.4 раза быстрее при 40% более низких затратах, чем при управляемой настройке. NVIDIA Dynamo, открытая инфраструктура для вывода для фабрик ИИ, управляет управляемым сервисом вывода CoreWeave, а также RL Rollouts, который сейчас находится в частном предварительном просмотре. RL Rollouts загружает новые контрольные точки в работающую развертку, так что обучение с подкреплением продолжается без повторных развертываний, а постобучение получает такую же эффективность вывода, как и в производстве. Canva, Capital One и MasterClass — среди первых компаний, которые строят на Forge. Оказанное воздействие от стартапов до глобальных предприятий. Лаборатории ИИ, компании-новички в ИИ и глобальные предприятия используют совместно разработанную платформу NVIDIA и CoreWeave, чтобы быстрее переходить от прототипа к производству. В области здравоохранения компания Ennoble Care, поставщик медицинских услуг на дому, обслуживающий около 50,000 пациентов Medicare с высоким уровнем потребностей в 15 штатах, выбрала CoreWeave для выполнения клинических ИИ-интерпретаций. Она будет использовать резервированные графические процессоры NVIDIA RTX PRO 6000 на CoreWeave Kubernetes Service для масштабирования ИИ-агентов для клинической документации, поддержки принятия решений и автоматизации бэк-офиса. CoreWeave продемонстрировала рекордные результаты MLPerf в каждом раунде обучения и интерпретации. Это единственный облачный провайдер, который имеет платиновый рейтинг в SemiAnalysis ClusterMAX 1.0, 2.0 и 3.0 и обслуживает девять из десяти ведущих лабораторий ИИ. Вместе NVIDIA и CoreWeave предоставляют клиентам платформу для превращения экспериментальных агентов в производственные системы, которые пишут программное обеспечение, поддерживают клиницистов и выполняют полезную работу в реальном мире. Узнать больше можно, посетив сессии, демонстрации и мастер-классы NVIDIA на мероприятии CoreWeave Fully Connected. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.