Как пишет AWS Machine Learning, компания Reflection AI представила Beam, открытую модель для программирования и выполнения долгосрочных задач, таких как поддержка кода, использование инструментов, интерпретация результатов и завершение многошаговых рабочих процессов. Открытый доступ к весам модели предоставляет разработчикам и исследователям контроль над средой выполнения, развертыванием и процессом настройки. В этом посте мы объясняем видение Reflection и показываем, как развернуть Beam на AWS. Начните с реального конечного пункта Amazon SageMaker JumpStart для полностью управляемого развертывания. Когда вам нужен контроль на уровне Kubernetes над распределенной GPU-инфраструктурой, используйте Amazon SageMaker HyperPod Inference с JumpStart, SGLang или vLLM. Также объясняется, как 501 миллиард параметров модели Beam влияют на хранение контрольных точек, память весов, шардирование и параллелизм, в то время как 23 миллиарда активных параметров влияют на вычисления на токен. На момент запуска Beam доступен в Amazon SageMaker JumpStart в регионах США Восток (Северная Вирджиния) и США Восток (Огайо). Миссия Reflection заключается в том, чтобы сделать интеллект открытым и доступным для всех через открытые веса моделей, опубликованные исследования и программное обеспечение с открытым исходным кодом. Полный стек ИИ компании охватывает модели, основное программное обеспечение, производственную инфраструктуру и приложения. Beam приносит этот подход разработчикам, создающим программное обеспечение и агентные системы. Beam — это разреженная модель смешанной экспертизы, предназначенная для решения программных проблем, модификации кода, вызова инструментов и работы с промежуточными результатами. Она имеет 501 миллиард параметров и 23 миллиарда активных параметров, и Reflection сообщает об эффективной длине контекста в 1 миллион токенов. Reflection выпускает веса Beam через Hugging Face под лицензией Apache 2.0. Версия Beam 1.0 доступна в форматах BF16, FP8 и NVFP4, которые обеспечивают различные требования к памяти и совместимость с аппаратным обеспечением. Вы можете развернуть модель с помощью управляемой конфигурации контейнера AWS JumpStart или исследовать и настраивать модель с SGLang или vLLM в вашей среде AWS. Понять архитектуру развертывания можно, выбрав путь обслуживания, который соответствует вашим требованиям к контролю и масштабированию. Начните с реального конечного пункта SageMaker JumpStart, когда хотите получить управляемый пакет модели, конечный пункт и API вызова без необходимости управления Kubernetes. Используйте JumpStart на HyperPod Inference, когда вам нужна управляемая контейнерная и модельная конфигурация на кластере HyperPod, организованном Amazon Elastic Kubernetes Service (Amazon EKS). Используйте SGLang или vLLM на HyperPod Inference, когда вам нужно контролировать образ обслуживания, аргументы времени выполнения, квантизацию или распределенное выполнение. Размер развертывания зависит от хранения контрольных точек, памяти весов, кеша KV, длины контекста, пакетирования, накладных расходов времени выполнения и поддерживаемого параллелизма. Определите ожидаемую конкуренцию и цели задержки, затем настройте реплики, кэширование, маршрутизацию и автоматическое масштабирование на основе измеренного поведения рабочей нагрузки. Путь реального времени JumpStart упаковывает модель, контейнер и конечный пункт за управляемым рабочим процессом развертывания. Путь HyperPod открывает кластер и среду выполнения, чтобы вы могли контролировать распределенное выполнение, кэширование, маршрутизацию и масштабирование. Beam можно получить через SageMaker JumpStart, Hugging Face Hub или дополнительное зеркало Amazon Simple Storage Service (Amazon S3). Распределенные рабочие используют управляемый контейнер JumpStart от AWS или настраиваемую среду выполнения SGLang или vLLM. Вам понадобится учетная запись AWS с разрешениями для выбранного вами пути развертывания SageMaker и его поддерживающих ресурсов AWS Identity and Access Management (IAM), сетевых и хранилищных ресурсов. Доступ к Beam осуществляется через SageMaker JumpStart или один из репозиториев контрольных точек Beam 1.0 на Hugging Face. Примите условия модели, установите AWS Command Line Interface (AWS CLI) и Python 3.11 или новее. Поскольку 501 миллиард параметров Beam требуют развертывания на нескольких GPU, BF16 имеет наибольшие требования к памяти весов, поэтому планируйте конфигурацию с несколькими узлами с достаточным объемом GPU-памяти для весов и накладных расходов времени выполнения. Для FP8 используйте ml.p5.48xlarge с NVIDIA H100 или ml.p5e.48xlarge и ml.p5en.48xlarge с H200. Для NVFP4 используйте ml.p6-b200.48xlarge с NVIDIA B200. Подтвердите, что выпущенная контрольная точка, среда выполнения и параллельная компоновка поддерживают выбранный тип экземпляра. Рассчитайте память для весов, кеша KV и накладных расходов времени выполнения для одной реплики, затем подтвердите оценку с помощью нагрузочного теста. Выберите регион AWS, который поддерживает требуемый ускоренный экземпляр. Используйте емкость по запросу, когда это возможно, или используйте план обучения SageMaker в качестве краткосрочной резервации для запланированной работы. Уделите время для передачи изображений, загрузки весов, загрузки шардов и инициализации времени выполнения. Начните с реального конечного пункта SageMaker JumpStart, когда хотите получить кратчайший путь от каталога моделей к управляемому HTTPS конечному пункту. Пример поддерживает модели BF16, FP8 и NVFP4 через одну команду, учитывающую варианты. Его README и Python файл являются источником правды для поддерживаемых типов экземпляров, схемы запросов, команды развертывания и команды очистки. Клонируйте образец репозитория и войдите в каталог развертывания SageMaker JumpStart. Создайте и активируйте виртуальную среду Python, установите зависимость образца, выполните ограниченное развертывание, вызов и очистку жизненного цикла для FP8. Команда развертывает конечный пункт FP8, отправляет короткий запрос, печатает ответ и очищает конечный пункт. Используйте bf16 или nvfp4, чтобы выбрать другой вариант контрольной точки; NVFP4 является значением по умолчанию, когда вы пропускаете --variant. Используйте функции Python в README, когда вам нужно, чтобы конечный пункт оставался работающим. Используйте HyperPod Inference, когда вам нужен контроль на уровне Kubernetes над распределенной GPU-инфраструктурой. Вы можете использовать управляемую конфигурацию контейнера JumpStart от AWS или развернуть Beam с SGLang или vLLM. README образца развертывания HyperPod Inference и его файлы конфигурации являются источником правды для выпущенных манифестов, идентификаторов моделей и изображений, поддерживаемых версий времени выполнения и команд. Перед началом настройте доступ kubectl к кластеру HyperPod, организованному EKS, с оператором HyperPod Inference и необходимыми дополнениями. Вам также понадобится виртуальная частная облачная сеть (VPC) кластера, подсети, группы безопасности, доступ к выбранным артефактам Beam и времени выполнения, а также локальная емкость NVMe, если вы включаете кэширование модели. Разверните закрепленную ревизию Beam из Hugging Face Hub для разработки и экспериментов. Для производственных развертываний и кэширования модели скопируйте контрольную точку в Amazon S3 или Amazon FSx. Кэширование моделей и изображений HyperPod может предварительно загрузить веса на локальное хранилище NVMe узла и предварительно загрузить изображение обслуживания. HyperPod Inference Gateway предоставляет интерфейс, совместимый с OpenAI, и маршрутизирует запросы между репликами. Подготовьте артефакты развертывания, используя неизменяемые входные данные, чтобы вы могли воспроизводить результаты развертывания и производительности. Используйте выпущенную модель JumpStart, зафиксированную в образце развертывания. Выберите контрольную точку BF16, FP8 или NVFP4 для пользовательского времени выполнения. Для пользовательского времени выполнения храните публичный SHA коммита Beam и дайджест изображения в конфигурации выпуска образца. Зеркально выпущенное изображение в частный репозиторий Amazon Elastic Container Registry (Amazon ECR) только в том случае, если ваш кластер не может загрузить изображение из верхнего уровня или ваша организация требует одобренного реестра. Выберите путь обслуживания, начните с SageMaker JumpStart, если только ваша рабочая нагрузка не требует специфического времени выполнения или конфигурации вывода. Путь обслуживания используйте, когда что вы управляете. SageMaker JumpStart — вы хотите управляемую контейнерную и модельную конфигурацию с меньшим обслуживанием времени выполнения. Выберите версию модели Beam, поддерживаемый тип экземпляра, конфигурацию конечного пункта и политику масштабирования. SGLang или vLLM — вам нужно специфическое время выполнения или конфигурация вывода, такая как пользовательские аргументы времени выполнения, парсеры, квантизация или параллелизм. Закрепите поддерживаемое изображение времени выполнения, ревизию модели, конфигурацию парсера и настройки распределенного выполнения. Разверните с SageMaker JumpStart, чтобы уменьшить работу по интеграции контейнера, в то время как HyperPod сохраняет контроль над мощностью кластера, масштабированием и наблюдаемостью. В SageMaker Studio откройте каталог моделей JumpStart. В разделе Все общедоступные модели выберите Beam. Выберите SageMaker HyperPod в качестве целевого развертывания. Выберите кластер и пространство имен Kubernetes. Введите имя конечного пункта и выберите Развернуть. Подтвердите статус развертывания перед вызовом конечного пункта с выпущенной схемой запроса JumpStart. Для рабочего процесса инфраструктуры как кода используйте выпущенную конфигурацию JumpStart в образце HyperPod. Вы можете просмотреть шаблон манифеста reflection-beam-jumpstart.yaml перед настройкой развертывания. Клонируйте образец репозитория и войдите в каталог HyperPod Beam. Создайте локальные файлы конфигурации, описанные в README. Проверьте конфигурацию JumpStart перед изменением кластера. Разверните конфигурацию JumpStart. Помощник рендерит и применяет ресурс JumpStartModel без записи заполненных значений выпуска на диск. Разверните конфигурацию JumpStart. Выберите SGLang или vLLM, когда вам нужен прямой контроль над временем выполнения обслуживания. Перед настройкой развертывания просмотрите шаблон манифеста reflection-beam-sglang.yaml или reflection-beam-vllm.yaml. README образца остается источником правды для выпущенных значений и команд. Клонируйте образец репозитория, войдите в каталог HyperPod Beam и создайте локальные файлы конфигурации, описанные в README. Проверьте выбранную конфигурацию перед изменением кластера. Разверните Beam и дождитесь терминального состояния развертывания. Замените sglang на vllm для использования vLLM. Помощник проверяет выбранные настройки, применяет отрендеренный манифест без записи значений выпуска на диск, ждет с фиксированным тайм-аутом и выводит диагностику, если развертывание не удалось. Вызывайте JumpStart конечные пункты с выпущенной схемой запроса модели. Для SGLang или vLLM используйте ограниченный тест дыма, включенный в образец HyperPod. Установите зависимость клиента образца, выполните частную проверку состояния и короткий запрос с рекомендуемыми начальными настройками выборки. Измеряйте и настраивайте производительность, тестируя каждый путь обслуживания с повторяющимися, репрезентативными запросами кода и использования инструментов при ожидаемой конкуренции. Запишите версию модели Beam, дайджест изображения, тип экземпляра, точность, длину контекста, параллелизм, аргументы обслуживания, состояние кэша и количество повторений теста. Измерьте процент успешных запросов, p50 и p95 время до первого токена, время на выходной токен, задержку от конца до конца и общее количество выходных токенов в секунду. Настройте размер пакета, выделение кэша KV, количество реплик, автоматическое масштабирование и кэширование модели и изображений на основе этих результатов. Повторно проверьте качество выхода после изменения точности или квантизации. Очистите ресурсы, когда закончите тестирование, чтобы избежать продолжающихся расходов. Для реального конечного пункта SageMaker JumpStart следуйте инструкциям по очистке в README образца развертывания SageMaker JumpStart. Для JumpStart, SGLang или vLLM на Amazon SageMaker HyperPod Inference следуйте инструкциям по очистке в README образца развертывания HyperPod Inference. Удалите выделенный HyperPod или кластер Amazon EKS, созданный для демонстрации. Удалите неиспользуемые кэшированные веса, зеркальные артефакты, балансировщики нагрузки, группы журналов, временные роли IAM и захваченные данные вывода. В заключение, Reflection Beam предоставляет разработчикам открытую модель, предназначенную для программирования и многошаговых задач. Начните с реального конечного пункта SageMaker JumpStart для полностью управляемого развертывания. Используйте SageMaker HyperPod Inference с JumpStart, когда вам нужен контроль инфраструктуры на уровне Kubernetes без управления контейнером обслуживания, или выберите SGLang или vLLM, когда вам нужно пользовательское время выполнения. Используйте образец развертывания SageMaker JumpStart или образец развертывания HyperPod Inference, затем следуйте инструкциям. Чтобы узнать больше о Reflection AI и ее видении открытого интеллекта, посетите Reflection AI и прочитайте Introducing Beam. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.