По данным AWS Machine Learning, свипы параллелизма помогают оптимизировать генеративный ИИ-эндпойнт, определяя тип инстанса и конфигурацию обслуживания, которые максимизируют соотношение цены и производительности при допустимой задержке. Без системного подхода оптимизация требует ручного развертывания, нагрузочного тестирования, корректировки и повторения, что может привести к неэффективному использованию бюджета на простаивающие GPU. Если выбрать слишком много инстансов, то можно потратить бюджет впустую, а если слишком мало, то запросы будут ставиться в очередь, задержка возрастет, и пользователи столкнутся с ухудшением качества обслуживания. Свипы параллелизма решают эту проблему. Свип параллелизма — это систематический подход к бенчмаркингу, который отправляет контролируемые, увеличивающиеся уровни параллельного трафика на ваш ИИ-эндпойнт Amazon SageMaker и анализирует его производительность. Свипы параллелизма встроены в рекомендации по ИИ-инференсу Amazon SageMaker, поэтому нет необходимости в создании или обслуживании пользовательской инфраструктуры для нагрузочного тестирования. В этой статье мы рассмотрим развертывание модели NVIDIA Nemotron-3 Nano 30B, запуск автоматизированных свипов параллелизма и использование результатов для принятия обоснованных решений о мощности. В конце вы узнаете, сколько параллельных запросов может обработать ваш эндпойнт до того, как задержка станет неприемлемой, и как автоматизировать этот процесс. Свип параллелизма отправляет контролируемое количество одновременных запросов к вашему ИИ-эндпойнту SageMaker и измеряет два показателя на каждом уровне: пропускная способность (количество токенов в секунду, которые производит ваш эндпойнт) и задержка (время, необходимое для обработки каждого запроса). Постепенно увеличивая параллелизм (например, от 64 до 256, а затем до 1024 одновременных запросов), вы можете проследить кривую, которая показывает точку насыщения вашего эндпойнта. Это та точка, где добавление большего количества параллельного трафика перестает улучшать пропускную способность и ухудшает задержку. Свип параллелизма предоставляет три ключевых показателя для планирования производства: идеальный баланс — уровень параллелизма, при котором пропускная способность максимальна при допустимой задержке; критическая точка — уровень, при котором задержка превышает порог вашего соглашения об уровне обслуживания (SLA); фактор оптимизации — количество инстансов, необходимых для покрытия пикового трафика с учетом мощности на инстанс. Рабочий процесс свипа параллелизма состоит из четырех шагов: развертывание модели на ИИ-эндпойнте SageMaker с использованием контейнера vLLM, настройка профиля нагрузки (количество входных и выходных токенов, режим потоковой передачи), запуск свипа параллелизма с помощью API CreateAIBenchmarkJob и анализ результатов для определения оптимального уровня параллелизма и оптимизации вашего пула инстансов. Перед началом убедитесь, что у вас есть учетная запись AWS с доступом к Amazon SageMaker AI и роль IAM с правами для SageMaker AI и Amazon Simple Storage Service (Amazon S3). После развертывания модели, конфигурации эндпойнта и самого эндпойнта, мы проверяем развертывание с помощью валидации перед переходом к бенчмаркингу. Настройка профиля нагрузки требует определения того, какой трафик будет симулироваться. Мы создаем профиль нагрузки, который отражает реалистичный паттерн вывода генеративного ИИ, используя CreateAIWorkloadConfig. После определения профиля нагрузки мы можем запустить свип. Создание задания бенчмарка с помощью API CreateAIBenchmarkJob позволяет нам задать параметры для свипа. Бенчмарк-движок (AIPerf) последовательно запускает каждый уровень параллелизма в рамках одного задания, отправляя общее количество запросов, определенное для каждого уровня. После завершения задания результаты записываются в Amazon S3 в формате tarball, содержащем метрики по уровням в формате JSON. После завершения задания мы можем загрузить и проанализировать результаты. Четыре метрики являются наиболее важными при чтении результатов: пропускная способность (выходные токены в секунду), p99 задержка, разброс задержки от p50 до p99 и время до первого токена (TTFT), что критично для потоковых пользовательских интерфейсов. Когда вы строите график пропускной способности по сравнению с задержкой на разных уровнях параллелизма, точка насыщения видна как «колено» на кривой: пропускная способность выравнивается, в то время как задержка p99 резко возрастает. С завершением бенчмаркинга мы можем очистить ресурсы, созданные в процессе. Чтобы избежать постоянных расходов, удалите ваши эндпойнты SageMaker, конфигурации эндпойнтов и модели после тестирования. Свипы параллелизма заменяют догадки данными в процессе планирования мощности для генеративных ИИ-эндпойнтов. Вместо избыточного развертывания или выявления узких мест в производстве, вы можете систематически оценить производительность вашего эндпойнта и принимать обоснованные решения о размере пула инстансов до того, как поступит первый запрос от пользователя. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником. Расширение возможностей государственного сектора с помощью Agentforce и AWS Trane улучшает диагностику HVAC на 60 раз с помощью Amazon Bedrock AWS Machine Learning представляет новую систему оценки навыков агентов с использованием Strands Evals и Amazon Bedrock. AWS Machine Learning показывает, как объединить автоматизацию данных с Agentforce. Инфраструктура ИИ может оказаться более ценной, чем сами приложения ИИ.