Согласно материалу Together AI, с помощью специализированного вывода моделей на платформе Together AI вы можете настроить автоматическое масштабирование ваших развертываний на основе метрик, которые действительно понимает движок вывода, таких как количество запросов в обработке, время до первого токена, использование GPU и пропускная способность токенов. Вы можете установить границы реплик, выбрать метрику и цель, а затем настроить два окна, которые контролируют, как быстро система масштабируется вверх и как терпеливо она масштабируется вниз. Понимание и выбор правильной метрики очень важно, поскольку это определяет поведение вашего развертывания при пиковом трафике и влияет на задержку, которую увидят ваши пользователи. В этом посте мы рассмотрим, как выбрать правильную метрику для автоматического масштабирования, и покажем эксперимент, в котором одна и та же нагрузка воспроизводилась при трех разных политиках автоматического масштабирования. Избыточное и недостаточное обеспечение обеих сторон является дорогостоящим. При специализированном выводе вы платите за каждую минуту реплики, что делает планирование мощности балансом между двумя режимами отказа: избыточное обеспечение — вы платите за GPU, которые работают на 15% загрузки, чтобы справиться с пиковым трафиком, когда он появляется; недостаточное обеспечение — ваша 95-я процентиль резко ухудшается, как только трафик превышает то, что могут обрабатывать ваши реплики. Обеспечение автоматического масштабирования — очевидный ответ, и для статeless веб-сервисов это в основном работает. Но вывод LLM — это другая задача, и она нарушает два предположения, на которых основано классическое автоматическое масштабирование. Метрики, основанные на CPU, вводят в заблуждение о нагрузке. GPU может показывать 60% загрузки, в то время как очередь запросов движка уже начинает накапливаться, и использование измеряет арифметическую интенсивность, а не давление. Масштабирование развертываний на основе неправильного сигнала означает, что система будет реагировать на число, которое не описывает реальную проблему. Холодные старты могут занимать несколько минут. Новая реплика должна быть размещена на узле GPU, загрузить десятки гигабайт весов, загрузить их в VRAM и разогреться. Это означает, что вы не можете масштабироваться в ответ на всплеск, потому что к моменту его появления уже слишком поздно масштабироваться. Это означает, что хорошая работа автоматического масштабирования заключается в том, чтобы действовать заранее на основе ведущих сигналов. Из-за этих нюансов и различных требований каждого клиента наша платформа предоставляет вам каталог метрик, специфичных для вывода, и позволяет выбирать, как ваше развертывание будет масштабироваться. Каждое развертывание имеет политику автоматического масштабирования: границы реплик, одну или несколько метрик масштабирования с целями и временные окна. Основной цикл пропорционален, что означает, что если вы нацелены на 8 запросов в обработке на реплику и наблюдаете 16, система будет стремиться к удвоению реплик (при условии, что 2x реплики находятся в пределах минимальных и максимальных границ). Временные окна могут использоваться для добавления эффекта дибаунса, чтобы количество реплик не колебалось. Окно масштабирования вверх: как долго давление должно сохраняться, прежде чем добавлять реплики. Держите его коротким; стоимость ложного масштабирования вверх составляет всего несколько минут реплики, в то время как стоимость пропуска — увеличенная задержка для пользователей. Окно масштабирования вниз (по умолчанию 5 минут): как долго все должно оставаться спокойным, прежде чем удалять реплики. Держите его длиннее, чем естественный ритм вашего трафика; стоимость ложного масштабирования вниз может быть холодным стартом в тот момент, когда наступает следующий пик. Эта асимметричная компромиссная ситуация между нетерпеливым масштабированием вверх и терпеливым масштабированием вниз очень важна для настройки и требует интуитивного понимания вашего конкретного распределения трафика. Ошибки в окне масштабирования вверх стоят денег, в то время как ошибки в окне масштабирования вниз стоят задержки и денег (поскольку вам просто придется снова масштабироваться вверх, заплатив за холодный старт на пути обратно). Настройка осуществляется с помощью одной команды: tg beta endpoints update ""$DEPLOYMENT_ID" --min-replicas 1 --max-replicas 6 --scale-up-window 60s --scale-down-window 300s --scaling-metric ttft --scaling-target 500 --scaling-percentile p95. Некоторые настройки, которые следует учитывать: min_replicas == max_replicas: это приводит к развертыванию фиксированного размера, автоматическое масштабирование фактически отключено. Установка обоих значений на min_replicas = max_replicas = 0 приводит к остановке развертывания (состояние STOPPED, выставление счета останавливается). Это может быть использовано как способ приостановить вашу конечную точку разработки. Выбор правильной метрики для автоматического масштабирования включает восемь метрик, на основе которых вы можете масштабироваться. Подбор правильной метрики зависит от того, от чего вы хотите защитить ваше развертывание. Метрики автоматического масштабирования включают метрики, основанные на параллелизме (ведущие; безопасный стандарт), метрики, основанные на SLO (отстающие; масштабируйтесь на обещание), и метрики, основанные на эффективности (оптимизация затрат). Если вы прикрепите несколько метрик, первая в списке будет использоваться. Три способа подумать о выборе правильной метрики: метрики, основанные на параллелизме (inflight_requests), являются безопасным стандартом. Количество запросов в обработке — это ведущий индикатор: оно увеличивается, когда спрос превышает обслуживание, но до того, как задержка заметно ухудшается. Метрики, основанные на SLO (ttft, e2e_latency): если ваш контракт с пользователями гласит "первый токен за секунду", масштабирование по целям ttft p95 именно это и делает. Задержка является отстающим сигналом, что означает, что к моменту, когда p95 превышает установленный порог, пользователи уже могут это заметить, поэтому обычно вы должны сочетать метрику задержки с честным запасом в min_replicas. Метрики, основанные на эффективности (gpu_utilization, token_utilization): оптимизация использования вашего оборудования. Эти метрики оптимизируют затраты: держите реплики занятыми, добавляйте мощность только тогда, когда флот действительно насыщен. При использовании этих метрик вам нужно понять, что "используемый" действительно означает для вашей рабочей нагрузки. GPU может быть загружен, но при этом рабочая нагрузка может не быть здоровой по задержке, а целевые показатели использования, близкие к 100%, не оставляют запаса для всплесков. Важно понимать, что холодный старт состоит из нескольких фаз: размещение GPU → загрузка весов → загрузка движка → разогрев, и временные метки события развертывания фиксируют каждую из этих фаз. Более крупные модели могут иметь пропорционально более длительные загрузки весов, загрузки движка и периоды разогрева. Чтобы лучше понять эти числа, мы представляем данные о временных затратах на развертывания с 1×H100 репликами на теплых кластерах. В случае, если всплеск трафика приходит быстрее, чем холодный старт, что на самом деле происходит? Запросы накапливаются на существующих репликах, и задержка ухудшается, когда TTFT увеличивается в первую очередь, за которым следует риск ошибок/таймаутов, пока новые реплики поднимаются. Это означает, что если ваш трафик может увеличиться в 10 раз за 90 секунд, а ваш холодный старт составляет 4 минуты, единственными защитами являются запасные реплики или политика с более высокой целью, которая поддерживает запасную мощность. Мы провели эксперимент с разными политиками автоматического масштабирования, и только сигнал параллелизма сработал. Клиентская 95-я процентиль находилась на уровне 3–5 секунд под этой нагрузкой и явно была насыщена, но политика ttft никогда не масштабировалась, потому что время до первого токена оставалось низким. И gpu_utilization никогда не масштабировалась, потому что короткие, бурные запросы оставляли GPU ниже своей границы в 75%. Попробуйте сами! Начните с настроек по умолчанию, затем настраивайте на основе полученных данных: установите реальные границы (min = то, что нужно вашей базовой нагрузке, max = то, что терпит ваш бюджет) и используйте стандартный целевой показатель inflight_requests 8. Наблюдайте за неделей трафика в API метрик: количество реплик, давление в очереди, 95-я процентиль. Только потом настраивайте: задержка SLO → добавьте политику ttft (если вы стримите); давление затрат → попробуйте использование с честным мониторингом p95; зубчатая форма → увеличьте окно масштабирования вниз. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.