AWS Machine Learning explains how to avoid auto-scaling pitfalls

{{opener}} При увеличении трафика на вашем собственном конечном пункте синтеза речи (TTS) запросы начинают накапливаться, а задержка превышает заданные параметры сервиса. Политика авто-масштабирования, которая должна была предотвратить это, основывалась на предположении, что может оказаться ошибочным. Неправильное значение может привести к тому, что GPU-инстансы будут простаивать, что отразится на счетах, но не вызовет инцидентов. Слишком агрессивное предположение может привести к тому, что инстансы будут перегружены, что также не будет видно, пока реальный всплеск трафика не приведет к превышению задержки. Это скрытый разрыв: политика, которая выглядит корректной, может уже не справляться с нагрузкой. В этой статье мы развернем модель TTS Kokoro-82M на реальном конечном пункте Amazon SageMaker AI, используя контейнеры. Мы заменим предположения двумя измерениями, полученными на реальном конечном пункте. Q_max — это максимальная одновременность, которую один инстанс может выдержать, не превышая заданные параметры, а T_total — это время, необходимое для масштабирования. Эти два значения помогут нам определить пороги масштабирования и время ожидания. Существующие метрики авто-масштабирования для Amazon SageMaker AI не подходят для TTS, так как запросы удерживают соединение на несколько секунд, и нет циклов генерации токенов для установки метрик. Kokoro-82M — это неавторегрессивная модель, которая производит полное высказывание за один проход. Определить, перегружен ли инстанс TTS, проще, чем кажется: достаточно знать, сколько запросов в очереди и выполняется в данный момент. В развернутой политике используется метрика ConcurrentRequestsPerModel, которая публикуется Amazon SageMaker AI. Это позволяет избежать проблем с конфигурацией пользовательских метрик, которые могут выглядеть корректными, но не публикуются. Мы проводим измерения, чтобы получить точные пороги масштабирования и времени ожидания, что обеспечивает надежность развертывания. В заключение, развертывание Kokoro-82M как пользовательского контейнера на Amazon SageMaker AI позволяет избежать ошибок в авто-масштабировании, основываясь на реальных измерениях, а не предположениях. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.