Устранение задержек в синтезе речи с помощью Kokoro TTS на Amazon SageMaker AI

Как пишет AWS Machine Learning, задержки в синтезе речи могут негативно сказаться на взаимодействии клиентов с голосовыми агентами. Когда клиент задает вопрос, а ответ генерируется слишком долго, это приводит к разочарованию и потере интереса. В данной статье описывается, как устранить эту проблему, используя потоковую передачу синтеза речи с помощью модели Kokoro-82M на Amazon SageMaker AI. Решение заключается в том, чтобы начать синтезировать каждое предложение сразу после его генерации, а не дожидаться завершения всего ответа. Таким образом, аудио воспроизводится с первого предложения, что значительно сокращает время ожидания. Модель Kokoro-82M, обладающая 82 миллионами параметров, достаточно компактна, чтобы работать на недорогом графическом процессоре, что позволяет минимизировать задержку и стоимость обработки. Для реализации решения необходимо создать конечную точку SageMaker AI с использованием контейнера, который поддерживает двунаправленный поток. Контейнер предоставляет два маршрута: один для синтеза полного ответа и другой для поддержания открытого соединения для обмена сообщениями в обоих направлениях. Это позволяет избежать задержек при каждом новом сообщении. Перед началом работы необходимо создать учетную запись AWS с соответствующими правами, а также установить необходимые инструменты и библиотеки. В статье также рассматриваются изменения на стороне клиента, позволяющие реализовать инкрементальную потоковую передачу. В процессе работы описываются шаги по развертыванию конечной точки и агента, а также обработка сообщений с использованием WebSocket. Важно поддерживать открытое соединение между сообщениями, чтобы избежать дополнительных задержек при каждом новом запросе. Статья также предлагает практические советы по оптимизации передачи аудио, включая использование двунаправленного потока для передачи бинарного аудио без необходимости кодирования в base64, что экономит место и время. В завершение приводятся результаты тестирования, показывающие, что предложенное решение значительно сокращает время до первого звука, улучшая взаимодействие пользователей с голосовыми агентами. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.