По данным TechCrunch, сектор голосового ИИ активно развивается, и ведущие компании стремятся укрепить свои позиции через партнерства и приобретения. Deepgram объявила в четверг о покупке компании Daily, разработчика одной из самых популярных открытых инфраструктур для голосового ИИ, Pipecat. Сумма сделки не раскрыта, однако компании подтвердили, что Pipecat останется с открытым исходным кодом. Для тех, кто не знаком, Pipecat представляет собой фреймворк, который управляет голосовыми и видеопотоками, а также другими компонентами, такими как преобразование речи в текст (STT), большие языковые модели и преобразование текста в речь (TTS), снижая задержку. Daily предоставляет хостинговую инфраструктуру для голосовых и видеозвонков любого рода. С помощью Pipecat Deepgram, вероятно, получит более глубокое понимание инфраструктуры голосовой и видеосвязи в реальном времени. Согласно данным PitchBook, Daily привлекла более 62 миллионов долларов финансирования от таких инвесторов, как Tiger Global, Highfield Capital, Nat Friedman, Lachy Groom и Kevin Weil. Ранее в этом году Deepgram достигла статуса единорога, собрав 130 миллионов долларов в рамках раунда финансирования Series C. Интересно, что обе компании были в одной группе Y Combinator в 2016 году. Сооснователь Daily Квиндла Крамер отметил, что в то время, когда вышел GPT-4, компания начала экспериментировать с коммуникацией между ИИ и человеком через голос и текст, что в конечном итоге привело к созданию фреймворка Pipecat. Он добавил, что хотя к компании было много интереса со стороны других покупателей, он предпочел приверженность генерального директора Deepgram Скотта Стивенсона к тому, чтобы Pipecat оставался открытым исходным кодом навсегда, а также отметил, что инженерная культура обеих организаций совпадает, что дает команде Daily свободу работать над различными частями стека в рамках более крупной организации. «Скотт был очень предан тому, чтобы Pipecat оставался открытым исходным кодом и нейтральным к поставщикам навсегда. Я думаю, что здесь есть как личная приверженность, так и коммерческий стимул. Если вы находитесь в центре быстро растущей экосистемы и у вас есть много компонентов, которые действительно являются лучшими в вашей компании, то открытость всего возможного является коммерческим преимуществом», — сказал Крамер. Стивенсон добавил, что Deepgram давно хотела работать с открытым исходным кодом и осознала, что фреймворк оркестрации для агентов является потенциальной областью, что и стало причиной решения о партнерстве с Daily. «Мы хотим открыть экосистему, чтобы каждый мог создавать голосовых агентов. Это здорово, если вы используете модели Deepgram, но я хочу, чтобы вы использовали лучшие модели для вашего случая. И если Deepgram заметит, что нам нужно догнать в определенной области для наших собственных моделей и продуктов, это прекрасно. Мы хотим, чтобы вы использовали партнеров, а затем мы также будем работать над улучшением в этих областях», — сказал он. Стивенсон отметил, что приобретение позволяет разработчикам создавать агентов с выразительностью и полными системами распознавания речи, подключая различные модели и контекстный шина, которая соединяет все части. Для Deepgram сделка также открывает возможности для исследований в области, выходящей за рамки голоса, через Pipecat, поскольку фреймворк поддерживает связь в реальном времени в различных форматах. «Мы никогда не думали о Pipecat как о наборе инструментов для голоса. Мы рассматривали его как набор инструментов, который нам нужен для создания нового типа программного обеспечения, основанного на ИИ. Из-за того, откуда мы пришли, мы всегда предполагали реальное время», — сказал Крамер. Deepgram также запускает стандарт контекста в реальном времени (RCS), открытый протокол для голосовых агентов, который был совместно разработан с командой Pipecat. Протокол определяет метаданные, такие как контекст из аудио, например, шепот, инструкции для языковой модели о том, как она может использовать эти сигналы, и рекомендации о том, как должен звучать ответ. Голосовой ИИ привлекает значительные инвестиции как со стороны производителей моделей, так и со стороны инфраструктурных компаний. Производители моделей, такие как ElevenLabs, Gradium и Fish Audio, привлекли миллионы долларов. С другой стороны, инфраструктурные компании, такие как LiveKit и Vapi, в этом году провели многомиллионные раунды финансирования. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.