NVIDIA представила Nemotron 3 Diarization для отслеживания голосов

MarktechPost рассказывает, что NVIDIA выпустила Nemotron 3 Diarization, модель для диаризации говорящих с открытыми весами на платформе Hugging Face. Эта модель отвечает на вопрос, кто говорил в какой момент времени в разговоре. Модель с 100 миллионами параметров может отслеживать до 8 говорящих, включая случаи, когда голоса накладываются друг на друга. Один контрольный пункт справляется как с оффлайн-записями, так и с потоковой передачей в реальном времени. Модель доступна для развертывания, так как веса выпущены под лицензией OpenMDW 1.1, которая разрешает коммерческое использование. Она работает на Linux через NVIDIA NeMo, используя графические процессоры Ampere, Ada Lovelace, Hopper или Blackwell. Почему важна диаризация говорящих? Автоматическое распознавание речи (ASR) предоставляет слова, но не указывает, кто их произнес. Без атрибуции резюме не может определить, кто сделал обязательство или кто выразил возражение. Диаризация выводит временные интервалы, когда каждый говорящий активен. Эти временные метки комбинируются с выводами ASR для создания транскрипта с атрибуцией говорящих. Nemotron 3 Diarization значительно улучшила возможности по сравнению с предыдущей моделью Streaming Sortformer, которая поддерживала 4 говорящих. Новая модель удвоила этот лимит до 8. По словам NVIDIA, целевой аудиопоток — это запутанные многосторонние разговоры, в которых люди говорят одновременно. Архитектура модели принимает аудио в формате 16 кГц, одноканальное в форматах .wav, .flac, .opus или .mp3. Она преобразует аудио в мел-спектрограммы с шагом 10 мс. Эти функции укладываются в 80 мс кадры энкодера. 31-слойный трансформер с ротационными позиционными эмбеддингами обрабатывает эти кадры. Затем слой Conv1D возвращает предсказания обратно к разрешению 10 мс. Выходом является тензор [T, 8] с вероятностями активности для каждого говорящего. Модель справляется с наложением голосов напрямую. Если два человека говорят одновременно, два канала активируются в одном кадре. Модель использует подход Sortformer для упорядочивания говорящих по времени их появления. Первый новый голос занимает канал 1, следующий — канал 2 и так далее. Это позволяет сохранять стабильность меток между потоками, так что модели не нужно повторно сопоставлять говорящих с каналами для каждого потока. Модель имеет несколько режимов задержки. Задержка входного буфера составляет (чанк + правый контекст) × 80 мс. Результаты тестирования показали, что модель заняла первое место среди 12 систем и 17 конфигураций в первоначальных результатах Diarization-Bench Voice Arena, получив 14,72% DER. Это на 24% лучше, чем у следующей по рейтингу системы. Модель обучалась на основе около 10 000 часов реальных разговоров и 82 611 часов смоделированных многоголосых смесей. Лицензированный аудиоматериал для смоделированных смесей охватывает 21 язык. Модель не доступна через Hugging Face Inference Providers, и записи с более чем 8 говорящими могут привести к пропущенной или неправильно назначенной речи. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником. Священник обеспокоен поведением «картелей» среди крупных лабораторий ИИ HEMA создает внутреннего ИИ-ассистента на Amazon Bedrock Contrastive-LM представила CLM-8B, модель, которая ускоряет действия агентов до 9 раз по сравнению с Jev. TypeSafe AI представила модель Jev для принятия решений без генерации текста. Meta представила новые функции для ИИ-агента Muse, включая цифрового аватара и интеграцию с умными очками.