arXiv:2611.08860v1 Announce Type: new Abstract: Multimodal emotion recognition in conversations (MERC) integrates textual, acoustic, and visual cues to identify utterance-level emotions. However, existing approaches generally do not explicitly adapt multimodal processing to the degree of inter-modal predictive disagreement. In real conversations, semantic incongruity, concealed emotion, noisy observations, and ambiguity can affect modality-specific emotional evidence differently, while the reliability of individual modalities varies across samples. Rather than identifying each source of inconsistency separately, we model their common consequence for emotion recognition as predictive disagreement among unimodal emotion distributions over the same emotion-label set. Such disagreement makes indiscriminate fusion prone to propagating unreliable or competing evidence. Inspired by the Brunswik Lens Model, we propose MiD-ERC, a divergence-centric framework that quantifies inter-modal predictive disagreement using a normalized divergence score and estimates sample-specific modality reliability. MiD-ERC uses these signals to coordinate divergence-guided cross-modal gating, divergence-modulated reliability weighting, and divergence-conditioned adaptive LLM prompting. The framework is trained end-to-end using only standard emotion annotations, without requiring additional conflict labels, auxiliary data construction, or external retrieval modules. Experiments on IEMOCAP and MELD demonstrate that MiD-ERC achieves state-of-the-art performance, with particularly pronounced improvements on high-divergence samples.
Учтите расхождение: Направленное расхождением надежностно-ориентированное слияние и адаптивные подсказки LLM для распознавания эмоций в диалогах
arXiv:2611.08860v1 Тип объявления: новый Абстракт: Мультимодальное распознавание эмоций в разговорах (MERC) интегрирует текстовые, акустические и визуальные сигналы для идентификации эмоций на уровне высказываний. Однако существующие подходы обычно не адаптируют мультимодальную обработку явно к различным условиям.
Кратко от AI: Главные тезисы
- arXiv:2611.08860v1 Тип объявления: новый Абстракт: Мультимодальное распознавание эмоций в разговорах (MERC) интегрирует текстовые, акустические и визуальные сигналы для идентификации эмоций на уровне высказываний
- Однако существующие подходы обычно не адаптируют мультимодальную обработку явно к различным условиям.
Учтите расхождение: Направленное расхождением надежностно-ориентированное слияние и адаптивные подсказки LLM для распознавания эмоций в диалогах
Похожие материалы
Ripple-65B Preview: модель для агентного кодинга
🌟 Ripple-65B Preview: модель для агентного кодинга Ricursive Intelligence выпустила в открытое превью модель агентного программирования на 65 млрд параметров, ориентированную на скорость ответов. Компания основана Анной Голди и Азалией Мирхосейни, бывшими исследователи Google…
Платформа FLEX учит роботов понимать скрытые намерения человека
MIT представил платформу FLEX: роботы учатся понимать скрытые намерения человека и обобщать команды на основе языковой модели.
ТОП ИИ-новостей недели
📌 ТОП ИИ-новостей недели 🔊 ElevenLabs Sound Effects v3 — генерирует звуки по описанию: от шагов и взрывов до атмосферного фона. 🎨 OpenAI Images 2.6 — создаёт GIF-анимации, быстрее генерирует изображения и точнее редактирует готовые картинки. 🎬 Gemini Omni 1.2 Flash —…
К самообучению LLM в условиях дефицита данных: Эффективность, Обобщающая способность и Надежность
arXiv:2611.08908v1 Тип объявления: новый Абстракт: Быстрое развитие больших языковых моделей (LLM) во многом было обусловлено увеличением размера модели и человечески отобранными обучающими данными, однако эта парадигма все больше ограничивается дефицитом данных и убывающей отдачей от человеческого…