arXiv:2611.08860v1 Announce Type: new Abstract: Multimodal emotion recognition in conversations (MERC) integrates textual, acoustic, and visual cues to identify utterance-level emotions. However, existing approaches generally do not explicitly adapt multimodal processing to the degree of inter-modal predictive disagreement. In real conversations, semantic incongruity, concealed emotion, noisy observations, and ambiguity can affect modality-specific emotional evidence differently, while the reliability of individual modalities varies across samples. Rather than identifying each source of inconsistency separately, we model their common consequence for emotion recognition as predictive disagreement among unimodal emotion distributions over the same emotion-label set. Such disagreement makes indiscriminate fusion prone to propagating unreliable or competing evidence. Inspired by the Brunswik Lens Model, we propose MiD-ERC, a divergence-centric framework that quantifies inter-modal predictive disagreement using a normalized divergence score and estimates sample-specific modality reliability. MiD-ERC uses these signals to coordinate divergence-guided cross-modal gating, divergence-modulated reliability weighting, and divergence-conditioned adaptive LLM prompting. The framework is trained end-to-end using only standard emotion annotations, without requiring additional conflict labels, auxiliary data construction, or external retrieval modules. Experiments on IEMOCAP and MELD demonstrate that MiD-ERC achieves state-of-the-art performance, with particularly pronounced improvements on high-divergence samples.
Ауытты ескеріңіз: Ауыт негізіндегі сенімділікке байланысты фузия және адаптивті LLM сұраулары сөйлесу эмоцияларын тану үшін
arXiv:2611.08860v1 Жариялау түрі: жаңа Анотация: Сөйлесудегі мультимодальды эмоция тану (MERC) мәтіндік, дыбыстық және бейнелік белгілерді біріктіре отырып, сөйлем деңгейіндегі эмоцияларды анықтайды. Алайда, қолда бар подходтер жалпы алғанда мультимодальды өңдеуді нақты мақсаттарға бейімдемейді.
AI қорытындысы: Басты тезистер
- arXiv:2611.08860v1 Жариялау түрі: жаңа Анотация: Сөйлесудегі мультимодальды эмоция тану (MERC) мәтіндік, дыбыстық және бейнелік белгілерді біріктіре отырып, сөйлем деңгейіндегі эмоцияларды анықтайды
- Алайда, қолда бар подходтер жалпы алғанда мультимодальды өңдеуді нақты мақсаттарға бейімдемейді.
Ауытты ескеріңіз: Ауыт негізіндегі сенімділікке байланысты фузия және адаптивті LLM сұраулары сөйлесу эмоцияларын тану үшін
Ұқсас материалдар
Ripple-65B Preview: агенттік кодтауға арналған модель
🌟 Ripple-65B Preview: агенттік кодтауға арналған модель. Ricursive Intelligence 65 миллиард параметрлі агенттік бағдарламалау моделін ашық превью ретінде шығardı, бұл модель жауап беру жылдамдығына бағытталған. Компания Анна Голди мен Азалия Мирхосейни тарапынан, бұрынғы Google зерттеушілерімен құрылған…
FLEX платформасы роботтарға адамның жасырын ниеттерін түсінуді үйретеді
MIT FLEX платформасын ұсынды: роботтар адамның жасырын ниеттерін түсінуді және тіл моделі негізінде командаларды обобществлеуді үйреніп жатыр.
Апталық ТОП ИИ-жаңалықтар
📌 Апталық ТОП ИИ-жаңалықтар 🔊 ElevenLabs Sound Effects v3 — сипаттама бойынша дыбыстарды генерациялайды: қадамдар мен жарылыстардан атмосфералық фонға дейін. 🎨 OpenAI Images 2.6 — GIF-анимациялар жасайды, суреттерді тезірек генерациялайды және дайын суреттерді дәлдеп өңдейді. 🎬 Gemini Omni 1.2 Flash —…
Деректер жетіспеушілігі шарттарында LLM-нің өз-оқытуына қарай: Тиімділік, Жалпылау қабілеті және Сенімділік
arXiv:2611.08908v1 Хабарлама түрі: жаңа Анотация: Үлкен тілдік модельдердің (LLM) тез дамуы негізінен модель өлшемін арттыру және адамдармен жиналған оқыту деректері арқылы қамтамасыз етілген, бірақ бұл парадигма деректер жетіспеушілігі мен адамдардан…