arXiv:2611.08613v1 Announce Type: new Abstract: Normative competence, the ability to infer socially enforced expectations from interaction and adjust behavior accordingly, is essential for agents operating in unfamiliar human communities. Yet existing evaluations largely test whether agents can recognize or apply norms they may already know, rather than whether they can acquire previously unknown norms from social interaction. We introduce NormGym, an interactive benchmark for normative competence in which a newcomer must infer a hidden, arbitrary norm while pursuing its own task in a multi-agent community. Success requires distinguishing what is possible from what is permitted, inferring the norm from observed behavior and sanctions, and applying it in new situations. NormGym contains diverse norms and distinct environments, allowing systematic evaluation of current agents, including large language model (LLM) agents. We find that normative competence remains challenging: the strongest evaluated LLM achieves a joint task-and-compliance success rate of 55.3%. Our analysis reveals that models can sometimes revise their behavior following sanctions for their own actions, but struggle to use other agents' behavior and the sanctions they receive to infer the underlying norm. We further find that fine-tuning models may be insufficient to improve normative competence. These results suggest that current models lack a robust, transferable capability for acquiring normative knowledge through social interaction.
NormGym: Әлеуметтік өзара әрекет арқылы нормативті құзыретті бағалау
arXiv:2611.08613v1 Announce Type: new Abstract: Нормативті құзырет — өзара әрекеттен әлеуметтік міндеттемелі күтіністерді анықтау және одан тиісінше әрекет ету қабілеті — табыс емес адамдар топтарында жұмыс істейтін агенттер үшін маңызды. Алайда, қолда бар бағалаулар көпшілікке тесттейді…
AI қорытындысы: Басты тезистер
- arXiv:2611.08613v1 Announce Type: new Abstract: Нормативті құзырет — өзара әрекеттен әлеуметтік міндеттемелі күтіністерді анықтау және одан тиісінше әрекет ету қабілеті — табыс емес адамдар топтарында жұмыс істейтін агенттер үшін маңызды
- Алайда, қолда бар бағалаулар көпшілікке тесттейді…
NormGym: Әлеуметтік өзара әрекет арқылы нормативті құзыретті бағалау
Ұқсас материалдар
Ripple-65B Preview: агенттік кодтауға арналған модель
🌟 Ripple-65B Preview: агенттік кодтауға арналған модель. Ricursive Intelligence 65 миллиард параметрлі агенттік бағдарламалау моделін ашық превью ретінде шығardı, бұл модель жауап беру жылдамдығына бағытталған. Компания Анна Голди мен Азалия Мирхосейни тарапынан, бұрынғы Google зерттеушілерімен құрылған…
FLEX платформасы роботтарға адамның жасырын ниеттерін түсінуді үйретеді
MIT FLEX платформасын ұсынды: роботтар адамның жасырын ниеттерін түсінуді және тіл моделі негізінде командаларды обобществлеуді үйреніп жатыр.
Апталық ТОП ИИ-жаңалықтар
📌 Апталық ТОП ИИ-жаңалықтар 🔊 ElevenLabs Sound Effects v3 — сипаттама бойынша дыбыстарды генерациялайды: қадамдар мен жарылыстардан атмосфералық фонға дейін. 🎨 OpenAI Images 2.6 — GIF-анимациялар жасайды, суреттерді тезірек генерациялайды және дайын суреттерді дәлдеп өңдейді. 🎬 Gemini Omni 1.2 Flash —…
Деректер жетіспеушілігі шарттарында LLM-нің өз-оқытуына қарай: Тиімділік, Жалпылау қабілеті және Сенімділік
arXiv:2611.08908v1 Хабарлама түрі: жаңа Анотация: Үлкен тілдік модельдердің (LLM) тез дамуы негізінен модель өлшемін арттыру және адамдармен жиналған оқыту деректері арқылы қамтамасыз етілген, бірақ бұл парадигма деректер жетіспеушілігі мен адамдардан…