arXiv:2611.08613v1 Announce Type: new Abstract: Normative competence, the ability to infer socially enforced expectations from interaction and adjust behavior accordingly, is essential for agents operating in unfamiliar human communities. Yet existing evaluations largely test whether agents can recognize or apply norms they may already know, rather than whether they can acquire previously unknown norms from social interaction. We introduce NormGym, an interactive benchmark for normative competence in which a newcomer must infer a hidden, arbitrary norm while pursuing its own task in a multi-agent community. Success requires distinguishing what is possible from what is permitted, inferring the norm from observed behavior and sanctions, and applying it in new situations. NormGym contains diverse norms and distinct environments, allowing systematic evaluation of current agents, including large language model (LLM) agents. We find that normative competence remains challenging: the strongest evaluated LLM achieves a joint task-and-compliance success rate of 55.3%. Our analysis reveals that models can sometimes revise their behavior following sanctions for their own actions, but struggle to use other agents' behavior and the sanctions they receive to infer the underlying norm. We further find that fine-tuning models may be insufficient to improve normative competence. These results suggest that current models lack a robust, transferable capability for acquiring normative knowledge through social interaction.
NormGym: Оценка нормативной компетенции через социальное взаимодействие
arXiv:2611.08613v1 Announce Type: new Abstract: Нормативная компетенция — способность выводить социально навязанные ожидания из взаимодействия и соответствующим образом корректировать поведение — необходима для агентов, действующих в незнакомых человеческих сообществах. Однако существующие оценки в основном проверяют…
Кратко от AI: Главные тезисы
- arXiv:2611.08613v1 Announce Type: new Abstract: Нормативная компетенция — способность выводить социально навязанные ожидания из взаимодействия и соответствующим образом корректировать поведение — необходима для агентов, действующих в незнакомых человеческих сообществах
- Однако существующие оценки в основном проверяют…
NormGym: Оценка нормативной компетенции через социальное взаимодействие
Похожие материалы
Ripple-65B Preview: модель для агентного кодинга
🌟 Ripple-65B Preview: модель для агентного кодинга Ricursive Intelligence выпустила в открытое превью модель агентного программирования на 65 млрд параметров, ориентированную на скорость ответов. Компания основана Анной Голди и Азалией Мирхосейни, бывшими исследователи Google…
Платформа FLEX учит роботов понимать скрытые намерения человека
MIT представил платформу FLEX: роботы учатся понимать скрытые намерения человека и обобщать команды на основе языковой модели.
ТОП ИИ-новостей недели
📌 ТОП ИИ-новостей недели 🔊 ElevenLabs Sound Effects v3 — генерирует звуки по описанию: от шагов и взрывов до атмосферного фона. 🎨 OpenAI Images 2.6 — создаёт GIF-анимации, быстрее генерирует изображения и точнее редактирует готовые картинки. 🎬 Gemini Omni 1.2 Flash —…
К самообучению LLM в условиях дефицита данных: Эффективность, Обобщающая способность и Надежность
arXiv:2611.08908v1 Тип объявления: новый Абстракт: Быстрое развитие больших языковых моделей (LLM) во многом было обусловлено увеличением размера модели и человечески отобранными обучающими данными, однако эта парадигма все больше ограничивается дефицитом данных и убывающей отдачей от человеческого…