Что показывает трасса и что говорит метка: Аудит поведенческих детекторов в оценке агентов
arXiv:2610.30491v1 Тип объявления: новый Абстракт: LLM-агенты часто оцениваются путем сокращения трасс выполнения до меток, таких как правильность конечного ответа, проверка инструментов и распространение ошибок. Эти метки — измерения, производимые парсерами, поведенческими детекторами и harness...
Кратко от AI: Главные тезисы
- arXiv:2610.30491v1 Тип объявления: новый Абстракт: LLM-агенты часто оцениваются путем сокращения трасс выполнения до меток, таких как правильность конечного ответа, проверка инструментов и распространение ошибок
- Эти метки — измерения, производимые парсерами, поведенческими детекторами и harness...
Что показывает трасса и что говорит метка: Аудит поведенческих детекторов в оценке агентов
Похожие материалы
Китайский математик подготовил 1000 задач, которые бросят вызов искусственному интеллекту
🧠 Китайский математик подготовил 1000 задач, которые бросят вызов искусственному интеллекту 61-летний профессор Нанкинского университета Сунь Чживэй составил сборник из 1000 нерешённых математических гипотез объёмом более 400 страниц. Учёный уверен, что ИИ не сможет решить…
Преодоление барьера высокой степени в задаче Лемера с помощью цикла открытий человек-ИИ
arXiv:2610.30277v1 Тип объявления: new Аннотация: Хотя искусственный интеллект достиг быстрого прогресса в математическом рассуждении, многие открытые проблемы зависят от структуры, которая раскрывается только через крупномасштабное вычислительное исследование и аналитический синтез. Одним из таких примеров…
Route-and-Generate: Улучшение KL-регуляризованного маршрутизатора для маршрутизации рассуждений в LLM
arXiv:2610.30351v1 Тип объявления: new Аннотация: Большие языковые модели часто применяют сложное рассуждение безразлично, что приводит к чрезмерному обдумыванию простых задач и недостаточному обдумыванию более сложных. Мы представляем Route-and-Generate (Rouge), иерархическую обучающую структуру, которая позволяет...
ENSoft Ontology Priors over Latent Concept Posteriors for Weakly Supervised Neuro-Symbolic Learning
arXiv:2610.30391v1 Announce Type: new Abstract: Neuro-symbolic (NeSy) predictors that supervise only the task label suffer from reasoning shortcuts: distinct concept mappings achieve the same maximum likelihood, leaving the recovered concepts unidentifiable and unsafe for…