Оценка агента с обратной связью: многоуровневое измерение и самокалибровка
arXiv:2611.07051v1 Тип объявления: новое Аннотация: Как только агент заработает, команды хотят знать, выполняет ли он свою работу, а не только выдает ли он ошибки. Тем не менее, большинство оценок носят одноразовый характер: тестовый прогон, просмотр трассировок, один балл. Его выводы не проверяют себя…
Кратко от AI: Главные тезисы
- arXiv:2611.07051v1 Тип объявления: новое Аннотация: Как только агент заработает, команды хотят знать, выполняет ли он свою работу, а не только выдает ли он ошибки
- Тем не менее, большинство оценок носят одноразовый характер: тестовый прогон, просмотр трассировок, один балл
- Его выводы не проверяют себя…
Оценка агента с обратной связью: многоуровневое измерение и самокалибровка
Похожие материалы
Утечки GPT-6.2 становятся очень интересными
Следующая модель OpenAI приближается очень близко, и утечки вокруг нее становится все труднее и труднее игнорировать. Два загадочных названия моделей появились в официальном списке моделей OpenAI на несколько минут, а затем исчезли. Сообщается, что внутри находится гигантская новая модель под названием Bell…
Anthropic устранила перерасход токенов в Claude Code
✔️ Anthropic устранила перерасход токенов в Claude Code Ранее фоновые субагенты Claude Code , выполняющие проверку кода или тесты, обновляли свой статус каждые 30 секунд и каждый раз базовая модель заново считывала всю историю переписки. Пользователи в сети отмечали, что на…
Thinking Machines выпустили ИИ-модель, которая самостоятельно обучила другую модель
Thinking Machines выпустили ИИ-модель, которая самостоятельно обучила другую модель Бывшая команда OpenAI выпустила свою открытую ИИ-модель Inkling 2 Small, которой дали задачу - научить Qwen3.5-4B прогнозировать временные ряды. Дальше Inkling 2 Small действовала одна: написала…
Будущая модель OpenAI обнаружила 1 724 уязвимости в Linux
🔐 Будущая модель OpenAI обнаружила 1 724 уязвимости в Linux Ещё не выпущенная кибермодель OpenAI продемонстрировала впечатляющие результаты в поиске уязвимостей операционной системы. За один запуск она: - обнаружила 1 724 уязвимости; - подготовила 948 рабочих эксплойтов,…