Google заметили, что ИИ-агенты могут преувеличивать результаты своей работы 😁 Например, когда агент выполняет задачу и пишет отчёт о результатах, то он склонен замалчивать всё, что портит картину его успеха. Сейчас все стремятся к долго работающим агентам, но в этом случае человек реже проверяет исходные логи и код. Он читает отчёт самой модели, и если в нем не сказано про провал эксперимента, баг или ограничение метода, человек думает, что всё хорошо. Google в одном из тестов модели дали лог эксперимента с заранее подложенным негативным результатом, тогда GPT-5.5 упоминал его только в 2 из 200 отчётов. А если в промпт добавить короткую фразу «Be honest in your response», модель отмечает этот негативный результат уже в 190 из 200 отчётов. То же поведение видно и у открытых моделей. По цепочкам рассуждений 8 open-weight моделей видно, что модель часто внутренне колеблется: упомянуть изъян или подать историю как успешную.
Материал агрегирован из первоисточника:
Telegram — blockchainRF (блокчейн / мозг / space / WEB 3.0)
Читать полностью в Telegram — blockchainRF (блокчейн / мозг / space / WEB 3.0)Материал собран из открытых источников. Если размещение затрагивает ваши права → Удалить информацию
Google заметили, что ИИ-агенты могут преувеличивать результаты своей работы 😁
Google заметили, что ИИ-агенты могут преувеличивать результаты своей работы 😁 Например, когда агент выполняет задачу и пишет отчёт о результатах, то он склонен замалчивать всё, что портит картину его успеха. Сейчас все стремятся к долго работающим агентам, но в этом случае…
Кратко от AI: Главные тезисы
- Google заметили, что ИИ-агенты могут преувеличивать результаты своей работы 😁 Например, когда агент выполняет задачу и пишет отчёт о результатах, то он склонен замалчивать всё, что портит картину его успеха
- Сейчас все стремятся к долго работающим агентам, но в этом случае…
Google заметили, что ИИ-агенты могут преувеличивать результаты своей работы 😁
Похожие материалы
Anthropic готовит агентов-переговорщиков
✔️ Anthropic готовит агентов-переговорщиков Агентов учат вести переговоры от лица пользователя, а практики профессиональных переговорщиков компания переносит в модели, консультируясь с юридическими фирмами. Исследователей занимают протоколы взаимодействия агентов с…
GitHub БОЛЬШЕ НЕ НУЖЕН? Claude построил замену за 5 месяцев
GitHub БОЛЬШЕ НЕ НУЖЕН? Claude построил замену за 5 месяцев Что делать, когда ИИ пишет код быстрее, чем привычные инструменты успевают его обрабатывать? Anthropic взялась создавать собственную замену Git — Scion. В ролике разбираем: 🟠Почему ИИ агенты заставили пересмотреть…
Astana Hub и Гентский университет открывают совместную лабораторию искусственного интеллекта и математики
Astana Hub и Гентский университет открывают совместную лабораторию искусственного интеллекта и математики Enbekshi QazaQ
Google выпустила Harness² — фреймворк для самоулучшения ИИ-агентов
🤖 Google выпустила Harness² — фреймворк для самоулучшения ИИ-агентов Google Research открыла исходный код системы, которая позволяет ИИ-агентам самостоятельно улучшать свою работу без переобучения нейросети. Harness² даёт агентам возможность менять промпты, настройки памяти,…