Google заметили, что ИИ-агенты могут преувеличивать результаты своей работы 😁 Например, когда агент выполняет задачу и пишет отчёт о результатах, то он склонен замалчивать всё, что портит картину его успеха. Сейчас все стремятся к долго работающим агентам, но в этом случае человек реже проверяет исходные логи и код. Он читает отчёт самой модели, и если в нем не сказано про провал эксперимента, баг или ограничение метода, человек думает, что всё хорошо. Google в одном из тестов модели дали лог эксперимента с заранее подложенным негативным результатом, тогда GPT-5.5 упоминал его только в 2 из 200 отчётов. А если в промпт добавить короткую фразу «Be honest in your response», модель отмечает этот негативный результат уже в 190 из 200 отчётов. То же поведение видно и у открытых моделей. По цепочкам рассуждений 8 open-weight моделей видно, что модель часто внутренне колеблется: упомянуть изъян или подать историю как успешную.
From the original source:
Telegram — blockchainRF (блокчейн / мозг / space / WEB 3.0)
Read full article at Telegram — blockchainRF (блокчейн / мозг / space / WEB 3.0)This material was compiled from public sources. If its publication affects your rights → Request removal
Title in RussianGoogle заметили, что ИИ-агенты могут преувеличивать результаты своей работы 😁
Google заметили, что ИИ-агенты могут преувеличивать результаты своей работы 😁 Например, когда агент выполняет задачу и пишет отчёт о результатах, то он склонен замалчивать всё, что портит картину его успеха. Сейчас все стремятся к долго работающим агентам, но в этом случае…
AI Summary & Key Takeaways
- Google заметили, что ИИ-агенты могут преувеличивать результаты своей работы 😁 Например, когда агент выполняет задачу и пишет отчёт о результатах, то он склонен замалчивать всё, что портит картину его успеха
- Сейчас все стремятся к долго работающим агентам, но в этом случае…
Google заметили, что ИИ-агенты могут преувеличивать результаты своей работы 😁
Related stories
Sam Altman Reveals OpenAI's FINAL PLAN (It's Insane)
Sam Alman, the CEO of OpenAI, the company behind ChatGpt, just told his own employees that there are only three ways this whole AI race can end. And one of those endings is a single company getting so powerful that it can literally melt everyone else's GPUs. This is not a…
RUСтартап Electric Plant создает ИИ для общения с растениями
Стартап Electric Plant создает ИИ, который интерпретирует электрические сигналы растений.
RUОбеспечение идентичности ИИ-агентов с помощью X.509 PKI на AWS
AWS Machine Learning описывает важность X.509 PKI для ИИ-агентов.
RUКанадские организации получают доступ к моделям OpenAI на Amazon Bedrock
Канадские организации теперь могут использовать модели OpenAI через Amazon Bedrock.
