Google found out why AI agents forget the old when they learn new things, and suggested how this can be fixed
Google found out why AI agents forget the old when they learn new things, and suggested how this can be corrected. Researchers from Google DeepMind ran 3 popular self-evolution methods (ReasoningBank, GEPA, Meta-Harness) through task flows where the topic, work format, or even...
- 01.Google found out why AI agents forget the old when they learn new things, and suggested how this can be corrected
- 02.Researchers from Google DeepMind ran 3 popular self-evolution methods (ReasoningBank, GEPA, Meta-Harness) through task flows where the topic, work format, or even...
Google выяснили, почему ИИ-агенты забывают старое, когда учатся новому, и предложили, как это можно исправить Исследователи из Google DeepMind прогнали 3 популярных метода самоэволюции (ReasoningBank, GEPA, Meta-Harness) через потоки задач, где тематика, формат работы или даже вся среда меняются по ходу дела. Оказалось, чем смелее метод переписывает общий промпт или рабочее пространство, тем лучше он учится здесь и сейчас и тем сильнее портит всё остальное. Даже память с поиском не спасает, если новая задача похожа по формулировке на старую, но требует противоположного поведения, агент достаёт не ту память и ошибается. А авторы другой работы, из Google Cloud AI, предлагают не чинить единый харнесс, а отказаться от идеи единого харнесса вообще. Это продолжение линии работ Google Cloud про эволюцию Harness² про рекурсивное улучшение харнесса агента. Вместо одной общей версии создаются специализированные подклассы, которые наследуют общее поведение и переопределяют только то, что нужно именно им. А роутер для каждой новой задачи решает, оставить базовую версию или передать её специализированной. В результате прирост точности увеличился до +15.8 п.п., а поиск решения в 4 раза быстрее, чем с единым харнессом.
Related Intelligence
All stories →Five weird details from Anthropic’s IPO filing
Anthropic has finally filed its S-1 prospectus with the SEC, a document designed to give investors a look under the hood of its business, from how much its executives are making and plans for spending its IPO billions to the risks that could derail its ambitions. At more than…
Anthropic’s IPO filing reveals its strategy for keeping enterprise customers hooked
Anthropic’s S-1 shows more than half of its $100,000-plus customers now use both the Claude Platform and a first-party app, a cross-selling playbook reminiscent of Amazon that’s making enterprise customers stickier.
FairStress: тест на демографическую справедливость моделей
📌 FairStress: тест на демографическую справедливость моделей Институт Аллена опубликовал набор FairStress для проверки того, меняет ли языковая модель своё решение о человеке из-за его расы, пола, религии, возраста, инвалидности или ориентации в сферах найма, кредитования,…