Alibaba's new coding-agent benchmark, Co-Design Bench, tests AI agents on real user requests that already tripped them up in practice. Even GPT-6 Astra, the top performer, fully solves only 26.4 percent of tasks. On older benchmarks, the same models score above 99 percent. The article AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test appeared first on The Decoder.
Research1 分钟阅读
真实测试显示:AI编程代理在近四分之三任务中仍需人工清理
阿里巴巴新推出的编程代理基准测试Co-Design Bench,在已让AI代理在实践中翻车的真实用户需求上测试它们。即使表现最好的GPT-6 Astra,也仅能完全解决26.4%的任务。而在旧基准上,相同模型得分均超99%。这……
The Decoder作者: Jonathan Kemper2026年11月8日 (1小时前)
提供 4 种语言版本AI 摘要:要点
- 阿里巴巴新推出的编程代理基准测试Co-Design Bench,在已让AI代理在实践中翻车的真实用户需求上测试它们。即使表现最好的GPT-6 Astra,也仅能完全解决26.4%的任务。而在旧基准上,相同模型得分均超99%。这……
Research
KZ·AI 3EF6Инсайт дня
真实测试显示:AI编程代理在近四分之三任务中仍需人工清理
全文为英语
内容来自原始来源: The Decoder
查看原文查看原文
相关文章
开始测试AI代理处理真实实验室数据的能力
🧬 开始测试AI代理处理真实实验室数据的能力。与生物技术公司Ligo合作开发了新基准BioBasicsBench,该基准评估神经网络在日常生物学任务中的表现…
Telegram — GPT Time | Нейросети | ИИ
世界模型即将无处不在。您需要知道的事项
将 AI 从文本带入 3D 空间,世界模型模拟现实物理,教会机器人和自动驾驶汽车如何在现实世界中导航。
Wired — Artificial Intelligence
测试 OpenAI 和 Anthropic 模型在社交推理上的表现
📌 测试 OpenAI 和 Anthropic 模型在社交推理上的表现。播客主 Dwarkesh Patel 花费 20,000 美元购买 API,组织 11 个模型进行 Blood on the Clocktower 游戏锦标赛,这是《狼人杀》的更复杂版本。 🟡游戏规则:核心在于争夺信息。参与者…
Telegram — AI Machine Learning Big Data
神经网络人人可用。为何企业仍持续支付专家费用?
神经网络人人可用。为何企业仍持续支付专家费用? 会用 ChatGPT 已不再是核心竞争力。企业付费是为了可追问的结果:程序正常运行、线索不流失、广告带来可衡量的效果。 精美的演示……
Telegram — Paragon | Нейросети и ИИ
