Alibaba's new coding-agent benchmark, Co-Design Bench, tests AI agents on real user requests that already tripped them up in practice. Even GPT-6 Astra, the top performer, fully solves only 26.4 percent of tasks. On older benchmarks, the same models score above 99 percent. The article AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test appeared first on The Decoder.
ИИ-агенты для кодирования всё ещё требуют человеческой доработки почти в трёх из четырёх задач в реальном тесте
Новый бенчмарк Alibaba для агентов кодирования, Co-Design Bench, тестирует ИИ-агентов на реальных запросах пользователей, которые уже подводили их на практике. Даже GPT-6 Astra, лучший из участников, полностью решает только 26,4% задач. На старых бенчмарках те же модели набирают более 99%. Это...
Кратко от AI: Главные тезисы
- Новый бенчмарк Alibaba для агентов кодирования, Co-Design Bench, тестирует ИИ-агентов на реальных запросах пользователей, которые уже подводили их на практике
- Даже GPT-6 Astra, лучший из участников, полностью решает только 26,4% задач
- На старых бенчмарках те же модели набирают более 99%
ИИ-агенты для кодирования всё ещё требуют человеческой доработки почти в трёх из четырёх задач в реальном тесте
Похожие материалы
ИИ-агентов начали проверять на способность работать с настоящими лабораторными данными
🧬 ИИ-агентов начали проверять на способность работать с настоящими лабораторными данными Совместно с биотехнологической компанией Ligo разработали новый бенчмарк BioBasicsBench, который оценивает, насколько хорошо нейросети справляются с повседневными задачами биологических…
Мировые модели скоро станут неизбежными. Вот что вам нужно знать
Переводя ИИ из текста в 3D-пространство, мировые модели моделируют реальную физику, чтобы научить роботов и беспилотные автомобили ориентироваться в реальности.
Тест моделей OpenAI и Anthropic на социальную дедукцию
📌 Тест моделей OpenAI и Anthropic на социальную дедукцию Подкастер Дваркеш Патель потратил 20 000 долларов на API, организовав турнир среди 11 моделей по игре Blood on the Clocktower, усложненного аналога Мафии. 🟡Правила игры Весь смысл - в борьбе за информацию. Участвуют…
Нейросети доступны всем. Почему бизнес продолжает платить специалистам?
Нейросети доступны всем. Почему бизнес продолжает платить специалистам? ⠀ Уметь пользоваться ChatGPT — уже слабая специализация. Компании платят за результат, за который можно спросить: программа работает, заявки не теряются, реклама даёт измеримый эффект. ⠀ Красивое демо…
