Alibaba's new coding-agent benchmark, Co-Design Bench, tests AI agents on real user requests that already tripped them up in practice. Even GPT-6 Astra, the top performer, fully solves only 26.4 percent of tasks. On older benchmarks, the same models score above 99 percent. The article AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test appeared first on The Decoder.
ЖИ код агенттері нақты дүниежүзілік тестте төрттен үш тапсырмада әлі де адамның жоюы керек
Алибобаның жаңа код агенті бенчмаркі Co-Design Bench, нақты пайдалану сұрауларында ИИ агенттерді тексереді, олар әдетте практикада қиындық тудырады. Эң жетістік көрсететін GPT-6 Astra ғана тапсырмалардың 26,4 пайызын толық шешеді. Ескі бенчмарктарда сол модельдер 99 пайыздан жоғары нәтиже көрсетеді. Соңы...
AI қорытындысы: Басты тезистер
- Алибобаның жаңа код агенті бенчмаркі Co-Design Bench, нақты пайдалану сұрауларында ИИ агенттерді тексереді, олар әдетте практикада қиындық тудырады
- Эң жетістік көрсететін GPT-6 Astra ғана тапсырмалардың 26,4 пайызын толық шешеді
- Ескі бенчмарктарда сол модельдер 99 пайыздан жоғары нәтиже көрсетеді
ЖИ код агенттері нақты дүниежүзілік тестте төрттен үш тапсырмада әлі де адамның жоюы керек
Ұқсас материалдар
ИИ-агенттер нақты лабораториялық деректермен жұмыс істеу қабілеттілігіне тексерілуде
🧬 ИИ-агенттер нақты лабораториялық деректермен жұмыс істеу қабілеттілігіне тексерілуде. Биотехнологиялық компаниясы Ligoмен бірге жаңа бенчмарк BioBasicsBench әзірленді, бұл нейрондық желілердің биологиялық күнделікті тапсырмалармен қалай жұмыс істейтінін бағалайды…
Дүниежүзілік модельдер жақында талап етілетін болады. Сізге білу керек нәрселер
Мәтіннен 3D кеңістігіне көшіру арқылы, дүниежүзілік модельдер нақты физиканы симуляциялайды, бұл роботтар мен автономды автомобильдерге нақтылықта навигациялауды үйretir.
OpenAI және Anthropic моделін әлеуметтік дедукцияда сынау
📌 OpenAI және Anthropic моделін әлеуметтік дедукцияда сынау. Подкастер Дваркеш Патель API-ға 20 000 доллар сарптап, 11 модель арасында Blood on the Clocktower ойыны бойынша турнир өткізді, бұл Мафия ойынының қиынрақ аналогы. 🟡Ойын ережелері Бүкіл мағына — ақпарат үшін күресте. Қатысады…
Нейрондық желілер барлыққа қолжетімді. Неге бизнес мамандарға төлеуі жалғасады?
Нейрондық желілер барлыққа қолжетімді. Неге бизнес мамандарға төлеуі жалғасады? ChatGPT-ты пайдалану дағдысы — әлі де зейін мамандық. Компаниялар нәтижеге төлейді: бағдарлама жұмыс істейді, өтініштер жоғаспайды, жарнама өлшенетін тиімділік береді. Сұлу демонстрация…
