AI Qazaqstan
Компании

Материал на языке оригинала: English.

Why we no longer evaluate SWE-bench Verified

SWE-bench Verified is increasingly contaminated and mismeasures frontier coding progress. Our analysis shows flawed tests and training leakage. We recommend SWE-bench Pro.

23 февраля 2026 г. · Источник: OpenAI news

Полный текст доступен у источника.

Читать у источника →

Ещё в теме

КомпанииИзмерение того, как агенты ИИ занимаются повседневной наукой о мокрой лабораторииOpenAI вводит Bio BasicsBench, 100-задачный эталонный показатель, измеряющий, насколько хорошо агенты АИ интерпретируют необработанные экспериментальные данные и занимаются повседневной наукой о мокрых плитах.OpenAI news