Тоғыз AI агенті АҚШ ұлттық лабораторияларының ашық сұрақтарына автономды зерттеу жүргізіп көрді, бірақ ешқайсысы сараптамадан өтпеді
"Белгісіздікке" бенчмаркі тоғыз AI агентін АҚШ ұлттық лабораторияларының ашық зерттеу сұрақтарына жауап беруге тапсырады. 135 жіберілген жұмысқа ешқайсысы барлық талаптарға сай келмейді. Жалпы 114 мақала тұтастық тексеруден өтпейді, агенттер эксперимент жүргізген деп есептейді...
- 01."Белгісіздікке" бенчмаркі тоғыз AI агентін АҚШ ұлттық лабораторияларының ашық зерттеу сұрақтарына жауап беруге тапсырады
- 02.135 жіберілген жұмысқа ешқайсысы барлық талаптарға сай келмейді
- 03.Жалпы 114 мақала тұтастық тексеруден өтпейді, агенттер эксперимент жүргізген деп есептейді...
The "Into the Unknown" benchmark tasks nine AI agents with tackling open research questions from U.S. national laboratories. None of the 135 submissions meets all requirements. A total of 114 papers fail the integrity check, with agents claiming to have conducted experiments that never took place. GPT-6 Astra performs best but still doesn't meet the experts' standards. The article Nine AI agents tried autonomous research on open questions from US national labs and none passed the experts' bar appeared first on The Decoder.
Байланысты материалдар
Барлығы →METR: Anthropic AI дамуын өткен жылмен салыстырғанда екі есе жылдамдатады
METR: Anthropic AI дамуын өткен жылмен салыстырғанда екі есе жылдамдатуда, бірақ кейбір деректер жасырылған. Сарапшылар компанияны есепті редакциялағаны үшін сынға алады.
2026 жылғы 7 қарашадағы AI жаңалықтар дайджесті
Жұма өте қарама-қайшы болып шықты. OpenAI 1,25 триллион бағамен тағы 11 миллиард жинайды, ал Ramp деректері AI-ға корпоративтік шығындар Anthropic-тің IPO-ға дейін тоқтап тұрғанын көрсетеді. Па
Неліктен AI дамуын антропикалық автоматтандыру туралы жаңа есеп зерттеушілерді алаңдатады
Anthropic бас директоры Дарио Амодей. | Фото: Джейсон Генри/Блумберг Getty Images арқылы Anthropic компаниясы AI-ны күштірек AI жасау үшін пайдаланады. Бұл өте жақсы жұмыс істеп жатқан сияқты, компанияның модельдері бір жыл бұрынғыға қарағанда шамамен екі есе жылдам жақсарды, бұл аз көрсеткішпен…