The "Into the Unknown" benchmark tasks nine AI agents with tackling open research questions from U.S. national laboratories. None of the 135 submissions meets all requirements. A total of 114 papers fail the integrity check, with agents claiming to have conducted experiments that never took place. GPT-6 Astra performs best but still doesn't meet the experts' standards. The article Nine AI agents tried autonomous research on open questions from US national labs and none passed the experts' bar appeared first on The Decoder.
Девять ИИ-агентов попытались провести автономное исследование открытых вопросов из национальных лабораторий США, но ни один не прошел экспертную оценку
Бенчмарк "Into the Unknown" поручает девяти ИИ-агентам решать открытые исследовательские вопросы из национальных лабораторий США. Ни одно из 135 представленных работ не соответствует всем требованиям. Всего 114 статей не прошли проверку на достоверность: агенты заявляли, что проводили эксперименты...
Кратко от AI: Главные тезисы
- Бенчмарк "Into the Unknown" поручает девяти ИИ-агентам решать открытые исследовательские вопросы из национальных лабораторий США
- Ни одно из 135 представленных работ не соответствует всем требованиям
- Всего 114 статей не прошли проверку на достоверность: агенты заявляли, что проводили эксперименты...
Девять ИИ-агентов попытались провести автономное исследование открытых вопросов из национальных лабораторий США, но ни один не прошел экспертную оценку
Похожие материалы
OpenAI привлек 11 миллиардов долларов финансирования, но вынужден искать дополнительный капитал у богатых частных инвесторов
OpenAI обеспечила 11 миллиардов долларов свежего капитала — первый транш раунда, оценивающего компанию в 1,25 триллиона долларов. Полный раунд может вырасти до 20 миллиардов. Тот факт, что OpenAI уже обращается к богатым частным инвесторам, указывает на насыщение рынка ИИ-капитала и растущие...
OpenAI добавила поддержку исходящих телефонных звонков в GPT-Live API. 📞
OpenAI добавила поддержку исходящих телефонных звонков в GPT-Live API. 📞 Теперь разработчики могут создавать голосовых ИИ-агентов, которые самостоятельно набирают телефонные номера и разговаривают с людьми в реальном времени. Например, агент сможет позвонить в ресторан и…
OpenAI привлекла 11 миллиардов при оценке в 1,25 триллиона
✔️ OpenAI привлекла 11 миллиардов при оценке в 1,25 триллиона Компания успешно закрыла первый транш нового раунда финансирования, получив на свои счета 11 миллиардов долларов. Ожидается, что в ближайшие недели общий объем привлеченных инвестиций может вырасти до 20 миллиардов.…
Американец подал в суд на OpenAI, обвинив ChatGPT в помощи с планированием его отравления
⚖️ Американец подал в суд на OpenAI, обвинив ChatGPT в помощи с планированием его отравления Житель Северной Каролины Джеймс Гейтс утверждает, что его жена использовала ChatGPT для поиска информации о ядовитых веществах и способах скрыть отравление. По словам мужчины, он…