✔️ OpenAI рассказала, как тестирует агентов на реальных повседневных задачах пользователей Для этого используется внутренний бенчмарк LifeVal, который оценивает практическую пользу нейросетей в быту. К созданию теста OpenAI привело понимание, что простой проверки базовых знаний ИИ уже недостаточно. За последний год компания существенно улучшила навыки GPT по работе с браузерами, операционными системами и внешними интеграциями. LifeVal помогает команде разработки объективно измерять этот прогресс, ускоряя трансформацию ChatGPT из обычного чат-бота в полноценного ассистента, способного брать на себя настоящую рутину. Чтобы понять, где именно людям нужна помощь ассистента, инженеры компании проанализировали международные исследования о повседневной жизни и распределении времени у жителей разных стран, плюс дополнительно опросили около четырех тысяч человек о том, в каких задачах они хотели бы видеть ИИ-помощников. На основе этих данных в LifeVal интегрировали сценарии из реальной жизни - от управления личными финансами и онлайн-покупок до взаимодействия с государственными сервисами и уходом за близкими. Результаты, опубликованные OpenAI, показывают, что средний балл GPT-5.2 составляет 49,3%, а GPT-6 Astra – уже 80,6%. Прогресс в основном наблюдается на ранних моделях -: GPT-5.4 набрал 73%, GPT-5.6 – 80%, а самая новая версия Astra улучшила результат всего на 0,6 процентных пункта. О планах публикации бенчмарка ничего не сказано, это внутренняя система тестирования, разработанная и оцениваемая самой OpenAI. @ai_machinelearning_big_data