AgentHorizon: Evaluating Agentic Judges for Long-Horizon Computer-Use Tasks
Computer-use agents are capable of completing complex tasks, increasing the use of automatic judges to determine success, either for training or for evaluation without human involvement. Despite their flexibility, their reliability on long tasks spanning multiple applications…
- 01.Computer-use agents are capable of completing complex tasks, increasing the use of automatic judges to determine success, either for training or for evaluation without human involvement
- 02.Despite their flexibility, their reliability on long tasks spanning multiple applications…
Материал представлен в формате расширенного аналитического дайджеста.
Читать полную версию в первоисточникеСвязанные материалы
Все материалы →Anthropic использует газ для поддержки роста ИИ
Anthropic сообщает о зависимости своих центров от природного газа и связанных рисках.
Amp позволяет агентам искусственного интеллекта работать не только с кодом, но и с моделями OpenAI
Компания Amp создает агента искусственного интеллекта, который помогает разработчикам превращать идеи в работающее программное обеспечение — от принятия решения о том, что создавать, до написания кода и привлечения клиентов. Вход с помощью ChatGPT дает пользователям Amp доступ к большему количеству токенов для более масштабных задач, а диалоговый помощник Amp, Puck, использует…
Stack Overflow для агентов утроит число регистраций с помощью плагина ChatGPT
Stack Overflow создает платформу анализа знаний, которая превращает информацию, разбросанную по инструментам на рабочем месте, в проверенные знания для людей и агентов ИИ. Последний продукт компании, Stack Overflow для агентов, был создан с нуля двумя инженерами всего за…