Right Order, Wrong Scale: Auditing LLM Judges for Occupational AI Measurement
LLM judges are increasingly used to assess whether AI outputs meet workplace requirements, but agreement on response rankings does not establish agreement on acceptance rates or occupational aggregates. We introduce O*NET-BENCH, an audit suite derived from an existing survey of…
- 01.LLM judges are increasingly used to assess whether AI outputs meet workplace requirements, but agreement on response rankings does not establish agreement on acceptance rates or occupational aggregates
- 02.We introduce O*NET-BENCH, an audit suite derived from an existing survey of…
Материал представлен в формате расширенного аналитического дайджеста.
Читать полную версию в первоисточникеСвязанные материалы
Все материалы →It's happening...
One of the most controversial companies in history just filed to go public. And yes, we're talking about Anthropic. The same company that says there's a greater than 10% chance AI kills all of humanity is also simultaneously one of the best built businesses of all time. And in…
OpenAI объявляет о трех крупных научных открытиях и новом способе работы с учеными
Менее чем через месяц после массового выпуска сотен рукописей, которые, по их словам, содержат решения давних математических вопросов, OpenAI вернулся с еще тремя «крупными» открытиями в области математики, информатики и физики. Что изменилось на этот раз, так это выбор…
Как Sullivan & Cromwell создаёт юридические инструменты с помощью Codex | OpenAI
В Sullivan & Cromwell LLP Джон Савва использует Codex для создания инструментов, основанных на юридической экспертизе фирмы. Agreement Analyzer объединяет проект соглашения, выбранные прецеденты и руководства (playbooks), отражающие позиции фирмы и клиента. Он выявляет потенциальные проблемы и возвращает …