Заголовок на английскомAGORA: Reliability-Aware Aggregation of LLM Judges via Item-Response Theory
arXiv:2611.05556v1 Announce Type: new Abstract: LLM-as-a-judge is a common substitute for costly human evaluation, and aggregating several judges is the standard remedy for any single judge's bias. Judge pools mix judges of very different reliability, while the human-labeled…
Кратко от AI: Главные тезисы
- arXiv:2611.05556v1 Announce Type: new Abstract: LLM-as-a-judge is a common substitute for costly human evaluation, and aggregating several judges is the standard remedy for any single judge's bias
- Judge pools mix judges of very different reliability, while the human-labeled…
AGORA: Reliability-Aware Aggregation of LLM Judges via Item-Response Theory
Похожие материалы
Янн Лекун был прав насчет LLMS.
В течение многих лет Ян Лакун говорил всей индустрии искусственного интеллекта, что она совершает огромную ошибку. В то время как OpenAI, Google, Anthropic и Meta потратили сотни миллиардов долларов на то, чтобы сделать большие языковые модели все больше и больше, Лун продолжал говорить то же самое. Более крупные чат-боты не будут…
OpenAI обновила свою модель генерации изображений: ChatGPT может генерировать GIF-файлы
OpenAI представила обновленную версию своей модели создания и обработки изображений под названием ChatGPT Images 2.6. Теперь пользователи могут создавать GIF-анимации и анимировать готовые картинки по текстовому запросу. При этом увеличивается скорость работы модели, а обработка изображений в несколько этапов...
Anthropic запустила сайт грядущего IPO
✔️ Anthropic запустила сайт грядущего IPO Компания открыла лаконичный портал ipo.anthropic.com. Пока на главной странице отображается только минималистичная анимация и надпись о скором появлении деталей. Anthropic планирует привлекать частный капитал через партнерские брокерские…
Claude банит даже платные аккаунты. Как не потерять всё?
Claude банит даже платные аккаунты. Как не потерять всё? ⠀ Представь: платишь $200 за Claude Max, ведёшь проекты, хранишь переписки, и однажды видишь Account Suspended. Доступ пропал, а работа осталась внутри. ⠀ В октябре участились жалобы на блокировки, в том числе после…