Про новую макроэкономику ИИ
Про новую макроэкономику ИИ Один из крупных разметчиков данных для ИИ-лабораторий Mercor сравнил работу бухгалтеров с ИИ-моделями на реальных задачах и предлагает иначе мерить момент, когда модель обходит человека. Вообще сейчас пошел тренд на ИИ-бухгалтерию, тут кейсы Компания…
- 01.Про новую макроэкономику ИИ Один из крупных разметчиков данных для ИИ-лабораторий Mercor сравнил работу бухгалтеров с ИИ-моделями на реальных задачах и предлагает иначе мерить момент, когда модель обходит человека
- 02.Вообще сейчас пошел тренд на ИИ-бухгалтерию, тут кейсы Компания…
Про новую макроэкономику ИИ Один из крупных разметчиков данных для ИИ-лабораторий Mercor сравнил работу бухгалтеров с ИИ-моделями на реальных задачах и предлагает иначе мерить момент, когда модель обходит человека. Вообще сейчас пошел тренд на ИИ-бухгалтерию, [тут]()[кейсы]() Компания наняла 12 бухгалтеров, в среднем с 5,5 годами опыта, и дала им 4 задачи. Те же задания прогнали через модели разных лет. Люди работали без ИИ и им дали 3 часа на каждую задачу. Авторы исследования говорят, если в мае 2025 бухгалтеры были сильнее ИИ-моделей, то сейчас модели на этих заданиях почти идеальны, быстрее и на порядок дешевле даже лучшего специалиста из выборки. Из этого видно противоречие, что баллы на бенчмарках за пару лет взлетели, а в статистике, например, США вклад ИИ в рост производительности пока почти не виден. Чтобы это разобрать, нужно понимать, как тест соотносится с настоящей работой, и как её сделал бы человек. Отсюда вытекает второй вывод - пока модель слабее человека, логично спрашивать на бенчмарках, когда она его догонит. Но когда она упирается в потолок своих возможностей, тогда такой бенчмарк ничего не различает. Дальше полезнее смотреть на задачи, которые раньше были слишком дорогими или невозможными. Mercor ставит вопрос: в какой момент на конкретной работе модель проходит человеческий уровень? Что из этого следует для рынка труда - отдельный вопрос, и он не заменяет подсчёт экономики ИИ.
Related Intelligence
All stories →It's happening...
One of the most controversial companies in history just filed to go public. And yes, we're talking about Anthropic. The same company that says there's a greater than 10% chance AI kills all of humanity is also simultaneously one of the best built businesses of all time. And in…
OpenAI 宣布三项重大科学发现以及与学术界合作的新方式
OpenAI 大规模发布数百份手稿(据称这些手稿包含了长期存在的数学问题的解决方案)不到一个月,又在数学、计算机科学和物理学领域带来了三项“重大”发现。这次的不同之处在于选择...
Sullivan & Cromwell 如何利用 Codex 构建法律工具 | OpenAI
在 Sullivan & Cromwell LLP,John Savva 利用 Codex 围绕律所的法律专业知识构建工具。Agreement Analyzer 将草案协议、选定的判例以及反映律所和客户立场的操作手册汇集在一起。它能识别潜在问题并返回……