Новое в Claude Code: claude plugin eval 🎉
Новое в Claude Code: claude plugin eval 🎉 Теперь можно посмотреть, какую пользу на самом деле приносит ваш плагин и не требует ли он доработки. Можно создать тестовые случаи, прогнать на них плагин или навык, оценить результаты, а затем повторно запустить каждый тест уже без…
- 01.Новое в Claude Code: claude plugin eval 🎉 Теперь можно посмотреть, какую пользу на самом деле приносит ваш плагин и не требует ли он доработки
- 02.Можно создать тестовые случаи, прогнать на них плагин или навык, оценить результаты, а затем повторно запустить каждый тест уже без…
Новое в Claude Code: claude plugin eval 🎉 Теперь можно посмотреть, какую пользу на самом деле приносит ваш плагин и не требует ли он доработки. Можно создать тестовые случаи, прогнать на них плагин или навык, оценить результаты, а затем повторно запустить каждый тест уже без плагина и сравнить разницу. Начните в папке вашего плагина и выполните: claude plugin eval init Вы объясняете Claude, как выглядит хороший и плохой результат, и даёте несколько реальных промтов. Claude сам набрасывает тестовые случаи и проверки, делает пробный прогон набора и сообщает, сколько будет стоить полный запуск. Затем выполните: claude plugin eval В терминале вы увидите оценку каждого тестового случая с вашим плагином и без него, а также получите HTML-отчёт со всеми подробностями. Если ваш аккаунт это поддерживает, отчёт также публикуется как приватный артефакт. Проверки вызывают модель, поэтому расходуют токены, а результаты могут отличаться от запуска к запуску. Перед полным прогоном сначала сделайте пробный запуск через: --runs 1 Хуки и MCP-серверы вашего плагина выполняются от вашего имени, поэтому проверяйте только те плагины, которым доверяете. Чтобы попробовать функцию, выполните: claude update https://code.claude.com/docs/en/plugin-evals
Связанные материалы
Все материалы →Anthropic uses its IPO letter to renew its pledge that Claude will never show ads
Anthropic says it will keep ads out of Claude. In a cover letter accompanying its IPO filing, the company argues that the chatbot's sole incentive should be to provide helpful answers. The article Anthropic uses its IPO letter to renew its pledge that Claude will never show ads…
AI-агенты — новая любимая аудитория медиа
По мере того как агенты становятся мейнстримом, некоторые издатели надеются, что люди будут платить за контент, созданный специально для ИИ — а не для людей.
Китайский ИИ-бум потерял $480 млрд: технологические акции обвалились менее чем за четыре месяца.
Китайский ИИ-бум потерял $480 млрд: технологические акции обвалились менее чем за четыре месяца. По данным Reuters, индекс STAR50 рухнул на 40%, растеряв результаты двухлетнего роста. Акции производителя роботов Unitree подешевели вдвое, а индекс крупнейших китайских компаний…