Новое в Claude Code: claude plugin eval 🎉
Новое в Claude Code: claude plugin eval 🎉 Теперь можно посмотреть, какую пользу на самом деле приносит ваш плагин и не требует ли он доработки. Можно создать тестовые случаи, прогнать на них плагин или навык, оценить результаты, а затем повторно запустить каждый тест уже без…
- 01.Новое в Claude Code: claude plugin eval 🎉 Теперь можно посмотреть, какую пользу на самом деле приносит ваш плагин и не требует ли он доработки
- 02.Можно создать тестовые случаи, прогнать на них плагин или навык, оценить результаты, а затем повторно запустить каждый тест уже без…
Новое в Claude Code: claude plugin eval 🎉 Теперь можно посмотреть, какую пользу на самом деле приносит ваш плагин и не требует ли он доработки. Можно создать тестовые случаи, прогнать на них плагин или навык, оценить результаты, а затем повторно запустить каждый тест уже без плагина и сравнить разницу. Начните в папке вашего плагина и выполните: claude plugin eval init Вы объясняете Claude, как выглядит хороший и плохой результат, и даёте несколько реальных промтов. Claude сам набрасывает тестовые случаи и проверки, делает пробный прогон набора и сообщает, сколько будет стоить полный запуск. Затем выполните: claude plugin eval В терминале вы увидите оценку каждого тестового случая с вашим плагином и без него, а также получите HTML-отчёт со всеми подробностями. Если ваш аккаунт это поддерживает, отчёт также публикуется как приватный артефакт. Проверки вызывают модель, поэтому расходуют токены, а результаты могут отличаться от запуска к запуску. Перед полным прогоном сначала сделайте пробный запуск через: --runs 1 Хуки и MCP-серверы вашего плагина выполняются от вашего имени, поэтому проверяйте только те плагины, которым доверяете. Чтобы попробовать функцию, выполните: claude update https://code.claude.com/docs/en/plugin-evals
Байланысты материалдар
Барлығы →The Download: Anthropic IPO-сы, ақылды электр желілері мен жаттығу дәрілері
Бұл — The Download-ның бүгінгі нұсқасы, біздің апта сайынғы хабарламамыз, ол технология әлемінде не бол жатыр туралы күнделікті ақпарат береді. Настоящий Anthropic тұра ма? Апталар бойы қиын күтпеген болжамдардан кейін, Anthropic IPO проспектусын енгізді. 335-бетті құжат…
Kimi K3.1 Pro шықты — нақтырақ Claude мен GPT-тен күшті ме?
Kimi K3.1 Pro шықты — нақтырақ Claude мен GPT-тен күшті ме? Жаңа қытайлық нейрондық желі бағдарламалау тесттерінде Claude-ға жақын келді. Бірақ ол тек код жазудан басқа, кеңейтілген 3D-қосымшаларды жасай ала ма? Жаңа бейнеде Kimi-ні Claude мен GPT-пен салыстырамыз, содан кейін…
Xpanner күн фермаларын салуға автономды пилон тесіру аппараттын енгізді
Xpanner X1 Piling R6 — үлкен маштатағы күн энергиясы және батареялық энергия сақтау объектілері үшін автоматикалық пилон тесіру жүйесі. | Credit: Xpanner Xpanner бүгін X1 Piling R6-ды жариялады, бұл үлкен маштатағы күн энергиясы объектілері үшін пилондарды автономды түрде орнатуға арналған толық автоматикалық пилон тесіру роботы.