arXiv:2611.08666v1 Announce Type: new Abstract: Interactive debuggers are indispensable to human software development, yet coding agents overwhelmingly rely on edit-execute-observe loops, using common bash tools, test scripts, and print statements to debug via repeated shell commands. Stepping through a debugger provides live access to runtime state, which may enable different problem-solving capabilities. However, prior work typically introduces the debugger as an additional tool or through a new subagent, making its individual contribution difficult to isolate from the associated scaffold changes. To address this, we compare a debugger-only agent against a bash-only agent on all 500 SWE-bench Verified instances, holding the rest of the scaffold fixed. We evaluate both architectures on two models, GPT-OSS-120B and Nemotron-3-Ultra-550B, with three independent runs per architecture $\times$ model configuration. Crucially, to distinguish interface specialization from expanded coverage under repeated sampling, we introduce pass$_X$@$k$, a cross-agent pass@$k$ that provides an unbiased estimator of the probability that at least one of $k$ agents is successful. Although the bash and debugger agents solve partially disjoint subsets of the benchmark in any single pair of runs, our pass$_X$@$2$ estimator reveals that this is largely due to run-to-run variance rather than tool complementarity. Across both models, we find that two bash rollouts outperform the combination of one bash and one debugger rollout. Our findings highlight the importance of accounting for stochastic variance in evaluating agent and tool diversity, and we hope that pass$_X$@$k$ will serve as a useful framework for the community.
Pdb болу немесе болмау: Pass$_{X}$@$k$ арқылы дебаггер интерфейстерін салыстыру
arXiv:2611.08666v1 Жариялану түрі: жаңа Аптарак: Интерактивті дебаггерлер адамдардың бағдарламалық жасақтамасын дамытуға маңызды, бірақ код агенттері көпшілігінше өңдеу-орындау-күзету циклдеріне, әдеттегі bash құралдарына, тест скрипттеріне және print операторларына негізделіп, қайталап shell арқылы дебаг жүргізеді…
AI қорытындысы: Басты тезистер
- arXiv:2611.08666v1 Жариялану түрі: жаңа Аптарак: Интерактивті дебаггерлер адамдардың бағдарламалық жасақтамасын дамытуға маңызды, бірақ код агенттері көпшілігінше өңдеу-орындау-күзету циклдеріне, әдеттегі bash құралдарына, тест скрипттеріне және print операторларына негізделіп, қайталап shell арқылы дебаг жүргізеді…
Pdb болу немесе болмау: Pass$_{X}$@$k$ арқылы дебаггер интерфейстерін салыстыру
Ұқсас материалдар
Ripple-65B Preview: агенттік кодтауға арналған модель
🌟 Ripple-65B Preview: агенттік кодтауға арналған модель. Ricursive Intelligence 65 миллиард параметрлі агенттік бағдарламалау моделін ашық превью ретінде шығardı, бұл модель жауап беру жылдамдығына бағытталған. Компания Анна Голди мен Азалия Мирхосейни тарапынан, бұрынғы Google зерттеушілерімен құрылған…
FLEX платформасы роботтарға адамның жасырын ниеттерін түсінуді үйретеді
MIT FLEX платформасын ұсынды: роботтар адамның жасырын ниеттерін түсінуді және тіл моделі негізінде командаларды обобществлеуді үйреніп жатыр.
Апталық ТОП ИИ-жаңалықтар
📌 Апталық ТОП ИИ-жаңалықтар 🔊 ElevenLabs Sound Effects v3 — сипаттама бойынша дыбыстарды генерациялайды: қадамдар мен жарылыстардан атмосфералық фонға дейін. 🎨 OpenAI Images 2.6 — GIF-анимациялар жасайды, суреттерді тезірек генерациялайды және дайын суреттерді дәлдеп өңдейді. 🎬 Gemini Omni 1.2 Flash —…
Деректер жетіспеушілігі шарттарында LLM-нің өз-оқытуына қарай: Тиімділік, Жалпылау қабілеті және Сенімділік
arXiv:2611.08908v1 Хабарлама түрі: жаңа Анотация: Үлкен тілдік модельдердің (LLM) тез дамуы негізінен модель өлшемін арттыру және адамдармен жиналған оқыту деректері арқылы қамтамасыз етілген, бірақ бұл парадигма деректер жетіспеушілігі мен адамдардан…