arXiv:2611.08684v1 Announce Type: new Abstract: Clients and proxies in front of an LLM engine retry calls that time out. After a transient overload, these retries can keep the engine from recovering even when calls arrive below its capacity. Since the engine may keep computing for clients that have left, propagating cancellation looks like the natural remedy. In this paper, we test it on vLLM with overload experiments on three open models, and with scheduler traces of one that follow each client attempt to the execution it creates in the engine. We find that with retries on, cancellation alone did not restore service in any run, and only 12-38% of the calls that arrived after the overload were delivered. The traces suggest why: retries that vLLM ran typically started prefill less than half a second before they timed out. Executions that vLLM later aborted took 79-85% of the prompt tokens it computed, and vLLM's prompt-token counter missed a third to half of all computed prompt tokens. A retry budget restored service by shedding retries but left many of the overload's calls undelivered. Request coalescing delivered every call from the overload onward, some late, unless cancellation had already aborted the running execution. Overload controls should thus be judged by the executions that retries add and the calls that clients receive.
Болдырмау жеткіліксіз: Асырып жатқан LLM движокінде қайтадан байқаулар қандай артқа қалдырады
arXiv:2611.08684v1 Хабарлама түрі: жаңа Анықтама: LLM движокінің алдындағы клиенттер мен проксилер уақыты аяқталған шақыруларды қайталап байқайды. Уақытша асырудан кейін, шақырулар оның қабілетінің төменде келсе де, бұл қайталанулар движокті tikелуден ұстап қалуы мүмкін. Движок есептеуді жалғастыра отырып…
AI қорытындысы: Басты тезистер
- arXiv:2611.08684v1 Хабарлама түрі: жаңа Анықтама: LLM движокінің алдындағы клиенттер мен проксилер уақыты аяқталған шақыруларды қайталап байқайды
- Уақытша асырудан кейін, шақырулар оның қабілетінің төменде келсе де, бұл қайталанулар движокті tikелуден ұстап қалуы мүмкін
- Движок есептеуді жалғастыра отырып…
Болдырмау жеткіліксіз: Асырып жатқан LLM движокінде қайтадан байқаулар қандай артқа қалдырады
Ұқсас материалдар
Ripple-65B Preview: агенттік кодтауға арналған модель
🌟 Ripple-65B Preview: агенттік кодтауға арналған модель. Ricursive Intelligence 65 миллиард параметрлі агенттік бағдарламалау моделін ашық превью ретінде шығardı, бұл модель жауап беру жылдамдығына бағытталған. Компания Анна Голди мен Азалия Мирхосейни тарапынан, бұрынғы Google зерттеушілерімен құрылған…
FLEX платформасы роботтарға адамның жасырын ниеттерін түсінуді үйретеді
MIT FLEX платформасын ұсынды: роботтар адамның жасырын ниеттерін түсінуді және тіл моделі негізінде командаларды обобществлеуді үйреніп жатыр.
Апталық ТОП ИИ-жаңалықтар
📌 Апталық ТОП ИИ-жаңалықтар 🔊 ElevenLabs Sound Effects v3 — сипаттама бойынша дыбыстарды генерациялайды: қадамдар мен жарылыстардан атмосфералық фонға дейін. 🎨 OpenAI Images 2.6 — GIF-анимациялар жасайды, суреттерді тезірек генерациялайды және дайын суреттерді дәлдеп өңдейді. 🎬 Gemini Omni 1.2 Flash —…
Деректер жетіспеушілігі шарттарында LLM-нің өз-оқытуына қарай: Тиімділік, Жалпылау қабілеті және Сенімділік
arXiv:2611.08908v1 Хабарлама түрі: жаңа Анотация: Үлкен тілдік модельдердің (LLM) тез дамуы негізінен модель өлшемін арттыру және адамдармен жиналған оқыту деректері арқылы қамтамасыз етілген, бірақ бұл парадигма деректер жетіспеушілігі мен адамдардан…