arXiv:2611.08684v1 Announce Type: new Abstract: Clients and proxies in front of an LLM engine retry calls that time out. After a transient overload, these retries can keep the engine from recovering even when calls arrive below its capacity. Since the engine may keep computing for clients that have left, propagating cancellation looks like the natural remedy. In this paper, we test it on vLLM with overload experiments on three open models, and with scheduler traces of one that follow each client attempt to the execution it creates in the engine. We find that with retries on, cancellation alone did not restore service in any run, and only 12-38% of the calls that arrived after the overload were delivered. The traces suggest why: retries that vLLM ran typically started prefill less than half a second before they timed out. Executions that vLLM later aborted took 79-85% of the prompt tokens it computed, and vLLM's prompt-token counter missed a third to half of all computed prompt tokens. A retry budget restored service by shedding retries but left many of the overload's calls undelivered. Request coalescing delivered every call from the overload onward, some late, unless cancellation had already aborted the running execution. Overload controls should thus be judged by the executions that retries add and the calls that clients receive.
Отмены недостаточно: что оставляют повторные попытки в перегруженном движке LLM
arXiv:2611.08684v1 Тип объявления: новый Абстракт: Клиенты и прокси перед движком LLM повторяют вызовы, которые истекли по таймауту. После временной перегрузки эти повторные попытки могут мешать движку восстанавливаться, даже когда вызовы поступают ниже его пропускной способности. Поскольку движок может продолжать вычисления…
Кратко от AI: Главные тезисы
- arXiv:2611.08684v1 Тип объявления: новый Абстракт: Клиенты и прокси перед движком LLM повторяют вызовы, которые истекли по таймауту
- После временной перегрузки эти повторные попытки могут мешать движку восстанавливаться, даже когда вызовы поступают ниже его пропускной способности
- Поскольку движок может продолжать вычисления…
Отмены недостаточно: что оставляют повторные попытки в перегруженном движке LLM
Похожие материалы
Ripple-65B Preview: модель для агентного кодинга
🌟 Ripple-65B Preview: модель для агентного кодинга Ricursive Intelligence выпустила в открытое превью модель агентного программирования на 65 млрд параметров, ориентированную на скорость ответов. Компания основана Анной Голди и Азалией Мирхосейни, бывшими исследователи Google…
Платформа FLEX учит роботов понимать скрытые намерения человека
MIT представил платформу FLEX: роботы учатся понимать скрытые намерения человека и обобщать команды на основе языковой модели.
ТОП ИИ-новостей недели
📌 ТОП ИИ-новостей недели 🔊 ElevenLabs Sound Effects v3 — генерирует звуки по описанию: от шагов и взрывов до атмосферного фона. 🎨 OpenAI Images 2.6 — создаёт GIF-анимации, быстрее генерирует изображения и точнее редактирует готовые картинки. 🎬 Gemini Omni 1.2 Flash —…
К самообучению LLM в условиях дефицита данных: Эффективность, Обобщающая способность и Надежность
arXiv:2611.08908v1 Тип объявления: новый Абстракт: Быстрое развитие больших языковых моделей (LLM) во многом было обусловлено увеличением размера модели и человечески отобранными обучающими данными, однако эта парадигма все больше ограничивается дефицитом данных и убывающей отдачей от человеческого…