Барлық жарияланған талдаулар, егеменді стек зерттеулері, экожүйе жаңалықтары және ЖИ модельдерінің шолулары.
arXiv:2610.31918v1 Announce Type: new Abstract: Distilling interactive LLM agents requires choosing between teacher-generated demonstrations and student-generated experience, corresponding broadly to off-policy and on-policy distillation. While both have proven effective, we…
arXiv:2610.32057v1 Announce Type: new Abstract: We present HyScale, a long-context training system for learned sparse attention. Learned sparse attention is a promising architecture for million-token contexts, widely adopted in production since DeepSeek-V3.2. Selection, however,…
arXiv:2610.32096v1 Announce Type: new Abstract: Diffusion language models (DLMs) support bidirectional denoising and iterative refinement, but generation remains largely controlled by token-level masking schedules. This leaves draft-level refinement implicit and limits explicit…
arXiv:2610.30151v1 Хабарландыру Түрі: жаңа Аннотация: AI агенттері арасындағы әрбір өзара әрекеттесу қол алысудан басталады: бастаушы агент өзінің әріптесін тауып, оның не істей алатынын біліп, бірінші пайдалы хабар жіберілмес бұрын сеанс орнатуы керек. Агенттің сауалнамасы…
arXiv:2610.30611v1 Тип объявления: новое Аннотация: Масштабирование больших языковых моделей существенно улучшило языковую беглость, однако для надежных автономных агентов требуется нечто большее, чем просто быстрая генерация. При многоходовом выводе современные агентные системы часто создают семантически правдоподобные...
arXiv:2610.30450v1 Хабарлама түрі: жаңа Анотация: Реасонерлік LLMдер жиі дұрыс жауапқа жеткеннен кейін де рассуждениеді жалғастырады, бұл есептеу ресурстарын босатып, кейде дұрыс жауапты қатесімен ауыстырады. Қашан тоқтау керектігін шешу — бұл мета-рассуждение мәселесі: модель одан әрі не...
arXiv:2610.30205v1 Елан түрі: жаңа Анықтама: LLM агенттің қозғалысы сәтсіз аяқталғанда, жүйе қозғалысты және сәтсіздік хабарламасын транскриптке жазады және қайтадан сұрайды. Қосымша шақыруда бұл жазба кіші модельдерді сәтсіз әрекетті қайталауға ықпал етеді. Біз тексереміз...
arXiv:2610.26995v1 Хабарландыру Түрі: жаңа Аннотация: LLM негізіндегі агенттер қайта пайдалануға болатын дағдыларға көбірек сүйенеді. Дегенмен, дағдылар кітапханаларын масштабтау шеберлікті тиімді және дәл пайдалануды қиындатады. Толық дағдыларды жүктеу жоғары таңбалауыш пен орындау уақытының үстеме шығындарын талап етеді. Керісінше, жалпақ семантикалық…
arXiv:2610.27220v1 Хабарлама түрі: жаңа Анотация: Соңғы жұмыстарда Зинжир-Ойлау (CoT) себелеуі кезінде дискреттік токендер орынбасарында үздіксіз өкілділіктер зерттелді, бұл жиі «umu CoT» деп аталады. Бұл токен ембеддингтерінің қоспасымен...
arXiv:2610.12879v1 Хабарлама түрі: жаңа Анотация: Диффузиялық тіл моделілері токендерді параллельді түрде генерациялайды, бірақ әлі де жоғары сапалы мәтін шығару үшін бірнеше семплеу қадамдарын талап етеді. Бұл мақалада модельдің бүкіл тізбекті бір ғана қадамда үйрене алатынын зерттейміз…
At the start of every session, LLM agents load a fixed context file, such as $\texttt{AGENTS.md}$. Each loaded token in the file is charged again in every later round of the session, and these files can degrade performance as they grow in size. However, in practice, human or…
Looped LMs are parameter efficient and promise dynamic computation (saving memory and FLOPs on easy tokens). However, state-of-the-art open Looped LMs trained with this dynamic computation capability (Ouro models) do not realize it in practice as each loop iteration (depth)…
A deployed LLM agent emits tool calls, queries, and code that can be silently wrong -- by the time the error surfaces, the action has run. Frontier chat APIs hide the model's token probabilities; the agent's stated confidence barely beats chance on the mistakes that matter; and…
Large language models spend the same amount of computation on every token they generate, regardless of how difficult each token is to produce. Methods such as speculative decoding and model routing are built on the premise that much of this computation is unnecessary, yet the…
LLM agents generate intermediate reasoning and actions token by token, making extended interactions slow and computationally expensive. Jev-style models offer fast probabilistic predictions over finite fields, but require those fields to be specified in advance. This requirement…
Long-horizon language agents increasingly rely on external memory as a frozen world model, yet current memory systems are usually judged only by task success or token cost. We argue that the missing object is the shape of memory use: under finite context and repeated retrieval,…
Detailed profession-specific system prompts raise token use and estimated cost per response without a consistent accuracy gain. We evaluate Scientific Agents, an open-source corpus of 503 profession-specific AGENTS.md profiles, with Gemini 3.8 Flash via OpenRouter in the Pi…
arXiv:2609.35924v1 Announce Type: new Abstract: Discrete diffusion models generate sequences by iteratively resolving multiple tokens in parallel, offering a flexible alternative to left-to-right generation. However, guiding this process with a sequence-level objective is…
arXiv:2609.36062v1 Announce Type: new Abstract: Long-context sequence models face a fundamental tradeoff: softmax attention uses flexible token-level interactions at quadratic cost, whereas linear attention obtains linear-time training and constant-time decoding by compressing…
arXiv:2609.35869v1 Announce Type: new Abstract: Pre-tokenisation restricts which text fragments can become prediction units, but its compression cost is obscured when tokenisers are compared only under the same boundaries. We measure this cost by bounding the minimum token count…
Тапсырмаларды жоспарлау жоғары деңгейлі нұсқаулар мен орындалатын әрекеттерді ұзақ көкжиекте манипуляциялауда байланыстырады, дегенмен қазіргі Vision-Language-Action (VLA) жүйелері бұл аралық құрылымды жиі жасырады. Қолданыстағы ойлау тізбегін (CoT) жоспарлаушылар да дөрекі тапсырмалар деңгейіне сенеді ...
Long-context large language model inference is increasingly limited by prefill, where dense self-attention processes the entire prompt before generation begins. Sparse block selection can reduce this cost, but a block centroid may hide a highly relevant token among many…
In Mixture-of-Experts language models, the router typically selects and weights experts based on the token's hidden state, utilizing limited contextual information. We propose Attention-Aware Routing (AAR), which augments the router with temporal and spectral features extracted…
Wearable assistants require episodic memory over egocentric video, yet current vision-language models face bounded frame budgets, growing visual-token costs, and long-context retrieval failures. Under these practical constraints, we study whether textual captions can serve as…
AI агенттерінің әсерлі әртүрлі тапсырмалардағы күшті өнімділігі агенттік инфрақұрылымға бұрын-соңды болмаған инвестицияны тудырады, бірақ токендерді өңдеу құны тез өсіп келеді. Веб-агенттер табиғи түрде сипатталған веб-бағдарлама тапсырмаларын орындауды автоматтандырады…
arXiv:2609.05441v1 Announce Type: new Abstract: Long-term memory for LLM agents is evaluated today by conversational recall benchmarks (LoCoMo, LongMemEval), which measure question answering over dialogue history, not whether remembered facts change what a tool-using agent does.…