FlashOffloading: разгрузка KV-кэша с малой задержкой для обслуживания LLM с длинным контекстом
arXiv:2611.07542v1 Тип объявления: новое Аннотация: В системах обслуживания больших языковых моделей (LLM) кэш-значение (KV) растет линейно с длиной последовательности и параллелизмом, поэтому вывод длинного контекста легко поражает стену емкости памяти с высокой пропускной способностью (HBM) и приводит к низкому…
Кратко от AI: Главные тезисы
- arXiv:2611.07542v1 Тип объявления: новое Аннотация: В системах обслуживания больших языковых моделей (LLM) кэш-значение (KV) растет линейно с длиной последовательности и параллелизмом, поэтому вывод длинного контекста легко поражает стену емкости памяти с высокой пропускной способностью (HBM) и приводит к низкому…
FlashOffloading: разгрузка KV-кэша с малой задержкой для обслуживания LLM с длинным контекстом
Похожие материалы
Утечки GPT-6.2 становятся очень интересными
Следующая модель OpenAI приближается очень близко, и утечки вокруг нее становится все труднее и труднее игнорировать. Два загадочных названия моделей появились в официальном списке моделей OpenAI на несколько минут, а затем исчезли. Сообщается, что внутри находится гигантская новая модель под названием Bell…
Anthropic устранила перерасход токенов в Claude Code
✔️ Anthropic устранила перерасход токенов в Claude Code Ранее фоновые субагенты Claude Code , выполняющие проверку кода или тесты, обновляли свой статус каждые 30 секунд и каждый раз базовая модель заново считывала всю историю переписки. Пользователи в сети отмечали, что на…
Thinking Machines выпустили ИИ-модель, которая самостоятельно обучила другую модель
Thinking Machines выпустили ИИ-модель, которая самостоятельно обучила другую модель Бывшая команда OpenAI выпустила свою открытую ИИ-модель Inkling 2 Small, которой дали задачу - научить Qwen3.5-4B прогнозировать временные ряды. Дальше Inkling 2 Small действовала одна: написала…
Будущая модель OpenAI обнаружила 1 724 уязвимости в Linux
🔐 Будущая модель OpenAI обнаружила 1 724 уязвимости в Linux Ещё не выпущенная кибермодель OpenAI продемонстрировала впечатляющие результаты в поиске уязвимостей операционной системы. За один запуск она: - обнаружила 1 724 уязвимости; - подготовила 948 рабочих эксплойтов,…