Согласно материалу VentureBeat, при передаче работы от одной языковой модели к другой через текст, первая модель должна сжать свои знания в текст, а следующая — прочитать его и восстановить содержащуюся информацию. Этот процесс может привести к потере данных и увеличению времени вывода. Техника Cache-to-Cache (C2C), предложенная исследователями из Университета Цинхуа и других китайских учреждений, пытается решить эту проблему, позволяя моделям обмениваться информацией через внутренние представления, хранящиеся в их кэшах ключей и значений (KV), вместо того чтобы полагаться только на промежуточный текст. В экспериментах C2C улучшила точность на 3.1-5.4 процентных пункта по сравнению с текстовой коммуникацией и уменьшила задержку между проверяемыми моделями. Для команд, разрабатывающих маршрутизаторы моделей или многоагентные системы, это означает, что слой коммуникации сам по себе может стать объектом оптимизации. C2C также вписывается в более широкую линию исследований много-модельного ИИ, направленную на то, чтобы позволить моделям обмениваться внутренними представлениями напрямую, не заставляя каждую передачу проходить через текстовые токены. Работа была опубликована на ICLR 2026, и в сентябре исследователи сообщили о планах выпустить реализацию «управляемого агентом KV-Cache» вместе с системой обслуживания. Текст является дорогостоящим узким местом между моделями. Многоязычные системы ИИ бывают разных конфигураций. В коллаборативных системах модели принимают разные роли и обмениваются анализами, инструкциями или частичными решениями. В маршрутизирующих системах организатор переключается между моделями с разными возможностями и затратами по мере прогресса разговора или рабочего процесса. Классическая текстовая коммуникация добавляет накладные расходы к выводу языковой модели. Эти системы обычно полагаются на текстовые токены для передачи информации между моделями. Исследователи утверждают, что это создает три проблемы. Первая — потеря информации. Модель представляет контекст внутренне в виде высокоразмерных числовых состояний. Чтобы общаться через текст, она должна сжать часть этого представления в последовательность текстовых токенов. Получающая модель затем должна интерпретировать эту последовательность и построить собственное представление того, что имела в виду первая модель, возможно, теряя информацию на этом пути. Другой проблемой является то, что текстовая информация может быть неоднозначной. Исследователи иллюстрируют это на примере модели Кодера и Писателя, модифицирующей HTML-документ. Кодер понимает, что обозначает определенное структурное место в документе, но его текстовая инструкция не передает эту информацию достаточно точно. Писатель не может поместить запрашиваемый контент в нужное место. Текстовая коммуникация между языковыми моделями может вызывать неоднозначность и путаницу. Наконец, текстовая коммуникация накладывает значительные затраты на вывод ИИ-системы. Первая модель должна генерировать свое сообщение последовательно, токен за токеном. Эти токены затем добавляются к входу второй модели, которая должна обработать более длинный контекст, прежде чем сможет сгенерировать ответ. Чем длиннее передача, тем больше работы должно выполнить обе модели. В системах с длинными контекстами или повторными передачами агентов эти накладные расходы на коммуникацию могут быстро накапливаться. C2C пытается избежать дополнительной генерации текста и обработки передаваемого сообщения Получателем, общаясь через представление, которое модели уже создают: кэш KV. Когда языковая модель впервые обрабатывает запрос, она проходит стадию «предварительной подготовки», которая преобразует входные данные в внутренние представления ключей и значений. Эти представления хранятся в кэше KV и повторно используются, когда модель генерирует свой ответ. Закэшированные состояния ключей и значений кодируют информацию, которую модель извлекла из контекста. Эксперименты показали, что кэш KV может быть преобразован между различными моделями без повторной обработки токенов. Исследователи сначала проверили, может ли кэш KV служить средством коммуникации. Их эксперименты показали, что информация, хранящаяся в кэше KV, может быть обогащена без увеличения длины кэша, и что кэш, созданный одной моделью, может быть преобразован в пространство представления другой модели. C2C строится на этих выводах. Обе модели обрабатывают один и тот же контекст. Одна выступает в роли «Делящегося», а другая — «Получателя». Обученный модуль слияния кэша сопоставляет кэш Делящегося с пространством представления Получателя, а затем объединяет его с собственным кэшем Получателя. Обученные ворота контролируют, какие слои Получателя должны получать дополнительную информацию. В маршрутизирующих системах это позволяет Получателю интегрировать информацию из кэша Делящегося без необходимости в промежуточном текстовом сообщении. Обе модели по-прежнему обрабатывают общий контекст, чтобы построить свои собственные кэши KV. В коллаборативных системах это создает еще один канал коммуникации наряду с текстом. Исследователи протестировали C2C на тестах рассуждения и знаний, включая MMLU-Redux, OpenBookQA, ARC-Challenge и C-Eval. При фиксированном Qwen3-0.6B в качестве Получателя и трех разных Делящихся, C2C увеличил среднюю точность Получателя на 9.6-11.9 процентных пункта по сравнению с работой Получателя в одиночку, превзойдя текстовую коммуникацию на 3.1-5.4 пункта. Эти результаты являются бенчмарковыми, а не тестами рабочих нагрузок производственных агентов. Измерения задержки проводились с размером партии 1 на одном Nvidia A100. Улучшение задержки значительно варьировалось в зависимости от пары моделей. C2C была в 3.46, 1.51 и 14.41 раз быстрее текстовой коммуникации по трем основным конфигурациям Делящегося. Результат 14.41 раз был получен с Qwen3-4B Base в качестве Делящегося; исследователи говорят, что эта модель иногда игнорировала инструкции по текстовой коммуникации и генерировала сообщения большей длины, что делало текстовый базовый уровень особенно медленным. В одном эксперименте с текстовой коммуникацией Делящийся сгенерировал в среднем 80 токенов для коммуникации. Генерация этих токенов заняла 1,312 миллисекунд. Получившееся сообщение также увеличивало количество токенов, которые Получателю нужно было обработать. В отличие от этого, C2C потребовала всего около 90 миллисекунд слияния кэша и не требовала генерации текстовых токенов. Техника также работала, когда две модели имели разные архитектуры или специализации. Тесты включали комбинации Gemma-to-Qwen, Qwen Math-to-Qwen и Qwen Coder-to-Qwen. C2C превзошла текстовую коммуникацию по всем пяти гетерогенным и измененным конфигурациям моделей, о которых сообщалось в эксперименте. C2C не требует тонкой настройки ни одной из участвующих языковых моделей. Исследователи замораживают Делящегося и Получателя и обучают только модуль слияния кэша, используя стандартную задачу предсказания следующего токена. Однако кросс-модельная коммуникация требует инженерной работы. Разные модели могут иметь разные токенизаторы, количество слоев и размеры представлений. C2C выравнивает токены, сгенерированные различными токенизаторами, и сопоставляет соответствующие слои трансформера перед слиянием их кэшей. Обучение моста также имеет начальные затраты. Команда выпустила код C2C и конфигурации на GitHub под лицензией Apache 2.0, а также предобученные контрольные точки C2C fuser на Hugging Face. Одним из недостатков является то, что поскольку C2C необходимо читать, преобразовывать и заменять внутренние состояния кэша KV, это требует стека вывода, который открывает эти внутренности. Это делает его актуальным сегодня в основном для команд, контролирующих свой собственный стек вывода, а не для приложений, связывающих модели исключительно через закрытые API. Языковым моделям может не понадобиться токены для общения друг с другом. C2C вписывается в более широкую линию исследований, которая ставит под сомнение, следует ли текст оставаться стандартным интерфейсом внутри много-модельных ИИ-систем. Одним из примеров является исследование Nvidia по передаче кэша KV между моделями. Когда система переключает модели во время длительной сессии, новая модель обычно должна обрабатывать накопленный контекст и заново строить свой кэш. Nvidia вместо этого сопоставляет существующий кэш в формат целевой модели. На совместимых парах моделей исследователи Nvidia сообщили, что эта техника работала в 2.7-25 раз быстрее, чем повторная предварительная настройка. В то время как техника Nvidia передает полный кэш KV между исходной и целевой моделью, C2C заставляет обе модели обрабатывать контекст, а затем объединяет их кэши, чтобы Получатель мог извлечь выгоду из семантического представления другой модели. Другим примером в этой области является RecursiveMAS, многоагентная структура, которая заменяет текстовые сообщения непрерывными скрытыми представлениями, передаваемыми между агентами. Его эксперименты показали до 2.4 раза быстрее вывода и сокращение использования токенов на 75.6% по сравнению с его текстовой рекурсивной аналогией. Механизмы различаются, но они разделяют одну и ту же основную ставку: модели могут общаться более эффективно, когда им не нужно сначала переводить все в текст. На данный момент C2C является результатом исследований, а не производственной архитектурой: он требует доступа к внутренним моделям, и его достижения были измерены на бенчмарках, а не на реальных рабочих нагрузках агентов в бизнесе. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником. Snorkel AI увеличивает оценку до $3,5 миллиарда на фоне спроса на данные SpeakON представляет магнитную кнопку с ИИ для голосового ввода на iPhone Kyutai выпустила модель Voice of Reason для устного решения математических задач. Nokia открывает доступ к AnyJev, библиотеке для принятия решений без обучения. OpenAI представила GPT-6 Sol и Luna с новыми ценами на API, снижая стоимость на 50%.