VentureBeat пікірінше, мәтін арқылы жұмысты бір тілдік модельден екіншісіне көшіру кезінде бірінші модель өз білімін мәтінге сығуы керек, ал екіншісі оны оқып, мазмұндағы ақпаратты қайта құруы керек. Бұл процесс деректердің жоғалуына және шығыс уақытының артуына әкелуі мүмкін. Цинхуа университетінің және басқа қытайлық мекемелердің зерттеушілері ұсынған Cache-to-Cache (C2C) әдісі бұл мәселені модельдерге тек аралық мәтінге сүйенбей, олардың кілт-мән (KV) кэштерінде сақталған ішкі көріністер арқылы байланысуына мүмкіндік беру арқылы шешуге тырысады. Эксперименттерде C2C мәтіндік байланыспен салыстырғанда дәлдікті 3,1-5,4 пайыздық тармаққа жақсартты және сыналатын үлгілер арасындағы кідірісті азайтты. Модельді маршрутизаторларды немесе көп агенттік жүйелерді әзірлейтін топтар үшін бұл коммуникациялық деңгейдің өзін оңтайландыруға бағыттауға болатындығын білдіреді. C2C сонымен қатар модельдерге мәтіндік таңбалауыштардан өтуге мәжбүрлемей, ішкі өкілдіктерді тікелей алмасуға мүмкіндік беретін көп модельді AI зерттеулерінің кеңірек желісіне сәйкес келеді. Жұмыс ICLR 2026-да жарияланды
, ал қыркүйекте зерттеушілер қызмет көрсету жүйесімен бірге «агент басқаратын KV-Кэштің» іске асырылуын шығару жоспарларын жариялады. Мәтін - модельдер арасындағы қымбат тығырық. Көптілді AI жүйелері әртүрлі конфигурацияларда келеді. Бірлескен жүйелерде модельдер әртүрлі рөлдерді алып, талдаулар, нұсқаулар немесе ішінара шешімдермен алмасады. Маршруттау жүйелерінде хост сөйлесу немесе жұмыс процесі жүріп жатқанда әртүрлі мүмкіндіктері мен құны бар үлгілер арасында ауысады. Классикалық мәтіндік байланыс тіл үлгісінің шығысына үстеме шығындар қосады. Бұл жүйелер әдетте модельдер арасында ақпаратты тасымалдау үшін мәтіндік таңбалауыштарға сүйенеді. Зерттеушілердің айтуынша, бұл үш проблема тудырады. Біріншісі - ақпараттың жоғалуы. Модель мәтінмәнді іштей жоғары өлшемді сандық күйлер ретінде көрсетеді. Мәтін арқылы байланысу үшін ол осы көріністің бір бөлігін мәтіндік белгілер тізбегіне қысуы керек. Қабылдаушы модель осы реттілікті түсіндіріп, бірінші үлгінің нені білдіретінін өз көрінісін құруы керек, бұл жолда ақпаратты жоғалтуы мүмкін. Тағы бір мәселе сол
мәтіндік ақпарат түсініксіз болуы мүмкін. Зерттеушілер мұны HTML құжатын өзгертетін Кодер және Жазушы үлгісінің мысалымен түсіндіреді. Кодер құжаттағы белгілі бір құрылымдық орын нені білдіретінін түсінеді, бірақ оның мәтіндік нұсқаулары бұл ақпаратты жеткілікті түрде дәл жеткізе алмайды. Жазушы сұралған мазмұнды дұрыс орынға орналастыра алмайды. Тілдік модельдер арасындағы мәтіндік байланыс түсініксіздік пен шатасуды тудыруы мүмкін. Ақырында, мәтіндік коммуникация AI жүйесінің шығысына айтарлықтай шығындарды жүктейді. Бірінші үлгі өз хабарламасын таңбалауыш бойынша дәйекті түрде жасауы керек. Содан кейін бұл таңбалауыштар екінші үлгінің кірісіне қосылады, ол жауап жасау үшін ұзағырақ мәтінмәнді өңдеуі керек. Беріліс неғұрлым ұзағырақ болса, екі модель де соғұрлым көп жұмыс істеуі керек. Ұзақ мәтінмәндері немесе агент қайта жіберулері бар жүйелерде бұл байланыстың үстеме шығындары тез қосылуы мүмкін. C2C модельдер қазірдің өзінде жасап тұрған өкілдік арқылы: KV кэшімен байланысу арқылы алушының жіберілген хабарды қосымша мәтін құруын және өңдеуін болдырмауға тырысады. Тілдік модель сұранысты бірінші рет өңдегенде, ол кезеңнен өтеді
кіріс деректерін кілттер мен мәндердің ішкі көріністеріне түрлендіретін «алдын ала оқыту». Бұл көріністер KV кэшінде сақталады және модель өз жауабын жасаған кезде қайта пайдаланылады. Кэштелген кілт және мән күйлері үлгі контекстен үйренген ақпаратты кодтайды. Тәжірибе көрсеткендей, KV кэш токендерді қайта өңдеусіз әртүрлі үлгілер арасында түрлендіруге болады. Зерттеушілер алдымен КВ кэшінің байланыс құралы бола алатындығын тексерді. Олардың тәжірибелері КВ кэшінде сақталған ақпаратты кэш ұзындығын ұлғайтпай байытуға болатынын және бір модель жасаған кэшті басқа модельдің бейнелеу кеңістігіне түрлендіруге болатынын көрсетті. C2C осы нәтижелерге негізделеді. Екі үлгі де бірдей контекстті өңдейді. Біреуі «бөлгіш», екіншісі «алушы» қызметін атқарады. Оқытылған кэшті біріктіру модулі ортақ пайдаланушының кэшін алушының көру кеңістігімен салыстырады, содан кейін оны қабылдаушының жеке кэшімен біріктіреді. Оқытылған қақпа қабылдағыштың қай қабаттары қосымша ақпаратты алу керектігін басқарады. Маршрутизация жүйелерінде бұл қабылдаушыға кэштен ақпаратты біріктіруге мүмкіндік береді
a Аралық мәтіндік хабарды қажет етпей ортақ пайдалану. Екі модель де өздерінің КВ кэштерін құру үшін ортақ мәтінмәнді өңдейді. Бірлескен жүйелерде бұл мәтінмен бірге басқа байланыс арнасын жасайды. Зерттеушілер C2C-ті MMLU-Redux, OpenBookQA, ARC-Challenge және C-Eval сияқты ойлау және білім сынақтары бойынша сынады. Қабылдаушы ретінде тіркелген Qwen3-0,6B және үш түрлі ортақ пайдалану арқылы C2C қабылдағыштың орташа дәлдігін жалғыз жұмыс істейтін Қабылдаушымен салыстырғанда 9,6-11,9 пайыздық тармаққа арттырып, мәтіндік байланыстан 3,1-5,4 ұпайға асып түсті. Бұл нәтижелер өндірістік агент жұмыс жүктемесінің сынақтары емес, эталондық нәтижелер болып табылады. Бір Nvidia A100 құрылғысында кідіріс өлшемдері 1 партия өлшемімен алынды. Кешігуді жақсарту модель жұптары арасында айтарлықтай өзгерді. C2C үш негізгі Fissile конфигурациясында мәтіндік байланысқа қарағанда 3,46, 1,51 және 14,41 есе жылдам болды. Нәтиже 14,41 рет Qwen3-4B негізімен бөлінетін ретінде алынды; зерттеушілердің айтуынша, бұл модель кейде мәтіндік байланыс нұсқауларын елемеді және үлкенірек хабарларды жасайды, бұл мәтінді негізгі етеді
деңгейі әсіресе баяу. Бір мәтіндік байланыс тәжірибесінде ортақтастырушы орта есеппен 80 байланыс таңбалауышын жасады. Бұл белгілерді жасау үшін 1,312 миллисекунд қажет болды. Алынған хабар сонымен қатар Алушы өңдеуі қажет таңбалауыштардың санын көбейтті. Керісінше, C2C кэшті біріктірудің шамамен 90 миллисекундты қажет етті және мәтіндік таңбалауышты құруды қажет етпеді. Бұл әдіс екі модельде әртүрлі архитектура немесе мамандықтар болған кезде де жұмыс істеді. Тесттерге Gemma-to-Qwen, Qwen Math-to-Qwen және Qwen Coder-to-Qwen комбинациялары кірді. C2C экспериментте хабарланған бес гетерогенді және өзгертілген үлгі конфигурацияларының барлығында мәтіндік байланыстан асып түсті. C2C қатысушы тіл үлгілерінің ешқайсысын дәл баптауды қажет етпейді. Зерттеушілер Бөлгіш пен Қабылдағышты тоқтатады және келесі таңбалауышты болжау стандартты тапсырмасын пайдаланып тек кэш біріктіру модулін жаттықтырады. Дегенмен, модельдер арасындағы байланыс инженерлік жұмысты қажет етеді. Әртүрлі үлгілерде әртүрлі токенизаторлар, қабаттар саны және көрініс өлшемдері болуы мүмкін. C2C әртүрлі токенизаторлар жасаған таңбалауыштарды туралайды және сәйкес қабаттарды түрлендіруге салыстырады
ra олардың кэштерін біріктіру алдында. Көпірді оқытудың да бастапқы құны бар. Топ Apache 2.0 лицензиясы бойынша GitHub жүйесінде C2C кодын және конфигурацияларын, сондай-ақ Hugging Face бойынша алдын ала дайындалған C2C термобекіткіш бақылау нүктелерін шығарды. Бір кемшілігі, C2C КВ кэшінің ішкі бөліктерін оқу, түрлендіру және ауыстыру қажет болғандықтан, ол ішкі бөліктерді ашатын шығыс стегін қажет етеді. Бұл модельдерді тек жеке API интерфейстері арқылы байланыстыратын қолданбаларға қарағанда, оны негізінен өздерінің шығыс стегін басқаратын топтар үшін өзекті етеді. Тіл үлгілері бір-бірімен байланысу үшін таңбалауыштарды қажет етпеуі мүмкін. C2C көп модельді AI жүйелерінде мәтін стандартты интерфейс болып қалуы керек пе деген сұраққа жауап беретін кеңірек зерттеу желісіне сәйкес келеді. Бір мысал, Nvidia компаниясының модельдер арасында КВ кэшті тасымалдау бойынша зерттеулері. Жүйе ұзақ сеанс кезінде үлгілерді ауыстырған кезде, жаңа үлгі әдетте жинақталған мәтінмәнді өңдеуі және оның кэшін қайта құруы керек. Оның орнына Nvidia бар кэшті мақсатты үлгі пішіміне салыстырады. Үйлесімді жұп модельдер бойынша Nvidia зерттеушілері бұл т
Техника алдын ала қайталаудан 2,7-25 есе жылдам жұмыс істеді. Nvidia техникасы бастапқы және мақсатты үлгілер арасында толық КВ кэшті тасымалдаған кезде, C2C екі модельді де контекстті өңдеуге мәжбүрлейді, содан кейін Қабылдаушы басқа модельдің семантикалық көрінісін пайдалана алатындай олардың кэштерін біріктіреді. Бұл аймақтағы тағы бір мысал RecursiveMAS, агенттер арасында берілетін үздіксіз жасырын көріністермен мәтіндік хабарларды ауыстыратын көп агенттік құрылым. Оның эксперименттері оның мәтіндік рекурсивті әріптесімен салыстырғанда 2,4 есе жылдамырақ қорытындыны және таңбалауышты пайдаланудың 75,6% қысқарғанын көрсетті. Механизмдер әртүрлі, бірақ олар бірдей негізгі ставканы бөліседі: модельдер алдымен бәрін мәтінге аударудың қажеті жоқ кезде тиімдірек байланыса алады. Осы кезде C2C өндірістік архитектура емес, зерттеу өнімі болып табылады: ол ішкі үлгілерге қол жеткізуді талап етеді және оның жетістіктері бизнестегі нақты агент жұмыс жүктемелерінен гөрі эталондармен өлшенген. Материалды бастапқы басылым негізінде нейрондық желі дайындады. AI мәліметтерде (сандар, атаулар, күндер, тырнақшалар) қате жіберуі мүмкін - маңызды ақпарат үшін
және бастапқы дереккөзді тексеріңіз. Snorkel AI деректерге сұраныс жағдайында бағаны 3,5 миллиард долларға дейін көтерді SpeakON iPhone телефонында дауыспен теруге арналған AI магниттік түймені ашты Kyutai математикалық есептерді ауызша шешуге арналған «Ресейдің дауысы» үлгісін шығарады. Nokia оқытусыз шешім қабылдауға арналған AnyJev кітапханасына қолжетімділікті ашады. OpenAI GPT-6 Sol және Luna-ны жаңа API бағасымен таныстырып, құнын 50%-ға төмендетті.
