Зерттеулер2026 ж. 22 қыркүйек

RBS-Attention: Radius-Bounded Sparse Prefill for Long-Context Large Language Models

Long-context large language model inference is increasingly limited by prefill, where dense self-attention processes the entire prompt before generation begins. Sparse block selection can reduce this cost, but a block centroid may hide a highly relevant token among many…

Chuxu Song, Jiuqi Wei, Zhencan Peng·arXiv — cs.AI
Түпнұсқа
Негізгі тұжырымдар
  • 01.Long-context large language model inference is increasingly limited by prefill, where dense self-attention processes the entire prompt before generation begins
  • 02.Sparse block selection can reduce this cost, but a block centroid may hide a highly relevant token among many…

Материал кеңейтілген талдамалық дайджест форматында берілген.

Толық нұсқасын түпнұсқадан оқу
Материал авторға сілтеме жасай отырып, ұлттық инфопоток аясында агрегацияланған.

Байланысты материалдар

Барлығы →
Зерттеулер1 мин

Anthropic компаниясының IPO өтінімінен бес оғаш мәліметтер

Anthropic, сайып келгенде, SEC-ке өзінің S-1 проспектісін тапсырды, бұл құжат инвесторларға өз бизнесінің астына, оның басшылары қанша ақша жасап жатқанын және IPO-ға миллиардтағанын жұмсауды жоспарлап отырғанынан бастап, амбициясын бұзатын тәуекелдерге дейін көрсетуге арналған құжат. астам…

The Verge — AI
Зерттеулер1 мин

FairStress: тест на демографическую справедливость моделей

📌 FairStress: тест на демографическую справедливость моделей Институт Аллена опубликовал набор FairStress для проверки того, меняет ли языковая модель своё решение о человеке из-за его расы, пола, религии, возраста, инвалидности или ориентации в сферах найма, кредитования,…

Telegram — AI Machine Learning Big Data