По сообщению VentureBeat, графические процессоры, использующиеся для работы с большими языковыми моделями, могут тратить до 60% своих вычислительных ресурсов на перерасчёт контекста, который уже был обработан. Об этом заявил Алан МакСевени, технический директор компании WEKA, в интервью ведущему аналитика VentureBeat Робу Стречаю на последней встрече в рамках серии мероприятий VentureBeat AI Impact Series. МакСевени отметил, что такая неэффективность связана с тем, как большие языковые модели хранят историю общения в памяти GPU. Он утверждает, что решение этой проблемы позволит компаниям обслуживать в несколько раз больше пользователей на уже имеющем оборудовании. «Проблемы, с которыми сталкиваются клиенты WEKA, в основном проявляются в инфраструктуре, отдельно от метрик приложений, которые каждая компания настраивает для своей области», — добавил он. «Ограничения, с которыми сталкиваются люди, это бюджет, доступность электроэнергии и пространство в дата-центрах», — сказал МакСевени. «Эти ограничения мешают многим организациям расти, поэтому все пытаются извлечь больше из уже сделанных капитальных вложений». В процессе многоходового вывода, GPU хранят обработанный контекст в кэше KV, чтобы не пересчитывать его с каждым обменом. Однако память GPU ограничена; когда старый контекст вытесняется, GPU может потребоваться заново пересчитать ту же историю, когда сессия возобновляется. «Если не иметь стратегии для решения этой проблемы, GPU может работать на уровне всего лишь 30% загрузки на новую работу», — отметил он. «С хорошей стратегией можно достичь более 90% или 95% в лучшем случае». Когда компания строит свою собственную инфраструктуру для AI-работ, более 80% бюджета уходит на GPU, поэтому карта, которая тратит свои циклы на перерасчёт, является «колоссальной тратой денег», добавил он. Отрасль уже движется к более активному повторному использованию и выгрузке кэша KV, от технологий Mooncake и DeepSeek до платформы контекстной памяти CMX от Nvidia, встроенной в её стек Vera Rubin. МакСевени утверждает, что NVMe flash предлагает более экономичное место для хранения этого кэша по сравнению с расширением серверной DRAM: он сопоставим или превосходит DRAM по удержанию кэша KV, лучше масштабируется и стоит значительно дешевле. «Вы получаете эти данные как можно быстрее, позволяя кому-то другому занять GPU, а затем возвращаете их, когда они понадобятся», — сказал он. Скорость этой замены определяет, сколько пользователей может обслуживать один GPU. Если система может быстро перемещать кэш, каждый GPU может обслуживать в четыре-пять раз больше пользователей. Компания, сталкивающаяся с нехваткой мощностей, может разместить столько же людей или агентов на своих существующих серверах, прежде чем закажет другой GPU. Система Augmented Memory Grid от WEKA, работающая на программном обеспечении NeuralMesh, захватывает кэш KV с серверов GPU, хранит его централизованно и загружает обратно на любой хост в дата-центре. Таким образом, сессия может остановиться на одном сервере и возобновиться на другом без необходимости повторного вычисления истории на втором GPU. Центральная загрузка кэша KV увеличила количество пользователей на тех же GPU в 7 раз и подняла выход с 200,000 токенов до 2 миллионов за то же время по сравнению с выгрузкой в DRAM, отметил МакСевени. Однако оптимизация кэша оставляет не затронутой сторону приложения. «Вам всё равно нужно оптимизировать ваше приложение, рабочий процесс и конвейер как можно лучше», — объяснил он. Вопрос о том, следует ли оптимизировать веса модели через квантование и дообучение или сначала окружение вокруг модели, варьируется в зависимости от клиента. Но большинство команд с реальным опытом работы с LLM уже научились сокращать галлюцинации, уменьшать потери и проверять результаты. Существует большая разница в знаниях в области инфраструктуры, где многие клиенты всё ещё не знают, сколько свободной мощности их существующие системы могут освободить для большего количества запросов и пользователей. Не стоит вопрос о том, следует ли строить собственную проприетарную стек вместо использования хостингового сервиса — выгода достается тому, кто контролирует GPU, отметил МакСевени, что касается как компании, использующей собственное оборудование, так и компании, арендующей необработанные GPU и работающей на их программном обеспечении. «Если вы платите поставщику модели на основе токенов, то большая часть выгоды от любого кэширования на их стороне уходит в их карман, а не в ваш», — добавил он. Это соотношение становится ещё более важным по мере того, как предложение GPU становится ограниченным. МакСевени указал на сообщение Google своим клиентам о том, что каждый GPU, который он заказал для Google Cloud, но ещё не установлен, уже имеет покупателя на весь срок службы, и клиенты, не сделавшие резервирование до декабря, не должны рассчитывать на возможность получения мощностей по запросу. Провайдеры услуг, покупающие из того же ограниченного источника, столкнутся с той же проблемой. «Запуск части своей собственной инфраструктуры может не быть вашей первой мыслью», — сказал МакСевени. «Но это может стать необходимостью». Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.