{{opener}} на конференции PyTorch North America анонсировал llm-d 1.0, важный этап для открытой ИИ-инфраструктуры. llm-d представляет собой распределённую сеть обслуживания вывода, основанную на Kubernetes, которая позволяет развертывать стеки вывода для любой модели на любом ускорителе в любом облаке. Этот релиз сигнализирует о том, что llm-d готов поддерживать реалии производства: устойчивую эффективность при различных нагрузках, одновременно балансируя приоритеты обслуживания на фоне растущего спроса. В условиях увеличения затрат на вывод llm-d призван помочь перенести развертывание моделей в собственные дата-центры и обеспечить возврат инвестиций в ИИ. Работа над проектом велась с участием растущего сообщества разработчиков, включая поставщиков оборудования, разработчиков моделей, облачные платформы и корпоративных пользователей. Основные кураторы llm-d, такие как Red Hat, IBM и Google, помогли превратить передовые методы вывода в скоординированную систему, которую компании могут использовать в масштабе. Эти три компании совместно основали llm-d в прошлом году с CoreWeave и NVIDIA, а также к проекту присоединились лидеры отрасли, включая AMD, Cisco, Hugging Face, Intel, Lambda и Mistral AI. По словам Карлоса Косты, выдающегося инженера IBM Research и одного из основателей llm-d, «llm-d готов к операциям второго дня». Он отметил, что llm-d демонстрирует выдающиеся показатели вывода для производственных нагрузок. Что добавляет версия 1.0, так это зрелость для работы в качестве критически важного сервиса: стабильный API, поддержка нескольких арендаторов с конкурирующими приоритетами на одной и той же инфраструктуре и обновления, не прерывающие операции. С момента запуска llm-d проект сосредоточился на пяти важных подходах к улучшению вывода ИИ: маршрутизация с учётом кэша префикса, выгрузка кэша KV, оптимизация пакетного вывода, раздельная обработка чтения запроса и генерации ответа, а также широкая параллельность экспертов. Эти идеи не новы для версии 1.0, но новый уровень интеграции и операционной зрелости вокруг них. С версией 1.0 llm-d стал стеком, способным поддерживать операции второго дня: всё, что должно происходить после развертывания ИИ-сервиса. Это включает обслуживание нагрузок с конкурирующими приоритетами, управление различными требованиями к производительности, поддержание эффективности, приоритизацию важных сервисов и обеспечение надёжности системы с течением времени. llm-d 1.0 улучшает поддержку качества обслуживания для нескольких арендаторов, операции без простоя и обслуживание с учётом агентов, что обеспечивает устойчивую производительность в обычных операциях второго дня. Корпоративный ИИ-сервис может получать запросы как от людей, так и от автономных агентов через одну и ту же конечную точку, но эти нагрузки ведут себя по-разному. Управление потоком llm-d 1.0 управляет конкурирующими приоритетами, независимо от того, делят ли нагрузки одну и ту же аппаратную платформу или охватывают смесь ускорителей. Управление потоком, справедливость и приоритизация помогают предотвратить перегрузку чувствительных к задержке сервисов. Эта производственная направленность напрямую влияет на экономику ИИ. Поскольку ИИ всё больше проникает в повседневные бизнес-операции, затраты на вывод стали регулярными. Агентные системы могут увеличить эти затраты, поскольку одно задание может включать множество раундов рассуждений, использования инструментов, оценки и пересмотра. Если каждый шаг требует от модели повторного чтения одного и того же материала, организация повторно платит за работу, которую система уже выполнила. В недавнем тесте с агентной нагрузкой кодирования маршрутизатор, учитывающий префиксы, зафиксировал 97% доступного повторного использования кэша. Избегая повторных вычислений и более эффективно используя существующее оборудование, такие методы могут снизить стоимость обслуживания ИИ в масштабе. Когда организация управляет собственной инфраструктурой, она становится частью структуры затрат, которую можно контролировать. Объединив модели с открытыми весами с открытым стеком обслуживания, llm-d предоставляет организациям ещё один вариант контроля над соотношением потребления ИИ, затратами на инфраструктуру и бизнес-ценностью. llm-d работает с такими движками вывода, как vLLM или SGLang, добавляя распределённую маршрутизацию и операционные возможности, необходимые для превращения серверов моделей в производственные сервисы. Это также придаёт llm-d важную роль в более широкой экосистеме открытого кода. PyTorch тесно связан с людьми, разрабатывающими ИИ-модели и приложения. Фонд облачных вычислений с открытым исходным кодом (CNCF), который хостит llm-d как проект песочницы, больше сосредоточен на развертывании и эксплуатации систем в производстве. Вклад IBM в llm-d отражает давний подход: брать идеи, которые могут улучшить вычисления, и превращать их в открытые технологии, которые организации могут использовать в реальном мире. С llm-d 1.0 эта работа помогла создать стек вывода, предназначенный не только для хорошей работы, но и для поддержания работы, когда ИИ становится критической инфраструктурой. Открытый вывод ИИ готов к эксплуатации, управлению и оптимизации в производстве. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.