GPU, токены и деньги: как балансировать на ИИ-арене?

GPU, токены и деньги: как балансировать на ИИ-арене? 15 октября на ежегодной конференции Orion soft «Большая игра» обсудят, что происходит после успешного ИИ-пилота. Промышленный сервис требует распределять GPU между моделями, управлять нагрузкой в Kubernetes, защищать обращения к LLM и понимать, какое подразделение сожгло месячный запас токенов за три дня. На дискуссии «Deploy: Become AI-ready» топ-менеджеры ПИК, «Газпром нефти» и red_mad_robot разберут свой опыт внедрения ИИ: что меняется при переходе от эксперимента к промышленной эксплуатации, готова ли к этому корпоративная инфраструктура и как удержать расходы под контролем. Техническая часть будет посвящена двум слоям корпоративного ИИ. Первый — запуск и масштабирование AI-нагрузок в Kubernetes с помощью Nova AI, включая распределение GPU между командами и сервисами. Второй — AI Gateway на базе StarGuard AI: единая точка доступа к моделям, через которую можно применять политики безопасности, контролировать запросы и ответы, маскировать чувствительные данные и вести аудит. Отдельная премьера — новый продукт Orion soft для биллинга ИИ-токенов. Он должен ответить на вопрос, который быстро возникает после массового внедрения LLM: кто, какую модель и для каких задач использовал — и кому в итоге выставлять счёт. Кроме ИИ-трека, в программе — инфраструктура, DevOps, кибербезопасность, опыт импортозамещения и демо-лаборатории с продуктами Orion soft.