По данным VentureBeat, в сентябрьском опросе VB Pulse большинство компаний, использующих искусственный интеллект в производстве, сообщили, что используют лишь половину своей мощности GPU или меньше. При этом большинство из этих компаний всё равно планируют внедрение новой инфраструктуры ИИ. Из 102 квалифицированных респондентов 68 использовали ИИ в производстве и предоставили данные об использовании GPU. Из них 55 (81%) сообщили о средней загрузке 50% или меньше, а 71% из этой группы планируют внедрить новую, дополнительную или заменяющую платформу ИИ в течение 12 месяцев. Эти данные поднимают важный вопрос о том, что покупатели ожидают от своей следующей платформы. Замена может улучшить планирование, интеграцию или экономику существующих рабочих нагрузок. Новая платформа может поддерживать работу, которую текущая среда выполняет плохо. Эти вопросы возникают на фоне призывов генерального директора Nvidia Дженсена Хуана к компаниям строить собственные фабрики ИИ. На своём выступлении на GTC Berlin 21 октября он заявил: "Чтобы стать частью этой экономики ИИ, вы не хотите просто потреблять ИИ; вы хотите производить ИИ". Концепция фабрики ИИ расширяется за пределы вычислений. HPE акцентирует внимание на управляемых API и интеграции протокола контекста модели (MCP), в то время как VAST анонсировала Agent Sandbox Foundation Stack с Nvidia, разработанную для сохранения состояния агента, доступа к данным и аудита, когда вычисления увеличиваются или уменьшаются. В ходе моего разговора с Nebius перед мероприятием их команда по безопасности выделила конфиденциальные вычисления GPU как способ защиты данных и весов моделей в процессе обработки и позволила клиентам проверять среду перед выпуском ключей шифрования. На мой взгляд, интеграция и безопасность становятся всё более важными при принятии решений об инфраструктуре. Получение вычислительных ресурсов — это одно решение. Построение архитектуры, которая превращает возможности модели в полезную работу, требует нескольких других решений. Когда агенты берут на себя более длительные задания, эти решения включают в себя то, как они получают доступ к корпоративным знаниям, сохраняют прогресс задач, используют различные модели и восстанавливаются, когда что-то идет не так. Память является важной частью этой архитектуры. Стоимость успешно завершенной задачи — это один из способов оценить, насколько хорошо компоненты работают вместе. Среди всех 102 квалифицированных респондентов в сентябре 63% планировали новую, дополнительную или заменяющую платформу в течение года. Только 10% сообщили о показателе ROI инфраструктуры, который был проверен и одобрен финансами. Среди планирующих внедрение 91% не имели такого показателя. Среди респондентов, не планирующих менять платформы, 89% также не имели ROI, проверенного финансами, что является статистически незначительной разницей. Компании принимают решения о следующей платформе до того, как финансы подтвердят доходность их существующей инфраструктуры ИИ. Среди респондентов, чья основная платформа была в производстве, общая удовлетворенность в среднем составила 4.0 из 5.0, легкость реализации — 3.9, а соотношение цена-качество — 3.6. Платформа может работать достаточно хорошо, чтобы заслужить положительную операционную оценку, при этом оставляя более сложный вопрос без ответа: стоит ли работа, которую она позволяет, своих общих затрат? Для агентов я бы сделал стоимость успешно завершенной задачи центральной мерой работы. Этот расчет должен включать в себя выводы, извлечение, хранение, повторные попытки и человеческий обзор. Финансовый отдел должен затем сравнить эти затраты с ценностью, которую они предоставляют по согласованной базе. Завершенная задача должна соответствовать стандарту качества. Неправильно закрытое дело поддержки не должно считаться успехом, а стоимость исправления изменения кода должна учитываться в стоимости его завершения. Архитектура определяет, что задача потребляет. Респонденты сентября выделили несколько факторов, влияющих на покупку инфраструктуры. Интеграция с существующим облаком и стеком данных была выбрана 48%, производительность — 42%, а доступность GPU — 35%. Разница между интеграцией и производительностью не была статистически значимой. Архитектурный вопрос заключается в том, где конкретный рабочий процесс теряет время, повторяет работу или потребляет ресурсы, не улучшая результат. Более мощная модель может помочь. Также может помочь лучший информационный путь или уровень контекста, другая конфигурация обслуживания или более четкое разделение работы между моделями и инструментами. Память — это три связанных дизайнерских решения. "Память" может относиться к разным вещам, и рассмотрение их как одной проблемы усложняет принятие решений по инфраструктуре. Институциональная память — это долговременные знания организации: политики, записи, операционные процедуры и прошлые решения. Память задач агента — это состояние, необходимое для продолжения задания: что произошло, что осталось и какие предыдущие действия были выполнены. Память вывода относится к ресурсам и кэшированным вычислениям, использованным во время обслуживания модели. Институциональные знания должны быть актуальными, релевантными и доступными в соответствии с разрешениями задачи. Память задач должна сохранять полезный прогресс, не позволяя временному заключению стать авторитетным фактом предприятия случайно. Техники памяти вывода должны оцениваться в соответствии с рабочей нагрузкой, которую они предназначены для улучшения. Руководство по контекстному проектированию Anthropic описывает структурированные заметки, хранящиеся вне окна контекста, как один из способов сохранить информацию во время продолжительной работы. Автоматическое кэширование префиксов vLLM касается другого уровня: повторного использования кэшированных вычислений, когда запросы имеют общий префикс. Его документация отмечает, что это снижает работу по обработке запросов, а не время, затрачиваемое на генерацию новых токенов. Опрос сентября измеряет уровень памяти вывода. Nvidia и Dell были наиболее часто выбранными вариантами для использования или оценки, на уровне 41% и 39% соответственно, что является статистически незначимой разницей. Инструменты кэширования KV с открытым исходным кодом и техники эффективности на уровне моделей были выбраны 21% респондентов для использования или оценки. Еще 16% не рассматривали ограничения памяти вывода или не были об этом осведомлены. Я ожидаю, что взаимосвязь между этими формами памяти станет более важным архитектурным решением. Команды должны определить, что агент сохраняет, что он снова извлекает, что он может поделиться и когда результат становится частью долговременного записа организации. Где меньшие модели имеют экономический смысл. Я утверждал, что небольшие языковые модели будут составлять длинный хвост корпоративного ИИ. Их ценность будет зависеть от того, где они работают, какие задачи выполняют и как работают с корпоративным контекстом, другими моделями и людьми. Практическое испытание заключается в том, удовлетворяет ли меньшая модель, правильно размещенная в рабочем процессе, требуемому качеству при более низких общих затратах. Для ограниченной задачи меньшая модель может быть достаточной. Более требовательный шаг может потребовать другой модели или человеческого суждения. Система нуждается в критериях для выбора этого пути и доказательства того, что полученная конфигурация соответствует требуемому качеству и стоимости. Эта оценка должна быть частью жизненного цикла разработки программного обеспечения. Команды должны тестировать выбор модели, извлечение информации, управление состоянием задач и эскалацию вместе на репрезентативной работе. Они должны повторять эти оценки, когда компонент изменяется. Цена токена является одним из факторов. Отчет сентября показал, что 23% выбрали стоимость за миллион токенов в качестве фактора покупки, по сравнению с 11% в августе, что является статистически значительной разницей между двумя месячными выборками. Конечная стоимость задачи также зависит от потребления токенов, повторных попыток, использования инструментов и человеческого вмешательства. Выбор модели должен, следовательно, оцениваться на уровне рабочего процесса, при этом успешное завершение является знаменателем. Руководители и разработчики нуждаются в общем измерении. Результаты по старшинству показывают, что обсуждения инфраструктуры начинаются с различных приоритетов. Среди вице-президентов и директоров 52% выбрали общую стоимость владения в качестве фактора покупки, по сравнению с 4% среди отдельных сотрудников. Эта разница статистически значима по тесту отчета для небольших независимых групп. Отдельные сотрудники чаще всего выбирали интеграцию, на уровне 58%. Руководители и разработчики должны связывать экономические цели с техническими решениями, которые определяют стоимость. Руководители должны понимать экономические последствия архитектуры. Разработчики нуждаются в метрике стоимости, связанной с техническими решениями, на которые они могут повлиять, чтобы они могли взвесить производительность против стоимости. Стоимость за успешно завершенную задачу может обеспечить эту связь. Это позволяет командам изучать, улучшают ли изменения в извлечении, выборе модели, кэшировании или управлении состоянием задач результат достаточно, чтобы оправдать затраты. Найдите узкое место перед покупкой новой инфраструктуры ИИ. Следующее решение по инфраструктуре должно начинаться с конкретного рабочего процесса агента и четкого понимания того, что ограничивает его производительность. Лидеры корпоративного ИИ должны рассматривать память, интеграцию и измерение как решения по проектированию инфраструктуры. Начать следует с определения успешного завершения и приемлемого человеческого вмешательства владельцем приложения или продукта. Команда данных должна определить авторитетную информацию и правила доступа к ней. Наблюдаемость следует рассматривать так же, как для любого другого приложения, с командой инженерии платформы, измеряющей задержку, использование, поведение кэширования и общую операционную стоимость. Вовлеките финансы, согласуйте базу и подтвердите полученные выгоды. Затем измените одну часть архитектуры за раз и измерьте изменение стоимости за успешно завершенную задачу. Более умные модели расширяют то, что агенты могут пытаться сделать. Более умная инфраструктура, измеряемая по задаче, делает эту работу надежной и экономически обоснованной. Мы обсудим экономику вывода, включая то, как команды могут делать больше с меньшей памятью и меньшим количеством токенов, на Саммите по инфраструктуре агентного ИИ от VentureBeat 28 октября в Сан-Франциско. Заявки на участие открыты. Примечание исследования: цифры опроса взяты из отчета о инфраструктуре ИИ и вычислениях VB Pulse за сентябрь, опубликованного командой VentureBeat Intelligence, с 102 квалифицированными респондентами из организаций с 100 и более сотрудниками, включая консультантов, отвечающих за своего основного клиента. Результаты представлены самими респондентами из самовыбираемой группы. Данные о загрузке охватывают 68 респондентов в производстве, которые предоставили цифры; 55 сообщили о средней загрузке GPU 50% или меньше. Компании, сообщающие о более высокой загрузке, составляют 13. Старшинство сравнения основано на 23 вице-президентах и директорах и 26 отдельных сотрудниках. Цифры по цене токена за август и сентябрь взяты из разных групп респондентов; разница между ними статистически значима. Вопрос о памяти вывода объединяет использование и оценку. Аргументы по институциональной памяти, памяти задач агента и малым моделям являются интерпретациями аналитиков, а не данными, непосредственно протестированными в ходе опроса. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.