Согласно материалу NVIDIA Developer, команда KGMON компании NVIDIA заняла второе место на соревновании KDD Cup 2026 по аналитическим агентам, разработав систему, основанную на простой идее: сделать систему агента более компактной, понятной и удобной для проверки. В конкурсе агенты должны были отвечать на вопросы на естественном языке, используя разнородные источники данных, включая базы данных, файлы CSV и JSON, прозаические документы, PDF и видео. Каждая задача требовала не только извлечения данных, но и анализа доступной информации, выбора подходящих инструментов, логического рассуждения между источниками, подготовки окончательного файла с ответом и обработки ловушек, которые могут возникнуть в аналитических рабочих процессах. KDD также требовал от команд работы с небольшой фиксированной языковой моделью для управления агентом, что сделало систему основным объектом оптимизации. Команда стремилась облегчить задачу для доступной модели с помощью предварительной обработки, ограниченных инструментов, постоянного состояния и оценки. Эти техники особенно полезны при создании надежных систем вокруг более мелких открытых моделей. В этом посте делится набором рекомендаций, лежащих в основе их результата. Это не универсальный рецепт для каждого аналитического агента, но более широкий урок применим ко многим системам агентов. Надежность часто зависит не от того, чтобы сделать модель более открытой, а от создания правильной системы вокруг нее. Система основывалась на двух принципах. Во-первых, ограничение пространства действий. Слишком много способов инспекции данных, вызова инструментов, записи файлов или исправления ошибок может привести к сбоям. KGMON объединил доступ к данным, предоставил небольшой набор инструментов и потребовал, чтобы окончательные ответы следовали единому пути вывода. Во-вторых, каждая попытка должна быть проверяемой. Запуск может завершиться неудачей из-за неправильного вызова инструмента, неверного соединения, пропущенного правила документа или проблемы с форматом ответа. Трассировки выполнения, повторные попытки и инспекция траекторий помогли команде выявить сбои и уточнить систему. Следующие техники предлагают практическое руководство для создания надежных аналитических агентов. Во-первых, конвертируйте структурированные источники в единое пространство запросов. Каждая задача KDD могла сочетать SQL базы данных, файлы CSV и JSON, документы и видео. KGMON конвертировал файлы CSV и JSON в таблицы существующей базы данных SQLite, предоставляя агенту один SQL интерфейс для всех структурированных данных. Пользовательские функции KGMON для инспекции и запроса унифицировали доступ к данным: schema() и sql(query). Эти функции позволили агенту обнаруживать и запрашивать структурированные данные одним способом, что снизило количество ошибок маршрутизации и оставило фиксированной модели больше пространства для анализа данных. Во-вторых, обеспечьте агента контекстом схемы заранее. KGMON добавил этап инспекции схемы перед основным циклом рассуждений. Система проверяла таблицы, колонки, возможные ключи соединения, дублирующиеся имена, похожие поля, единицы измерения, шаблоны null и проблемы с количеством строк. Агент получал этот контекст схемы в начале каждой задачи, что экономило время на раннее открытие. Инспекция схемы снизила количество ошибок, вызванных неправильными колонками, пропущенными соединениями или путаницей в том, что должно представлять каждая строка ответа. Третья рекомендация — создайте небольшой, целенаправленный инструмент для системы. KGMON ограничил агента помощниками для инспекции схемы, SQL запросов, поиска документов, извлечения прозы и записи ответов. Среда предоставила функции, такие как schema(), sql(query), write_answer(df) и prose_helper(). Среда сохраняла переменные между вызовами инструментов, позволяя агенту повторно использовать промежуточные результаты. Это сократило количество ошибок и обеспечило сосредоточенность небольшой языковой модели на анализе. Четвертая рекомендация — рассматривайте прозу как первоклассный ввод, но держите ее отдельно от структурированных данных. Аналитические рабочие процессы часто включают PDF, Markdown файлы, документы, текст политик, инструкции и отчеты. В некоторых задачах KDD эти источники содержали пороги, правила, определения и записи, подобные таблицам, необходимые для ответов на вопросы. KGMON блокировал прямое чтение целых файлов, предоставляя инструменты, которые ограничивали предварительный просмотр и поиск по количеству символов или регулярным выражениям. После нахождения соответствующего раздела агент мог вызвать prose_helper, который передавал части документов в отдельный вызов языковой модели. Пятая рекомендация — предварительно обрабатывать видео, если это часть задачи. Некоторые задачи KDD включали вводные видео. Чтобы избежать вычислительных затрат на обработку видео внутри основного цикла агента, KGMON извлекал ключевые кадры, транскрибировал аудио и сопоставлял сегменты транскрипта с кадрами. Каждая задача включала не более одного видео, часто содержащее ограничивающие значения или отвлекающие факторы. Шестая рекомендация — регистрируйте трассировки, чтобы другой агент или человек могли проверить сбои. Каждая попытка регистрировала подсказки, вызовы инструментов, SQL запросы, промежуточные результаты, ошибки, исправления, поиски документов и окончательные ответы. Специальный инспектор-агент мог просмотреть неудачные траектории, классифицировать ошибки и выявить повторяющиеся сбои, чтобы помочь команде приоритизировать улучшения. Седьмая рекомендация — оценивайте несколько попыток, но следите за затратами. KGMON улучшил покрытие и надежность за счет повторных попыток и выбора ответов. Восьмая рекомендация — используйте циклы улучшения с осторожностью. В девятой рекомендации команда подчеркивает важность участия человека в процессе. Человеческое руководство может улучшить будущие запуски без необходимости контроля каждого вызова инструмента. Основные уроки для создания аналитического агента заключаются в том, что надежность агента зависит от модели и ее системы. Вместе они должны поддерживать анализ, который можно проверять, повторять и использовать. Начните с одного повторяемого рабочего процесса аналитики и создайте наименьшую систему, которая может его завершить. Определите вопрос и требуемый формат ответа, предоставьте агенту узкий набор инструментов для инспекции и запроса данных, запишите каждый вызов инструмента и промежуточный результат. После того как основа станет надежной, добавьте инспекцию документов, совместное использование знаний, проверенные улучшения и выборочную оценку нескольких попыток. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.