Как пишет AWS Machine Learning, аналитикам безопасности необходимы быстрые ответы о состоянии их облачной инфраструктуры, не требующие глубоких знаний специализированных языков запросов. Инструмент Orca Security охватывает более 900 моделей облачных ресурсов, таких как экземпляры Amazon Elastic Compute Cloud (Amazon EC2) и корзины Amazon Simple Storage Service (Amazon S3). Для выполнения запросов к этим данным требовались точные названия моделей, навигация по вложенным отношениям и выбор из 18 операторов (функций сравнения, таких как равно или содержит, используемых для фильтрации результатов). Чтобы решить эту задачу, Orca Security объединилась с AWS для создания Discovery AI, агента запросов на естественном языке на платформе Amazon Bedrock. Orca предоставляет контекстно-зависимую безопасность для облака, кода и ИИ, а Sonar — это система запросов, специфичная для домена, в которой пользователи могут искать, фильтровать и исследовать всю графовую структуру данных. В этой статье мы делимся архитектурой и результатами Discovery AI, который преобразует вопрос на естественном языке в запрос Sonar. В результате Orca удалось сократить затраты на запросы на 90 процентов, количество входных токенов на 93 процента и задержку на 75 процентов по сравнению с исходными показателями. Система запросов Sonar от Orca Security поддерживает более 900 моделей облачной инфраструктуры и приложений с комплексными взаимосвязями между ними. Для выполнения запросов пользователи создают объекты JSON, которые указывают точные названия моделей, выбирают из 18 операторов и навигируют по иерархиям родительских и дочерних элементов среди облачных провайдеров. Для успешного выполнения этой задачи требуется глубокое знание схемы Sonar. Команда Orca поставила перед собой задачу создать интерфейс на естественном языке, который может генерировать действительные запросы Sonar из обычного текста. Их первоначальный прототип загрузил полную схему Sonar в одном запросе на самой крупной доступной модели. Это включало более 900 определений моделей, все типы отношений и щедрый набор примеров запросов. Качество выходных данных было высоким, и партнёры по дизайну и внутренние пользователи положительно отреагировали, но на этапе производства возникли три значительных недостатка. Потребление токенов было неэффективным, составляя примерно 2 миллиона входных токенов на рабочую нагрузку, что увеличивало затраты. Задержка была высокой, со временем отклика от начала до конца около 60 секунд на каждую рабочую нагрузку. Точность по сложным многомодельным запросам была ограничена, поскольку вложенные отношения и многоконтекстные запросы часто требовали дополнительной доработки. Команда Orca подтвердила, что концепция работала. Следующей задачей было сделать её экономически эффективной, быстрой и достаточно точной для производства. Для этого команда Orca разработала и внедрила решение, которое обрабатывает тысячи запросов в день с временем отклика 15 секунд, используя Amazon Bedrock. Orca разработала Discovery AI как гибридное решение на Amazon Bedrock, которое сочетает в себе расширенное извлечение информации (RAG) с конструкцией запросов, учитывающей схему. Система преобразует вопросы на естественном языке в действительные фильтры Discovery через многоступенчатый процесс, каждая стадия которого соответствует наиболее подходящей модели Amazon Bedrock. Orca выбрала Amazon Bedrock, так как он предоставляет доступ к нескольким моделям через единый API, позволяя команде выделять разные базовые модели для каждой стадии процесса без необходимости управления отдельными интеграциями. Архитектура, не зависящая от модели, означала, что команда могла заменять новые версии моделей по мере их появления, не перестраивая процесс. Процесс Discovery AI преобразует запрос на естественном языке в действительный фильтр Discovery через девять шагов. Первый шаг — это вход запроса и настройка контекста, где комбинируется естественный язык запроса пользователя с соответствующим контекстом, включая организацию пользователя, подключенные облачные провайдеры и метаданные запроса. Этот контекст помогает системе точно интерпретировать запрос и генерировать фильтр Discovery, соответствующий среде клиента. Быстрый детерминированный сопоставитель идентифицирует структурированные входные данные, такие как IP-адреса, общие уязвимости и экспозиции (CVEs), ARNs, хеши файлов, идентификаторы образов машин Amazon, идентификаторы облака Oracle, идентификаторы EC2, URL-адреса и идентификаторы оповещений. Он использует регулярные выражения и сопоставление на основе правил для обнаружения высоконадежных шаблонов. Когда совпадение найдено, система может вернуть заранее определённый фильтр Discovery через быстрый путь, без использования вывода большой языковой модели (LLM). Если совпадение не найдено, запрос продолжается к следующему шагу. Компонент охраны LLM проверяет, является ли запрос безопасным, релевантным, техническим и поддерживаемым. Он блокирует попытки инъекции, нерелевантные запросы и неподдерживаемые входные данные, прежде чем они достигнут остальной части процесса. Запросы, не прошедшие проверку охраны, отклоняются с соответствующей ошибкой. Одобренные запросы продолжают к извлечению примеров. На этапе извлечения кандидатов на основе встраивания система ищет релевантные ранее проверенные примеры запросов, используя встраивания текста Amazon Titan. Она извлекает 20 ближайших примеров из векторного хранилища на основе семантического сходства. Эти кандидаты предоставляют системе примеры того, как аналогичные запросы на естественном языке ранее переводились в фильтры Discovery. Извлечённые кандидаты повторно ранжируются с помощью Cohere Rerank 3.5 на Amazon Bedrock. Эта стадия определяет, какие примеры наиболее релевантны текущему запросу, и выбирает пять наиболее значительных примеров. Когда найдено точное или высоконадежное совпадение, система может повторно использовать известный фильтр напрямую. В противном случае повторно ранжированные примеры передаются к генеративным этапам. Выбор модели, управляемый LLM, сужает более 900 моделей Sonar до небольшой группы, релевантной запросу. Он учитывает запрос пользователя, подключённые провайдеры и извлечённые примеры при выборе соответствующих моделей. Генератор использует агент, дополненный инструментами, для создания окончательного фильтра Discovery. Он анализирует выбранные схемы моделей, извлечённые примеры, контекст пользователя и доступные инструменты. Агент может итеративно уточнять фильтр по мере работы над действительным представлением запроса пользователя. Сгенерированный фильтр проверяется на синтаксическую и семантическую правильность. Система сначала применяет статическую проверку, а затем проверяет фильтр через API Orca Sonar. Когда проверка не проходит, ошибка проверки возвращается генератору, чтобы агент мог исправить фильтр и попробовать снова. Если максимальное количество попыток достигнуто без получения действительного фильтра, система возвращает ответ о недействительном фильтре. После развертывания Discovery AI в производство новое решение превзошло исходные показатели по затратам, задержке и точности. Использование входных токенов упало на 93 процента, с примерно 2 миллионов токенов до 140 000 на сопоставимую рабочую нагрузку. Общие затраты снизились на 90 процентов, что было обусловлено меньшим потреблением токенов и распределением моделей по этапам на Amazon Bedrock. Задержка также улучшилась, со временем отклика от начала до конца, который снизился на 75 процентов, с примерно 60 секунд до 15 секунд. Точность по сложным многомодельным запросам также улучшилась, что постоянно измерялось с помощью оценочной системы команды. Discovery AI теперь обрабатывает тысячи запросов в день с марта 2026 года, при этом внутренние эксперты и отзывы клиентов подтверждают качество. В заключение, в этой статье мы поделились тем, как Orca Security построила Discovery AI на Amazon Bedrock. Решение позволило сократить затраты на запросы на 90 процентов, использование входных токенов на 93 процента и задержку на 75 процентов по сравнению с исходными показателями. Решение сочетает несколько ключевых технологий, включая извлечение примеров на основе RAG с Cohere Rerank 3.5, распределение моделей по этапам между Anthropic Claude Haiku 4.5 и Amazon Nova 2 Lite, а также семантический поиск на базе Amazon Titan. Кроме того, система непрерывной разметки с участием человека обеспечивает постоянное улучшение. Эта комбинация позволила Orca превратить рабочий прототип в решение производственного класса, которое дешевле в эксплуатации и более точно. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.