Согласно материалу AWS Machine Learning, предприятия начинают использовать генерацию с дополнением поиска (RAG) для извлечения информации из корпоративных источников знаний, таких как Microsoft SharePoint, Google Drive и Atlassian Confluence. Однако эти источники содержат конфиденциальную информацию, регулируемую сложными структурами разрешений. Обеспечение того, чтобы ответы, генерируемые ИИ, соответствовали этим разрешениям, является одной из самых сложных задач в корпоративном ИИ. В данной статье рассматривается, как Amazon Quick и Amazon Bedrock Knowledge Bases решают эту проблему с помощью обеспечения контроля доступа в реальном времени, проверяя разрешения непосредственно с авторитетными источниками в момент запроса. Рассмотрим следующую ситуацию: владелец сайта SharePoint создает базу знаний для своей организации. Члены команды из разных отделов используют ИИ-помощника для получения ответов из этой базы знаний. Критическим требованием является то, что каждый член команды должен получать только те ответы, которые соответствуют документам, к доступу к которым он имеет право. Это универсальная задача для предприятий. Организации стремятся демократизировать доступ к ИИ-генерируемым инсайтам, не нарушая при этом существующую безопасность. Один единственный неавторизованный документ, появившийся в ответе ИИ, может раскрыть конфиденциальные стратегические документы, нераспространенные финансовые данные или чувствительную информацию о персонале. Существующие подходы к контролю доступа в RAG часто используют метод репликации и фильтрации для обеспечения разрешений на уровне документов. Обычно это работает так: соединитель источника данных (например, соединитель SharePoint) получает списки контроля доступа (ACL) в рамках периодической синхронизации. ACL реплицируются из источника данных и хранятся как атрибуты в индексе. В момент запроса система ИИ сопоставляет вошедшего в систему пользователя с сохраненными атрибутами ACL и фильтрует результаты соответственно. Хотя этот подход кажется разумным на первый взгляд, у него есть три фундаментальных недостатка. Во-первых, система ИИ не является источником правды. В этой модели система ИИ несет единоличную ответственность за соблюдение правил, не будучи при этом авторитетным источником разрешений. Это требует от соединителей данных точно реплицировать сложную логику ACL, специфичную для источника, через различные источники данных. Каждый источник данных имеет свои уникальные модели разрешений. Сопоставление иерархий наследования, членств в группах, политик условного доступа и правил отказа через десятки соединителей — это трудоемкая задача, подверженная ошибкам. Во-вторых, устаревшие разрешения создают пробелы в безопасности. В общем, соединители данных поддерживают синхронизацию на основе запросов, которая выполняется по требованию или по определенному графику. ACL в этих решениях ИИ являются моментальным снимком времени с момента последней синхронизации. Некоторые решения используют обновления на основе событий, но это не работает универсально. Например, источник данных, такой как Confluence, не создает события при изменении членства в группе. Между синхронизациями пользователь, у которого был отозван доступ, все еще может получать ответы ИИ из документов, которые он больше не должен видеть. В-третьих, возможности источников данных постоянно изменяются или вводятся новые механизмы контроля доступа к контенту. Новая функция разрешений в SharePoint или изменение модели совместного использования Google Drive могут создать пробелы в логике сопоставления ACL. Это может раскрыть контент до обновления соединителя. Чтобы решить эти проблемы, мы внедрили проверки ACL в реальном времени как дополнительный уровень безопасности поверх существующей фильтрации ACL перед извлечением для Amazon Quick и Amazon Bedrock Knowledge Bases. Это гарантирует, что система соблюдает самые актуальные правила доступа, проверяя разрешения непосредственно с авторитетным источником в момент запроса. Архитектура нашего подхода сочетает в себе производительность семантического поиска и возможности безопасности в реальном времени. Когда пользователь отправляет запрос к агенту Amazon Quick, использующему базу знаний Google Drive, система обеспечивает контроль доступа в два этапа: на первом этапе выполняется семантический поиск по векторному индексу для нахождения наиболее релевантных фрагментов документов. Система применяет списки контроля доступа, которые уже хранятся в индексе, что позволяет получить предварительный набор кандидатных документов. Этот этап необходим, поскольку вызовы API в реальном времени для каждого документа в индексе были бы слишком затратными в масштабах. На втором этапе Amazon Quick проверяет кандидатные документы в реальном времени, вызывая API Google Drive. Он использует учетные данные сервисной учетной записи, предоставленные администратором, для генерации токенов доступа, специфичных для пользователя, через империацию. Google Drive поддерживает источник правды для списков контроля доступа, связанных с каждым документом. Документы, к которым пользователь не имеет права доступа, исключаются из результирующего набора. Только проверенные и авторизованные фрагменты документов передаются большой языковой модели (LLM) в качестве контекста. Этот двухуровневый подход сочетает в себе производительность и безопасность, используя кэшированные ACL для повышения эффективности и обеспечивая корректность через проверки в реальном времени. Кроме обеспечения контроля доступа, Amazon Bedrock предоставляет ответственные инструменты ИИ, включая Amazon Bedrock Guardrails для фильтрации контента, проверки основ для снижения галлюцинаций и настраиваемые политики безопасности, которые помогают организациям ответственно развертывать приложения генеративного ИИ. Этот подход приносит три ключевых преимущества: всегда актуальные разрешения — больше никаких пробелов в безопасности между циклами синхронизации при использовании продукта RAG. Если доступ сотрудника отозван, изменение отражается в ответах ИИ в течение нескольких минут, а не часов или дней. Уверенность в масштабировании — организации могут расширять охват своих баз знаний, зная, что проверки ACL в реальном времени подтверждают разрешения с авторитетным источником для каждого запроса, независимо от источника данных. Снижение операционной нагрузки — вам не нужно беспокоиться о частоте синхронизации. В заключение, в данной статье мы обсудили, как Amazon Quick и Amazon Bedrock Knowledge Bases реализуют контроль доступа в реальном времени для решения критической проблемы безопасности для предприятий. Двухуровневая архитектура ACL проверяет разрешения непосредственно с авторитетными источниками в момент запроса, что гарантирует, что ответы, генерируемые ИИ, включают только контент, к которому пользователь имеет право доступа. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.