Как сократить расход токенов на веб-контекст до трёх раз

Как сократить расход токенов на веб-контекст до трёх раз Если корпоративному ИИ-ассистенту нужны свежие данные из интернета, за поиском стоит отдельная работа: загрузить страницы, очистить HTML, разбить текст на фрагменты и отобрать релевантные. Всё это нужно разрабатывать и поддерживать. В Yandex Search API появились Smart Snippets - возможность получить подходящие фрагменты найденных страниц одним вызовом API. Отправляете запрос, получаете контекст с цитатами и ссылками на источники. Каждый фрагмент занимает около 500 токенов. В модель отправляются нужные выдержки вместо страниц целиком. По данным команды продукта, это позволяет сократить расход токенов на веб-контекст до трёх раз при том же качестве ответа. Итоговый ответ по-прежнему формирует ваша модель. Smart Snippets подготавливают для неё материал из веба, например, для проверки актуальных условий, поиска документации или сбора данных о рынке. Для команд, которые строят ИИ-агентов и корпоративных ассистентов, это меньше компонентов в поисковом пайплайне и ниже затраты на обработку веб-контекста. Свяжитесь с экспертом, чтобы протестировать – по ссылке.