Теперь в API OpenAI можно кэшировать промпты на срок до 12 часов, а для авторизованных пользователей Codex и Work кэш...
Теперь в API OpenAI можно кэшировать промпты на срок до 12 часов, а для авторизованных пользователей Codex и Work кэш хранится бессрочно. Это означает, что даже спустя несколько часов можно вернуться к старой задаче и продолжить работу с гарантированным попаданием в кэш. Меньше…
- 01.Теперь в API OpenAI можно кэшировать промпты на срок до 12 часов, а для авторизованных пользователей Codex и Work кэш хранится бессрочно
- 02.Это означает, что даже спустя несколько часов можно вернуться к старой задаче и продолжить работу с гарантированным попаданием в кэш
Теперь в API OpenAI [можно]() кэшировать промпты на срок до 12 часов, а для авторизованных пользователей Codex и Work кэш хранится бессрочно. Это означает, что даже спустя несколько часов можно вернуться к старой задаче и продолжить работу с гарантированным попаданием в кэш. Меньше повторной обработки контекста и, потенциально, меньше впустую потраченных лимитов. Побольше бы таких обновлений. 🍿
Связанные материалы
Все материалы →Anthropic открывает свои бухгалтерские балансы для Уолл-стрит, показывая рекордные доходы и растущие обязательства
Anthropic — первая крупная лаборатория искусственного интеллекта, подавшая заявку S-1 в SEC и планирующая разместить свою компанию на Nasdaq под тикером «ANT». Цифры впечатляют: квартальный доход составляет $11,6 млрд, первая в истории операционная прибыль, а существующие клиенты тратят в девять раз больше по сравнению с прошлым годом.…
Создание агентной системы извлечения на базе Amazon Bedrock с CDK
AWS Machine Learning описывает создание агентной системы извлечения на базе Amazon Bedrock с использованием AWS CDK.
Кэширование запросов для ИИ-агентов на Amazon Bedrock
Кэширование запросов позволяет ИИ-агентам на Amazon Bedrock быть более эффективными.