Для ИИ-агентов выпустили модель, которая принимает решения в десятки раз быстрее обычных LLM

⚡️ Для ИИ-агентов выпустили модель, которая принимает решения в десятки раз быстрее обычных LLM TypeSafe AI открыла доступ к Jev — модели, которая не пишет текст, а выбирает лучший вариант из заданных. Например, она может решить, какой инструмент запустить, куда направить запрос или к какой категории отнести данные. Такие небольшие решения постоянно нужны ИИ-агентам, но использовать для каждого полноценную LLM дорого и медленно. По данным TypeSafe, Jev отвечает за 70–500 мс и на подходящих задачах работает в 40–200 раз быстрее традиционных моделей. Вход стоит всего $0,042 за миллион токенов, а новым пользователям дают $5 — этого хватит примерно на 119 млн входных токенов. Сложное планирование и код при этом можно оставить большой LLM, а всю рутину переложить на Jev. [Источник]()