По данным TechCrunch, OpenAI впервые сделала свой модель Decisions API доступной для пользователей, вступив на рынок быстрого и недорогого интеллекта, который недавно сделал стартап TypeSafe, основанный бывшим исследователем в Frontier Lab, компанией стоимостью 7,6 миллиарда долларов. Модель Jev от TypeSafe создала категорию глубоких обучающих моделей, которые действуют как супер-классификаторы: имея набор вариантов, они могут быстро принимать решения и предлагать уровень уверенности в своем выборе. Разработчики программного обеспечения быстро поняли, что эти модели принятия решений или модели Системы Один могут заменить LLM в различных рабочих процессах, работая быстрее и значительно дешевле. Никундж Ханда, руководитель продукта API OpenAI, сообщил TechCrunch, что его коллеги увидели Jev и сказали: «Вау, у нас есть миллион вариантов использования для этого». Команда Ханды поспешила предложить свою версию: вместо создания специально откалиброванной модели принятия решений команда взяла ChatGPT Luna и перенастроила его для ускорения вывода и снижения стоимости. «Большое достижение с Decisions API — это скорость, сокращение времени с одного-трех секунд до 100, 120, 180 миллисекунд», — сказал Ханда. «В будущем мы можем иметь специальное обучение, чтобы сделать наши модели еще лучше в этих аспектах. Но сейчас это просто старая добрая Luna, которая выполняет задачу». С момента объявления на дне разработчиков компании 29 сентября Decisions API стал доступен всем клиентам в четверг. OpenAI добавила новые голосовые и визуальные модальности в публичную версию и работала над снижением задержки в разных регионах мира, целенаправленно распределяя свои ресурсы вывода. В первых испытаниях с такими клиентами, как Box, Datadog, Ramp и Speak, инженеры использовали API для замены LLM OpenAI на более высокую пропускную способность. Эндрю Хсу, технический директор Speak, который разрабатывает языковых тьюторов на базе ИИ, сказал, что Decisions API позволил компании сократить время между действиями с 1,4 секунды до 0,13 секунды. OpenAI также использовала продукт, чтобы улучшить отзывчивость своего голосового помощника Dots. Однако неясно, что именно делает модель принятия решений хорошей, кроме «она работает для вас» — оптимизация по интеллекции, стоимости, калибровке и скорости, похоже, различается в зависимости от рабочей нагрузки. Генеральный директор TypeSafe Диого Алмейда не доверяет бенчмаркам и призывает людей пробовать модели в своей работе, но даже TypeSafe на прошлой неделе выпустила свои собственные рейтинги наряду с релизом своей последней модели Jev, которая включает новые функции, такие как поддержка изображений и умные условия. Публичные бенчмарки, такие как AIM System One Index и Artificial Analysis Decision Index, как правило, отдают предпочтение D1 Ultra, новой модели принятия решений, которую Liquid выпустила на прошлой неделе, и Elephant-1 от Base Lab. Последняя модель Jev остается конкурентоспособной по обоим индексам, занимая седьмое и третье места, в то время как модель принятия решений OpenAI занимает восьмое и четырнадцатое места соответственно. Тем не менее, предложения TypeSafe на данный момент являются наиболее запрашиваемыми на OpenRouter. Самым интересным бенчмарком Jev является JevMan, где модели принятия решений играют в PacMan; последняя модель Jev занимает первое место в этом рейтинге. Феликс Вундерлих, главный директор по росту Opper AI, который разработал этот бенчмарк, сказал, что классическая игра «является интересным тестом из-за своего постоянного потока быстрых, высоких ставок решений. На каждом перекрестке модель должна решать, куда идти, за несколько сотен миллисекунд». Где, возможно, более способная модель OpenAI может иметь преимущество, так это в мультимодальности — для классификации изображений «Luna чрезвычайно мощная и показывает лучшие калибровки», — сказал Ханда, добавив, что клиенты OpenAI хотят, чтобы Decisions API был более гибким в использовании изображений в качестве выходных данных. Ханда также увидел дальнейшие увеличения скорости, позволяющие новые варианты использования: «Можем ли мы добиться чего-то вроде 60 миллисекунд, и тогда вы можете представить себе вызов API для каждого отдельного кадра в видео?» По мере того как эти предложения становятся быстрее и дешевле, мы можем ожидать, что они оправдают свое название Jev, экономиста, который объяснил, как более эффективное использование ресурса делает его более повсеместным. Или, как видит это Ханда, будет расширяющийся «безумный набор вариантов использования», которые скрывались на виду до тех пор, пока модели принятия решений не раскрыли их. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.