Cohere представила Embed 5: сравнение с Voyage 4 и Gemini Embedding 2

По данным MarktechPost, компания Cohere выпустила новую семью моделей встраивания под названием Embed 5. Эта модель нацелена на корпоративный поиск, RAG и агентский поиск. Семья моделей представлена в двух вариантах: Embed 5 Pro, ориентированная на максимальное качество извлечения, и Embed 5 Fast, которая фокусируется на задержке и стоимости в процессе живого запроса. Оба варианта принимают текст, изображения и комбинированные текстово-изображенческие входы. Модели поддерживают более 100 языков и могут обрабатывать до 128 тысяч токенов. Ключевым дизайнерским решением является то, что Pro и Fast используют одно пространство встраивания. Это позволяет индексировать с одной модели и выполнять запросы с другой. Оба варианта доступны для развертывания уже сегодня через API Cohere и Model Vault, а также на Microsoft Foundry и Amazon SageMaker. Частное VPC или локальное обслуживание осуществляется через vLLM. Модели API имеют идентификаторы embed-v5.0-pro и embed-v5.0-fast, согласно документации Cohere. Они могут выдавать векторы размером 2048, 1536, 1024, 768, 512 или 256 размерностей, при этом 2048 является значением по умолчанию. Векторы возвращаются в формате float, int8 или binary. Стоимость использования Pro составляет 0,12 доллара за 1 миллион текстовых токенов, а Fast — 0,08 доллара. Входные изображения стоят 0,40 доллара за 1 миллион токенов для обеих моделей. Модель Embed 5 может непосредственно встраивать изображения страниц. Она также может объединять изображение с его метаданными в один вектор, что особенно важно для отсканированных страниц, слайд-деков, схем и графиков, где извлечение текста может привести к потере информации. Cohere протестировала каждую пару корпусов и запросов на 40 наборах данных в процессе разработки. Нормализовав результаты, индекс Pro, запрашиваемый через Fast, получил 98,4, тогда как индекс, использующий только Fast, — 96,6. Рекомендуемая схема использования — индексировать с помощью Pro и выполнять запросы с помощью Fast. Однако обе стороны должны использовать одну и ту же размерность выходных данных. Скорость обработки документов также значительно различается: Fast обрабатывает 377,3 документа в секунду, в то время как Pro — 159,7. На тестах ViDoRe V3 модель Embed 5 Pro в среднем набирает 85,8, что на 8,8 пунктов выше, чем у Embed 4. Fast в среднем набирает 84,5. Модель Voyage 4 Large получает 83,7, Gemini Embedding 2 — 83,2, а текстовая модель OpenAI text-embedding-3-large — 75,5. На наборе данных Cohere, состоящем из распарсенных PDF, Pro лидирует с 84,8 против 83,6 у Voyage 4 Large. В сегменте финансов Pro занимает первое место на FinanceBench (80,1), FinQA (90,0) и ViDoRe V3 Finance (85,0), тогда как Fast занимает второе место по всем трем показателям. Результаты на многоязычных данных неоднозначны. Pro лидирует по среднему значению европейских языков с 77, однако Gemini Embedding 2 обходит Pro по 9 из 10 языков в таблице результатов Cohere, включая японский, арабский, хинди и телугу. Важно отметить, что большинство чисел используют новую метрику Cohere RCP-nDCG@10, которая переупорядочивает фиксированный набор кандидатов, поэтому она больше измеряет качество повторного ранжирования, чем начальное извлечение. Cohere опубликовала код для оценки, но независимая репликация все еще ожидается. Embed 5 использует представление обучения Матрешка и выходы с низкой точностью. Вектор размером 2048 с плавающей точкой требует 8 КБ, вектор размером 1024 с int8 — 1 КБ, а вектор размером 256 с бинарным представлением — 32 байта. В масштабах 100 миллионов фрагментов сырьевое хранилище снижается с примерно 819 ГБ до 3,2 ГБ. Cohere рекомендует использовать вектор размером 1024 с int8 в качестве значения по умолчанию, ссылаясь на качество, близкое к полной точности. Таким образом, Cohere Embed 5 представляет собой мощный инструмент для извлечения и работы с данными, предлагая высокое качество и гибкость для различных приложений. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.