Configuring Dedicated Model Inference on the Together AI Platform

По сообщению Together AI, выделенный вывод модели на платформе Together AI состоит из трех частей: конечной точки (стабильное имя, которое вы или ваши клиенты используете), развертываний (конкретные комбинации моделей и оборудования, работающие за ней) и конфигураций (рецепты того, как работает модель). Связь с учетом емкости трафика объединяет эти три элемента. Эта архитектура позволяет реализовать различные другие функции, такие как развертывания, A/B тесты, теневые эксперименты и изменения без простоя. Конфигурация — это рецепт, который определяет движок, тип и количество GPU, а также параллелизм и профиль оптимизации (пропускная способность, задержка, сбалансированный). Конфигурации неизменяемы, и каждая конфигурация имеет идентификатор, например cr_.... Ваше развертывание всегда указывает на ту конфигурацию, которая была протестирована. Развертывание связывает одну модель (в конкретной версии) с одной конфигурацией, задает политику автоматического масштабирования и запускает реплики. Развертывания намеренно являются временными, и их создание и уничтожение следует рассматривать как обычную практику. Конечная точка — это фиксированная идентичность: квалифицированное имя (/), которое ваши приложения передают в качестве параметра модели в обычном API вывода. У конечной точки есть разделение трафика, которое используется для определения маршрутизации запросов по ее развертываниям. Каждая операция на платформе — это просто «добавить развертывание и назначить ему вес маршрутизации трафика». A/B тест — это развертывания с назначениями когорты. Теневой эксперимент — это развертывание с нулевым весом, получающее зеркальный трафик. Остановка развертывания заключается в ограничении минимального и максимального числа реплик до 0/0. Разделение трафика — это список записей {deployment_id, weight}, где вес — это количество готовых реплик. Маршрутизатор вычисляет эффективную емкость каждого развертывания как weight × ready_replicas и маршрутизирует пропорционально этой емкости. Развертывания могут иметь разный вес, и это позволяет управлять нагрузкой на каждую реплику. Если развертывание не готово, оно не учитывается в маршрутизации. Если развертывание находится в состоянии холодного старта или имеет 0 готовых реплик, оно не получает трафика, и другие развертывания поглощают его долю. Важно, что новое развертывание не получит трафик, пока оно не появится в разделе трафика конечной точки. Если вы создаете конечную точку и развертывание и устанавливаете его в состояние «ГОТОВО», но получаете ошибку маршрутизации, это, вероятно, связано с тем, что разделение трафика не указано. Конфигурации неизменяемы, потому что версии cr_ никогда не меняются, то есть поведение развертывания не может измениться, потому что кто-то «просто изменил флаг» в общей конфигурации. Изменение — это новая версия; старая остается действительной и протестированной целью для отката. Проведя эксперимент с маршрутизацией с учетом емкости, мы протестировали это на живой конечной точке с двумя развертываниями, чтобы показать, как работает модель разделения трафика. Мы отправили 599 помеченных запросов и распределили их по развертываниям, затем увеличили количество реплик в одном из развертываний и отправили еще 599 запросов, чтобы зафиксировать маршрутизацию. В заключение, вся модель может быть развернута с помощью нескольких команд, что упрощает процесс настройки и использования выделенного вывода модели на платформе Together AI. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.