Как сообщает NVIDIA Developer, при развертывании модели на системе возникает важный вопрос: насколько быстро она работает? Множество подходов, таких как использование команд curl или написание собственных скриптов, могут привести к ограничению производительности из-за однопроцессной архитектуры и GIL в Python. Для решения этой проблемы NVIDIA разработала AIPerf — инструмент, который позволяет эффективно тестировать производительность серверов без узких мест. AIPerf является преемником GenAI-Perf и представляет собой полную переработку, учитывающую опыт тестирования LLM на больших масштабах. Он не работает на основе Perf Analyzer, как это делал GenAI-Perf. Это позволяет AIPerf масштабироваться более эффективно. Инструмент поддерживает более 15 типов конечных точек, включая чат, генерацию изображений и многое другое, а также использует публичные наборы данных, такие как ShareGPT. AIPerf позволяет контролировать форму нагрузки, поддерживая различные паттерны, такие как постоянный, пуассоновский и гамма-паттерны. Это дает возможность пользователю настраивать параметры нагрузки, а не просто управлять её объемом. При тестировании с использованием AIPerf можно легко менять модели и конечные точки, что упрощает процесс. При запуске AIPerf пользователи могут получить метрики, такие как время до первого токена (TTFT) и задержка между токенами (ITL), что позволяет более точно оценить производительность модели. Эти метрики выводятся в таблице на консоли и сохраняются в формате CSV и JSON для дальнейшего анализа. В AIPerf также предусмотрены возможности для более динамичного тестирования трафика, позволяя вводить изменчивость в запросы, что лучше соответствует реальным условиям работы. Инструмент может быть использован для сложных сценариев, таких как многоузловые развертывания Kubernetes и воспроизведение трафика из производственной среды. AIPerf — это совместная работа NVIDIA и внешних разработчиков, что позволяет улучшать функциональность и стандарты тестирования. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником. PrismML представила Ternary Bonsai 2 27B с высокой производительностью Исследователи обсуждают замедление развития ИИ для повышения безопасности Кампания FakeGit демонстрирует, как искусственные агенты становятся каналом для вредоносного ПО. NVIDIA Topograph оптимизирует размещение нагрузки на GPU в AI фабриках. Tata Elxsi разработала платформу IRIS для обнаружения рисков на заводах за секунды.