NVIDIA кең ауқымды LLM сынағы үшін AIPerf ұсынады

NVIDIA Developer хабарлағандай, модельді жүйеге орналастыру кезінде маңызды сұрақ туындайды: ол қаншалықты жылдам жұмыс істейді? Curl пәрмендерін пайдалану немесе өзіңіздің сценарийлеріңізді жазу сияқты көптеген тәсілдер Python бір процесс архитектурасына және GIL-ге байланысты өнімділік шектеулеріне әкелуі мүмкін. Бұл мәселені шешу үшін NVIDIA AIPerf құралын әзірледі, ол сервер жұмысын кедергілерсіз тиімді тексеруге мүмкіндік береді. AIPerf GenAI-Perf мұрагері болып табылады және LLM-ді кең ауқымда тестілеу тәжірибесін ескере отырып, толық жөндеу болып табылады. Ол GenAI-Perf сияқты Perf Analyzer үстінде жұмыс істемейді. Бұл AIPerf-ке тиімдірек масштабтауға мүмкіндік береді. Құрал сөйлесу, кескін жасау және т.б. қоса, соңғы нүктелердің 15-тен астам түрін қолдайды, сондай-ақ ShareGPT сияқты жалпыға қолжетімді деректер жиынын пайдаланады. AIPerf тұрақты, Пуассон және гамма үлгілері сияқты әртүрлі үлгілерді қолдайтын жүктің пішінін басқаруға мүмкіндік береді. Бұл пайдаланушыға оның көлемін жай ғана басқаруға емес, жүктеу параметрлерін теңшеуге мүмкіндік береді. AIPerf көмегімен тестілеу кезінде үлгілерді оңай өзгертуге болады және, әрине,

ed нүктелері, бұл процесті жеңілдетеді. AIPerf іске қосылған кезде пайдаланушылар үлгі өнімділігін дәлірек бағалауға мүмкіндік беретін алғашқы таңбалауышқа дейінгі уақыт (TTFT) және токенаралық кідіріс (ITL) сияқты көрсеткіштерді ала алады. Бұл көрсеткіштер консольдегі кестеде көрсетіледі және әрі қарай талдау үшін CSV және JSON пішімінде сақталады. AIPerf сонымен қатар нақты жұмыс жағдайларына жақсырақ сәйкестендіру үшін сұрауларға өзгермелілікті енгізуге мүмкіндік беретін динамикалық трафикті тестілеу мүмкіндіктерін қамтамасыз етеді. Құралды көп түйінді Kubernetes орналастырулары және өндірістік ортадан трафикті қайталау сияқты күрделі сценарийлер үшін пайдалануға болады. AIPerf — функционалдық және тестілеу стандарттарын жақсарту үшін NVIDIA мен сыртқы әзірлеушілер арасындағы ынтымақтастық. Материалды бастапқы басылым негізінде нейрондық желі дайындады. AI мәліметтерде қате жіберуі мүмкін (сандар, атаулар, күндер, тырнақшалар) - маңызды ақпаратты бастапқы дереккөзбен тексеріңіз. PrismML өнімділігі жоғары үштік Bonsai 2 27B-ті ашты Зерттеушілер қауіпсіздікті жақсарту үшін AI баяулауын талқылайды FakeGit науқаны жасанды агенттердің зиянды бағдарламаларға арналған арнаға айналатынын көрсетеді.

бағдарламалық қамтамасыз ету көп. NVIDIA Topograph AI зауыттарында GPU жүктемесін орналастыруды оңтайландырады. Tata Elxsi зауыттардағы қауіптерді секундтарда анықтау үшін IRIS платформасын әзірледі.