AWS Machine Learning мәліметтері бойынша, параллельді тексерулер қолайлы кідіріс кезінде бағаны/өнімділікті барынша арттыратын дана түрін және қызмет конфигурациясын анықтау арқылы генеративті AI соңғы нүктесін оңтайландыруға көмектеседі. Жүйелі тәсіл болмаса, оңтайландыру қолмен орналастыруды, жүктеуді тексеруді, түзетуді және итерацияны қажет етеді, бұл бос GPU бюджетін тиімсіз пайдалануға әкелуі мүмкін. Тым көп даналарды таңдасаңыз, бюджетіңізді ысырап ете аласыз, ал тым аз таңдасаңыз, сұраулар кезекке тұрады, кідіріс ұлғаяды және пайдаланушылар қызметтің нашарлауына ұшырайды. Параллельді тазалау бұл мәселені шешеді. Параллельді тексеру – Amazon SageMaker AI соңғы нүктесіне параллель трафиктің бақыланатын, жоғарылау деңгейлерін жіберетін және оның өнімділігін талдайтын жүйелі салыстыру тәсілі. Параметрлерді тексеру Amazon SageMaker AI ұсыныстарына енгізілген, сондықтан реттелетін жүктемені тексеру инфрақұрылымын құру немесе қолдау қажет емес. Бұл мақалада біз NVIDIA Nemotron-3 Nano 30B моделін, автоматтандырылған құрылғыны іске қосуды қарастырамыз.
Жуынатын бөлмедегі параллелизм сыпырып, нәтижелерді негізделген қуат шешімдерін қабылдау үшін пайдаланыңыз. Соңында сіз кідіріс қолайсыз болғанға дейін соңғы нүкте қанша параллельді сұрауларды өңдей алатынын және бұл процесті қалай автоматтандыру керектігін білесіз. Параллельді тексеру SageMaker AI соңғы нүктесіне бір уақыттағы сұраулардың бақыланатын санын жібереді және әр деңгейде екі көрсеткішті өлшейді: өткізу қабілеті (соңғы нүкте бір секундта жасайтын таңбалауыштар саны) және кідіріс (әр сұрауды өңдеуге кететін уақыт). Параллелизмді бірте-бірте ұлғайту арқылы (мысалы, 64-тен 256-дан 1024-ке дейін бір мезгілдегі сұраулар), сіз соңғы нүктенің қанығу нүктесін көрсететін қисық сызықты қадағалай аласыз. Бұл бір мезгілде көбірек трафикті қосу өткізу қабілеттілігін жақсартуды тоқтататын және кідірісті нашарлататын нүкте. Параллельді тексеру өндірісті жоспарлау үшін үш негізгі көрсеткішті қамтамасыз етеді: идеалды тепе-теңдік — кешіктіруге рұқсат бере отырып, өткізу қабілеттілігін арттыратын параллельдік деңгейі; бұзылу нүктесі - кідіріс қызмет көрсету деңгейі келісімінің (SLA) шегінен асатын деңгей; факт
p оңтайландыру - бір дана сыйымдылығын ескере отырып, ең жоғары трафикті жабу үшін қажетті даналардың саны. Параллелизмді тексеру жұмыс процесі төрт қадамнан тұрады: vLLM контейнерін пайдаланып үлгіні SageMaker AI соңғы нүктесіне қолдану, жүктеме профилін орнату (енгізу және шығару таңбалауыштарының саны, ағын режимі), CreateAIBenchmarkJob API арқылы параллелизмді тазалауды іске қосу және параллельдік пулдың оңтайлы деңгейін анықтау және оңтайландыру үшін нәтижелерді талдау. Бастамас бұрын, Amazon SageMaker AI жүйесіне кіру мүмкіндігі бар AWS тіркелгіңіз және SageMaker AI және Amazon Simple Storage Service (Amazon S3) құқықтары бар IAM рөлі бар екеніне көз жеткізіңіз. Модельді, соңғы нүкте конфигурациясын және соңғы нүктенің өзін орналастырғаннан кейін салыстыруға көшу алдында валидация арқылы орналастыруды тексереміз. Жүктеме профилін орнату қандай трафик имитацияланатынын анықтауды талап етеді. Біз CreateAIWorkloadConfig көмегімен нақты генеративті AI шығыс үлгісін көрсететін жұмыс жүктемесі профилін жасаймыз. Жүктеме профилін анықтағаннан кейін біз сыпыруды бастай аламыз. CreateAIBenchmarkJob API арқылы эталондық тапсырма жасау жұпты көрсетуге мүмкіндік береді
сыпыруға арналған метр. Эталондық механизм (AIPerf) әрбір деңгей үшін анықталған сұраулардың жалпы санын жібере отырып, бір тапсырма ішінде параллелизмнің әрбір деңгейін дәйекті түрде іске қосады. Тапсырма аяқталғаннан кейін нәтижелер Amazon S3 жүйесіне JSON пішіміндегі деңгейлік көрсеткіштерді қамтитын tarball пішімінде жазылады. Жұмыс аяқталғаннан кейін біз нәтижелерді жүктеп алып, талдай аламыз. Нәтижелерді оқу кезінде ең маңызды төрт көрсеткіш: өткізу қабілеті (секундына шығыс таңбалауыштары), p99 кідірісі, p50-ден p99-ға дейінгі кідірістің таралуы және пайдаланушы интерфейстерін ағынмен жіберу үшін маңызды болып табылатын бірінші таңбалауышқа дейінгі уақыт (TTFT). Параллелизмнің әртүрлі деңгейлерінде өткізу қабілеті мен кідіріс сызбасын салған кезде, қанықтылық нүктесі қисық сызықта «тізе» ретінде көрінеді: өткізу қабілеті деңгейлері өшірулі, ал p99 кідірісі күрт артады. Бенчмаркинг аяқталғаннан кейін біз процесс барысында жасалған ресурстарды тазалай аламыз. Қайталанатын шығындарды болдырмау үшін сынақтан кейін SageMaker соңғы нүктелерін, соңғы нүкте конфигурацияларын және үлгілерді жойыңыз. Параллельді тексерулер генеративті AI соңғы нүктелері үшін мүмкіндіктерді жоспарлау процесінде болжамды деректермен ауыстырады. Артық емес орнына
Сіз дәл енгізіп жатсаңыз немесе өндірістегі кедергілерді анықтайсыз ба, бірінші пайдаланушы сұрауы келгенге дейін соңғы нүктенің өнімділігін жүйелі түрде бағалауға және дана пулының өлшемі туралы негізделген шешім қабылдауға болады. Материалды бастапқы басылым негізінде нейрондық желі дайындады. AI мәліметтерде қате жіберуі мүмкін (сандар, атаулар, күндер, тырнақшалар) - маңызды ақпаратты бастапқы дереккөзбен тексеріңіз. Қоғамдық секторды Agentforce және AWS Trane көмегімен кеңейту Amazon Bedrock көмегімен HVAC диагностикасын 60 есе жақсартады AWS Machine Learning Strands Evals және Amazon Bedrock көмегімен агент дағдыларын бағалаудың жаңа жүйесін ашады. AWS Machine Learning мәліметтерді автоматтандыруды Agentforce бағдарламасымен біріктіруді көрсетеді. AI инфрақұрылымы AI қосымшаларының өзінен құндырақ болуы мүмкін.
