NVIDIA Confidencial Computing көмегімен қауіпсіз, жоғары өнімді AI жеткізу

{{opener}} Жеке, корпоративтік және реттелетін параметрлерде құпия ақпаратты және сезімтал үлгі контекстін өңдейтін үлкен тіл үлгісінің (LLM) шығысымен деректер қауіпсіз ортада өңделуі керек. NVIDIA Confidential Computing (CC) шифрланған виртуалды машиналарды (CVM), құпия графикалық өңдеу блоктарын (GPU) және шифрланған NVIDIA NVLink көмегімен осы тапсырмаларды қауіпсіз орындау мүмкіндігін ұсынады. Бұл AI өндірісінің нәтижесі сенімді жабдықта жұмыс істеуге мүмкіндік береді. NVIDIA TensorRT LLM сияқты тұжырымдау жүйелері негіз деңгейіндегі оңтайландыруларды NVIDIA есептеу жеделдетуімен біріктіру арқылы тамаша AI қорытындысын береді. Дегенмен, бұл фреймворктар CC бар ортада жұмыс істегенде, қауіпсіз орындау жад қозғалысы, уақыт, жоспарлау және мультипроцессорлық байланыс туралы болжамдарды өзгертеді. Орындау уақыты бейімделмесе, бұл өзгерістер өнімділікке қосымша шығындарды тудыруы мүмкін. Сондықтан жоғары өнімділікті сақтау үшін қорытындылар жүйесін де, құпия есептеу ортасын бірге оңтайландыру қажет. Бағалаушы AI платформасының инженерлері үшін

x NVIDIA Blackwell графикалық процессорлары туралы құпия қорытынды, бұл пост қорытынды өнімділігін сақтай отырып, қауіпсіз орындауды есепке алу үшін TensorRT LLM сияқты AI қорытынды жүйелерін пайдаланатын CC-хабарламаларды қарастырады. Ол командалар өздерінің жұмыс жүктемелері бойынша CC үстеме шығындарын сандық бағалау үшін қолдана алатын бақыланатын әдістемені ұсынады. CC үстеме шығындарын анықтау үшін жұмыс жүктемесін таңдау. Жұмыс жүктемесінің сипаттамалары CC үстеме шығындарының қаншалықты байқалатынын анықтайды. Жоғары сұраныс көлемі шифрлаудың тұрақты шығындарын басқа жұмыстармен кідіртуді қайталау арқылы өтей алады, бұл тікелей әсерлерді азырақ сезінбейді. Бұл әсерлерді анықтау үшін ұзақ енгізу мәтінмәні, ұзақ шығыс мәтінмәні және төмен параллельділігі бар жұмыс жүктемесін таңдаңыз. Ұзақ контекст алдын ала жүктеп алу кезінде деректер қозғалысына ауыртпалық түсіреді, ұзақ генерация декодтау кезінде әрбір таңбалауыш үшін шағын CC үстеме шығындарын күшейтеді және төмен параллельділік параллель сұрауларда бұл үстеме шығындарды жасыру мүмкіндігін шектейді. NVIDIA өнімділігінің инженерлік тобы оларды пайдаланды

мұнда бағаланған жұмыс жүктемесінің сипаттамалары. Жұмыс жүктемесінің конфигурациясы: TensorRT LLM қорытынды жүйесі, PyTorch сервері, енгізу/шығару ретінің ұзындығы 32K/1K, 1, 2, 4, 8 және 16 бір мезгілдегі сұраулар, параллелизм TP=8, EP=1, PP=1, KV кэш FP8. CC-қосу және CC-өшіру бақыланатын салыстыру арқылы CC үстемелік өлшеу. CC өнімділігіне әсерін оқшаулау үшін екі жағдайда бірдей жұмыс жүктемесін орындаңыз: құпия есептеулер өшірілген (CC-өшіру) және қосылған (CC қосылған), ұстау үлгісі, аппараттық құрал, жақтау нұсқасы, реттілік ұзындықтары, параллельдік және CC күйі жалғыз айнымалы мән болатын параллельдік тұрақты. Әрбір бәсекелес деңгейде: шығыс өнімділігі сақталады: 100 x (таңбалауыш шығыс CC қосылған ÷ таңбалауыш шығыс CC өшірілген). Әрбір шығыс таңбалауышы үшін кешіктіру уақытының үстеме шығысы (TPOT): 100 x (TPOT CC қосылған ÷ TPOT CC өшірілген − 1). Өнімділік топтары осы өлшемдерді мақсатты жұмыс жүктемесі үшін CC қосылған кезде CC- өшірулі базалық мәннің қаншасы сақталатынын сандық анықтау үшін пайдалана алады. NVIDIA өнімділігінің инженерлік тобы бұл салыстыруды қолдана отырып қолданды

кестеде жинақталған аппараттық және бағдарламалық құрал конфигурациясын пайдалану. Өнімділік нәтижелері. Цифрларда көрсетілгендей, 1-ден 16-ға дейінгі аралықта CC қосылған CC-өшіру таңбалауышын алу өнімділігінің 96,1–98,2%-ын сақтады, ал орташа TPOT бастапқы деңгейден 1,2%-дан 4,3%-ға дейін қалды. CC үстеме шығындарын анықтаңыз және азайтыңыз. NVIDIA Blackwell Confidential Computing Architecture деректер мен жұмыс жүктемелерін қорғау үшін аппараттық құралдарға негізделген қауіпсіздік жолдарын ұсынады. Архитектураның егжей-тегжейлі шолуы үшін сізді баяулатпайтын жабдыққа негізделген AI қауіпсіздігі бөлімін қараңыз. TensorRT LLM пайдаланушылары мен фреймворк әзірлеушілері үшін келесі мәліметтер осы қорғалған жолдардың жалпы орындалу уақытының болжамдарын қалай өзгертетінін және TensorRT LLM нәтижелі өнімділікті азайту үшін қалай бейімделетінін көрсетеді. Хосттан құрылғыға деректер қозғалысының бейімделуі. B200 CC жүйесінде хосттан құрылғыға тасымалдаулар бағдарламалық шифрланған буфер арқылы өтеді, себебі GPU CVM қорғалған жадына тікелей қол жеткізе алмайды. Бұл қорытынды шеңберлері күткен әрекетті өзгертеді: бекітілген жад енді болмайды

асинхронды тасымалдаудың әдеттегі артықшылықтарын қамтамасыз етеді және кейбір көшірмелер шақыру ағынын блоктауы мүмкін. Хосттан құрылғыға тасымалдауды жеңілдету: TensorRT LLM шартсыз бекітілген жадты пайдаланудың орнына зардап шеккен жолдар үшін жад бетін таңдай отырып, CC-хабарлама жад таңдауын пайдаланады. Құрылғыдан хостқа жіберуді азайту: TensorRT LLM декодтау кезінде негізгі жоспарлаушының қорғалған көшірмелерін блоктауға жол бермей, қайта таңбалауыштарды жылжытады және деректерді асинхронды жұмыс процесіне алады. Ядро автотюнерінің уақытын тұрақтандыру. Ядро автотюнері әдетте кандидат тактикасын салыстыру үшін CUDA оқиғаларын пайдаланады. Сыналған CC конфигурациясында CUDA оқиғасының уақыт белгілері тұрақсыз уақыт сигналын шығарды, бұл баяу тактиканы таңдауға себеп болуы мүмкін. Жеңілдету: TensorRT LLM CC орталарында тактикалық өлшеулер үшін %globaltimer GPU пайдаланады, CUDA оқиғаларын CC сыртында сақтайды. Көп графикалық процессорлар үшін CC-хабарлама байланыс таңдауы. NVLS мультикаст (NVLink SHARP) B200 CC конфигурацияларында қолжетімді емес. NVLS болмаса, NCCL_SYMMETRIC өзінің жоспарланған мультикаст артықшылықтарын қамтамасыз ете алмайды, бірақ әлі де тіркеу шығындарын көтеруі мүмкін.

жады және мультикаст емес ұжымдық жолды пайдалану алдында қатарлар арасындағы синхрондау. Жеңілдету: CC-ге бағытталған жақтаулар NVLS қолжетімділігін анықтауы және берілген хабар өлшемі, топология және жүктеу сипаттамалары үшін кідірісті азайтатын байланыс алгоритмдерін таңдауы керек. NVIDIA Confidential Computing бағдарламасымен жұмыс істеу. NVIDIA Confidential Computing құпия виртуалды машиналар, NVIDIA Blackwell графикалық процессорлары және шифрланған NVLink арқылы аппараттық құралдарға негізделген қауіпсіздікті кеңейтеді, бұл сезімтал модельдерді, кәсіпорын контекстін және өңделу кезіндегі сезімтал сигналдарды қорғайды. Құпия есептеулер өнімділік инженериясының қажеттілігін жоймайды — ол негіз туралы хабардарлықты одан да маңызды етеді. Қауіпсіз деректерді тасымалдауға, автоматты реттеуге және көп GPU байланысына арналған CC-хабарламасы бар TensorRT LLM бейімделулерімен DeepSeek-R1 құпия тұжырымы сегіз NVIDIA B200 графикалық процессорында токенге арналған кідірістің үстеме шығынын 5%-дан төмен сақтай отырып, CC-өшіру таңбалауышы нәтижесінің 96%-дан астамын сақтап қалды. Ұйымдар жеке өндіріске көшкен сайын қауіпсіздік конфигурациясы

және шығысты оңтайландыруды бір орналастыру тапсырмасы ретінде қарастыру керек. Құпия есептеулерді қосыңыз, қоршаған ортаны растаңыз және қызмет көрсеткіңіз келетін нақты жұмыс жүктемесін пайдаланып, CC қосылған және CC өшірілген өлшемдерді белгілеңіз. Материалды бастапқы басылым негізінде нейрондық желі дайындады. AI мәліметтерде қате жіберуі мүмкін (сандар, атаулар, күндер, тырнақшалар) - маңызды ақпаратты бастапқы дереккөзбен тексеріңіз. Anthropic Opus 5.5 нұсқасын төмен бағамен және жақсартылған өнімділікті ұсынады NVIDIA Topograph көмегімен жүктемені теңестіруді оңтайландыру Qualcomm смартфондарға арналған жаңа AI-бағытталған Snapdragon процессорларын жариялады. NVIDIA ойындарда шынайы графиканы жасау үшін 3D нейрондық көрсетуі бар DLSS 5 нұсқасын ұсынды. NVIDIA бірнеше графикалық процессорларда TensorRT-ті көп құрылғыда орындауға арналған шешімді ұсынды.