NVIDIA әзірлеушісі AI зауыттары толығымен оңтайландырылған кезде максималды мән беретін қуатты шектеулі жүйелер екенін айтады. Графикалық өңдеу блоктарына (GPU) жүктемені орналастыру осы оңтайландырудың негізгі элементі болып табылады. Нашар жүктемені орналастыру топологиялық домендерді фрагменттерді және ортақ сілтемелер арқылы трафикті мәжбүрлейді, бұл өткізу қабілеттілігін төмендетеді, тапсырманы орындау шығындарын арттырады және жүктемені алға жылжытпай деректерді күту кезінде GPU бөлінген қуатты тұтынуын қалдырады. Жаттығу және қорытынды жасау кезінде графикалық процессорлар үнемі байланысады, сондықтан бөлінген жұмыс жүктемелері жергілікті байланыстың пайдасын көреді. NVIDIA NVLink және NVLink қосқышы тартпа деңгейінде GPU домендері бойынша жоғары жылдамдықты, масштабталатын қосылымды қамтамасыз етеді, ал NVIDIA Ethernet Spectrum-X жүйе мен тірек деңгейінде болжамды, аз кідіріспен желі қосылымын қамтамасыз етеді. Жоспарлаушы GPU мен желілік инфрақұрылым арасындағы қарым-қатынастардың жаңартылған және дәл көрінісі болған жағдайда ғана жұмыс жүктемелерін тиімді орналастыра алады және кластер өзгерген кезде бұл көріністі жаңартып отыру қиын мәселе болып табылады.
тәжірибеде кездеседі. NVIDIA Topograph бұл мәселені шешеді. Ол бұлттық API интерфейстері немесе жергілікті жүйелер арқылы кластер топологиясын ашады, оны жалпы үлгіге қалыпқа келтіреді және оны әрбір жүктеу менеджері күтетін пішімде жариялайды: Kubernetes түйінінің белгілері, Slurm топологиясының конфигурациясы немесе Slinky ConfigMaps. NVIDIA DSX OS кластерлік оркестрлік қабатының бөлігі ретінде Topograph динамикалық ресурстарды бөлу (DRA) және KAI жоспарлаушымен бірге бүкіл AI құрылымдық инфрақұрылымы бойынша топологиядан хабардар топтық жоспарлауды қамтамасыз етеді. Топологияның негізгі мәселесі жоспарлаушыларға жақын жердегі ресурстарды ұнатуға мүмкіндік беру үшін кластерлік жабдықтың қосылу жолы болып табылады. Желіні жол жүйесі ретінде қарастырыңыз: бір жергілікті домендегі GPU қысқа, жоғары жылдамдықты жолдарға ие, ал домендер арасындағы трафик кең таралған сілтемелер мен қосқыштар арқылы өтеді. Қашықтағы домендер бойынша тығыз байланыстырылған жұмыс жүктемелерін тарату даулар мен кідірісті арттыруы мүмкін, сондықтан Topograph жұмыс жүктемелерін ең тиімді орындарға орналастыруға және бұл кедергілерді болдырмауға көмектеседі. Қазіргі NVIDIA Quantum InfiniBand порттары 800 Гбит/с жылдамдыққа жетеді, ал NVIDIA NVLink екеуі де
Арнайы NVIDIA NVLink Switch инфрақұрылымы арқылы бесінші буын графикалық процессорларында (GB200/GB300 сияқты NVIDIA Blackwell) 1,8 ТБ/с және алтыншы буын графикалық процессорларында (Vera Rubin) 3,6 ТБ/с екі бағытты өткізу қабілетін береді. Бұл блокталмаған, ортақ жүйе жүктеме кезінде өткізу қабілетін бөліспей, әрбір GPU-ға өзінің өткізу қабілеттілігін береді. Жаңартылған көрінісі бар жоспарлаушылар ең жақын топологиялық домендегі графикалық процессорларды ұната алады. Slurm және Kubernetes екеуі де топологияны білетін таратуды қолдайды, бірақ жоспарлаушы тек өзі бақылайтын топология негізінде әрекет ете алады. Топограф бұл көріністі сұраныс бойынша қалпына келтіреді және кластерде өзгерістер орын алғанда, жоспарлаушы қолмен сақталған суреттен гөрі жаңартылған деректермен жұмыс істейді. Топография – бұл кластердің желілік топологиясын анықтайтын ашық құрал, жүктеме менеджерлеріне топологияны ескере отырып жоспарлау шешімдерін қабылдауға мүмкіндік береді. Оның екі тұжырымдамасы бар: провайдерлер және қозғалтқыштар. Провайдер топологияны бұлттық API интерфейстері немесе жергілікті жүйелер арқылы анықтайды және оны канондық үлгіге қалыпқа келтіреді. Қозғалтқыш бұл модельді Slurm конфигурациясына, Kuber белгілеріне аударады
netes, Slinky ConfigMaps, Node Feature Discovery (NFD) ресурстары немесе JSON данасына бағытталған топология. Topograph-пен жұмыс интеграциясы бар бұлттық провайдерлерге Google Cloud, Lambda, Nebius, Nscale және OCI кіреді, қосымша бұлт пен колокация провайдерлері әзірленуде. Жергілікті пайдалану үшін Spectrum-X немесе Multi-Node NVLink (MNNVL) домендері үшін ibnetdiscover немесе NetQ бар InfiniBand провайдерін пайдаланыңыз. Провайдер интерфейсі ашық, сондықтан операторлар өз орталары үшін өздерін қосып, жалпы жобаға үлес қоса алады. Материалды бастапқы басылым негізінде нейрондық желі дайындады. AI мәліметтерде қате жіберуі мүмкін (сандар, атаулар, күндер, тырнақшалар) - маңызды ақпаратты бастапқы дереккөзбен тексеріңіз. NVIDIA Confidential Computing Клод Opus 5.5 нұсқасымен қауіпсіз, жоғары өнімді AI жеткізу Енді Amazon Bedrock сайтында қолжетімді Tata Elxsi зауыттардағы қауіптерді секундтарда анықтау үшін IRIS платформасын әзірледі. AstroForge ғарыш аппараттарын басқару үшін AI әзірлейді, бұл компанияға Жерден тұрақты бақылаусыз миссияларды орындауға мүмкіндік береді. Стартап AI сәнін жасау үшін егеуқұйрықтар миының нейрондық үлгілерін пайдаланады
лей.
