← Видеохабқа
YouTube • YouTube — PyTorch Official
ARM процессорларындағы Experts LLM тұжырымының қоспасын оңтайландыру
14 қаз.
Сипаттама
Сәлем, мен Intel Research India компаниясынан келген Маджидпін және осы қазан айында Солтүстік Америкадағы PyTorch конференциясында сөйлейтініме қуаныштымын. Мен VLLM және OpenVINO қолдану бойынша LLM сарапшыларының тиімді қоспасы және бұл модельдерді ARM процессорларында қалай тиімді іске қосуға болатыны туралы айтатын боламын. Егер…