← Видеохабқа
YouTube • YouTube — PyTorch Official
Блоктар қайда жасайды: vLLM-ге арналған деңгейе тәуелді KV-кеш маршрутизациясы маштабта
9 сағат бұрын
Сипаттама
Сәлем, мен PyTorch Conference North America 2026-да War-дан Понгуп Пакпын. Мен «Блок қайда жасайды» деген постерді ұсынамын. GPU жады KV кешін CPUға немесе сақтауға ағып кеткенде, LMD әр блоктың орналасқан жерін бақылайды және әр сұрауды оның кешіне жібереді. Сіз CPU... дегенін көресіз