Данил Сивцов | Системы инференса под нагрузкой: управление KV-cache, батчинг, шедулинг

Описание

Э, сейчас поговорим про более такие прикладные вещи, типа, а как устроен прот, как он развивался. Ну, опять же, в приложении лмок, ну, как бы, что уж. Ллэмки сейчас одни из самых как бы сложных штук для инференса, и все ими пользуются, поэтому как бы про них и говорим. Вот. А, и…