为什么 AI 模型在某些芯片上运行更快：KV 缓存效应

描述

你见过模型一个词一个词地生成回答。这里有一个容易被忽略的细节。每一个词在被选中前，都必须回顾整个对话历史。因此，对话越长，需要回顾的内容就越多。并且……