kvcahce
差别
| 两侧同时换到之前的修订记录前一修订版 | |
| kvcahce [2026/08/26 03:38] – [2. KV缓存到底是什么？（技术简化版）] chenyang | kvcahce [2026/08/26 03:38] (当前版本) – chenyang |
|---|
| * **没有KV缓存时**：做第100道菜时，你需要从头开始，重新准备前99道菜的所有食材，然后再做第100道。这显然极其低效。这就是模型在生成每个新词时，如果不带缓存，就需要重新计算前面所有词的情况，计算量随长度呈平方级增长。 | * **没有KV缓存时**：做第100道菜时，你需要从头开始，重新准备前99道菜的所有食材，然后再做第100道。这显然极其低效。这就是模型在生成每个新词时，如果不带缓存，就需要重新计算前面所有词的情况，计算量随长度呈平方级增长。 |
| * **有KV缓存时**：你在做第1道菜时，就把洗好的菜、切好的肉（关键数据）放在一旁备用。做到第100道菜时，你只需拿起之前备好的所有食材（KV缓存），再加上第100道菜的新食材，就能立刻下锅。这大大节省了重复备料的时间。 | * **有KV缓存时**：你在做第1道菜时，就把洗好的菜、切好的肉（关键数据）放在一旁备用。做到第100道菜时，你只需拿起之前备好的所有食材（KV缓存），再加上第100道菜的新食材，就能立刻下锅。这大大节省了重复备料的时间。 |
| | |
| ## 2. KV缓存到底是什么？（技术简化版） | ## 2. KV缓存到底是什么？（技术简化版） |
| |
kvcahce.1787715480.txt.gz · 最后更改: 由 chenyang
