# 性能优化

大模型推理提速笔记：KV Cache、量化与连续批处理

不换模型也能降延迟，先搞清楚显存和带宽到底花在了哪里。