vLLM
你可能会说
自己部署开源模型，QPS 怎么都上不去？
高吞吐 LLM 推理引擎PagedAttention 管理 KV cache、连续批处理，同样 GPU 能扛更多并发；提供 OpenAI 兼容 API，可直接替换。
也常被叫作推理引擎LLM 服务
什么时候选它
- 自部署开源模型对外提供 API
- 多并发、长上下文推理
- 想降低 GPU 成本
什么时候别选
- 只用闭源模型 API
- 模型很小、请求极少（Transformers 就够）
- 需要训练和微调（vLLM 只管推理）
容易混在一起 · 怎么分
vLLM≠Ollama
vLLM 面向服务端高吞吐、多卡；Ollama 面向本地易用、单机体验。
Q面试会问什么
- 问：PagedAttention 解决什么？
答：把 KV cache 按页管理，减少显存碎片，同等显存下能并发更多请求。 - 问：连续批处理是什么？
答：请求完成立刻腾位，新请求随时插入，不用等整批结束。
延伸阅读 · 权威出处