Ollama
你可能会说
本地跑大模型，除了 Python 还要配一堆环境？
一条命令在本地跑开源模型封装模型下载、量化和推理，Mac / Windows / Linux 都能跑；适合本地开发和隐私场景，不适合高并发生产。
也常被叫作本地大模型llama.cpp
什么时候选它
- 本地开发、演示、隐私数据不出内网
- 快速试不同开源模型
- 个人电脑 / 工作站上跑推理
什么时候别选
- 生产高并发服务（用 vLLM / TGI）
- 需要精细调优和多卡并行
- 对延迟极其敏感
容易混在一起 · 怎么分
Ollama≠云模型 API
Ollama 数据不出本地、无按量费用；云 API 模型更强、免运维，按 token 计费。
Q面试会问什么
- 问：和 vLLM 的区别？
答：Ollama 基于 llama.cpp，面向本地易用；vLLM 面向服务端吞吐和并发调度。 - 问：量化是什么？
答：降低权重精度（如 4bit），换更小显存和更快速度，精度会略降。
延伸阅读 · 权威出处