Ollama、LM Studio、vLLM:三种本地推理路线
选软件栈比选硬件更影响体验。个人用 Ollama 最快上手,图形界面选 LM Studio,要做服务就看 vLLM。
软件栈Ollama更新 2026-11
四条路线
| 工具 | 适合谁 | 特点 |
|---|---|---|
| Ollama | 个人、快速验证 | 一条命令拉起模型,OpenAI 兼容接口 |
| LM Studio | 不想碰命令行 | 图形界面,模型管理方便 |
| llama.cpp | 折腾、CPU/混合推理 | 参数最全,能精细控制卸载层数 |
| vLLM | 多人服务、批量 | 吞吐高,支持连续批处理 |
个人使用的现实选择
- 只想试试:Ollama。
- 要接自己的程序:Ollama 的 OpenAI 兼容端点足够。
- 要跑长文档、批量任务:llama.cpp 或 vLLM。
性能差异从哪来
- 批处理:vLLM 的连续批处理能把多请求吞吐拉高数倍。
- 量化内核:不同框架对 Q4/Q8 的实现效率不同。
- KV Cache 管理:PagedAttention 类方案更省显存。
硬件适配
- NVIDIA:生态最全,CUDA 加速成熟。
- AMD:ROCm 支持在改善,但仍需挑版本。
- Intel 核显/独显:部分框架支持,性能有限。
- Apple Silicon:统一内存优势明显,大模型能跑但速度一般。
一条实用建议
先用 Ollama 跑 7B/14B,测出你机器上的真实 tokens/s。这个数字比任何评测都可靠,也直接决定你要不要换显卡。
测速方法见 怎么自测。
相关阅读
- 显存与模型规模 本地大模型显存需求怎么算:参数量与量化位数的换算、KV Cache 与上下文长度…
- 量化怎么选 大模型量化科普:FP16、Q8、Q5、Q4、Q3 的精度与显存差异,GGUF 与…
- 2026 年本地推理硬件盘点 2026 年本地大模型硬件盘点:NVIDIA 与 AMD 显卡的显存与生态差异、…
- 多卡与统一内存 双显卡跑大模型可行吗:显存叠加与带宽瓶颈、消费级主板的 PCIe 通道限制、张量…
ADVERTISEMENT
