显存与模型规模:7B、14B、32B、70B 到底要多少
模型能不能跑,只看一个数字:显存够不够装下权重 + 上下文缓存。其余参数都只影响快慢。
显存模型规模更新 2026-11
一条公式
显存 ≈ 参数量 × 每参数字节 + KV Cache + 运行时开销
| 量化 | 每参数字节 | 说明 |
|---|---|---|
| FP16 | 2.0 | 精度最高,容量翻倍 |
| Q8 | ~1.05 | 几乎无损 |
| Q5 | ~0.7 | 损失很小 |
| Q4 | ~0.55 | 主流选择 |
| Q3 | ~0.45 | 明显退化 |
常见规模的粗估(Q4,4k 上下文)
| 模型 | 权重 | 加上上下文与开销 | 现实硬件 |
|---|---|---|---|
| 7B–8B | 4–5GB | 6–8GB | 12GB 显卡舒服 |
| 14B | 8–9GB | 10–12GB | 16GB 显卡 |
| 32B | 18–20GB | 22–24GB | 24GB 显卡 |
| 70B | 40–44GB | 46–50GB | 双卡 / 统一内存 |
KV Cache 不可忽略
上下文越长、并发越多,KV Cache 越大。32k 上下文的 32B 模型,KV 可能吃掉 4–6GB。这就是“能加载但一对话就 OOM”的原因。
降低办法:
- 缩短上下文;
- 用量化 KV Cache(部分推理框架支持);
- 减少并发。
显存不够的三种退路
- 部分卸载到内存:能跑,但速度掉到个位数 token/s。
- 换更小模型:14B 在很多任务上已经够用。
- 用云端 API:按量付费,短期更便宜。
别被"显存越大越好"带跑
显存带宽同样重要:同样是 24GB,带宽差一倍,生成速度也会差近一倍。买卡时看显存位宽与带宽,不只看容量。
估算工具:显存估算器。
相关阅读
- 量化怎么选 大模型量化科普:FP16、Q8、Q5、Q4、Q3 的精度与显存差异,GGUF 与…
- Ollama、LM Studio、vLLM 本地大模型软件栈对比:Ollama、LM Studio、llama.cpp、vL…
- 2026 年本地推理硬件盘点 2026 年本地大模型硬件盘点:NVIDIA 与 AMD 显卡的显存与生态差异、…
- 多卡与统一内存 双显卡跑大模型可行吗:显存叠加与带宽瓶颈、消费级主板的 PCIe 通道限制、张量…
ADVERTISEMENT
