显存估算器
按模型参数量、量化等级与上下文长度估算显存占用,判断你的显卡能不能跑。
显存需求估算
按“权重 + KV Cache + 运行时开销”估算,结果偏保守。实际取决于模型结构、批大小与框架。
估算公式
显存 ≈ 参数量 × 每参数字节 + KV Cache + 运行时开销。
- 每参数字节:FP16 约 2.0,Q8 约 1.06,Q5 约 0.72,Q4 约 0.58,Q3 约 0.46。
- KV Cache:与层数、头数、上下文长度成正比,长上下文时可能超过权重的一半。
- 运行时开销:框架缓冲、CUDA 上下文、临时张量,通常 1GB 起。
结果怎么用
结果偏保守,用来判断“能不能装下”,不用于精确预测速度。装得下不代表快——速度还取决于显存带宽与量化内核效率。
显存档位对照
| 显存 | 能舒服跑 | 勉强能跑 |
|---|---|---|
| 8GB | 7B Q4 | 14B 低量化 |
| 12GB | 14B Q4 | 32B Q3(短上下文) |
| 16GB | 14B Q8 / 32B Q4 短上下文 | 32B Q4 长上下文 |
| 24GB | 32B Q4 | 70B Q3(很勉强) |
| 32GB+ | 70B Q4 | 70B Q8 |
提醒
“8GB 也能跑 70B”这类说法,通常是把大部分层卸载到内存,速度会掉到每秒几个 token,实际不可用。
ADVERTISEMENT
