组装电脑配置清单网 Logo组装电脑配置清单网zzdnpz.com · DIY BUILD LAB
公告

组装台式机组装不用愁,经典配置单分享

首页/工具/显存估算器

显存估算器

按模型参数量、量化等级与上下文长度估算显存占用,判断你的显卡能不能跑。

显存需求估算

按“权重 + KV Cache + 运行时开销”估算,结果偏保守。实际取决于模型结构、批大小与框架。

估算公式

显存 ≈ 参数量 × 每参数字节 + KV Cache + 运行时开销。

  • 每参数字节:FP16 约 2.0,Q8 约 1.06,Q5 约 0.72,Q4 约 0.58,Q3 约 0.46。
  • KV Cache:与层数、头数、上下文长度成正比,长上下文时可能超过权重的一半。
  • 运行时开销:框架缓冲、CUDA 上下文、临时张量,通常 1GB 起。

结果怎么用

结果偏保守,用来判断“能不能装下”,不用于精确预测速度。装得下不代表快——速度还取决于显存带宽与量化内核效率。

显存档位对照

显存能舒服跑勉强能跑
8GB7B Q414B 低量化
12GB14B Q432B Q3(短上下文)
16GB14B Q8 / 32B Q4 短上下文32B Q4 长上下文
24GB32B Q470B Q3(很勉强)
32GB+70B Q470B Q8

提醒

“8GB 也能跑 70B”这类说法,通常是把大部分层卸载到内存,速度会掉到每秒几个 token,实际不可用。

ADVERTISEMENT