组装电脑配置清单网 Logo组装电脑配置清单网zzdnpz.com · DIY BUILD LAB
公告

组装台式机组装不用愁,经典配置单分享

首页/本地AI/显存与模型规模

显存与模型规模:7B、14B、32B、70B 到底要多少

模型能不能跑,只看一个数字:显存够不够装下权重 + 上下文缓存。其余参数都只影响快慢。

显存模型规模更新 2026-11

一条公式

显存 ≈ 参数量 × 每参数字节 + KV Cache + 运行时开销

量化每参数字节说明
FP162.0精度最高,容量翻倍
Q8~1.05几乎无损
Q5~0.7损失很小
Q4~0.55主流选择
Q3~0.45明显退化

常见规模的粗估(Q4,4k 上下文)

模型权重加上上下文与开销现实硬件
7B–8B4–5GB6–8GB12GB 显卡舒服
14B8–9GB10–12GB16GB 显卡
32B18–20GB22–24GB24GB 显卡
70B40–44GB46–50GB双卡 / 统一内存

KV Cache 不可忽略

上下文越长、并发越多,KV Cache 越大。32k 上下文的 32B 模型,KV 可能吃掉 4–6GB。这就是“能加载但一对话就 OOM”的原因。

降低办法:

  • 缩短上下文;
  • 用量化 KV Cache(部分推理框架支持);
  • 减少并发。

显存不够的三种退路

  1. 部分卸载到内存:能跑,但速度掉到个位数 token/s。
  2. 换更小模型:14B 在很多任务上已经够用。
  3. 用云端 API:按量付费,短期更便宜。

别被"显存越大越好"带跑

显存带宽同样重要:同样是 24GB,带宽差一倍,生成速度也会差近一倍。买卡时看显存位宽与带宽,不只看容量。

估算工具:显存估算器。

相关阅读

ADVERTISEMENT