多卡与统一内存:显存能叠加,带宽不能
双卡能把 70B 装下,但不会让推理快一倍。PCIe 通道、显存带宽、模型切分方式,决定了多卡到底值不值。
双卡统一内存更新 2026-11
先理解三件事
- 显存可以叠加,但卡间通信要走 PCIe。
- 消费级 CPU 的 PCIe 通道有限,双卡常变成 x8/x8 甚至 x4/x4。
- 模型切分方式决定通信量:流水并行通信少,张量并行通信多。
现实速度
双卡跑 70B,相比单卡“装不下只能跑内存”,速度提升明显;但相比“理论算力翻倍”,实际往往只有 20%–50% 提升。
主板与电源
- 消费级主板第二条 PCIe 通常是 x4,且与 M.2 共享通道。
- 两张 300W 卡需要 1200W 以上电源,机箱散热压力大。
- 涡轮卡/服务器卡更适合多卡,但噪音与保修是问题。
统一内存方案
Apple Silicon 与大内存 APU 的思路是“把内存当显存用”:
- 优点:容量大、成本低、安静。
- 缺点:带宽低,生成速度慢;生态适配有限。
什么时候值得上双卡
- 你确实需要 70B 级别的模型,且能接受速度;
- 你有现成的服务器平台(通道足够);
- 你是批量离线任务,不在乎延迟。
普通用户不建议:把钱花在单张 24GB 卡上,体验更均衡。
一条替代路线
需要 70B 且要求速度时,云端 API 的按量计费往往比双卡整机更划算。本地部署的价值在于隐私与可控,不在便宜。
相关阅读
- 显存与模型规模 本地大模型显存需求怎么算:参数量与量化位数的换算、KV Cache 与上下文长度…
- 量化怎么选 大模型量化科普:FP16、Q8、Q5、Q4、Q3 的精度与显存差异,GGUF 与…
- Ollama、LM Studio、vLLM 本地大模型软件栈对比:Ollama、LM Studio、llama.cpp、vL…
- 2026 年本地推理硬件盘点 2026 年本地大模型硬件盘点:NVIDIA 与 AMD 显卡的显存与生态差异、…
ADVERTISEMENT
