怎么自测:tokens/s、首字延迟与显存占用
别人的评测不能代替你的机器。三个数字就能判断一套配置够不够用:首字延迟、生成速度、峰值显存。
测速调优更新 2026-11
三个指标
| 指标 | 含义 | 参考值 |
|---|---|---|
| 首字延迟 | 从提问到第一个字 | < 1s 很跟手,> 3s 明显卡 |
| 生成速度 | 每秒输出 token | 20+ 流畅,10 左右可读,< 5 难忍 |
| 峰值显存 | 运行时的最大值 | 留 10% 余量才安全 |
怎么测
- 固定提示词(比如 500 字总结任务),关闭其他程序;
- 记录首字时间与总耗时,除以输出 token 数得到速度;
- 用
nvidia-smi或系统监视器观察峰值显存; - 换量化(Q4/Q5/Q8)与上下文长度各测一轮。
影响速度的变量
- 量化等级:Q4 通常最快,但不是绝对。
- 上下文长度:越长越慢,KV Cache 越大。
- 批大小:并发高时吞吐上升、单请求延迟上升。
- 显存带宽:决定生成速度的天花板。
一个常见误判
用“模型加载时间”判断性能——那是磁盘 IO,不是推理速度。第一次加载慢,之后走缓存会快很多。
测试记录表
| 配置 | 模型 | 量化 | 上下文 | 首字 | tokens/s |
|---|---|---|---|---|---|
| 你的机器 | 14B | Q4 | 4k | ? | ? |
| 对比 | 32B | Q4 | 8k | ? | ? |
把这张表填满,你就知道该升级显存还是该换模型了。
相关阅读
- 显存与模型规模 本地大模型显存需求怎么算:参数量与量化位数的换算、KV Cache 与上下文长度…
- 量化怎么选 大模型量化科普:FP16、Q8、Q5、Q4、Q3 的精度与显存差异,GGUF 与…
- Ollama、LM Studio、vLLM 本地大模型软件栈对比:Ollama、LM Studio、llama.cpp、vL…
- 2026 年本地推理硬件盘点 2026 年本地大模型硬件盘点:NVIDIA 与 AMD 显卡的显存与生态差异、…
ADVERTISEMENT
