组装电脑配置清单网 Logo组装电脑配置清单网zzdnpz.com · DIY BUILD LAB
公告

组装台式机组装不用愁,经典配置单分享

首页/本地AI/怎么自测

怎么自测:tokens/s、首字延迟与显存占用

别人的评测不能代替你的机器。三个数字就能判断一套配置够不够用:首字延迟、生成速度、峰值显存。

测速调优更新 2026-11

三个指标

指标含义参考值
首字延迟从提问到第一个字< 1s 很跟手,> 3s 明显卡
生成速度每秒输出 token20+ 流畅,10 左右可读,< 5 难忍
峰值显存运行时的最大值留 10% 余量才安全

怎么测

  1. 固定提示词(比如 500 字总结任务),关闭其他程序;
  2. 记录首字时间与总耗时,除以输出 token 数得到速度;
  3. 用 nvidia-smi 或系统监视器观察峰值显存;
  4. 换量化(Q4/Q5/Q8)与上下文长度各测一轮。

影响速度的变量

  • 量化等级:Q4 通常最快,但不是绝对。
  • 上下文长度:越长越慢,KV Cache 越大。
  • 批大小:并发高时吞吐上升、单请求延迟上升。
  • 显存带宽:决定生成速度的天花板。

一个常见误判

用“模型加载时间”判断性能——那是磁盘 IO,不是推理速度。第一次加载慢,之后走缓存会快很多。

测试记录表

配置模型量化上下文首字tokens/s
你的机器14BQ44k??
对比32BQ48k??

把这张表填满,你就知道该升级显存还是该换模型了。

相关阅读

ADVERTISEMENT