同条件比较
模型、输出长度、并发和统计方式一致时比较不同硬件与量化配置。横轴按实际输入 tokens 的档位等距排列，间距不代表 token 数差距。
推理性能对比
选择模型与硬件，查看不同输入长度下的实测表现。
更多筛选
正在读取记录…
端到端延迟
悬停查看数值
正在读取测试记录…
左右滑动可查看完整图表
当前档位 —tokens
点击数据点或使用上方输�长度切换。
最低 E2E 延迟 ↓
—s
—最低 Prefill 耗时 ↓
—s
—最高 TG2048 速度 ↑
—tokens/s
—测试记录 0
当前输入档位的全部筛选结果 · 展开配置查看测试环境与原始样本。
| 硬件 / 配置 | 输入 tokens | 文件大小GiB | Prefilltokens/s | TG2048tokens/s | E2E 延迟s | 峰值占用GiB · E2E | KV CacheGiB · E2E | 资源 | 状态 |
|---|
模型文件 — GiB · 文件大小不等于运行内存
测试说明与统计口径
阶段分别计时
Prefill 为输入处理；TG2048 为生成 2,048 tokens 的独立测试，具体以记录命令为准；E2E 为端到端实测耗时，不由前两项相加估算。
内存分别统计
RAM、VRAM 和统一内存单独绘图。峰值与 KV Cache 不相加。缺失数据不补零，不跨缺失点连线。