Command R 35B Q8_0
Command R 35B Q8_0 是 Command R 家族的一款大规模模型,采用 8 位量化。拥有 35 亿参数,分布于 40 网络层,拥有高达 131K 的超长上下文窗口,需要旗舰级硬件才能达到最佳性能。它在同类模型中名列前茅,质量评分 89/100。
技术规格
| 模型家族 | Command R |
| 完整名称 | Command R 35B Q8_0 |
| 参数量 | 35 B35,000,000,000 总参数量 |
| 量化格式 | Q8_08-bit |
| 推荐显存 | 49GB最低显存 40.3 GB |
| 上下文长度 | 131,072tokens |
| 隐藏维度 | 8192 |
| 网络层数 | 40 |
| 质量评分 | 89/100 |
| 模型体积 | 35.0 GB仅模型权重,不含 KV Cache |
Strengths
- 高质量评分(89/100)— 适合生产环境使用
- 超长 131K 上下文窗口 — 适合处理长文档
- 高精度量化(Q8_0 — 8 位)— 近乎无损的质量
- 大参数量 — 强大的推理和生成能力
Limitations
- 高显存需求(49 GB)— 仅限高端 GPU
- 高精度意味着更大的显存占用和较慢的推理速度
- 大模型需要大量显存,运行速度可能较慢