Mixtral 8x22B Q4_K_M
Mixtral 8x22B Q4_K_M 是 Mistral 家族的一款大规模模型，采用 4 位高压缩量化。拥有 141 亿参数，分布于 56 网络层，具备 66K 的上下文窗口，需要旗舰级硬件才能达到最佳性能。它在同类模型中名列前茅，质量评分 90/100。
技术规格
| 模型家族 | Mistral |
| 完整名称 | Mixtral 8x22B Q4_K_M |
| 参数量 | 141 B141,000,000,000 总参数量 |
| 量化格式 | Q4_K_M4-bit |
| 推荐显存 | 119.9GB最低显存 84.6 GB |
| 上下文长度 | 65,536tokens |
| 隐藏维度 | 6144 |
| 网络层数 | 56 |
| 质量评分 | 90/100 |
| 模型体积 | 70.5 GB仅模型权重，不含 KV Cache |
Strengths
- 高质量评分（90/100）— 适合生产环境使用
- 充足的 66K 上下文窗口，满足多数应用需求
- 高压缩量化（Q4_K_M — 4 位）— 显存占用极小
- 大参数量 — 强大的推理和生成能力
Limitations
- 高显存需求（119.9 GB）— 仅限高端 GPU
- 高压缩量化可能带来轻微质量损失
- 大模型需要大量显存，运行速度可能较慢