DeepSeek R1 Distill Qwen 7B Q4_K_M
DeepSeek R1 Distill Qwen 7B Q4_K_M 是 DeepSeek 家族的一款中等规模模型，采用 4 位高压缩量化。拥有 7 亿参数，分布于 32 网络层，拥有高达 131K 的超长上下文窗口，需要一张中端显卡及足够的显存。它以 79/100 的质量评分提供可靠性能。
技术规格
| 模型家族 | DeepSeek |
| 完整名称 | DeepSeek R1 Distill Qwen 7B Q4_K_M |
| 参数量 | 7 B7,000,000,000 总参数量 |
| 量化格式 | Q4_K_M4-bit |
| 推荐显存 | 6GB最低显存 4.2 GB |
| 上下文长度 | 131,072tokens |
| 隐藏维度 | 4096 |
| 网络层数 | 32 |
| 质量评分 | 79/100 |
| 模型体积 | 3.5 GB仅模型权重，不含 KV Cache |
Strengths
- 稳定的质量评分（79/100）— 适合大多数任务
- 低显存需求（6 GB）— 可在大多数消费级 GPU 上运行
- 超长 131K 上下文窗口 — 适合处理长文档
- 高压缩量化（Q4_K_M — 4 位）— 显存占用极小
Limitations
- 高压缩量化可能带来轻微质量损失