DeepSeek

DeepSeek R1 Distill Qwen 1.5B Q4_K_M

DeepSeek R1 Distill Qwen 1.5B Q4_K_M 是 DeepSeek 家族的一款紧凑型模型,采用 4 位高压缩量化。拥有 1.5 亿参数,分布于 28 网络层,拥有高达 131K 的超长上下文窗口,可在入门级 GPU 上流畅运行。它以 56/100 的质量评分提供入门级能力,适合资源受限环境。

技术规格

模型家族DeepSeek
完整名称DeepSeek R1 Distill Qwen 1.5B Q4_K_M
参数量1.5 B1,500,000,000 总参数量
量化格式Q4_K_M4-bit
推荐显存1.3GB最低显存 0.9 GB
上下文长度131,072tokens
隐藏维度1536
网络层数28
质量评分56/100
模型体积0.8 GB仅模型权重,不含 KV Cache

Strengths

  • 低显存需求(1.3 GB)— 可在大多数消费级 GPU 上运行
  • 超长 131K 上下文窗口 — 适合处理长文档
  • 高压缩量化(Q4_K_M — 4 位)— 显存占用极小
  • 紧凑体量 — 即使在普通硬件上也能快速推理

Limitations

  • 质量评分一般(56/100)— 复杂推理场景可能力不从心
  • 高压缩量化可能带来轻微质量损失
  • 参数量较小,复杂任务能力有限
下载模型在 HuggingFace 查看

FAQ

DeepSeek R1 Distill Qwen 1.5B Q4_K_M — Specs, VRAM Requirements & GPU Recommendations — LLMFit Web