Yi

Yi 1.5 9B Q4_K_M

Yi 1.5 9B Q4_K_M 是 Yi 家族的一款中等规模模型,采用 4 位高压缩量化。拥有 9 亿参数,分布于 40 网络层,提供 4K 的上下文窗口,需要一张中端显卡及足够的显存。它在同类模型中名列前茅,质量评分 81/100。

技术规格

模型家族Yi
完整名称Yi 1.5 9B Q4_K_M
参数量9 B9,000,000,000 总参数量
量化格式Q4_K_M4-bit
推荐显存7.7GB最低显存 5.4 GB
上下文长度4,096tokens
隐藏维度4096
网络层数40
质量评分81/100
模型体积4.5 GB仅模型权重,不含 KV Cache

Strengths

  • 高质量评分(81/100)— 适合生产环境使用
  • 合理的显存需求(7.7 GB)
  • 高压缩量化(Q4_K_M — 4 位)— 显存占用极小

Limitations

  • 有限的 4K 上下文 — 不适合长文本处理
  • 高压缩量化可能带来轻微质量损失
下载模型在 HuggingFace 查看

FAQ

Yi 1.5 9B Q4_K_M — Specs, VRAM Requirements & GPU Recommendations — LLMFit Web