Gemma 3 4B Q8_0
Gemma 3 4B Q8_0 是 Gemma 家族的一款中等规模模型，采用 8 位量化。拥有 4 亿参数，分布于 28 网络层，具备 33K 的上下文窗口，需要一张中端显卡及足够的显存。它以 68/100 的质量评分提供可靠性能。
技术规格
| 模型家族 | Gemma |
| 完整名称 | Gemma 3 4B Q8_0 |
| 参数量 | 4 B4,000,000,000 总参数量 |
| 量化格式 | Q8_08-bit |
| 推荐显存 | 5.6GB最低显存 4.6 GB |
| 上下文长度 | 32,768tokens |
| 隐藏维度 | 2560 |
| 网络层数 | 28 |
| 质量评分 | 68/100 |
| 模型体积 | 4.0 GB仅模型权重，不含 KV Cache |
Strengths
- 稳定的质量评分（68/100）— 适合大多数任务
- 低显存需求（5.6 GB）— 可在大多数消费级 GPU 上运行
- 充足的 33K 上下文窗口，满足多数应用需求
- 高精度量化（Q8_0 — 8 位）— 近乎无损的质量
Limitations
- 高精度意味着更大的显存占用和较慢的推理速度