NVIDIA GeForce RTX 4060
NVIDIA GeForce RTX 4060 是 NVIDIA 推出的一款 中端 GPU。 具备 8 GB 显存，可运行紧凑型到中等规模的模型 它提供 15.11 TFLOPS 的 FP32 计算性能 ，拥有 272 GB/s 的内存带宽 可以运行数据库中 17 个模型。 对于预算有限但仍想运行本地模型的用户来说，这是性价比最佳的选择。
技术规格
| 厂商 | NVIDIA |
| 完整型号 | NVIDIA GeForce RTX 4060 |
| 显存 | 8GB |
| 性能等级 | 中端 |
| 跑分评分 | 19,600 |
| FP32 算力 | 15.11TFLOPS |
| 内存带宽 | 272GB/s |
| 兼容模型 | 17可在该 GPU 上运行的模型数量 |
优势
- 8 GB 显存 — 适合小型到中等规模的模型
- 15.11 TFLOPS — 稳健的计算性能
局限
- 272 GB/s 带宽 — 可能成为大模型推理的瓶颈
兼容模型 (17)
Yi81%
Yi 1.5 9B Q4_K_M
9.0B
7.7 GB
Q4_K_M
4,096 ctx
Llama80%
Llama 3.1 8B Q4_K_M
8.0B
6.8 GB
Q4_K_M
8,192 ctx
Llama80%
Llama 3.1 8B 128K Q4_K_M
8.0B
7.4 GB
Q4_K_M
131,072 ctx
DeepSeek80%
DeepSeek R1 Distill Llama 8B Q4_K_M
8.0B
6.8 GB
Q4_K_M
131,072 ctx
DeepSeek79%
DeepSeek R1 Distill Qwen 7B Q4_K_M
7.0B
6 GB
Q4_K_M
131,072 ctx
Qwen78%
Qwen3 8B Q4_K_M
8.0B
6.8 GB
Q4_K_M
32,768 ctx
Mistral76%
Mistral 7B Q4_K_M
7.0B
6 GB
Q4_K_M
8,192 ctx
Qwen68%
Qwen3 4B Q4_K_M
4.0B
3.4 GB
Q4_K_M
32,768 ctx
Gemma68%
Gemma 3 4B Q8_0
4.0B
5.6 GB
Q8_0
32,768 ctx
Gemma66%
Gemma 3 4B Q4_K_M
4.0B
3.4 GB
Q4_K_M
32,768 ctx
DeepSeek56%
DeepSeek R1 Distill Qwen 1.5B Q4_K_M
1.5B
1.3 GB
Q4_K_M
131,072 ctx
Qwen55%
Qwen3 1.8B Q4_K_M
1.8B
1.5 GB
Q4_K_M
32,768 ctx
还有 5。查看 模型库获取完整列表