NVIDIA A100
NVIDIA A100 是 NVIDIA 推出的一款 旗舰级 GPU。 拥有高达 80 GB 的大容量显存，可以运行当前几乎所有开源大语言模型 它提供 312 TFLOPS 的 FP32 计算性能 ，拥有 2039 GB/s 的内存带宽 可以运行数据库中 20 个模型。 如果你认真对待本地 LLM 部署，这款 GPU 代表了消费级硬件的顶级水准。
技术规格
| 厂商 | NVIDIA |
| 完整型号 | NVIDIA A100 |
| 显存 | 80GB |
| 性能等级 | 旗舰 |
| 跑分评分 | 35,000 |
| FP32 算力 | 312TFLOPS |
| 内存带宽 | 2039GB/s |
| 兼容模型 | 20可在该 GPU 上运行的模型数量 |
优势
- 80 GB 显存 — 几乎可以运行当前所有开源模型
- 312 TFLOPS — 强大的计算性能，token 生成速度快
- 2039 GB/s 带宽 — 适合大模型推理
- 顶级 GPU — 本地 AI 工作负载的最佳选择
局限
- 高成本和高功耗 — 对普通用户来说可能过剩
兼容模型 (20)
Qwen92%
Qwen3 32B Q8_0
32.0B
44.8 GB
Q8_0
32,768 ctx
Llama92%
Llama 3.1 70B Q4_K_M
70.0B
59.5 GB
Q4_K_M
8,192 ctx
Llama92%
Llama 3.1 70B 128K Q4_K_M
70.0B
62 GB
Q4_K_M
131,072 ctx
Qwen90%
Qwen3 32B Q4_K_M
32.0B
27.2 GB
Q4_K_M
32,768 ctx
Gemma90%
Gemma 3 27B Q8_0
27.0B
37.8 GB
Q8_0
32,768 ctx
DeepSeek90%
DeepSeek R1 Distill Qwen 32B Q4_K_M
32.0B
27.2 GB
Q4_K_M
131,072 ctx
Command R89%
Command R 35B Q8_0
35.0B
49 GB
Q8_0
131,072 ctx
Gemma88%
Gemma 3 27B Q4_K_M
27.0B
23 GB
Q4_K_M
32,768 ctx
Mistral88%
Mixtral 8x7B Q8_0
46.7B
65.4 GB
Q8_0
32,768 ctx
DeepSeek87%
DeepSeek R1 Distill Qwen 14B Q8_0
14.0B
19.6 GB
Q8_0
131,072 ctx
Command R87%
Command R 35B Q4_K_M
35.0B
29.8 GB
Q4_K_M
131,072 ctx
Qwen86%
Qwen3 14B Q8_0
14.0B
19.6 GB
Q8_0
32,768 ctx
还有 8。查看 模型库获取完整列表