本地部署大模型:显存/量化与选型(进阶)
选型看显存
7B-Q4≈5-6G,13B-Q4≈9G,70B-Q4≈40G。统一内存(如 AMD 395 128G)可跑中大模型,但生成速度受内存带宽限制。
框架
- 端侧:llama.cpp(Vulkan/ROCm)/Ollama + GGUF,省心跨平台。
- 高并发服务:vLLM(CUDA 生态)。
量化档
Q4_K_M 性价比;Q5/Q6 更高质量;Q2/Q3 应急。
并发估算
吞吐≈带宽/每token读字节;MoE(小激活)比稠密更快。
敏感数据优先本地/内网模型。