🐫 骆舟门户首页邮箱WindowsAI智能体 未登录 · 登录

本地部署大模型:显存/量化与选型(进阶)

选型看显存

7B-Q4≈5-6G,13B-Q4≈9G,70B-Q4≈40G。统一内存(如 AMD 395 128G)可跑中大模型,但生成速度受内存带宽限制。

框架

量化档

Q4_K_M 性价比;Q5/Q6 更高质量;Q2/Q3 应急。

并发估算

吞吐≈带宽/每token读字节;MoE(小激活)比稠密更快。

敏感数据优先本地/内网模型。