本地大模型参数速查

方法与来源

估算公式

• 权重 = 参数量 × 1e9 × bpw ÷ 8 字节。bpw 为 llama.cpp 常见有效位宽近似：。gpt-oss 为原生 MXFP4（约 4.25 bpw）。
• KV 缓存 = 2 × 层数 × KV 头数 × head_dim × 上下文 × 每元素字节（f16 = 2，q8_0 ≈ 1.0625，q4_0 ≈ 0.5625）。Gemma 3 的滑动窗口层实际更小，这里按全量算，偏保守。
• 计算缓冲 ≈ 0.5 GB + 权重 × 5%。
• 可用显存：独显 = 显存 − 1.0 GB；Apple 统一内存 = 容量 × 0.70（gpt-oss 官方指南建议不超过 70%）；AMD AI Max / DGX Spark = 容量 × 0.75；纯 CPU = 内存 × 0.8。
• 量化选择：在可用显存内按 Q8_0 > Q6_K > Q5_K_M > Q4_K_M > IQ4_XS > Q3_K_M 选第一个放得下的。KV 先试 f16，再试 q8_0；q4_0 KV 只在能把权重抬到 Q4_K_M 及以上时才用。上下文 ≥ 32K 默认 q8_0 KV。gpt-oss 不用公式，直接用官方给出的总占用（其它上下文线性插值）。
• 部分卸载：稠密模型 -ngl ≈ floor((可用显存 − KV − 缓冲) ÷ 每层权重)；MoE 模型用 --n-cpu-moe N 把前 N 层的专家权重留在内存，每层专家大小 = (总参数 − 激活参数) × bpw ÷ 8 ÷ 层数，N = ceil(超出部分 ÷ 每层专家大小)。
• 生成速度：tg ≈ (0.5～0.7) × 带宽 GB/s ÷ 每 token 读取的权重 GB；MoE 按激活参数算读取量。部分卸载时 CPU 那部分按 60 GB/s 串行合成（时间相加）。没有考虑 KV 读取、多卡、批处理，长上下文时实际会更慢。
• 实测匹配：同一块单卡（名称模糊匹配，多卡条目不算）+ 同模型，或同系列且参数量相差不超过 ±30%（MoE 与稠密不混用）。

数据来源

硬件规格为厂商公开参数，模型结构取自各模型 config.json。实测数据全部来自下列公开页面：

数据更新日期：—。发现错误或想投稿实测数据，欢迎发邮件到 lij768423@gmail.com（请附来源链接）。