全部在浏览器内计算 · 无需登录 · 不上传任何数据
你的本地大模型 到底需要多少显存？
大多数计算器只算到显存为止。这个还会告诉你这些 token 值多少钱——设备、电费、折旧一起算进去，你才能判断本地推理是否真的比云 API 便宜。
显存与吞吐计算器
输入即算，全部在本地完成。
Q4_K_M 实测约 0.60 字节/参数，不是理论上的 0.50。
KV 缓存随上下文线性增长，这才是长文本跑崩的真正原因。
可用显存要低于标称值：NVIDIA 按 90%，128GB Mac 按 85%。
按真实使用填，不是 24 小时满载。多数人每天几小时。
模型权重—
KV 缓存—
运行时开销1.5 GB
总需求—
可用预算—
剩余空间—
预估速度
—
每百万 Token 成本
—
能跑的最大上下文
—
功耗
—
模型 × 硬件 矩阵
Q4_K_M 权重 + 8K 上下文。绿色装得下，黄色很紧，红色需要 offload。
| 模型 | 权重（Q4） | KV（8K） | 总需求 | RTX 4090 24GB | RTX 3090 24GB | RTX 5090 32GB | Mac Studio 128GB |
|---|---|---|---|---|---|---|---|
| Llama 3.3 70B Meta | 42.4 GB | 2.7 GB | 46.5 GB | 不行 | 不行 | 不行 | 装得下 |
| Qwen3 32B Alibaba | 19.7 GB | 2.1 GB | 23.3 GB | 很紧 | 很紧 | 装得下 | 装得下 |
| Mistral Small 24B Mistral AI | 14.2 GB | 1.3 GB | 17.0 GB | 装得下 | 装得下 | 装得下 | 装得下 |
| Qwen3 14B Alibaba | 8.9 GB | 1.3 GB | 11.7 GB | 装得下 | 装得下 | 装得下 | 装得下 |
| Qwen3 8B Alibaba | 4.9 GB | 1.2 GB | 7.6 GB | 装得下 | 装得下 | 装得下 | 装得下 |
| Llama 3.1 8B Meta | 4.8 GB | 1.1 GB | 7.4 GB | 装得下 | 装得下 | 装得下 | 装得下 |
算法说明
权重 = 参数量 × 每参数字节。KV 缓存由层数、KV 头数和 head 维度决定。运行时开销按固定 1.5GB 计。可用显存按标称容量打折，因为驱动和帧缓冲要先占一部分。
每百万 Token 成本再加上电费与折旧，除以按预估速度算出的年产量。完整公式在成本对比页。
常见问题
为什么 Q4 要按 0.60 字节/参数算，而不是 0.50？
Q4_K_M 把大部分权重压到 4 位，但缩放系数、零点以及部分层仍保留更高精度。实测文件普遍落在 0.60 字节/参数附近——Qwen3-32B 的 32.8B 参数对应 19.8GB 文件。按 0.50 算会系统性低估约 20%，这是很多人买回显卡才发现装不下的主要原因。
为什么 KV 缓存必须单独算？
KV 缓存随上下文长度线性增长，不随模型大小单独决定。Qwen3-32B 在 FP16 下每 token 需要 256 KiB，32K 上下文就是 8GB。24GB 卡装完 19.5GB 权重后只剩约 3GB，实际只能跑到 8K 左右。这就是模型能加载、一粘长文档就 OOM 的原因。
这些 tok/s 是实测的吗？
不是。它们由内存带宽推算，标定系数 0.29 来自公开的 RTX 4090 实测：Llama 3 8B Q4 约 62 tok/s，而带宽理论上限约 214 tok/s。实际吞吐会受批量、后端和量化方式影响。请当作选型参考，而不是跑分。
70B 真的跑不了 24GB 卡吗？
Q4_K_M 下 70B 光权重就约 42GB。24GB 卡装不下的部分要放在内存里经 PCIe 流转，生成速度会掉到 1–3 tok/s。严格说能跑，但无法交互使用。具体数字见专门那篇指南。
所有吞吐数字均为基于内存带宽与公开实测的估算值，显存数字按模型架构与量化假设推算。购买硬件前请以你自己的运行环境为准。