ブラウザ内で計算・登録不要・データ送信なし
ローカルLLMには 実際どれだけVRAMが必要か
多くの計算ツールはメモリの話で終わります。ここではトークンのコストまで算出します。本体価格・電気代・減価償却を合わせて、クラウドAPIより本当に安いのかを判断できます。
VRAM・スループット計算
入力すると即座に更新。すべてブラウザ内で完結します。
Q4_K_Mの実測は約0.60バイト/パラメータで、理論値0.50ではありません。
KVキャッシュはコンテキスト長に比例して増えます。長文で落ちる原因はここです。
使用可能メモリは公称値より少なくなります。NVIDIAは90%、128GB Macは85%。
実際の使用時間で。24時間稼働ではありません。
モデルの重み—
KVキャッシュ—
実行オーバーヘッド1.5 GB
必要量—
使用可能容量—
余裕—
推定速度
—
100万トークン単価
—
収まる最大コンテキスト
—
消費電力
—
モデル×ハードウェア一覧
Q4_K_Mの重み＋8Kコンテキスト。緑は収まる、黄はギリギリ、赤はオフロードが必要。
| モデル | 重み（Q4） | KV（8K） | 必要量 | RTX 4090 24GB | RTX 3090 24GB | RTX 5090 32GB | Mac Studio 128GB |
|---|---|---|---|---|---|---|---|
| Llama 3.3 70B Meta | 42.4 GB | 2.7 GB | 46.5 GB | 不可 | 不可 | 不可 | 収まる |
| Qwen3 32B Alibaba | 19.7 GB | 2.1 GB | 23.3 GB | ギリギリ | ギリギリ | 収まる | 収まる |
| Mistral Small 24B Mistral AI | 14.2 GB | 1.3 GB | 17.0 GB | 収まる | 収まる | 収まる | 収まる |
| Qwen3 14B Alibaba | 8.9 GB | 1.3 GB | 11.7 GB | 収まる | 収まる | 収まる | 収まる |
| Qwen3 8B Alibaba | 4.9 GB | 1.2 GB | 7.6 GB | 収まる | 収まる | 収まる | 収まる |
| Llama 3.1 8B Meta | 4.8 GB | 1.1 GB | 7.4 GB | 収まる | 収まる | 収まる | 収まる |
計算方法
重みはパラメータ数×1パラメータあたりのバイト数。KVキャッシュはレイヤー数・KVヘッド数・ヘッド次元から求めます。実行オーバーヘッドは固定1.5GB。使用可能メモリは公称容量の一定割合で、ドライバとフレームバッファが消費します。
100万トークン単価は電気代と減価償却を加え、推定速度から算出した年間トークン数で割ります。計算式はコスト比較ページに掲載しています。
よくある質問
Q4が0.50ではなく0.60バイト/パラメータなのはなぜですか？
Q4_K_Mは大部分の重みを4ビットにしますが、スケール・ゼロポイント・一部レイヤーは高精度のまま残ります。実測ファイルは概ね0.60バイト/パラメータで、Qwen3-32Bは32.8Bパラメータに対して19.8GBです。0.50で計算すると約20%過小評価になり、買ったGPUに載らない主因になります。
KVキャッシュを別に計算する理由は？
KVキャッシュはコンテキスト長に比例して増え、モデルサイズだけで決まりません。Qwen3-32BはFP16で1トークンあたり256 KiB、32Kコンテキストで8GBです。24GBカードで19.5GBの重みを載せると残り約3GB、実際は8K程度までしか走りません。長文を貼った瞬間にOOMになる理由です。
tok/sは実測値ですか？
いいえ。メモリ帯域からの推定値で、係数0.29は公開されたRTX 4090の実測（Llama 3 8B Q4で約62 tok/s、帯域上限は約214 tok/s）に由来します。実際のスループットはバッチサイズ・バックエンド・量子化で変わります。選定の目安として扱ってください。
70Bは本当に24GBで動かないのですか？
Q4_K_Mで70Bの重みだけでも約42GBです。24GBに収まらない分はシステムRAMに置かれPCIe経由で転送されるため、生成速度は1〜3 tok/sまで落ちます。動くには動きますが、対話用途では使えません。
スループットはメモリ帯域と公開実測に基づく推定値、VRAMはモデル構造と量子化の仮定から算出しています。購入前にご自身の環境で確認してください。