ブラウザ内で計算・登録不要・データ送信なし
70Bが24GBに載らない理由（チュートリアルが言うことと違う）
70BはQ4でも重みが42GB。24GBで動くと言うチュートリアルを、順に計算して検証します。
4行の算数
「70Bは24GBで動く」は厳密には嘘ではありません。動きます。チュートリアルが書かないのは速度と、モデルの大半がカード上にないという事実です。
重み = 70.6B パラメータ × 0.60 バイト = 42.4 GB
KVキャッシュ = 2 × 80層 × 8 KVヘッド × 128次元 × 2バイト = 320 KiB/token
8Kコンテキスト = 2.5 GB
実行オーバーヘッド = 1.5 GB
合計 = 46.4 GB
24GBカードの使用可能（90%） = 23.2 GB
不足 = 23.2 GB
25GBの差を埋める量子化の裏技はありません。品質が明らかに落ちるQ2_Kでも重みだけで25GB前後、キャッシュはまだ含まれていません。
なぜ「動く」と言われるのか
llama.cppやOllamaは収まらない層をシステムRAMにオフロードし、「ロード完了」と表示します。実際にロードはされます。1〜3 tok/sで動くだけです。
理由は帯域です。1トークン生成するたびに全ての有効な重みを読みます。システムRAM上の25GBはPCIeを通り、実効20〜25 GB/s程度。1トークンあたり25GBを25 GB/sで読むと、計算を除いても1秒に1トークンです。
見分け方
70Bを24GBで動かすデモでtok/sに触れていなければ、それはロード画面であって実用構成ではありません。
70Bが実際に動く構成
- 48GBカード1枚 — RTX A6000など。8Kは快適、それ以上は厳しい。
- 24GBカード2枚 — 中古3090 2枚。重みを分割しKVも収まります。ケースと電源が許せば最安の実用解。
- 64GB以上のユニファイドメモリ — Mac Studio。1トークンは遅いが静かで省電力。
- レンタル — 月に数回ならクラウドGPUの方が安い。
24GBが本当に得意なこと
24GBカードは良い選択です。ただし合うモデルを選んだ場合に限ります。8Bと14Bは余裕、24Bは快適、32BはQ4で約8Kのコンテキスト。対話・コーディング支援・文書要約の大半をカバーします。
間違いは24GBカードを買うことではなく、70Bを期待して買い、返品期限が過ぎてから不足に気づくことです。まず計算ツールで数字を出してください。10秒で不足量が表示されます。
よくある質問
Q4が0.50ではなく0.60バイト/パラメータなのはなぜですか？
Q4_K_Mは大部分の重みを4ビットにしますが、スケール・ゼロポイント・一部レイヤーは高精度のまま残ります。実測ファイルは概ね0.60バイト/パラメータで、Qwen3-32Bは32.8Bパラメータに対して19.8GBです。0.50で計算すると約20%過小評価になり、買ったGPUに載らない主因になります。
KVキャッシュを別に計算する理由は？
KVキャッシュはコンテキスト長に比例して増え、モデルサイズだけで決まりません。Qwen3-32BはFP16で1トークンあたり256 KiB、32Kコンテキストで8GBです。24GBカードで19.5GBの重みを載せると残り約3GB、実際は8K程度までしか走りません。長文を貼った瞬間にOOMになる理由です。
tok/sは実測値ですか？
いいえ。メモリ帯域からの推定値で、係数0.29は公開されたRTX 4090の実測（Llama 3 8B Q4で約62 tok/s、帯域上限は約214 tok/s）に由来します。実際のスループットはバッチサイズ・バックエンド・量子化で変わります。選定の目安として扱ってください。
70Bは本当に24GBで動かないのですか？
Q4_K_Mで70Bの重みだけでも約42GBです。24GBに収まらない分はシステムRAMに置かれPCIe経由で転送されるため、生成速度は1〜3 tok/sまで落ちます。動くには動きますが、対話用途では使えません。
スループットはメモリ帯域と公開実測に基づく推定値、VRAMはモデル構造と量子化の仮定から算出しています。購入前にご自身の環境で確認してください。