NVIDIA · 24 GB
RTX 3090：24GBに実際何が載るか
24GB、帯域936 GB/s。各モデルのQ4_K_Mでの必要量、推定速度、トークン単価をまとめました。
仕様
| メモリ | 24 GB GDDR6X |
|---|---|
| 帯域 | 936 GB/s |
| 消費電力（TDP） | 350 W |
| 参考価格 | $900 |
| 効率係数 | 0.29 |
Used-market reference, Nov 2026. Prices vary a lot.
モデル別
24GB、帯域936 GB/s。各モデルのQ4_K_Mでの必要量、推定速度、トークン単価をまとめました。
| モデル | 重み（Q4） | KV（8K） | 必要量 | — | 推定 tok/s | 100万トークン単価 | 収まる最大コンテキスト |
|---|---|---|---|---|---|---|---|
| Llama 3.3 70B Meta · Dense · GQA | 42.4 GB | 2.7 GB | 46.5 GB | 不可 | — | $— | — |
| Qwen3 32B Alibaba · Dense · GQA | 19.7 GB | 2.1 GB | 23.3 GB | ギリギリ | 14 | $4.98 | 7k |
| Mistral Small 24B Mistral AI · Dense · GQA | 14.2 GB | 1.3 GB | 17.0 GB | 収まる | 19 | $3.59 | 45k |
| Qwen3 14B Alibaba · Dense · GQA | 8.9 GB | 1.3 GB | 11.7 GB | 収まる | 31 | $2.25 | 76k |
| Qwen3 8B Alibaba · Dense · GQA | 4.9 GB | 1.2 GB | 7.6 GB | 収まる | 55 | $1.25 | 111k |
| Llama 3.1 8B Meta · Dense · GQA | 4.8 GB | 1.1 GB | 7.4 GB | 収まる | 56 | $1.22 | 126k |
スループットはメモリ帯域と公開実測に基づく推定値、VRAMはモデル構造と量子化の仮定から算出しています。購入前にご自身の環境で確認してください。
現在の価格
価格は変動します。購入前に最新の表示を確認してください。
運用コスト
GPUは一度の支払いですが毎年減価し、稼働していなくても電力を消費します。低用量では固定費が支配的で、$1,799のカードが3年で約9.78億トークンを生む場合、約$2.08/100万トークン。安価なAPIには勝てますが、最安値のAPIには勝てません。
スループットはメモリ帯域と公開実測に基づく推定値、VRAMはモデル構造と量子化の仮定から算出しています。購入前にご自身の環境で確認してください。