Alibaba · Dense · GQA
Qwen3-14B：量子化・コンテキスト別のVRAM
14.8Bパラメータ、40レイヤー、KVヘッド8。GBに換算するとこうなります。
アーキテクチャ
| Parameters | 14.8B | Vendor model card |
|---|---|---|
| Layers | 40 | config.json |
| Hidden size | 5120 | config.json |
| Attention heads | 40 | config.json |
| KV heads | 8 | config.json (GQA) |
| Head dim | 128 | config.json |
| Max context | 40960 tokens | config.json |
Source: Qwen/Qwen3-14B config.json
量子化別のVRAM
Total includes 8K of KV cache and 1.5 GB runtime overhead.
| 量子化 | Weights | KV @ 8K | 必要量 | 搭載可能 |
|---|---|---|---|---|
| FP16 / BF16 2.0 B/param | 29.6 GB | 1.3 GB | 32.4 GB | Mac Studio M4 Max 128GB |
| INT8 / Q8_0 1.06 B/param | 15.7 GB | 1.3 GB | 18.5 GB | Mac Studio M4 Max 128GB |
| Q4_K_M (4-bit) 0.6 B/param | 8.9 GB | 1.3 GB | 11.7 GB | Mac Studio M4 Max 128GB |
| Q5_K_M (5-bit) 0.72 B/param | 10.7 GB | 1.3 GB | 13.5 GB | Mac Studio M4 Max 128GB |
コンテキスト別のKVキャッシュ
Q4_K_M weights plus 1.5 GB overhead. KV cache at FP16.
| コンテキスト | KVキャッシュ | 必要量 | 搭載可能 |
|---|---|---|---|
| 4k | 0.7 GB | 11.1 GB | Mac Studio M4 Max 128GB |
| 8k | 1.3 GB | 11.7 GB | Mac Studio M4 Max 128GB |
| 16k | 2.7 GB | 13.1 GB | Mac Studio M4 Max 128GB |
| 32k | 5.4 GB | 15.7 GB | Mac Studio M4 Max 128GB |
| 64k | 10.7 GB | 21.1 GB | Mac Studio M4 Max 128GB |
| 128k | 21.5 GB | 31.9 GB | Mac Studio M4 Max 128GB |
結論
At Q4_K_M the weights alone are about 8.9 GB. With 8K of context and 1.5 GB of runtime overhead it lands near 11.7 GB. It fits: RTX 4090, RTX 3090, RTX 5090, Mac Studio M4 Max 128GB.
スループットはメモリ帯域と公開実測に基づく推定値、VRAMはモデル構造と量子化の仮定から算出しています。購入前にご自身の環境で確認してください。