Mistral AI · Dense · GQA
Mistral Small 24B Instruct 2501: VRAM nach Quantisierung und Kontext
23.6 Mrd. Parameter, 40 Schichten, 8 KV-Heads. In Gigabyte übersetzt sieht das so aus.
Architektur
| Parameters | 23.6B | Vendor model card |
|---|---|---|
| Layers | 40 | config.json |
| Hidden size | 5120 | config.json |
| Attention heads | 32 | config.json |
| KV heads | 8 | config.json (GQA) |
| Head dim | 128 | config.json |
| Max context | 32768 tokens | config.json |
Source: mistralai/Mistral-Small-24B-Instruct-2501 config.json
VRAM nach Quantisierung
Total includes 8K of KV cache and 1.5 GB runtime overhead.
| Quantisierung | Weights | KV @ 8K | Gesamtbedarf | Läuft auf |
|---|---|---|---|---|
| FP16 / BF16 2.0 B/param | 47.2 GB | 1.3 GB | 50.0 GB | Mac Studio M4 Max 128GB |
| INT8 / Q8_0 1.06 B/param | 25.0 GB | 1.3 GB | 27.9 GB | Mac Studio M4 Max 128GB |
| Q4_K_M (4-bit) 0.6 B/param | 14.2 GB | 1.3 GB | 17.0 GB | Mac Studio M4 Max 128GB |
| Q5_K_M (5-bit) 0.72 B/param | 17.0 GB | 1.3 GB | 19.8 GB | Mac Studio M4 Max 128GB |
KV-Cache nach Kontextlänge
Q4_K_M weights plus 1.5 GB overhead. KV cache at FP16.
| Kontext | KV-Cache | Gesamtbedarf | Läuft auf |
|---|---|---|---|
| 4k | 0.7 GB | 16.3 GB | Mac Studio M4 Max 128GB |
| 8k | 1.3 GB | 17.0 GB | Mac Studio M4 Max 128GB |
| 16k | 2.7 GB | 18.3 GB | Mac Studio M4 Max 128GB |
| 32k | 5.4 GB | 21.0 GB | Mac Studio M4 Max 128GB |
| 64k | 10.7 GB | 26.4 GB | Mac Studio M4 Max 128GB |
| 128k | 21.5 GB | 37.1 GB | Mac Studio M4 Max 128GB |
Fazit
At Q4_K_M the weights alone are about 14.2 GB. With 8K of context and 1.5 GB of runtime overhead it lands near 17.0 GB. It fits: RTX 4090, RTX 3090, RTX 5090, Mac Studio M4 Max 128GB.
Zurück zum Rechner → · Kostenrechner öffnen → · Why 70B won't fit in 24 GB →
Durchsatzwerte sind Schätzungen aus Speicherbandbreite und veröffentlichten Messungen. VRAM-Werte folgen aus Architektur und Quantisierungsannahmen. Prüfen Sie vor dem Kauf Ihre eigene Laufzeitumgebung.