Hardware-Ratgeber für lokale LLMs 2026
Wie viel VRAM 8B-, 32B- und 70B-Modelle brauchen, welche Karten sinnvoll sind und wo Geld verschwendet wird.
Erst das Modell, dann die Karte
Hardwareentscheidungen gehen schief, wenn sie vom Budget statt vom Modell ausgehen. Legen Sie zuerst fest, welches Modell Sie wirklich betreiben wollen, berechnen Sie den Speicherbedarf, und entscheiden Sie die Karte zuletzt.
Die Zahlen unten nutzen Q4_K_M. Gewichte werden mit 0,60 Byte pro Parameter gerechnet — dem gemessenen Wert, nicht den theoretischen 0,50. Der KV-Cache wird auf 8K Kontext berechnet.
Was jede Größenklasse wirklich braucht
| Größe | Gewichte (Q4) | KV bei 8K | Gesamt | Minimale Karte |
|---|---|---|---|---|
| 8B | ~4,9 GB | ~0,5 GB | ~6,9 GB | 12 GB |
| 14B | ~8,9 GB | ~0,7 GB | ~11,1 GB | 16 GB |
| 24B | ~14,2 GB | ~0,6 GB | ~16,3 GB | 24 GB |
| 32B | ~19,7 GB | ~2,0 GB | ~23,2 GB | 24 GB (nur 8K) |
| 70B | ~42,4 GB | ~2,5 GB | ~46,4 GB | 48 GB |
Die letzte Zeile wird am stärksten unterschätzt. Ein 70B in Q4 passt nicht in 24 GB, und keine Konfiguration ändert diese Arithmetik. Ein eigener Artikel auf dieser Seite rechnet es durch.
Vier Wege
1. Eine 24-GB-Karte (RTX 3090 oder 4090)
Der Sweet Spot für 8B- bis 24B-Modelle. Eine gebrauchte 3090 ist der günstigste Weg zu 24 GB, und 936 GB/s reichen für rund 55 tok/s bei einem 8B-Q4-Modell. Eine 4090 bringt mehr Bandbreite und geringere Latenz, kostet aber etwa das Doppelte.
2. Eine 32-GB-Karte (RTX 5090)
Ermöglicht 32B-Modelle mit komfortablem Kontext oder 8B mit großem Batch. Die Karte ist schnell, aber der Preis pro Gigabyte ist schlechter als bei einer gebrauchten 3090 — Sie zahlen für Bandbreite, nicht für Kapazität.
3. Apple Silicon (Mac Studio oder Mac mini)
Unified Memory erlaubt ein 70B-Modell in 64 GB ohne 48-GB-GPU. Der Kompromiss ist die Bandbreite: 546 GB/s beim M4 Max sind etwa die Hälfte einer RTX 4090, also weniger tok/s. Für Batch-Arbeit, lange Dokumente und geringen Stromverbrauch passend; für schnellen interaktiven Chat nicht.
4. Zwei Karten oder eine 48-GB-Profi-Karte
Der Einstieg für 70B. Zwei gebrauchte 3090 kosten weniger als eine 48-GB-Karte, bringen aber mehr Verbrauch, Lärm und Ansprüche an Mainboard und Netzteil. Für gelegentliche Nutzung ist ein gemieteter Cloud-GPU meist günstiger.
Drei Fehler, die echtes Geld kosten
- Nach der theoretischen Q4-Größe kaufen. Bei 0,50 Byte wirkt ein 32B wie 16 GB. Bei gemessenen 0,60 sind es 19,7 GB, und mit KV-Cache stehen Sie am Limit einer 24-GB-Karte. Rechnen Sie immer mit 0,60.
- Den KV-Cache ignorieren. Ein Modell, das bei 4K passt, kann bei 32K scheitern. Wenn Sie lange Dokumente verarbeiten, budgetieren Sie den Cache vor dem Kauf.
- Für unnötige Bandbreite zahlen. Eine 4090 kostet doppelt so viel wie eine 3090 für rund 8 % mehr Bandbreite. Bei einem 8B-Modell für ein paar Stunden täglich rentiert sich das nicht.
Was zuerst kaufen
Im Zweifel eine gebrauchte 24-GB-Karte kaufen und einen Monat lang 8B- bis 14B-Modelle betreiben. Messen Sie die tatsächliche Nutzung und entscheiden Sie dann, ob Speicher oder Geschwindigkeit fehlt. Der Kostenrechner zeigt, was die Karte bei Ihrem Volumen pro Million Tokens kostet.
Warum 0,60 Byte pro Parameter bei Q4 statt 0,50?
Warum den KV-Cache separat berechnen?
Sind die tok/s gemessen?
Ein 70B-Modell läuft wirklich nicht auf 24 GB?
Durchsatzwerte sind Schätzungen aus Speicherbandbreite und veröffentlichten Messungen. VRAM-Werte folgen aus Architektur und Quantisierungsannahmen. Prüfen Sie vor dem Kauf Ihre eigene Laufzeitumgebung.