RTX 5090: was wirklich in 32 GB passt
32 GB Speicher und 1792 GB/s Bandbreite. Unten: Bedarf je Modell in Q4_K_M, geschätzte Geschwindigkeit und Tokenkosten.
| Speicher | 32 GB GDDR7 |
|---|---|
| Bandbreite | 1792 GB/s |
| Leistungsaufnahme (TDP) | 575 W |
| Referenzpreis | $1999 |
| Effizienzfaktor | 0.29 |
MSRP reference, Nov 2026. Street prices often higher.
| Modell | Gewichte (Q4) | KV bei 8K | Gesamtbedarf | — | gesch. tok/s | Kosten / 1 Mio. Tokens | Maximal passender Kontext |
|---|---|---|---|---|---|---|---|
| Llama 3.3 70B Meta · Dense · GQA | 42.4 GB | 2.7 GB | 46.5 GB | Nein | — | $— | — |
| Qwen3 32B Alibaba · Dense · GQA | 19.7 GB | 2.1 GB | 23.3 GB | Passt | 26 | $5.53 | 36k |
| Mistral Small 24B Mistral AI · Dense · GQA | 14.2 GB | 1.3 GB | 17.0 GB | Passt | 37 | $3.98 | 91k |
| Qwen3 14B Alibaba · Dense · GQA | 8.9 GB | 1.3 GB | 11.7 GB | Passt | 59 | $2.49 | 122k |
| Qwen3 8B Alibaba · Dense · GQA | 4.9 GB | 1.2 GB | 7.6 GB | Passt | 106 | $1.38 | 162k |
| Llama 3.1 8B Meta · Dense · GQA | 4.8 GB | 1.1 GB | 7.4 GB | Passt | 108 | $1.35 | 183k |
Durchsatzwerte sind Schätzungen aus Speicherbandbreite und veröffentlichten Messungen. VRAM-Werte folgen aus Architektur und Quantisierungsannahmen. Prüfen Sie vor dem Kauf Ihre eigene Laufzeitumgebung.
Was der Betrieb kostet
Die GPU wird einmal bezahlt, aber jedes Jahr abgeschrieben, und sie zieht Strom, ob sie rechnet oder nicht. Bei geringem Volumen dominieren die Fixkosten: Eine Karte für 1.799 $ erzeugt in drei Jahren rund 978 Mio. Tokens — etwa 2,08 $ pro Million. Das schlägt günstige APIs, aber nicht die billigsten.
Durchsatzwerte sind Schätzungen aus Speicherbandbreite und veröffentlichten Messungen. VRAM-Werte folgen aus Architektur und Quantisierungsannahmen. Prüfen Sie vor dem Kauf Ihre eigene Laufzeitumgebung.