RTX 4090: was wirklich in 24 GB passt
24 GB Speicher und 1008 GB/s Bandbreite. Unten: Bedarf je Modell in Q4_K_M, geschätzte Geschwindigkeit und Tokenkosten.
| Speicher | 24 GB GDDR6X |
|---|---|
| Bandbreite | 1008 GB/s |
| Leistungsaufnahme (TDP) | 450 W |
| Referenzpreis | $1799 |
| Effizienzfaktor | 0.29 |
Reference street price, Nov 2026. Check before buying.
| Modell | Gewichte (Q4) | KV bei 8K | Gesamtbedarf | — | gesch. tok/s | Kosten / 1 Mio. Tokens | Maximal passender Kontext |
|---|---|---|---|---|---|---|---|
| Llama 3.3 70B Meta · Dense · GQA | 42.4 GB | 2.7 GB | 46.5 GB | Nein | — | $— | — |
| Qwen3 32B Alibaba · Dense · GQA | 19.7 GB | 2.1 GB | 23.3 GB | Knapp | 15 | $8.69 | 7k |
| Mistral Small 24B Mistral AI · Dense · GQA | 14.2 GB | 1.3 GB | 17.0 GB | Passt | 21 | $6.25 | 45k |
| Qwen3 14B Alibaba · Dense · GQA | 8.9 GB | 1.3 GB | 11.7 GB | Passt | 33 | $3.92 | 76k |
| Qwen3 8B Alibaba · Dense · GQA | 4.9 GB | 1.2 GB | 7.6 GB | Passt | 59 | $2.17 | 111k |
| Llama 3.1 8B Meta · Dense · GQA | 4.8 GB | 1.1 GB | 7.4 GB | Passt | 61 | $2.13 | 126k |
Durchsatzwerte sind Schätzungen aus Speicherbandbreite und veröffentlichten Messungen. VRAM-Werte folgen aus Architektur und Quantisierungsannahmen. Prüfen Sie vor dem Kauf Ihre eigene Laufzeitumgebung.
Was der Betrieb kostet
Die GPU wird einmal bezahlt, aber jedes Jahr abgeschrieben, und sie zieht Strom, ob sie rechnet oder nicht. Bei geringem Volumen dominieren die Fixkosten: Eine Karte für 1.799 $ erzeugt in drei Jahren rund 978 Mio. Tokens — etwa 2,08 $ pro Million. Das schlägt günstige APIs, aber nicht die billigsten.
Durchsatzwerte sind Schätzungen aus Speicherbandbreite und veröffentlichten Messungen. VRAM-Werte folgen aus Architektur und Quantisierungsannahmen. Prüfen Sie vor dem Kauf Ihre eigene Laufzeitumgebung.