Läuft im Browser · keine Anmeldung · keine Datenübertragung

Wie viel VRAM braucht Ihr lokales LLM wirklich?

Die meisten Rechner hören bei der Speichermenge auf. Dieser zeigt zusätzlich, was die Tokens kosten — Hardware, Strom und Abschreibung — damit Sie sehen, ob lokale Inferenz eine Cloud-API wirklich schlägt.

6 Modelle 4 GPUs Formeln offen Aktualisiert 2026-11-10

VRAM- und Durchsatzrechner

Aktualisiert beim Tippen. Nichts verlässt Ihren Browser.

Modellvorlage

Quantisierung

Q4_K_M misst rund 0,60 Byte pro Parameter, nicht die theoretischen 0,50.

Kontextlänge8k

Der KV-Cache wächst linear mit dem Kontext. Das bricht lange Prompts.

Hardware

Nutzbarer Speicher liegt unter dem Nennwert: 90 % bei NVIDIA, 85 % bei einem 128-GB-Mac.

Nutzungsstunden pro Tag4h

Strompreis ($/kWh)0.12

Echte Nutzung, nicht 24/7. Die meisten nutzen einige Stunden am Tag.

Modellgewichte—

KV-Cache—

Laufzeit-Overhead1.5 GB

Gesamtbedarf—

Nutzbarer Speicher—

Reserve—

Gewichte KV-Cache Overhead

Geschätzte Geschwindigkeit

—

Kosten / 1 Mio. Tokens

—

Maximal passender Kontext

—

Leistungsaufnahme

—

Welche Hardware das schafft

Gleiches Modell, gleiche Quantisierung, gleicher Kontext — verglichen über GPUs und Apple Silicon.

RTX 4090NVIDIA · 24 GB GDDR6X

1008 GB/s

Passt

Preis prüfen →

RTX 3090NVIDIA · 24 GB GDDR6X

936 GB/s

Passt

Preis prüfen →

RTX 5090NVIDIA · 32 GB GDDR7

1792 GB/s

Passt

Preis prüfen →

Mac Studio M4 Max 128GBApple · 128 GB Unified memory

546 GB/s

Passt

Preis prüfen →

Modell × Hardware-Matrix

Q4_K_M-Gewichte plus 8K Kontext. Grün passt, gelb ist knapp, rot braucht Offload.

Modell	Gewichte (Q4)	KV bei 8K	Gesamtbedarf	RTX 4090 24 GB	RTX 3090 24 GB	RTX 5090 32 GB	Mac Studio 128 GB
Llama 3.3 70B Meta	42.4 GB	2.7 GB	46.5 GB	Nein	Nein	Nein	Passt
Qwen3 32B Alibaba	19.7 GB	2.1 GB	23.3 GB	Knapp	Knapp	Passt	Passt
Mistral Small 24B Mistral AI	14.2 GB	1.3 GB	17.0 GB	Passt	Passt	Passt	Passt
Qwen3 14B Alibaba	8.9 GB	1.3 GB	11.7 GB	Passt	Passt	Passt	Passt
Qwen3 8B Alibaba	4.9 GB	1.2 GB	7.6 GB	Passt	Passt	Passt	Passt
Llama 3.1 8B Meta	4.8 GB	1.1 GB	7.4 GB	Passt	Passt	Passt	Passt

So funktioniert die Rechnung

Gewichte ergeben sich aus Parameterzahl mal Byte pro Parameter. Der KV-Cache folgt aus Schichten, KV-Heads und Head-Dimension. Laufzeit-Overhead wird mit festen 1,5 GB angesetzt. Nutzbarer Speicher ist ein Anteil der Kapazität, da Treiber und Framebuffer Platz belegen.

Die Kosten pro Million Tokens addieren Strom und Abschreibung und teilen durch die jährlich erzeugten Tokens bei geschätzter Geschwindigkeit. Die vollständigen Formeln stehen auf der Kosten-Seite.

Kostenrechner öffnen → · Hardware-Ratgeber lesen →

Fragen

Warum 0,60 Byte pro Parameter bei Q4 statt 0,50?

Q4_K_M speichert die meisten Gewichte mit 4 Bit, behält aber Skalen, Zero-Points und einige Schichten in höherer Präzision. Gemessene Dateien liegen bei etwa 0,60 Byte pro Parameter — Qwen3-32B belegt 19,8 GB für 32,8 Mrd. Parameter. Mit 0,50 unterschätzt man den Speicher um rund 20 % und kauft leicht die falsche Karte.

Warum den KV-Cache separat berechnen?

Der KV-Cache wächst mit der Kontextlänge, nicht allein mit der Modellgröße. Qwen3-32B braucht in FP16 256 KiB pro Token, bei 32K also 8 GB. Eine 24-GB-Karte mit 19,5 GB Gewichten hat noch rund 3 GB — das begrenzt auf etwa 8K. Deshalb lädt ein Modell sauber und bricht beim ersten langen Dokument ab.

Sind die tok/s gemessen?

Nein. Sie sind aus der Speicherbandbreite abgeleitet, mit dem Kalibrierfaktor 0,29 aus veröffentlichten RTX-4090-Messungen mit Llama 3 8B Q4 (etwa 62 tok/s gegenüber einem Bandbreitenlimit von 214 tok/s). Der reale Durchsatz hängt von Batch, Backend und Quantisierung ab.

Ein 70B-Modell läuft wirklich nicht auf 24 GB?

In Q4_K_M wiegen die Gewichte eines 70B bereits rund 42 GB. Auf einer 24-GB-Karte muss der Rest im System-RAM liegen und über PCIe wandern — das drückt die Generierung auf etwa 1–3 tok/s. Es läuft technisch, ist aber nicht interaktiv nutzbar.

Durchsatzwerte sind Schätzungen aus Speicherbandbreite und veröffentlichten Messungen. VRAM-Werte folgen aus Architektur und Quantisierungsannahmen. Prüfen Sie vor dem Kauf Ihre eigene Laufzeitumgebung.