AI
LocalAI Calc
VRAM et coût par token
Calcul dans votre navigateur · sans compte · aucune donnée envoyée

De quelle VRAM votre LLM local a-t-il besoin ?

La plupart des calculateurs s'arrêtent à la mémoire. Celui-ci indique aussi ce que coûtent les tokens — matériel, électricité et amortissement — pour savoir si l'inférence locale bat vraiment une API cloud.

6 modèles 4 GPU Formules publiques Mis à jour 2026-11-10
Calculateur VRAM et débit
Mise à jour à la saisie. Rien ne quitte votre navigateur.
Q4_K_M mesure environ 0,60 octet par paramètre, pas les 0,50 théoriques.
8k
Le cache KV croît linéairement avec le contexte. C'est ce qui casse les longs prompts.
La mémoire utilisable est inférieure au chiffre annoncé : 90 % sur NVIDIA, 85 % sur un Mac 128 Go.
4h
0.12
Usage réel, pas 24 h/24. La plupart des gens utilisent quelques heures par jour.
Poids du modèle—
Cache KV—
Surcoût d'exécution1.5 GB
Total requis—
Mémoire utilisable—
Marge—
Poids Cache KV Surcoût
Débit estimé
—
Coût / 1M tokens
—
Contexte maximal tenant
—
Consommation
—
Quel matériel fait tourner ceci
Même modèle, même quantification, même contexte — comparés entre GPU et Apple Silicon.
RTX 4090NVIDIA · 24 GB GDDR6X
1008 GB/s
Tient
Voir le prix →
RTX 3090NVIDIA · 24 GB GDDR6X
936 GB/s
Tient
Voir le prix →
RTX 5090NVIDIA · 32 GB GDDR7
1792 GB/s
Tient
Voir le prix →
Mac Studio M4 Max 128GBApple · 128 GB Unified memory
546 GB/s
Tient
Voir le prix →
Matrice modèle × matériel
Poids Q4_K_M plus 8K de contexte. Vert : tient. Ambre : juste. Rouge : offload nécessaire.
ModèlePoids (Q4)KV à 8KTotal requis RTX 4090 24 GoRTX 3090 24 GoRTX 5090 32 GoMac Studio 128 Go
Llama 3.3 70B
Meta		42.4 GB2.7 GB46.5 GBNonNonNonTient
Qwen3 32B
Alibaba		19.7 GB2.1 GB23.3 GBJusteJusteTientTient
Mistral Small 24B
Mistral AI		14.2 GB1.3 GB17.0 GBTientTientTientTient
Qwen3 14B
Alibaba		8.9 GB1.3 GB11.7 GBTientTientTientTient
Qwen3 8B
Alibaba		4.9 GB1.2 GB7.6 GBTientTientTientTient
Llama 3.1 8B
Meta		4.8 GB1.1 GB7.4 GBTientTientTientTient
Comment le calcul fonctionne

Les poids viennent du nombre de paramètres multiplié par les octets par paramètre. Le cache KV dépend des couches, des têtes KV et de la dimension de tête. Le surcoût d'exécution est fixé à 1,5 Go. La mémoire utilisable est un pourcentage de la capacité, le pilote et les framebuffers prenant leur part.

Le coût par million de tokens ajoute électricité et amortissement, puis divise par les tokens produits par an au débit estimé. Les formules complètes sont sur la page coût total.

Ouvrir le calculateur de coût →  ·  Lire le guide matériel →

Questions
Pourquoi 0,60 octet par paramètre en Q4, et non 0,50 ?
Q4_K_M stocke la majorité des poids sur 4 bits, mais conserve les échelles, les zéros et certaines couches en précision supérieure. Les fichiers mesurés tournent autour de 0,60 octet par paramètre — Qwen3-32B fait 19,8 Go pour 32,8 milliards de paramètres. Calculer avec 0,50 sous-estime la mémoire d'environ 20 %, ce qui explique les cartes achetées trop petites.
Pourquoi calculer le cache KV séparément ?
Le cache KV croît avec la longueur du contexte, pas seulement avec la taille du modèle. Qwen3-32B demande 256 Kio par token en FP16, soit 8 Go à 32K. Une carte de 24 Go portant 19,5 Go de poids n'a plus que 3 Go, ce qui plafonne autour de 8K. C'est pourquoi un modèle se charge puis échoue dès qu'on colle un long document.
Les tok/s sont-ils mesurés ?
Non. Ce sont des estimations dérivées de la bande passante mémoire, avec un coefficient de 0,29 tiré des mesures publiées sur RTX 4090 avec Llama 3 8B Q4 (environ 62 tok/s pour un plafond théorique de 214 tok/s). Le débit réel dépend du batch, du backend et de la quantification.
Un modèle 70B ne tient vraiment pas dans 24 Go ?
En Q4_K_M, les poids d'un 70B font déjà environ 42 Go. Sur une carte de 24 Go, le reste doit résider en RAM système et transiter par PCIe, ce qui tombe à 1–3 tok/s. Il tourne techniquement, mais reste inutilisable en interaction.

Les débits sont des estimations issues de la bande passante mémoire et de mesures publiées. Les valeurs de VRAM sont calculées à partir de l'architecture et des hypothèses de quantification. Vérifiez sur votre propre environnement avant d'acheter.