Calcul dans votre navigateur · sans compte · aucune donnée envoyée

Pourquoi un 70B ne tient pas dans 24 Go (malgré les tutoriels)

Un 70B en Q4 représente 42 Go de poids. Voici l'arithmétique derrière les tutoriels qui prétendent le faire tourner sur 24 Go.

Mis à jour 2026-11-10 6 min de lecture

L'arithmétique en quatre lignes

Dire qu'un 70B tourne sur une carte de 24 Go n'est pas exactement un mensonge. Il tourne. Ce que les tutoriels omettent, c'est la vitesse — et le fait que l'essentiel du modèle n'est pas sur la carte.

Poids = 70,6 Md paramètres × 0,60 octet = 42,4 Go Cache KV = 2 × 80 couches × 8 têtes KV × 128 dim × 2 octets = 320 Kio/token à 8K de contexte = 2,5 Go Surcoût = 1,5 Go Total = 46,4 Go Utilisable sur 24 Go (90 %) = 23,2 Go Manque = 23,2 Go

Aucune astuce de quantification ne comble 25 Go. Même Q2_K, qui dégrade nettement la qualité, laisse environ 25 Go de poids avant tout cache.

Pourquoi les tutoriels disent que ça marche

Parce que llama.cpp et Ollama déportent volontiers les couches qui ne tiennent pas vers la RAM système, puis annoncent que le modèle est chargé. Il l'est. Il tourne à 1–3 tokens par seconde.

La raison est la bande passante. Chaque token généré impose de relire l'ensemble des poids actifs. Les 25 Go en RAM doivent traverser le PCIe, qui offre en pratique 20–25 Go/s. Vingt-cinq gigaoctets par token à 25 Go/s, cela fait environ un token par seconde, avant tout calcul.

Le signal

Si un tutoriel montre un 70B sur 24 Go sans mentionner les tok/s, il montre un écran de chargement, pas une configuration utilisable.

Ce qui fait vraiment tourner un 70B

48 Go sur une carte — RTX A6000 ou équivalent. Confortable à 8K, juste au-delà.
Deux cartes de 24 Go — deux 3090 d'occasion. Poids répartis, cache KV inclus. Le chemin le moins cher vers un 70B utilisable, si le boîtier et l'alimentation suivent.
64 Go ou plus de mémoire unifiée — Mac Studio. Plus lent par token, mais silencieux et sobre.
Location — pour quelques utilisations par mois, un GPU cloud coûte moins cher que le matériel.

À quoi sert vraiment 24 Go

Une carte de 24 Go est un excellent choix — pour les bons modèles. Elle fait tourner les 8B et 14B avec de la marge, les 24B confortablement, et les 32B en Q4 avec environ 8K de contexte. Cela couvre la plupart des usages de chat, d'assistance au code et de résumé de documents.

L'erreur n'est pas d'acheter une 24 Go. C'est de l'acheter en espérant un 70B, puis de découvrir l'écart une fois la période de retour passée. Lancez d'abord les calculs dans le calculateur : dix secondes, et le manque s'affiche.

Lire →

LLM local vs API cloud : le vrai coût par million de tokens

Lire →

Questions

Pourquoi 0,60 octet par paramètre en Q4, et non 0,50 ?

Q4_K_M stocke la majorité des poids sur 4 bits, mais conserve les échelles, les zéros et certaines couches en précision supérieure. Les fichiers mesurés tournent autour de 0,60 octet par paramètre — Qwen3-32B fait 19,8 Go pour 32,8 milliards de paramètres. Calculer avec 0,50 sous-estime la mémoire d'environ 20 %, ce qui explique les cartes achetées trop petites.

Pourquoi calculer le cache KV séparément ?

Le cache KV croît avec la longueur du contexte, pas seulement avec la taille du modèle. Qwen3-32B demande 256 Kio par token en FP16, soit 8 Go à 32K. Une carte de 24 Go portant 19,5 Go de poids n'a plus que 3 Go, ce qui plafonne autour de 8K. C'est pourquoi un modèle se charge puis échoue dès qu'on colle un long document.

Les tok/s sont-ils mesurés ?

Non. Ce sont des estimations dérivées de la bande passante mémoire, avec un coefficient de 0,29 tiré des mesures publiées sur RTX 4090 avec Llama 3 8B Q4 (environ 62 tok/s pour un plafond théorique de 214 tok/s). Le débit réel dépend du batch, du backend et de la quantification.

Un modèle 70B ne tient vraiment pas dans 24 Go ?

En Q4_K_M, les poids d'un 70B font déjà environ 42 Go. Sur une carte de 24 Go, le reste doit résider en RAM système et transiter par PCIe, ce qui tombe à 1–3 tok/s. Il tourne techniquement, mais reste inutilisable en interaction.

Les débits sont des estimations issues de la bande passante mémoire et de mesures publiées. Les valeurs de VRAM sont calculées à partir de l'architecture et des hypothèses de quantification. Vérifiez sur votre propre environnement avant d'acheter.