Recherche de GPU

Le raisonnement derrière le tableau

Pourquoi la bande passante mémoire, et non la puissance de calcul, détermine vos tokens par seconde

Générer un token signifie lire chaque poids actif du modèle plus l'intégralité du cache clé-valeur de la mémoire, effectuer une petite quantité d'arithmétique sur chaque valeur, et ne réécrire presque rien. L'arithmétique se termine bien avant l'arrivée du prochain lot de poids. C'est pourquoi une carte avec une puissance de calcul énorme et une bande passante mémoire modeste semble lente sur un seul flux de chat, et pourquoi la colonne de vitesse dans le tableau ci-dessus est dérivée de la bande passante plutôt que des téraflops.

L'arithmétique est assez simple pour être faite de tête. Divisez la bande passante mémoire par le nombre d'octets que le modèle lit par token et vous obtenez une limite supérieure de la vitesse de décodage. Llama 3.1 8B en Q4_K_M contient environ 4,5 Go de poids et environ 1 Go de cache dans un contexte de 8K. Une RTX 5080 déplace 960 Go par seconde, donc dans un monde parfait, elle produirait quelques centaines de tokens par seconde ; en pratique, un runtime atteint environ les trois quarts du pic, ce qui explique l'estimation de 121 tokens par seconde.

La façon la plus claire de le voir est de maintenir la capacité constante. Chaque carte ci-dessous a exactement 16 Go, donc chacune d'elles contient le même modèle 8B avec la même quantification et de la place en réserve. La seule chose qui change est la vitesse à laquelle la mémoire alimente la puce.

L'écart est de plus de trois contre un pour une capacité identique, et le prix ne le suit pas proprement. La RTX 5070 Ti est moins chère que la RTX 4080 Super et environ un cinquième plus rapide. La RTX 4060 Ti coûte plus cher qu'une Arc A770 et génère deux fois moins de tokens par seconde. Si vous ne retenez qu'une seule habitude de cette page, que ce soit celle-ci : lisez la colonne de la bande passante avant la colonne du prix.

Une mise en garde honnête. La bande passante régit le décodage, c'est la partie que vous voyez apparaître à l'écran. La lecture de votre prompt est une opération différente : le modèle traite tous les tokens d'entrée en parallèle, ce qui se transforme en une multiplication matricielle dense limitée par le débit arithmétique. Une carte avec une faible puissance de calcul et une bonne bande passante commencera à répondre lentement sur un très long document, puis diffusera rapidement une fois qu'elle aura commencé. Si votre charge de travail est principalement composée de longs prompts et de courtes réponses, l'image se déplace vers la puissance de calcul brute.

Une comparaison détaillée : un modèle, six cartes

Qwen3 14B en Q4_K_M avec un contexte de 8K nécessite environ 11,0 Go une fois les poids, le cache et les frais généraux du runtime comptés. C'est un objectif exigeant mais réaliste pour une configuration de milieu de gamme, et cela sépare les cartes de manière instructive.

Trois choses ressortent de ce tableau. La RTX 3060 contient techniquement le modèle mais laisse 0,2 Go de marge, ce qui signifie que la première longue conversation la dépassera et forcera un rechargement avec un contexte plus court. La RTX 4060 Ti s'adapte confortablement et est la carte la plus lente du groupe, car elle associe une capacité généreuse au bus mémoire le plus étroit ici. Et une RTX 3090 d'occasion à environ 700 $ correspond à une nouvelle RTX 5070 Ti en termes de vitesse tout en vous offrant 7,4 Go de mémoire utilisable en plus, ce qui fait la différence entre l'exécution d'un modèle 14B et celle d'un modèle 24B.

Le seuil des 24 Go, et comment le contourner

Une carte de 24 Go annonce 24 Go et offre un runtime d'environ 22,3 Go après que le pilote, le contexte CUDA et la fragmentation de l'allocateur aient pris leur part. Qwen3 32B en Q4_K_M avec un contexte de 8K nécessite 22,8 Go : 18,5 Go de poids, 2,0 Go de cache et le reste en frais généraux. Il manque un demi-gigaoctet. C'est la déception la plus courante en inférence locale, et il est utile de comprendre les trois façons de s'en sortir.

Vous pouvez réduire le contexte. À 4K, le même modèle nécessite 21,7 Go, ce que l'outil qualifie de juste plutôt qu'impossible. Vous pouvez réduire la précision. Q3_K_M le ramène à 18,9 Go et fait passer l'estimation sur une RTX 4090 d'impossible à environ 42 tokens par seconde, avec un coût de qualité que vous remarquerez sur les raisonnements difficiles et à peine sur la synthèse. Ou vous pouvez acheter le niveau de capacité supérieur. Une RTX 5090 offre 29,8 Go utilisables, contient le modèle en Q4 avec de la place pour un contexte de 32K, et l'exécute à environ 61 tokens par seconde.

La leçon générale est que les niveaux de capacité sont des falaises, pas des pentes. Entre 22,3 Go et 29,8 Go de mémoire utilisable, il n'y a rien, donc un modèle qui manque d'un demi-gigaoctet manque de la même quantité qu'un modèle qui manque de cinq. Lorsque vous faites vos achats, déterminez l'exigence à la longueur de contexte que vous avez réellement l'intention d'utiliser, ajoutez environ vingt pour cent, et seulement ensuite regardez les cartes.

Les modèles Mixture-of-experts réécrivent la liste de courses

Un modèle dense lit tous ses poids pour chaque token. Un modèle mixture-of-experts stocke de nombreux experts et achemine chaque token à travers un petit sous-ensemble d'entre eux, de sorte que la mémoire qu'il lit par token est bien inférieure à la mémoire qu'il occupe. Cela découple les deux choses que vous recherchez : la capacité est définie par le nombre total de paramètres, la vitesse est définie par les paramètres actifs.

gpt-oss 120B en est l'exemple le plus clair. Dans son format natif MXFP4, il nécessite environ 63,4 Go avec un contexte de 8K, bien au-delà de toute carte grand public, mais seuls 5,1 milliards de paramètres sont actifs par token. Sur une RTX PRO 6000 Blackwell avec 1792 Go/s, on estime qu'il atteint environ 446 tokens par seconde. Llama 3.3 70B en Q4 est plus petit sur disque avec 46,4 Go et fonctionne sur la même carte à environ 30 tokens par seconde, car tous les 70,6 milliards de paramètres sont lus à chaque fois. Empreinte plus petite, quinze fois plus lent.

La même astuce fonctionne plus bas dans la gamme. Qwen3 30B-A3B nécessite 20,1 Go en Q4 avec un contexte de 8K, ce qui tient sur une RTX 4090, et seuls 3,3 milliards de paramètres sont actifs, donc l'estimation est d'environ 269 tokens par seconde. Le modèle dense Qwen3 32B ne tient pas du tout sur la même carte. Si vous achetez de la capacité avec un budget limité, un modèle à mélange d'experts est le moyen le moins cher d'obtenir un comportement de grand modèle avec du matériel modéré, et c'est le seul cas où une machine lente mais spacieuse comme un Mac a beaucoup de sens.

Neuf, d'occasion ou loué

Le marché de l'occasion est là où se trouve la majeure partie de la valeur de cette liste. Une RTX 3090 à environ 700 $ offre 936 Go/s et 24 Go, ce qui représente 1,34 Go/s par dollar. Une nouvelle RTX 4090 à environ 1 600 $ offre 1008 Go/s, soit 0,63 Go/s par dollar. Vous payez deux fois et demie plus par unité de ce qui détermine votre vitesse, en échange d'une garantie, d'une consommation d'énergie plus faible et d'un meilleur support pour les formats numériques plus récents. C'est un véritable compromis, mais c'est un compromis plutôt qu'une mise à niveau.

La location est la référence honnête à laquelle vous devriez comparer un achat, et le seuil de rentabilité est facile à calculer : divisez le prix d'achat par le tarif horaire qui vous est proposé, et c'est le nombre d'heures d'utilisation qu'il faut avant que la possession ne soit moins chère. Une RTX 3090 d'occasion à 700 $ est amortie par rapport à une carte louée à cinquante cents de l'heure après 1 400 heures. Si vous utilisez la machine deux heures par jour, cela représente près de deux ans, date à laquelle la carte est plus ancienne et le modèle que vous vouliez exécuter a été remplacé deux fois.

L'électricité doit également être incluse dans le calcul. Une carte consommant 450 watts sous charge pendant huit heures par jour consomme 3,6 kilowattheures ; à vingt cents le kilowattheure, cela représente environ 263 $ par an, et bien plus si la pièce a besoin de refroidissement. Substituez votre propre tarif, mais n'omettez pas cette ligne.

Il existe également un niveau réellement gratuit qui mérite d'être connu. La T4 que les notebooks Colab gratuits distribuent a 16 Go et 320 Go/s, ce qui est bon pour environ 40 tokens par seconde sur un modèle 8B. La P100 sur les sessions Kaggle gratuites a les mêmes 16 Go mais 732 Go/s, ce qui représente environ 92 tokens par seconde, confortablement devant une RTX 4060 Ti à 449 $. Aucune n'est une station de travail, les deux sont livrées avec des limites de session, et les deux sont excellentes pour déterminer si un modèle vaut la peine d'acheter du matériel.

Grand public, station de travail ou centre de données

La prime de prix sur les cartes professionnelles offre quatre choses : plus de mémoire sur une seule carte, protection ECC, refroidissement conçu pour un rack dense et une licence qui permet le déploiement en centre de données. Elle n'offre pas proportionnellement plus de bande passante, ce qui est ce qui détermine réellement votre taux de tokens.

Lisez les deux dernières colonnes ensemble. La RTX PRO 6000 Blackwell correspond à une RTX 5090 en termes de bande passante et vous offre trois fois la mémoire dans un seul slot, à 89 $ par gigaoctet. C'est cher par rapport à quatre RTX 3090 d'occasion à 29 $ par gigaoctet, mais la carte unique exécute Llama 3.3 70B à environ 30 tokens par seconde contre environ 12 pour la configuration à quatre cartes, nécessite un slot PCIe au lieu de quatre, et ne nécessite pas de circuit dédié. Une H100 coûte 338 $ par gigaoctet et ne vaut la peine que lorsque de nombreux utilisateurs sollicitent la machine simultanément, car son avantage en bande passante est mieux utilisé pour le traitement par lots plutôt que pour une seule conversation.

Méfiez-vous du simple badge « datacenter ». La L4 coûte 2 500 $ pour 24 Go à 300 Go/s et est conçue pour une faible consommation d'énergie et une haute densité, pas pour un décodage rapide en flux unique. Sur un modèle 8B, elle est estimée à environ 38 tokens par seconde, soit environ un tiers de ce qu'une RTX 3090 d'occasion à 700 $ peut faire. C'est une excellente carte dans un rack qui nécessite des slots de soixante-quinze watts et une mauvaise sur un bureau.

Ce que plusieurs GPU vous apportent réellement

La manière par défaut de répartir un modèle sur plusieurs cartes est par couche : la première carte contient les couches un à vingt, la seconde le reste, et l'état caché est transféré via le bus une fois par limite de carte par token. Ce transfert représente quelques centaines de kilo-octets, donc un slot fonctionnant à quatre voies est généralement suffisant et la bande passante PCIe est rarement le goulot d'étranglement que les gens attendent. La capacité s'additionne proprement.

La vitesse, non. Avec une répartition par couches, une seule carte calcule à un instant donné pendant que les autres attendent leur tour, de sorte qu'une seule conversation voit à peu près la bande passante d'une carte moins le coût de synchronisation. Les estimations sur cette page le reflètent : un modèle 8B sur une RTX 4090 atteint environ 127 tokens par seconde, et le même modèle sur deux RTX 4090 atteint environ 102. L'ajout d'une carte a ralenti un utilisateur. Cela ne vaut la peine que si la mémoire supplémentaire vous permet d'exécuter quelque chose que vous ne pouviez pas exécuter auparavant, ou si vous avez suffisamment d'utilisateurs simultanés pour maintenir les deux cartes occupées.

Le parallélisme tensoriel est l'alternative : chaque couche est découpée sur toutes les cartes afin qu'elles calculent ensemble, ce qui augmente la vitesse en flux unique. Il échange également les activations à chaque couche au lieu de chaque limite, il nécessite donc une interconnexion rapide, et il veut généralement un nombre de cartes qui divise uniformément les têtes d'attention. Sur les cartes grand public sans NVLink, c'est souvent décevant. Surveillez également l'arithmétique de la capacité : les 48 Go d'une configuration à deux cartes RTX 4090 deviennent environ 43,2 Go utilisables, ce qui n'est pas suffisant pour Llama 3.3 70B en Q4 et un contexte de 8K, car cela nécessite 46,4 Go.

Puces Apple : capacité par dollar, au prix de la bande passante

La mémoire unifiée signifie que le CPU et le GPU partagent un seul pool, de sorte qu'un Mac peut dédier beaucoup plus de mémoire à un modèle que n'importe quelle carte graphique grand public. Un Mac Studio avec 512 Go revient à environ 19 $ par gigaoctet, la capacité la moins chère de toute cette liste, et un Mac Studio de 192 Go coûte environ 29 $ par gigaoctet. En contrepartie, la limite d'allocation par défaut attribue à un runtime environ les trois quarts de la mémoire installée, donc prévoyez respectivement 384 Go et 144 Go plutôt que le chiffre affiché.

Le hic, c'est la bande passante, et elle varie énormément selon la gamme. Un Mac mini M4 a 120 Go/s, ce qui représente environ 13 tokens par seconde sur un modèle 8B. Un MacBook Pro avec un M4 Pro a 273 Go/s et donne environ 10 tokens par seconde sur Gemma 3 27B, là où une RTX 4090 en donne environ 43. Un M4 Max atteint 546 Go/s et un M2 Ultra atteint 800 Go/s, ce qui est enfin dans le voisinage d'une bonne carte de bureau. Donc, la forme de l'échange est la suivante : achetez un Mac pour les modèles que rien d'autre dans votre budget ne peut contenir, pas pour la vitesse sur les modèles qui tiennent déjà sur un GPU.

Deux remarques pratiques. Le traitement du prompt est le point faible : la puissance de calcul disponible pour la passe de pré-remplissage parallèle est nettement inférieure à celle d'un GPU dédié, de sorte que les longs documents sont sensiblement plus longs à ingérer, même si le streaming qui suit semble correct. La capacité reste limitée : DeepSeek R1 en Q4 nécessite environ 410 Go, ce qui dépasse les 384 Go réellement alloués par un Mac Studio de 512 Go. Les modèles Mixture-of-experts sont ceux pour lesquels ce matériel excelle, car ils sollicitent la capacité plutôt que la bande passante.

AMD et Intel, honnêtement

Sur le papier, les options non-NVIDIA semblent solides. Une Radeon RX 7900 XTX a 24 Go à 960 Go/s pour environ 900 $, plus de bande passante qu'une RTX 3090 d'occasion pour un peu plus d'argent. Une Arc A770 offre 560 Go/s et 16 Go pour environ 280 $, soit 2,00 Go/s par dollar, le meilleur ratio de toutes les cartes de cet ensemble de données. Un Instinct MI300X transporte 192 Go à 5300 Go/s pour environ 15 000 $, plus de mémoire et plus de bande passante qu'un H100 à environ la moitié du prix.

L'écart est logiciel, et il s'est considérablement réduit sans se combler. Tout ce qui est construit sur llama.cpp fonctionne bien sur les deux fournisseurs via ROCm, Vulkan ou SYCL, donc les charges de travail de chat et de complétion ordinaires sont acceptables. La friction apparaît aux marges : un nouveau format de quantification est généralement livré d'abord avec un noyau CUDA, certaines implémentations d'attention et chemins de décodage spéculatif sont CUDA-only pendant des mois, les piles d'entraînement et de fine-tuning supposent NVIDIA bien plus que les piles d'inférence, et la réponse de référence sur un forum supposera CUDA. Prévoyez du temps plutôt que de l'argent pour cela.

La règle raisonnable : si vous voulez exécuter des modèles publiés avec un runtime grand public et que vous aimez bidouiller, AMD et Intel offrent un bon rapport qualité-prix. Si votre travail dépend de la capacité à adopter une technique de recherche la semaine de sa publication, ou si vous avez besoin de fine-tuner en plus de servir, la taxe CUDA vous apporte quelque chose de réel.

Puissance, chaleur, bruit et le reste de la machine

La puissance de la carte pour les cartes que les gens achètent réellement varie d'environ 350 watts pour une RTX 3090 à 450 pour une RTX 4090 et 575 pour une RTX 5090. Ajoutez environ cent cinquante watts pour le reste d'un ordinateur de bureau et dimensionnez l'alimentation avec une marge, car ces cartes tirent de brèves pointes transitoires bien au-dessus de leur chiffre nominal et une alimentation fonctionnant à sa limite se déclenchera plutôt que de se réguler. Une RTX 4090 est confortable sur une unité de 850 watts ; deux RTX 3090 nécessitent 1000 watts ou plus.

Les configurations multi-cartes atteignent la limite de la prise murale étonnamment vite. Quatre RTX 3090 à pleine puissance représentent 1400 watts avant le reste du système, ce qui dépasse ce qu'un circuit standard de 15 ampères et 120 volts peut supporter en continu. C'est la raison pratique pour laquelle les grandes configurations domestiques finissent par être limitées en puissance, et la bonne nouvelle est que la limitation de puissance coûte moins cher que prévu : le décodage est limité par la bande passante, la mémoire continue de fonctionner à pleine vitesse, et limiter le cœur à soixante-dix pour cent de la valeur d'origine coûte généralement un pourcentage à un chiffre du taux de tokens tout en réduisant fortement la chaleur et le bruit.

Le refroidissement mérite une réflexion avant de commander. Les cartes grand public sont des conceptions à air libre qui évacuent la chaleur dans le boîtier, de sorte que deux d'entre elles empilées dans des slots adjacents se feront cuire mutuellement à moins que la carte mère ne les écarte ou que vous n'utilisiez des câbles riser. Les composants de centre de données tels que les A100, H100, L40S et L4 sont refroidis passivement : ils n'ont pas de ventilateurs du tout et dépendent du flux d'air violent de l'avant vers l'arrière d'un châssis de rack. En placer un dans un ordinateur de bureau ordinaire est un moyen bien connu de découvrir le throttling thermique. Les cartes de station de travail de type "blower" sont le compromis qui fonctionne réellement dans une tour.

Acheter pour un modèle que vous ne possédez pas encore

Les poids sont la partie prévisible de la facture. Le cache est la partie qui surprend les gens, car il augmente linéairement avec le contexte et ne se soucie pas de la qualité de la quantification du modèle. Llama 3.1 8B en Q4 nécessite 6,6 Go avec un contexte de 8K et 22,8 Go à son plein 128K, où 16 Go sont uniquement du cache. Qwen3 32B passe de 22,8 Go à 8K à 55,2 Go à 128K. Si vous avez l'intention de fournir des bases de code entières à un modèle, dimensionnez la carte pour le cache, pas pour les poids.

L'architecture modifie beaucoup cela. Gemma 3 27B utilise l'attention à fenêtre glissante sur la plupart de ses couches, de sorte qu'un contexte de 131K lui coûte environ 10,4 Go de cache là où un modèle 32B conventionnel paie 32 Go. Les modèles utilisant l'attention latente multi-têtes, comme la famille DeepSeek, compressent encore plus le cache. Deux modèles avec le même nombre de paramètres peuvent avoir des appétits très différents en contexte long, alors vérifiez le chiffre réel plutôt que de supposer.

Vous avez des leviers si vous manquez. La quantification du cache lui-même est le moins utilisé : Llama 3.3 70B en Q4 avec un contexte de 32K nécessite 54,5 Go avec un cache 16 bits normal, 49,4 Go avec un cache 8 bits et 46,7 Go en 4 bits, le coût en qualité affectant la mémoire à long terme plutôt que la fluidité. Servir plusieurs personnes modifie à nouveau l'arithmétique, car les poids sont lus une fois par étape pour l'ensemble du lot : huit flux concurrents d'un modèle 8B nécessitent 14,2 Go plutôt que 6,6, et chaque flux voit environ 56 tokens par seconde au lieu de 127 tandis que la machine dans son ensemble produit beaucoup plus.

La liste de contrôle d'achat est donc courte. Décidez du plus grand modèle que vous comptez sérieusement exécuter, avec la quantification que vous pouvez accepter, et le contexte que vous utiliserez réellement. Ajoutez vingt pour cent pour le runtime et pour une version de modèle légèrement plus grande que la précédente. Comparez la bande passante par dollar parmi les cartes qui franchissent cette barre. Ensuite, avant tout mouvement d'argent, exécutez le modèle via un endpoint hébergé pendant une semaine et découvrez si vous le voulez vraiment.