Ricerca GPU

Il ragionamento alla base della tabella

Perché la larghezza di banda della memoria, non la potenza di calcolo, determina i token al secondo

Generare un token significa leggere ogni peso attivo nel modello più l'intera key-value cache dalla memoria, eseguire una piccola quantità di calcoli su ogni valore e scrivere quasi nulla. I calcoli terminano molto prima che arrivi il batch di pesi successivo. Ecco perché una scheda con un'enorme potenza di calcolo e una modesta larghezza di banda di memoria risulta lenta su un singolo flusso di chat, e perché la colonna della velocità nella tabella sopra è derivata dalla larghezza di banda anziché dai teraflops.

Il calcolo è abbastanza semplice da fare a mente. Dividi la larghezza di banda della memoria per il numero di byte che il modello legge per token e otterrai un limite superiore sulla velocità di decodifica. Llama 3.1 8B in Q4_K_M occupa circa 4,5 GB di pesi e circa 1 GB di cache con un contesto di 8K. Una RTX 5080 sposta 960 GB al secondo, quindi in un mondo perfetto produrrebbe un paio di centinaia di token al secondo; in pratica, un runtime raggiunge circa tre quarti del picco, che è da dove deriva la stima di 121 token al secondo.

Il modo più chiaro per vederlo è mantenere costante la capacità. Ogni scheda qui sotto ha esattamente 16GB, quindi ognuna di esse contiene lo stesso modello 8B alla stessa quantizzazione con spazio libero. L'unica cosa che cambia è la velocità con cui la memoria alimenta il chip.

La differenza è superiore a tre a uno a parità di capacità, e il prezzo non segue questo rapporto in modo lineare. La RTX 5070 Ti è più economica della RTX 4080 Super e circa un quinto più veloce. La RTX 4060 Ti costa più di una Arc A770 e genera la metà dei token al secondo. Se devi imparare una sola cosa da questa pagina, che sia questa: leggi la colonna della larghezza di banda prima di quella del prezzo.

Un'avvertenza onesta. La larghezza di banda governa la decodifica, che è la parte che vedi scorrere sullo schermo. Leggere il tuo prompt è un'operazione diversa: il modello elabora tutti i token di input in parallelo, il che si trasforma in una moltiplicazione di matrici dense limitata invece dal throughput aritmetico. Una scheda con calcolo debole e buona larghezza di banda inizierà a rispondere lentamente su un documento molto lungo per poi trasmettere rapidamente una volta avviata. Se il tuo carico di lavoro è composto principalmente da prompt lunghi e risposte brevi, la situazione si sposta nuovamente verso la potenza di calcolo pura.

Un confronto pratico: un modello, sei schede

Qwen3 14B in Q4_K_M con un contesto di 8K richiede circa 11,0 GB una volta conteggiati pesi, cache e overhead del runtime. È un obiettivo impegnativo ma realistico per una configurazione di fascia media, e distingue le schede in modo istruttivo.

Tre cose emergono da quella tabella. La RTX 3060 tecnicamente contiene il modello ma lascia 0,2 GB di margine, il che significa che la prima conversazione lunga la porterà al limite e costringerà a un ricaricamento con un contesto più breve. La RTX 4060 Ti si adatta comodamente ed è la scheda più lenta del gruppo, perché abbina una capacità generosa al bus di memoria più stretto qui presente. E una RTX 3090 usata a circa 700$ eguaglia una nuova RTX 5070 Ti in velocità, offrendoti 7,4 GB di memoria utilizzabile in più, che è la differenza tra eseguire un modello da 14B e uno da 24B.

Il limite dei 24GB e come pianificare di conseguenza

Una scheda da 24GB pubblicizza 24GB ma offre un runtime di circa 22,3 GB dopo che driver, CUDA context e frammentazione dell'allocatore hanno preso la loro parte. Qwen3 32B in Q4_K_M con un contesto di 8K richiede 22,8 GB: 18,5 GB di pesi, 2,0 GB di cache e il resto in overhead. Manca mezzo gigabyte. Questa è la delusione più comune nell'inferenza locale, ed è utile capire le tre possibili soluzioni.

Puoi ridurre il contesto. A 4K lo stesso modello richiede 21,7 GB, che lo strumento definisce al limite anziché impossibile. Puoi ridurre la precisione. Q3_K_M lo porta a 18,9 GB e alza la stima su una RTX 4090 da impossibile a circa 42 token al secondo, con un costo in termini di qualità che noterai nei ragionamenti complessi e a malapena nelle sintesi. Oppure puoi acquistare la fascia di capacità superiore. Una RTX 5090 offre 29,8 GB utilizzabili, contiene il modello a Q4 con spazio per un contesto di 32K e lo esegue a circa 61 token al secondo.

La lezione generale è che le fasce di capacità sono scogliere, non pendii. Tra 22,3 GB e 29,8 GB di memoria utilizzabile non c'è nulla, quindi un modello che manca di mezzo gigabyte manca della stessa quantità di uno che ne manca di cinque. Quando acquisti, calcola il requisito alla lunghezza del contesto che intendi effettivamente utilizzare, aggiungi circa il venti percento e solo allora guarda le schede.

I modelli Mixture-of-experts riscrivono la lista della spesa

Un modello dense legge tutti i suoi pesi per ogni token. Un modello Mixture-of-experts memorizza molti esperti e instrada ogni token attraverso un piccolo sottoinsieme di essi, quindi la memoria che legge per token è molto inferiore alla memoria che occupa. Questo disaccoppia le due cose che stai cercando: la capacità è determinata dai parametri totali, la velocità dai parametri attivi.

gpt-oss 120B è l'esempio più chiaro. Nel suo formato nativo MXFP4 richiede circa 63,4 GB con un contesto di 8K, ben oltre qualsiasi singola scheda consumer, ma solo 5,1B di parametri sono attivi per token. Su una RTX PRO 6000 Blackwell con 1792 GB/s è stimato a circa 446 token al secondo. Llama 3.3 70B a Q4 è più piccolo su disco a 46,4 GB e viene eseguito sulla stessa scheda a circa 30 token al secondo, perché tutti i 70,6B di parametri vengono letti ogni volta. Ingombro minore, quindici volte più lento.

Lo stesso trucco funziona anche nelle fasce inferiori. Qwen3 30B-A3B richiede 20,1 GB a Q4 con un contesto di 8K, che entra in una RTX 4090, e solo 3,3B di parametri sono attivi, quindi la stima è di circa 269 token al secondo. Il modello dense Qwen3 32B sulla stessa scheda non entra affatto. Se stai acquistando capacità con un budget limitato, un modello Mixture-of-experts è il modo più economico per ottenere il comportamento di un modello di grandi dimensioni su hardware moderato, ed è l'unico caso in cui una macchina lenta ma capiente come un Mac ha molto senso.

Nuovo, usato o a noleggio

Il mercato dell'usato è dove risiede la maggior parte del valore in questo elenco. Una RTX 3090 a circa 700$ offre 936 GB/s e 24GB, che corrispondono a 1,34 GB/s per dollaro. Una nuova RTX 4090 a circa 1.600$ offre 1008 GB/s, o 0,63 GB/s per dollaro. Stai pagando due volte e mezzo di più per unità di ciò che determina la tua velocità, in cambio di una garanzia, un minor consumo energetico e un miglior supporto per i formati numerici più recenti. È un compromesso reale, ma è un compromesso piuttosto che un aggiornamento.

Il noleggio è il punto di riferimento onesto rispetto al quale dovresti misurare un acquisto, e il punto di pareggio è facile da calcolare: dividi il prezzo di acquisto per la tariffa oraria che ti viene proposta, e quello è il numero di ore di utilizzo necessarie affinché possedere sia più economico. Una RTX 3090 usata da 700$ si ripaga rispetto a una scheda noleggiata a cinquanta centesimi l'ora dopo 1.400 ore. Se usi la macchina due ore al giorno, sono quasi due anni, momento in cui la scheda sarà più vecchia e il modello che volevi eseguire sarà stato sostituito due volte.

Anche l'elettricità rientra nel calcolo. Una scheda che consuma 450 watt sotto carico per otto ore al giorno consuma 3,6 kilowattora; a venti centesimi per kilowattora sono circa 263$ all'anno, e anche di più se la stanza necessita di raffreddamento. Sostituisci con la tua tariffa, ma non tralasciare questa voce.

Esiste anche un livello genuinamente gratuito che vale la pena conoscere. La T4 fornita dai notebook Colab gratuiti ha 16GB e 320 GB/s, buoni per circa 40 token al secondo su un modello 8B. La P100 sulle sessioni Kaggle gratuite ha gli stessi 16GB ma 732 GB/s, che equivalgono a circa 92 token al secondo, comodamente davanti a una RTX 4060 Ti da 449$. Nessuna delle due è una workstation, entrambe hanno limiti di sessione ed entrambe sono eccellenti per scoprire se vale la pena acquistare hardware per un modello.

Consumer, workstation o datacenter

Il sovrapprezzo delle schede professionali garantisce quattro vantaggi: più memoria su una singola scheda, protezione ECC, raffreddamento progettato per rack ad alta densità e una licenza che permette l'uso in datacenter. Non garantisce proporzionalmente più larghezza di banda, che è il fattore che determina realmente il tuo token rate.

Leggi insieme le ultime due colonne. La RTX PRO 6000 Blackwell eguaglia una RTX 5090 in larghezza di banda e offre tre volte la memoria in un unico slot, a 89$ per gigabyte. È costosa rispetto a quattro RTX 3090 usate a 29$ per gigabyte, ma la singola scheda esegue Llama 3.3 70B a circa 30 token al secondo contro i circa 12 del rig a quattro schede, richiede uno slot PCIe invece di quattro e non necessita di un circuito dedicato. Una H100 costa 338$ per gigabyte e vale l'investimento solo quando molti utenti accedono alla macchina contemporaneamente, poiché il suo vantaggio in larghezza di banda è sfruttato meglio per il batching piuttosto che per una singola conversazione.

Diffida dell'etichetta datacenter presa da sola. La L4 costa 2.500$ per 24GB a 300 GB/s ed è progettata per basso consumo e alta densità, non per una veloce decodifica single-stream. Su un modello da 8B è stimata a circa 38 token al secondo, circa un terzo di quanto fa una RTX 3090 usata da 700$. È una scheda eccellente in un rack che richiede slot da 75 watt, ma una scelta scarsa per una scrivania.

Cosa offrono realmente più GPU

Il metodo predefinito per suddividere un modello tra più schede è per layer: la prima scheda contiene i layer da uno a venti, la seconda il resto, e lo stato nascosto viene passato sul bus una volta per ogni confine tra schede per ogni token. Questo passaggio è di poche centinaia di kilobyte, quindi uno slot a quattro linee è generalmente sufficiente e la larghezza di banda PCIe è raramente il collo di bottiglia che ci si aspetta. La capacità si somma in modo lineare.

La velocità no. Con una suddivisione per layer, solo una scheda calcola in ogni istante mentre le altre attendono il loro turno, quindi una singola conversazione vede all'incirca la larghezza di banda di una sola scheda meno il costo di sincronizzazione. Le stime in questa pagina lo riflettono: un modello da 8B su una RTX 4090 raggiunge circa 127 token al secondo, e lo stesso modello su due RTX 4090 raggiunge circa 102. Aggiungere una scheda ha rallentato l'utente singolo. Ne vale la pena solo quando la memoria extra ti permette di eseguire qualcosa che prima non potevi, o quando hai abbastanza utenti simultanei per mantenere occupate entrambe le schede.

Il parallelismo tensoriale è l'alternativa: ogni layer viene suddiviso tra tutte le schede in modo che calcolino insieme, il che aumenta la velocità single-stream. Inoltre scambia attivazioni a ogni layer invece che a ogni confine, quindi richiede un'interconnessione veloce e solitamente un numero di schede che divida equamente le attention heads. Sulle schede consumer senza NVLink è spesso deludente. Attenzione anche al calcolo della capacità: i 48GB in una configurazione a due RTX 4090 diventano circa 43,2 GB utilizzabili, che non sono sufficienti per Llama 3.3 70B a Q4 e un contesto da 8K, poiché richiede 46,4 GB.

Apple silicon: capacità per dollaro, al prezzo della larghezza di banda

La memoria unificata significa che CPU e GPU condividono un unico pool, quindi un Mac può dedicare molta più memoria a un modello rispetto a qualsiasi scheda grafica consumer. Un Mac Studio con 512GB costa circa 19$ per gigabyte, la capacità più economica in questo elenco, e un Mac Studio da 192GB costa circa 29$ per gigabyte. Detto questo, il limite di allocazione predefinito concede al runtime circa tre quarti della memoria installata, quindi considera 384 GB e 144 GB rispettivamente, anziché il valore nominale.

Il problema è la larghezza di banda, che varia enormemente nella gamma. Un Mac mini M4 ha 120 GB/s, che equivalgono a circa 13 token al secondo su un modello da 8B. Un MacBook Pro con M4 Pro ha 273 GB/s e offre circa 10 token al secondo su Gemma 3 27B, dove una RTX 4090 ne offre circa 43. Un M4 Max raggiunge 546 GB/s e un M2 Ultra raggiunge 800 GB/s, che è finalmente vicino a una buona scheda desktop. Quindi il compromesso è: acquista un Mac per modelli che nient'altro nel tuo budget può contenere, non per la velocità su modelli che già entrano in una GPU.

Due note pratiche. L'elaborazione del prompt è il punto debole: la potenza di calcolo disponibile per il passaggio di prefill parallelo è molto inferiore a quella di una GPU discreta, quindi i documenti lunghi richiedono sensibilmente più tempo per essere ingeriti, anche quando lo streaming successivo sembra rispettabile. E la capacità è comunque finita: DeepSeek R1 a Q4 richiede circa 410 GB, che superano anche i 384 GB che un Mac Studio da 512GB metterà effettivamente a disposizione. I modelli Mixture-of-experts sono dove questo hardware eccelle, perché richiedono capacità piuttosto che larghezza di banda.

AMD e Intel, onestamente

Sulla carta le opzioni non-NVIDIA sembrano forti. Una Radeon RX 7900 XTX ha 24GB a 960 GB/s per circa 900$, più larghezza di banda di una RTX 3090 usata per poco più denaro. Una Arc A770 offre 560 GB/s e 16GB per circa 280$, che è 2,00 GB/s per dollaro, il miglior rapporto di qualsiasi scheda in questo dataset. Una Instinct MI300X trasporta 192GB a 5300 GB/s per circa 15.000$, più memoria e più larghezza di banda di una H100 a circa metà prezzo.

Il divario è il software, e si è ridotto molto senza però chiudersi. Tutto ciò che è basato su llama.cpp funziona bene su entrambi i vendor tramite ROCm, Vulkan o SYCL, quindi i normali carichi di lavoro di chat e completamento vanno bene. L'attrito si manifesta ai margini: un nuovo formato di quantizzazione viene solitamente rilasciato prima con un kernel CUDA, alcune implementazioni di attention e percorsi di speculative decoding sono CUDA-only per mesi, gli stack di training e fine-tuning presuppongono NVIDIA molto più di quelli di inferenza, e la risposta di riferimento su un forum presupporrà CUDA. Metti in conto tempo piuttosto che denaro per questo.

La regola ragionevole: se vuoi eseguire modelli rilasciati con un runtime mainstream e ti piace smanettare, AMD e Intel sono un buon affare. Se il tuo lavoro dipende dalla capacità di adottare una tecnica di ricerca la settimana in cui viene pubblicata, o se devi fare fine-tuning oltre che servire, la tassa CUDA ti sta comprando qualcosa di reale.

Potenza, calore, rumore e il resto della macchina

Il consumo delle schede che le persone acquistano realmente varia da circa 350 watt per una RTX 3090 a 450 per una RTX 4090 e 575 per una RTX 5090. Aggiungi circa 150 watt per il resto del desktop e dimensiona l'alimentatore con un margine, perché queste schede assorbono brevi picchi transitori ben al di sopra del loro valore nominale e un alimentatore che lavora al limite scatterà invece di limitare le prestazioni. Una RTX 4090 è a suo agio con un'unità da 850 watt; due RTX 3090 richiedono 1000 watt o più.

Le build multi-scheda raggiungono il limite della presa a muro sorprendentemente in fretta. Quattro RTX 3090 a pieno regime consumano 1400 watt prima ancora di contare il resto del sistema, il che supera ciò che un circuito standard da 15 ampere e 120 volt può trasportare continuamente. Questo è il motivo pratico per cui i grandi rig domestici finiscono per essere limitati nella potenza, e la buona notizia è che limitare la potenza costa meno di quanto ti aspetteresti: la decodifica è limitata dalla larghezza di banda, la memoria continua a girare a piena velocità e limitare il core al settanta percento del valore di fabbrica costa tipicamente percentuali a una cifra del token rate, riducendo drasticamente calore e rumore.

Il raffreddamento merita una riflessione prima di ordinare. Le schede consumer sono design open-air che scaricano il calore nel case, quindi due di esse impilate in slot adiacenti si cuoceranno a vicenda a meno che la scheda madre non le distanzi o tu non usi cavi riser. I componenti datacenter come A100, H100, L40S e L4 sono raffreddati passivamente: non hanno ventole e dipendono dal violento flusso d'aria front-to-back di uno chassis rack. Inserirne una in un desktop ordinario è un modo ben noto per scoprire il thermal throttling. Le schede workstation di tipo blower sono il compromesso che funziona davvero in un tower.

Acquistare per un modello che non possiedi ancora

I pesi sono la parte prevedibile del conto. La cache è la parte che sorprende le persone, perché cresce linearmente con il contesto e non importa quanto bene tu abbia quantizzato il modello. Llama 3.1 8B a Q4 richiede 6,6 GB con un contesto da 8K e 22,8 GB al suo massimo di 128K, dove 16 GB sono solo di cache. Qwen3 32B passa da 22,8 GB a 8K a 55,2 GB a 128K. Se intendi dare in pasto a un modello intere codebase, dimensiona la scheda per la cache, non per i pesi.

L'architettura cambia molto questo aspetto. Gemma 3 27B usa la sliding-window attention sulla maggior parte dei suoi layer, quindi un contesto da 131K le costa circa 10,4 GB di cache, laddove un modello 32B convenzionale ne paga 32 GB. I modelli che usano la multi-head latent attention, come la famiglia DeepSeek, comprimono la cache ancora di più. Due modelli con lo stesso numero di parametri possono avere appetiti molto diversi su contesti lunghi, quindi controlla il valore reale invece di fare supposizioni.

Hai delle leve se sbagli. Quantizzare la cache stessa è la più sottoutilizzata: Llama 3.3 70B a Q4 con un contesto da 32K richiede 54,5 GB con una cache normale a 16-bit, 49,4 GB con una cache a 8-bit e 46,7 GB a 4-bit, con il costo in termini di qualità che ricade sul richiamo a lungo raggio piuttosto che sulla fluidità. Servire più persone cambia di nuovo il calcolo, perché i pesi vengono letti una volta per step per l'intero batch: otto stream simultanei di un modello da 8B richiedono 14,2 GB anziché 6,6, e ogni stream vede circa 56 token al secondo invece di 127, mentre la macchina nel suo complesso ne produce molti di più.

Quindi la lista di controllo per l'acquisto è breve. Decidi il modello più grande che prevedi seriamente di eseguire, alla quantizzazione con cui puoi convivere, al contesto che userai realmente. Aggiungi il venti percento per il runtime e per un rilascio di modello leggermente più grande del precedente. Confronta la larghezza di banda per dollaro tra le schede che superano tale soglia. Poi, prima di muovere denaro, esegui il modello tramite un endpoint ospitato per una settimana e scopri se lo vuoi davvero.