Localizador de GPU

O raciocínio por trás da tabela

Por que a largura de banda da memória, e não o processamento, define seus tokens por segundo

Gerar um token significa ler cada peso ativo no modelo mais todo o key-value cache da memória, realizar uma pequena quantidade de aritmética em cada valor e escrever quase nada de volta. A aritmética termina muito antes que o próximo lote de pesos chegue. É por isso que uma placa com enorme poder de processamento e largura de banda de memória modesta parece lenta em um fluxo de chat único, e por que a coluna de velocidade na tabela acima é derivada da largura de banda em vez de teraflops.

A aritmética é simples o suficiente para fazer de cabeça. Divida a largura de banda da memória pelo número de bytes que o modelo lê por token e você terá um limite superior na velocidade de decodificação. Llama 3.1 8B em Q4_K_M ocupa cerca de 4,5 GB de pesos e aproximadamente 1 GB de cache em um contexto de 8K. Uma RTX 5080 move 960 GB por segundo, então em um mundo perfeito ela produziria algumas centenas de tokens por segundo; na prática, um runtime atinge cerca de três quartos do pico, que é de onde vem a estimativa de 121 tokens por segundo.

A maneira mais clara de ver isso é manter a capacidade constante. Cada placa abaixo tem exatamente 16GB, então cada uma delas comporta o mesmo modelo 8B na mesma quantização com espaço de sobra. A única coisa que muda é a rapidez com que a memória alimenta o chip.

A diferença é de mais de três para um em capacidade idêntica, e o preço não acompanha isso de forma clara. A RTX 5070 Ti é mais barata que a RTX 4080 Super e aproximadamente um quinto mais rápida. A RTX 4060 Ti custa mais que uma Arc A770 e gera metade dos tokens por segundo. Se você levar um hábito desta página, que seja este: leia a coluna de largura de banda antes da coluna de preço.

Uma ressalva honesta. A largura de banda governa a decodificação, que é a parte que você vê sendo transmitida na tela. Ler seu prompt é uma operação diferente: o modelo processa todos os tokens de entrada em paralelo, o que se transforma em uma multiplicação de matriz densa que é limitada pelo throughput aritmético. Uma placa com processamento fraco e boa largura de banda começará a responder lentamente em um documento muito longo e depois transmitirá rapidamente assim que começar. Se sua carga de trabalho é composta principalmente por prompts longos e respostas curtas, o cenário volta para o processamento bruto.

Uma comparação prática: um modelo, seis placas

Qwen3 14B em Q4_K_M com um contexto de 8K precisa de cerca de 11,0 GB quando pesos, cache e overhead do runtime são contabilizados. Esse é um alvo exigente, mas realista para uma montagem intermediária, e separa as placas de uma maneira instrutiva.

Três coisas se destacam nessa tabela. A RTX 3060 tecnicamente comporta o modelo, mas deixa 0,2 GB de folga, o que significa que a primeira conversa longa a levará ao limite e forçará um recarregamento em um contexto mais curto. A RTX 4060 Ti cabe confortavelmente e é a placa mais lenta do grupo, porque combina capacidade generosa com o barramento de memória mais estreito aqui. E uma RTX 3090 usada por cerca de US$ 700 iguala uma RTX 5070 Ti nova em velocidade, enquanto oferece 7,4 GB a mais de memória utilizável, o que é a diferença entre rodar um modelo 14B e rodar um 24B.

O penhasco dos 24GB, e como planejar em torno dele

Uma placa de 24GB anuncia 24GB e oferece um runtime de cerca de 22,3 GB após o driver, o contexto CUDA e a fragmentação do alocador tirarem sua parte. Qwen3 32B em Q4_K_M com um contexto de 8K precisa de 22,8 GB: 18,5 GB de pesos, 2,0 GB de cache e o restante de overhead. Falta meio gigabyte. Essa é a decepção mais comum na inferência local, e vale a pena entender as três saídas para isso.

Você pode reduzir o contexto. Em 4K, o mesmo modelo precisa de 21,7 GB, o que a ferramenta chama de apertado em vez de impossível. Você pode reduzir a precisão. Q3_K_M reduz para 18,9 GB e eleva a estimativa em uma RTX 4090 de impossível para cerca de 42 tokens por segundo, a um custo de qualidade que você notará em raciocínios complexos e mal notará em resumos. Ou você pode comprar o próximo nível de capacidade. Uma RTX 5090 oferece 29,8 GB utilizáveis, comporta o modelo em Q4 com espaço para um contexto de 32K e o executa a cerca de 61 tokens por segundo.

A lição geral é que os níveis de capacidade são penhascos, não encostas. Entre 22,3 GB e 29,8 GB de memória utilizável não há nada, então um modelo que falta meio gigabyte falta a mesma quantidade que um que falta cinco. Ao comprar, calcule o requisito no comprimento de contexto que você realmente pretende usar, adicione cerca de vinte por cento e só então procure pelas placas.

Modelos Mixture-of-experts reescrevem a lista de compras

Um modelo denso lê todos os seus pesos para cada token. Um modelo mixture-of-experts armazena muitos especialistas e roteia cada token através de um pequeno subconjunto deles, então a memória que ele lê por token é muito menor do que a memória que ele ocupa. Isso desacopla as duas coisas que você está comprando: a capacidade é definida pelos parâmetros totais, a velocidade é definida pelos parâmetros ativos.

gpt-oss 120B é o exemplo mais claro. Em seu formato nativo MXFP4, ele precisa de cerca de 63,4 GB com um contexto de 8K, muito além de qualquer placa de consumidor única, mas apenas 5,1B de parâmetros estão ativos por token. Em uma RTX PRO 6000 Blackwell com 1792 GB/s, estima-se cerca de 446 tokens por segundo. Llama 3.3 70B em Q4 é menor em disco com 46,4 GB e roda na mesma placa a cerca de 30 tokens por segundo, porque todos os 70,6B de parâmetros são lidos a cada vez. Pegada menor, quinze vezes mais lento.

O mesmo truque funciona mais abaixo na gama. Qwen3 30B-A3B precisa de 20,1 GB em Q4 com um contexto de 8K, que cabe em uma RTX 4090, e apenas 3,3B de parâmetros estão ativos, então a estimativa é de cerca de 269 tokens por segundo. O Qwen3 32B denso na mesma placa não cabe de jeito nenhum. Se você está comprando capacidade com orçamento limitado, um modelo mixture-of-experts é a maneira mais barata de obter comportamento de modelo grande em hardware moderado, e é o único caso em que uma máquina lenta, mas espaçosa, como um Mac, faz muito sentido.

Novo, usado ou alugado

O mercado de usados é onde reside a maior parte do valor nesta lista. Uma RTX 3090 por cerca de US$ 700 entrega 936 GB/s e 24GB, o que resulta em 1,34 GB/s por dólar. Uma RTX 4090 nova por cerca de US$ 1.600 entrega 1008 GB/s, ou 0,63 GB/s por dólar. Você está pagando duas vezes e meia mais por unidade da coisa que determina sua velocidade, em troca de uma garantia, menor consumo de energia e melhor suporte para formatos numéricos mais novos. Essa é uma troca real, mas é uma troca em vez de um upgrade.

Alugar é a base honesta contra a qual você deve medir uma compra, e o ponto de equilíbrio é fácil de calcular: divida o preço de compra pela taxa horária que lhe foi informada, e esse é o número de horas de uso necessárias para que possuir seja mais barato. Uma RTX 3090 usada de US$ 700 se paga em relação a uma placa alugada a cinquenta centavos por hora após 1.400 horas. Se você usar a máquina duas horas por dia, isso chega a quase dois anos, tempo pelo qual a placa estará mais velha e o modelo que você queria rodar terá sido substituído duas vezes.

A eletricidade também faz parte do cálculo. Uma placa consumindo 450 watts sob carga por oito horas por dia consome 3,6 quilowatts-hora; a vinte centavos por quilowatt-hora, isso dá cerca de US$ 263 por ano, e um pouco mais se a sala precisar de refrigeração. Substitua pela sua própria tarifa, mas não deixe essa linha de fora.

Existe também um nível genuinamente gratuito que vale a pena conhecer. A T4 que os notebooks Colab gratuitos oferecem tem 16GB e 320 GB/s, bom para cerca de 40 tokens por segundo em um modelo 8B. A P100 nas sessões gratuitas do Kaggle tem os mesmos 16GB, mas 732 GB/s, o que resulta em cerca de 92 tokens por segundo, confortavelmente à frente de uma RTX 4060 Ti de US$ 449. Nenhuma delas é uma workstation, ambas vêm com limites de sessão e ambas são excelentes para descobrir se vale a pena comprar hardware para um modelo.

Consumidor, workstation ou datacenter

O preço premium em placas profissionais compra quatro coisas: mais memória em uma única placa, proteção ECC, resfriamento projetado para racks densos e uma licença que permite a implantação em datacenter. Ele não compra proporcionalmente mais largura de banda, que é o que realmente decide sua taxa de tokens.

Leia as duas últimas colunas juntas. A RTX PRO 6000 Blackwell empata com uma RTX 5090 em largura de banda e lhe dá três vezes mais memória em um único slot, a US$ 89 por gigabyte. Isso é caro comparado a quatro RTX 3090 usadas a US$ 29 por gigabyte, mas a placa única executa o Llama 3.3 70B a aproximadamente 30 tokens por segundo, contra cerca de 12 para o conjunto de quatro placas, precisa de um slot PCIe em vez de quatro e não requer um circuito dedicado. Uma H100 custa US$ 338 por gigabyte e só vale a pena quando muitos usuários estão acessando a máquina ao mesmo tempo, porque sua vantagem de largura de banda é melhor aproveitada em processamento em lote do que em uma única conversa.

Desconfie do selo de datacenter por si só. A L4 custa US$ 2.500 por 24GB a 300 GB/s e foi projetada para baixo consumo e alta densidade, não para decodificação rápida de fluxo único. Em um modelo 8B, estima-se cerca de 38 tokens por segundo, aproximadamente um terço do que uma RTX 3090 usada de US$ 700 faz. É uma placa excelente em um rack que precisa de slots de setenta e cinco watts, e uma escolha ruim para uma mesa.

O que múltiplas GPUs realmente oferecem

A maneira padrão de dividir um modelo entre placas é por camada: a primeira placa mantém as camadas de um a vinte, a segunda mantém o restante, e o estado oculto é transferido pelo barramento uma vez por limite de placa por token. Essa transferência é de algumas centenas de kilobytes, então um slot operando a quatro vias geralmente é suficiente e a largura de banda PCIe raramente é o gargalo que as pessoas esperam que seja. A capacidade se soma de forma limpa.

A velocidade não. Com uma divisão de camadas, apenas uma placa está computando a qualquer instante enquanto as outras esperam sua vez, então uma única conversa vê aproximadamente a largura de banda de uma placa menos o custo de sincronização. As estimativas nesta página refletem isso: um modelo 8B em uma RTX 4090 chega perto de 127 tokens por segundo, e o mesmo modelo em duas RTX 4090s chega perto de 102. Adicionar uma placa tornou um usuário mais lento. Só vale a pena quando a memória extra permite que você execute algo que não conseguia antes, ou quando você tem usuários simultâneos suficientes para manter ambas as placas ocupadas.

O paralelismo de tensores é a alternativa: cada camada é fatiada entre todas as placas para que computem juntas, o que aumenta a velocidade de fluxo único. Ele também troca ativações em cada camada em vez de em cada limite, então requer uma interconexão rápida e geralmente exige uma contagem de placas que divida as cabeças de atenção uniformemente. Em placas de consumo sem NVLink, é frequentemente decepcionante. Fique atento à aritmética de capacidade também: os 48GB em uma configuração de duas RTX 4090 tornam-se cerca de 43,2 GB utilizáveis, o que não é suficiente para o Llama 3.3 70B em Q4 e um contexto de 8K, já que isso requer 46,4 GB.

Apple silicon: capacidade por dólar, a um preço em largura de banda

Memória unificada significa que a CPU e a GPU compartilham um único pool, então um Mac pode dedicar muito mais memória a um modelo do que qualquer placa de vídeo de consumo. Um Mac Studio com 512GB sai por cerca de US$ 19 por gigabyte, a capacidade mais barata em toda esta lista, e um Mac Studio de 192GB custa cerca de US$ 29 por gigabyte. Contra isso, o limite de alocação padrão entrega ao runtime cerca de três quartos da memória instalada, então planeje com 384 GB e 144 GB, respectivamente, em vez do valor nominal.

O problema é a largura de banda, e ela varia enormemente ao longo da linha. Um Mac mini M4 tem 120 GB/s, o que equivale a cerca de 13 tokens por segundo em um modelo 8B. Um MacBook Pro com M4 Pro tem 273 GB/s e entrega cerca de 10 tokens por segundo no Gemma 3 27B, onde uma RTX 4090 entrega cerca de 43. Um M4 Max atinge 546 GB/s e um M2 Ultra atinge 800 GB/s, o que finalmente está na vizinhança de uma boa placa de desktop. Portanto, o formato da troca é: compre um Mac para modelos que nada mais no seu orçamento pode comportar, não pela velocidade em modelos que já cabem em uma GPU.

Duas notas práticas. O processamento de prompt é o ponto fraco: a computação disponível para a passagem de preenchimento paralelo fica bem atrás de uma GPU discreta, então documentos longos levam visivelmente mais tempo para serem ingeridos, mesmo quando o streaming posterior parece respeitável. E a capacidade ainda é finita: o DeepSeek R1 em Q4 precisa de cerca de 410 GB, o que transborda até mesmo os 384 GB que um Mac Studio de 512GB realmente entregará. Modelos de mistura de especialistas (Mixture-of-experts) são onde este hardware brilha, porque eles exigem capacidade em vez de largura de banda.

AMD e Intel, honestamente

No papel, as opções que não são NVIDIA parecem fortes. Uma Radeon RX 7900 XTX tem 24GB a 960 GB/s por cerca de US$ 900, mais largura de banda do que uma RTX 3090 usada por um pouco mais de dinheiro. Uma Arc A770 oferece 560 GB/s e 16GB por cerca de US$ 280, o que é 2,00 GB/s por dólar, a melhor proporção de qualquer placa neste conjunto de dados. Uma Instinct MI300X carrega 192GB a 5300 GB/s por cerca de US$ 15.000, mais memória e mais largura de banda do que uma H100 pela metade do preço, aproximadamente.

A lacuna é o software, e ela diminuiu muito sem se fechar. Qualquer coisa construída sobre o llama.cpp roda bem em ambos os fornecedores via ROCm, Vulkan ou SYCL, então cargas de trabalho comuns de chat e completação estão bem. O atrito aparece nas bordas: um novo formato de quantização geralmente é lançado primeiro com um kernel CUDA, algumas implementações de atenção e caminhos de decodificação especulativa são exclusivos para CUDA por meses, pilhas de treinamento e fine-tuning assumem NVIDIA muito mais do que pilhas de inferência, e a resposta de referência em um fórum assumirá CUDA. Reserve tempo, em vez de dinheiro, para isso.

A regra razoável: se você quer executar modelos lançados com um runtime convencional e gosta de fazer ajustes, AMD e Intel são um bom custo-benefício. Se o seu trabalho depende de poder adotar uma técnica de pesquisa na semana em que ela é publicada, ou se você precisa fazer fine-tuning além de servir, o imposto CUDA está lhe comprando algo real.

Energia, calor, ruído e o restante da máquina

O consumo de energia das placas que as pessoas realmente compram varia de cerca de 350 watts para uma RTX 3090 a 450 para uma RTX 4090 e 575 para uma RTX 5090. Adicione cerca de cento e cinquenta watts para o restante de um desktop e dimensione a fonte de alimentação com margem, porque essas placas puxam picos transientes breves bem acima de seu valor nominal e uma fonte operando no limite irá desarmar em vez de reduzir o desempenho. Uma RTX 4090 fica confortável em uma unidade de 850 watts; duas RTX 3090s pedem 1000 watts ou mais.

Montagens com múltiplas placas atingem o limite da tomada surpreendentemente rápido. Quatro RTX 3090s em carga total consomem 1400 watts antes do restante do sistema, o que excede o que um circuito padrão de 15 ampères e 120 volts suportará continuamente. Esta é a razão prática pela qual grandes rigs domésticos acabam limitados por energia, e a boa notícia é que limitar a energia custa menos do que você esperaria: a decodificação é limitada pela largura de banda, a memória continua rodando na velocidade máxima, e limitar o núcleo a setenta por cento do padrão geralmente custa porcentagens de um dígito na taxa de tokens, enquanto reduz drasticamente o calor e o ruído.

O resfriamento merece uma reflexão antes de você fazer o pedido. Placas de consumo são designs de ar aberto que despejam calor dentro do gabinete, então duas delas empilhadas em slots adjacentes cozinharão uma à outra, a menos que a placa-mãe as espace ou você use cabos riser. Peças de datacenter como a A100, H100, L40S e L4 são resfriadas passivamente: elas não têm ventoinhas e dependem do fluxo de ar violento de frente para trás de um chassi de rack. Colocar uma em um desktop comum é uma maneira bem conhecida de descobrir o thermal throttling. Placas de workstation estilo blower são o compromisso que realmente funciona em uma torre.

Comprando para um modelo que você ainda não possui

Os pesos são a parte previsível da conta. O cache é a parte que surpreende as pessoas, porque ele cresce linearmente com o contexto e não se importa com o quão bem você quantizou o modelo. O Llama 3.1 8B em Q4 precisa de 6,6 GB em um contexto de 8K e 22,8 GB em seus 128K completos, onde 16 GB disso é apenas cache. O Qwen3 32B vai de 22,8 GB em 8K para 55,2 GB em 128K. Se você pretende alimentar um modelo com bases de código inteiras, dimensione a placa para o cache, não para os pesos.

A arquitetura muda muito isso. O Gemma 3 27B usa atenção de janela deslizante (sliding-window attention) na maioria de suas camadas, então um contexto de 131K custa cerca de 10,4 GB de cache, onde um modelo 32B convencional paga 32 GB. Modelos que usam atenção latente de múltiplas cabeças (multi-head latent attention), como a família DeepSeek, comprimem o cache ainda mais. Dois modelos com a mesma contagem de parâmetros podem ter apetites muito diferentes em contextos longos, então verifique o valor real em vez de supor.

Você tem alavancas se errar. Quantizar o próprio cache é a mais subutilizada: o Llama 3.3 70B em Q4 com um contexto de 32K precisa de 54,5 GB com um cache normal de 16 bits, 49,4 GB com um cache de 8 bits e 46,7 GB em 4 bits, com o custo de qualidade recaindo sobre a recuperação de longo alcance em vez da fluência. Servir várias pessoas muda a aritmética novamente, porque os pesos são lidos uma vez por passo para todo o lote: oito fluxos simultâneos de um modelo 8B precisam de 14,2 GB em vez de 6,6, e cada fluxo vê cerca de 56 tokens por segundo em vez de 127, enquanto a máquina como um todo produz muito mais.

Portanto, a lista de verificação de compra é curta. Decida o maior modelo que você espera executar seriamente, na quantização com a qual você pode conviver, no contexto que você realmente usará. Adicione vinte por cento para o runtime e para um lançamento de modelo que seja ligeiramente maior que o anterior. Compare a largura de banda por dólar entre as placas que superam essa marca. Então, antes de qualquer dinheiro se mover, execute o modelo através de um endpoint hospedado por uma semana e descubra se você realmente o quer.