Buscador de GPU

El razonamiento detrás de la tabla

Por qué el ancho de banda de memoria, no el cómputo, determina sus tokens por segundo

Generar un token significa leer cada peso activo en el modelo más toda la key-value cache de la memoria, realizar una pequeña cantidad de aritmética en cada valor y escribir casi nada. La aritmética termina mucho antes de que llegue el siguiente lote de pesos. Es por eso que una tarjeta con un cómputo enorme y un ancho de banda de memoria modesto se siente lenta en un flujo de chat único, y por qué la columna de velocidad en la tabla anterior se deriva del ancho de banda en lugar de los teraflops.

La aritmética es lo suficientemente simple como para hacerla mentalmente. Divida el ancho de banda de la memoria por el número de bytes que el modelo lee por token y tendrá un límite superior en la velocidad de decodificación. Llama 3.1 8B en Q4_K_M contiene alrededor de 4.5 GB de pesos y aproximadamente 1 GB de caché en un contexto de 8K. Una RTX 5080 mueve 960 GB por segundo, por lo que en un mundo perfecto produciría un par de cientos de tokens por segundo; en la práctica, un runtime alcanza alrededor de tres cuartas partes del máximo, que es de donde proviene la estimación de 121 tokens por segundo.

La forma más clara de ver esto es mantener la capacidad constante. Cada tarjeta a continuación tiene exactamente 16GB, por lo que cada una de ellas contiene el mismo modelo 8B en la misma cuantización con espacio de sobra. Lo único que cambia es qué tan rápido la memoria alimenta al chip.

La diferencia es de más de tres a uno con capacidad idéntica, y el precio no lo sigue claramente. La RTX 5070 Ti es más barata que la RTX 4080 Super y aproximadamente un quinto más rápida. La RTX 4060 Ti cuesta más que una Arc A770 y genera la mitad de tokens por segundo. Si adopta un hábito de esta página, que sea este: lea la columna de ancho de banda antes que la columna de precio.

Una advertencia honesta. El ancho de banda gobierna la decodificación, que es la parte que ve transmitirse en la pantalla. Leer su prompt es una operación diferente: el modelo procesa todos los tokens de entrada en paralelo, lo que se convierte en una multiplicación de matriz densa que está limitada por el rendimiento aritmético. Una tarjeta con cómputo débil y buen ancho de banda comenzará a responder lentamente en un documento muy largo y luego se transmitirá rápidamente una vez que comience. Si su carga de trabajo es principalmente prompts largos y respuestas cortas, la imagen vuelve al cómputo bruto.

Una comparación detallada: un modelo, seis tarjetas

Qwen3 14B en Q4_K_M con un contexto de 8K necesita alrededor de 11.0 GB una vez que se cuentan los pesos, la caché y la sobrecarga del runtime. Ese es un objetivo exigente pero realista para un equipo de gama media, y separa las tarjetas de una manera instructiva.

Tres cosas se desprenden de esa tabla. La RTX 3060 técnicamente contiene el modelo pero deja 0.2 GB de margen, lo que significa que la primera conversación larga lo superará y forzará una recarga en un contexto más corto. La RTX 4060 Ti cabe cómodamente y es la tarjeta más lenta del grupo, porque combina una capacidad generosa con el bus de memoria más estrecho aquí. Y una RTX 3090 usada por aproximadamente $700 iguala a una nueva RTX 5070 Ti en velocidad mientras le da 7.4 GB más de memoria utilizable, que es la diferencia entre ejecutar un modelo 14B y ejecutar uno 24B.

El precipicio de los 24GB, y cómo planificarlo

Una tarjeta de 24GB anuncia 24GB y ofrece un runtime de unos 22.3 GB después de que el controlador, el contexto CUDA y la fragmentación del asignador toman su parte. Qwen3 32B en Q4_K_M con un contexto de 8K necesita 22.8 GB: 18.5 GB de pesos, 2.0 GB de caché y el resto de sobrecarga. Falla por medio gigabyte. Esta es la decepción más común en la inferencia local, y vale la pena entender las tres formas de solucionarlo.

Puede reducir el contexto. A 4K el mismo modelo necesita 21.7 GB, lo que la herramienta llama ajustado en lugar de imposible. Puede reducir la precisión. Q3_K_M lo reduce a 18.9 GB y eleva la estimación en una RTX 4090 de imposible a unos 42 tokens por segundo, a un costo de calidad que notará en razonamientos difíciles y apenas notará en resúmenes. O puede comprar el siguiente nivel de capacidad. Una RTX 5090 ofrece 29.8 GB utilizables, mantiene el modelo en Q4 con espacio para un contexto de 32K, y lo ejecuta a aproximadamente 61 tokens por segundo.

La lección general es que los niveles de capacidad son precipicios, no pendientes. Entre 22.3 GB y 29.8 GB de memoria utilizable no hay nada, por lo que un modelo que falla por medio gigabyte falla por la misma cantidad que uno que falla por cinco. Cuando compre, calcule el requisito en la longitud de contexto que realmente pretende usar, añada aproximadamente un veinte por ciento, y solo entonces busque tarjetas.

Los modelos Mixture-of-experts reescriben la lista de compras

Un modelo denso lee todos sus pesos para cada token. Un modelo Mixture-of-experts almacena muchos expertos y enruta cada token a través de un pequeño subconjunto de ellos, por lo que la memoria que lee por token es mucho menor que la memoria que ocupa. Eso desacopla las dos cosas que está buscando: la capacidad se establece por los parámetros totales, la velocidad se establece por los parámetros activos.

gpt-oss 120B es el ejemplo más claro. En su formato nativo MXFP4 necesita alrededor de 63.4 GB con un contexto de 8K, mucho más allá de cualquier tarjeta de consumo individual, pero solo 5.1B de parámetros están activos por token. En una RTX PRO 6000 Blackwell con 1792 GB/s se estima en aproximadamente 446 tokens por segundo. Llama 3.3 70B en Q4 es más pequeño en disco con 46.4 GB y se ejecuta en la misma tarjeta a unos 30 tokens por segundo, porque todos los 70.6B de parámetros se leen cada vez. Menor huella, quince veces más lento.

El mismo truco funciona más abajo en la gama. Qwen3 30B-A3B necesita 20.1 GB en Q4 con un contexto de 8K, que cabe en una RTX 4090, y solo 3.3B de parámetros están activos, por lo que la estimación es de unos 269 tokens por segundo. Qwen3 32B denso en la misma tarjeta no cabe en absoluto. Si está comprando capacidad con un presupuesto, un modelo Mixture-of-experts es la forma más barata de obtener un comportamiento de modelo grande en hardware moderado, y es el único caso en el que una máquina lenta pero espaciosa como un Mac tiene mucho sentido.

Nuevo, usado o alquilado

El mercado de segunda mano es donde reside la mayor parte del valor en esta lista. Una RTX 3090 por alrededor de $700 ofrece 936 GB/s y 24GB, lo que equivale a 1.34 GB/s por dólar. Una RTX 4090 nueva por alrededor de $1,600 ofrece 1008 GB/s, o 0.63 GB/s por dólar. Está pagando dos veces y media más por unidad de lo que determina su velocidad, a cambio de una garantía, menor consumo de energía y mejor soporte para formatos numéricos más nuevos. Ese es un intercambio real, pero es un intercambio en lugar de una actualización.

El alquiler es la base honesta contra la que debe medir una compra, y el punto de equilibrio es fácil de calcular: divida el precio de compra por la tarifa por hora que le cotizan, y esa es la cantidad de horas de uso que toma antes de que ser dueño sea más barato. Una RTX 3090 usada de $700 se paga sola frente a una tarjeta alquilada a cincuenta centavos la hora después de 1,400 horas. Si usa la máquina dos horas al día, eso es cerca de dos años, momento en el cual la tarjeta es más vieja y el modelo que quería ejecutar ha sido reemplazado dos veces.

La electricidad también pertenece al cálculo. Una tarjeta que consume 450 vatios bajo carga durante ocho horas al día consume 3.6 kilovatios hora; a veinte centavos por kilovatio hora eso es alrededor de $263 al año, y bastante más si la habitación necesita refrigeración. Sustituya su propia tarifa, pero no deje fuera la línea.

También hay un nivel genuinamente gratuito que vale la pena conocer. La T4 que ofrecen los notebooks gratuitos de Colab tiene 16GB y 320 GB/s, buena para aproximadamente 40 tokens por segundo en un modelo 8B. La P100 en sesiones gratuitas de Kaggle tiene los mismos 16GB pero 732 GB/s, lo que equivale a unos 92 tokens por segundo, cómodamente por delante de una RTX 4060 Ti de $449. Ninguna es una estación de trabajo, ambas vienen con límites de sesión, y ambas son excelentes para averiguar si vale la pena comprar hardware para un modelo.

Consumo, estación de trabajo o centro de datos

El sobreprecio de las tarjetas profesionales cubre cuatro aspectos: más memoria en una sola placa, protección ECC, refrigeración diseñada para racks de alta densidad y una licencia que permite el despliegue en centros de datos. No ofrece proporcionalmente más ancho de banda, que es lo que realmente determina su tasa de tokens.

Lea las dos últimas columnas juntas. La RTX PRO 6000 Blackwell iguala a una RTX 5090 en ancho de banda y le ofrece tres veces más memoria en una sola ranura, a 89 dólares por gigabyte. Es caro comparado con cuatro RTX 3090 usadas a 29 dólares por gigabyte, pero la tarjeta única ejecuta Llama 3.3 70B a aproximadamente 30 tokens por segundo frente a unos 12 del equipo de cuatro tarjetas, necesita una ranura PCIe en lugar de cuatro y no requiere un circuito dedicado. Una H100 cuesta 338 dólares por gigabyte y solo vale la pena cuando muchos usuarios acceden a la máquina a la vez, porque su ventaja de ancho de banda se aprovecha mejor en el procesamiento por lotes que en una sola conversación.

Desconfíe de la etiqueta de centro de datos por sí sola. La L4 cuesta 2.500 dólares por 24 GB a 300 GB/s y está diseñada para bajo consumo y alta densidad, no para una decodificación rápida de flujo único. En un modelo de 8B se estima en unos 38 tokens por segundo, aproximadamente un tercio de lo que hace una RTX 3090 usada de 700 dólares. Es una tarjeta excelente en un rack que necesita ranuras de setenta y cinco vatios, pero una mala opción para un escritorio.

Qué ofrecen realmente múltiples GPUs

La forma predeterminada de dividir un modelo entre tarjetas es por capas: la primera tarjeta contiene las capas de la uno a la veinte, la segunda contiene el resto, y el estado oculto se transfiere a través del bus una vez por límite de tarjeta por token. Esa transferencia es de unos pocos cientos de kilobytes, por lo que una ranura funcionando a cuatro carriles suele ser suficiente y el ancho de banda PCIe rara vez es el cuello de botella que la gente espera. La capacidad se suma de forma limpia.

La velocidad no. Con una división por capas, solo una tarjeta calcula en cualquier instante mientras las otras esperan su turno, por lo que una sola conversación ve aproximadamente el ancho de banda de una tarjeta menos el coste de sincronización. Las estimaciones en esta página reflejan esto: un modelo de 8B en una RTX 4090 alcanza cerca de 127 tokens por segundo, y el mismo modelo en dos RTX 4090 alcanza cerca de 102. Añadir una tarjeta hizo que un usuario fuera más lento. Solo vale la pena cuando la memoria adicional le permite ejecutar algo que no podía ejecutar antes, o cuando tiene suficientes usuarios simultáneos para mantener ambas tarjetas ocupadas.

El paralelismo de tensores es la alternativa: cada capa se divide entre todas las tarjetas para que calculen juntas, lo que aumenta la velocidad de flujo único. También intercambia activaciones en cada capa en lugar de en cada límite, por lo que requiere una interconexión rápida y, por lo general, un número de tarjetas que divida las cabezas de atención de manera uniforme. En placas de consumo sin NVLink suele ser decepcionante. Tenga cuidado también con la aritmética de capacidad: los 48 GB en una configuración de dos RTX 4090 se convierten en unos 43,2 GB utilizables, lo cual no es suficiente para Llama 3.3 70B en Q4 y un contexto de 8K, ya que eso requiere 46,4 GB.

Apple silicon: capacidad por dólar, a un precio en ancho de banda

La memoria unificada significa que la CPU y la GPU comparten un mismo pool, por lo que un Mac puede dedicar mucha más memoria a un modelo que cualquier tarjeta gráfica de consumo. Un Mac Studio con 512 GB sale a unos 19 dólares por gigabyte, la capacidad más barata de toda esta lista, y un Mac Studio de 192 GB cuesta unos 29 dólares por gigabyte. Frente a esto, el límite de asignación predeterminado entrega al runtime alrededor de tres cuartas partes de la memoria instalada, así que planifique con 384 GB y 144 GB respectivamente en lugar de la cifra nominal.

El problema es el ancho de banda, y varía enormemente en toda la gama. Un Mac mini M4 tiene 120 GB/s, lo que equivale a unos 13 tokens por segundo en un modelo de 8B. Un MacBook Pro con M4 Pro tiene 273 GB/s y ofrece unos 10 tokens por segundo en Gemma 3 27B, donde una RTX 4090 ofrece unos 43. Un M4 Max alcanza los 546 GB/s y un M2 Ultra los 800 GB/s, lo que finalmente se acerca a una buena tarjeta de escritorio. Así que el intercambio es: compre un Mac para modelos que nada más en su presupuesto pueda albergar, no por la velocidad en modelos que ya caben en una GPU.

Dos notas prácticas. El procesamiento de prompts es el punto débil: la capacidad de cómputo disponible para la pasada de prefill paralelo está muy por detrás de una GPU discreta, por lo que los documentos largos tardan notablemente más en ingerirse, incluso cuando el streaming posterior parece aceptable. Y la capacidad sigue siendo finita: DeepSeek R1 en Q4 necesita aproximadamente 410 GB, lo que desborda incluso los 384 GB que un Mac Studio de 512 GB realmente entregará. Los modelos de mezcla de expertos (Mixture-of-experts) son donde este hardware brilla, porque requieren capacidad en lugar de ancho de banda.

AMD e Intel, sinceramente

Sobre el papel, las opciones que no son NVIDIA parecen sólidas. Una Radeon RX 7900 XTX tiene 24 GB a 960 GB/s por unos 900 dólares, más ancho de banda que una RTX 3090 usada por un poco más de dinero. Una Arc A770 ofrece 560 GB/s y 16 GB por unos 280 dólares, lo que supone 2,00 GB/s por dólar, la mejor relación de cualquier tarjeta en este conjunto de datos. Una Instinct MI300X lleva 192 GB a 5300 GB/s por unos 15.000 dólares, más memoria y más ancho de banda que una H100 a aproximadamente la mitad del precio.

La brecha es el software, y se ha reducido mucho sin llegar a cerrarse. Todo lo construido sobre llama.cpp funciona bien en ambos proveedores a través de ROCm, Vulkan o SYCL, por lo que las cargas de trabajo ordinarias de chat y completado están bien. La fricción aparece en los bordes: un nuevo formato de cuantización suele lanzarse primero con un kernel CUDA, algunas implementaciones de atención y rutas de decodificación especulativa son solo para CUDA durante meses, las pilas de entrenamiento y ajuste fino asumen NVIDIA mucho más que las pilas de inferencia, y la respuesta de referencia en un foro asumirá CUDA. Reserve tiempo en lugar de dinero para eso.

La regla razonable: si desea ejecutar modelos lanzados con un runtime convencional y le gusta experimentar, AMD e Intel son una buena opción. Si su trabajo depende de poder adoptar una técnica de investigación la semana en que se publica, o necesita realizar ajustes finos además de servir, el impuesto CUDA le está comprando algo real.

Energía, calor, ruido y el resto de la máquina

El consumo de energía de las tarjetas que la gente realmente compra va desde unos 350 vatios para una RTX 3090 hasta 450 para una RTX 4090 y 575 para una RTX 5090. Añada unos ciento cincuenta vatios para el resto del equipo de escritorio y dimensione la fuente de alimentación con margen, porque estas tarjetas generan breves picos transitorios muy por encima de su cifra nominal y una fuente que funcione al límite se apagará en lugar de reducir el rendimiento. Una RTX 4090 funciona bien con una unidad de 850 vatios; dos RTX 3090 requieren 1000 vatios o más.

Los equipos con múltiples tarjetas alcanzan el límite del enchufe de pared sorprendentemente rápido. Cuatro RTX 3090 a pleno rendimiento consumen 1400 vatios antes de contar el resto del sistema, lo que excede lo que un circuito estándar de 15 amperios y 120 voltios puede soportar continuamente. Esta es la razón práctica por la que los grandes equipos domésticos terminan limitados por energía, y la buena noticia es que limitar la energía cuesta menos de lo que cabría esperar: la decodificación está limitada por el ancho de banda, la memoria sigue funcionando a toda velocidad, y limitar el núcleo al setenta por ciento del valor de fábrica suele costar un porcentaje de un solo dígito en la tasa de tokens, mientras reduce drásticamente el calor y el ruido.

La refrigeración merece una reflexión antes de realizar el pedido. Las tarjetas de consumo son diseños de aire abierto que expulsan el calor dentro de la caja, por lo que dos de ellas apiladas en ranuras adyacentes se cocinarán entre sí a menos que la placa las separe o utilice cables riser. Las piezas de centro de datos como la A100, H100, L40S y L4 están refrigeradas pasivamente: no tienen ventiladores y dependen del flujo de aire violento de adelante hacia atrás de un chasis de rack. Colocar una en un escritorio normal es una forma bien conocida de descubrir el thermal throttling. Las tarjetas de estación de trabajo tipo blower son el compromiso que realmente funciona en una torre.

Comprar para un modelo que aún no posee

Los pesos son la parte predecible de la factura. La caché es la parte que sorprende a la gente, porque crece linealmente con el contexto y no le importa qué tan bien haya cuantizado el modelo. Llama 3.1 8B en Q4 necesita 6,6 GB en un contexto de 8K y 22,8 GB en sus 128K completos, donde 16 GB de eso es solo caché. Qwen3 32B pasa de 22,8 GB a 8K a 55,2 GB a 128K. Si tiene la intención de alimentar un modelo con bases de código completas, dimensione la tarjeta para la caché, no para los pesos.

La arquitectura cambia esto mucho. Gemma 3 27B utiliza atención de ventana deslizante en la mayoría de sus capas, por lo que un contexto de 131K le cuesta unos 10,4 GB de caché, mientras que un modelo convencional de 32B paga 32 GB. Los modelos que utilizan atención latente de múltiples cabezas, como la familia DeepSeek, comprimen la caché aún más. Dos modelos con el mismo recuento de parámetros pueden tener apetitos muy diferentes en contextos largos, así que verifique la cifra real en lugar de asumir.

Tiene palancas si se equivoca. Cuantizar la caché en sí misma es la más subutilizada: Llama 3.3 70B en Q4 con un contexto de 32K necesita 54,5 GB con una caché normal de 16 bits, 49,4 GB con una caché de 8 bits y 46,7 GB a 4 bits, con el coste de calidad recayendo en la recuperación a largo plazo en lugar de en la fluidez. Servir a varias personas cambia la aritmética de nuevo, porque los pesos se leen una vez por paso para todo el lote: ocho flujos concurrentes de un modelo de 8B necesitan 14,2 GB en lugar de 6,6, y cada flujo ve unos 56 tokens por segundo en lugar de 127, mientras que la máquina en su conjunto produce mucho más.

Así que la lista de verificación de compra es corta. Decida el modelo más grande que espera ejecutar seriamente, con la cuantización con la que pueda vivir, en el contexto que realmente usará. Añada un veinte por ciento para el runtime y para un lanzamiento de modelo que sea ligeramente más grande que el anterior. Compare el ancho de banda por dólar entre las tarjetas que superan ese listón. Luego, antes de mover dinero, ejecute el modelo a través de un endpoint alojado durante una semana y descubra si realmente lo quiere.