Buscador de modelos

Método

Cómo elegir realmente un modelo de pesos abiertos

La mayoría de las listas de modelos comienzan con la pregunta de cuál es el mejor, y nunca se recuperan de ella, porque "mejor" no es una propiedad intrínseca del modelo. Es una propiedad del modelo, una tarea, una licencia y un hardware específico considerados en conjunto. Lo útil es ordenar tus restricciones para que la más difícil y menos negociable vaya primero. Aplicado a los modelos de esta tabla, ese orden suele reducir la lista a unos pocos en dos pasos.

1. Establece el presupuesto de memoria en gigabytes, no en parámetros. El conteo de parámetros no significa nada hasta que eliges una precisión y una longitud de contexto. De los 63 modelos aquí, 44 caben en 24 GB en Q4_K_M con un contexto de 4K, 35 caben en 16 GB y solo 24 caben en 8 GB. Escribe tu número real en el cuadro de presupuesto de arriba y observa cómo se reduce la tabla.
2. Decide tu longitud de contexto antes de hacer la preselección, no después. El contexto se paga en KV cache, y en algunas arquitecturas ese costo es enorme. Command R 35B cuesta 27.4 GB a 4K y 194.8 GB a 128K. Qwen3 32B pasa de 21.7 GB a 55.2 GB en el mismo rango. Preselecciona a 4K, despliega a 128K, y descubrirás la diferencia en el peor momento posible.
3. Filtra por licencia antes que por capacidad. La capacidad es una cuestión de grado y normalmente puedes sacrificar un poco. Una licencia que prohíbe tu caso de uso es un muro. 39 de estos modelos son Apache 2.0, MIT o MIT modificado; los otros 24 tienen condiciones que van desde una atribución leve hasta la prohibición total de uso comercial.
4. Solo ahora filtra por en qué es bueno el modelo. Los chips de capacidad de arriba usan las etiquetas que los laboratorios y la comunidad aplican: code, reasoning, vision, agents, multilingual, rag, edge, long-context. Elige una o dos, no cinco. Cada etiqueta adicional que exiges te empuja hacia un modelo más grande de lo que el trabajo requiere.
5. Preselecciona tres modelos en lugar de uno y pruébalos con tus propios datos. De treinta a cincuenta ejemplos reales de tu carga de trabajo separarán a los candidatos más rápido, y con mucha más honestidad, que cualquier leaderboard público. Quédate con los dos que perdieron. Los modelos se reemplazan cada pocos meses y el harness de evaluación es la parte que vale la pena conservar.

Una regla más que ahorra muchos problemas: elige el modelo más pequeño que supere tu estándar de calidad y detente. El margen que no utilizas se paga en latencia en cada solicitud, en electricidad y en una tarjeta que permanece mayormente inactiva entre solicitudes.

Dense, mixture of experts y el número que determina su hardware

Cada modelo en esta tabla incluye dos cifras de parámetros, las cuales responden a dos preguntas distintas. Los parámetros totales determinan cuánta memoria necesita, ya que cada peso debe residir donde la GPU pueda acceder a él rápidamente. Los parámetros activos determinan la velocidad de ejecución, puesto que generar un token solo lee los pesos por los que ese token se enruta. En un modelo dense, ambos números son idénticos y no requieren consideración. En un mixture of experts, pueden diferir por un factor de treinta, y todo el diseño existe para hacer útil esa diferencia.

Lea la tabla como un intercambio, no como una clasificación. Un mixture of experts convierte memoria en velocidad. Usted compra suficiente VRAM para albergar a cada experto y luego utiliza una pequeña parte de ellos en cada token, por lo que la decodificación es rápida y el modelo es más inteligente de lo que sugiere su número de parámetros activos. Es un buen intercambio cuando la memoria es el recurso que le sobra y la latencia es el que le falta.

Es un mal intercambio en la situación opuesta, que es donde se encuentra la mayoría de la gente. Si tiene una tarjeta de 24GB, un MoE gasta su recurso más escaso en pesos que apenas toca. Qwen3 30B-A3B con 19.7 GB y Qwen3 32B con 21.7 GB ocupan casi la misma memoria, pero el modelo dense pone diez veces más cómputo detrás de cada token. En una sola tarjeta sin presión de throughput, el dense 32B suele ser la mejor respuesta; en una máquina que sirve a muchos usuarios concurrentes, el MoE gana cómodamente.

Hay un segundo efecto que vale la pena conocer. Debido a que un MoE lee muy pocos pesos por token, es mucho menos sensible al ancho de banda de memoria, que es precisamente la restricción que hace que los modelos dense grandes se sientan lentos en hardware de consumo y en Apple silicon. Por eso gpt-oss 120B, a pesar de necesitar unos 72 GB, genera más rápido en una máquina de memoria unificada grande que un dense 70B que necesita 45 GB. La capacidad y la velocidad se deciden por números diferentes, y el filtro mixture-of-experts de arriba le permite separar ambos.

Por qué dos modelos del mismo tamaño pueden requerir máquinas diferentes

La columna de attention parece trivial, pero no lo es. Decide qué tan costoso es su contexto y, en contextos largos, puede importar más que el número de parámetros. Aquí se muestra lo que el mismo salto de 4K a 128K hace a los modelos en los cuatro diseños de attention de este catálogo.

Phi-3.5 mini es la entrada que debería cambiar su forma de comprar. Es un modelo de 3.8B, el tipo de cosa que la gente asume que corre en cualquier lugar, y en su contexto completo anunciado de 128K necesita unos 55 GB porque almacena 32 cabezas key-value completas en cada capa. Mientras tanto, un DeepSeek R1 de 671B añade solo nueve gigabytes al pasar de 4K a 128K, porque multi-head latent attention comprime las keys y values en un único vector pequeño por token por capa. El tamaño no decidió ninguno de los resultados; la geometría sí.

La lectura práctica es simple. Si su carga de trabajo son prompts cortos, ignore la columna de attention por completo y compre basándose en los pesos. Si su carga de trabajo son documentos largos, repositorios completos o grandes payloads de recuperación, ordene primero por diseño de attention: los modelos sliding-window como la familia Gemma 3 y gpt-oss se mantienen casi planos a medida que crece el contexto, los modelos grouped-query crecen a un ritmo manejable, y los modelos full multi-head se vuelven inasequibles en algún punto entre 32K y 128K, sin importar lo pequeños que parezcan sobre el papel.

Qué significa realmente la columna de licence

Open weights y open source no son lo mismo, y esa brecha es donde residen la mayoría de las sorpresas legales. Cualquiera puede descargar todos los modelos en esta página. Lo que puede hacer con ellos varía desde genuinamente sin restricciones hasta explícitamente no comercial. Estas son las familias de licence en este catálogo y lo que cada una le exige.

Tres detalles suelen confundir a la gente. El primero es que una familia de licencias no es uniforme en todo un laboratorio: DeepSeek publica R1 y V3 bajo MIT, pero Coder V2 Lite bajo sus propios términos, y Alibaba distribuye casi todo Qwen bajo Apache 2.0, mientras que Qwen2.5 3B y Qwen2.5 72B tienen condiciones. Compruebe el checkpoint específico que descargó en lugar de la marca.

El segundo es que varias de estas licencias mencionan algo sobre los resultados del modelo, no solo sobre los pesos, y en particular sobre si puede utilizar el texto generado para entrenar otro modelo. Si su plan implica producir datos de entrenamiento sintéticos, esa cláusula le importa más que cualquier aspecto relacionado con el despliegue.

El tercero son las obligaciones que persisten tras el fine-tuning. Los términos de uso prohibido de Gemma se aplican a cualquier cosa derivada de los pesos. El requisito de nomenclatura de Llama se aplica a los nombres de modelos derivados. Una licencia no comercial sigue siendo no comercial después de entrenar con sus propios datos, porque los pesos base siguen ahí. Filtrar por Apache y MIT con la casilla de verificación anterior es la forma más rápida de que esto deje de ser un problema, y aún así le quedan 39 modelos. Nada de esto constituye asesoramiento legal; la columna de licencia es un resumen de un documento que merece la pena leer una vez.

Familias que vale la pena conocer, agrupadas por su especialidad

Aquí hay catorce laboratorios representados, pero solo necesita un mapa funcional de unas seis líneas de modelos para tomar buenas decisiones. Las cifras de VRAM a continuación corresponden a Q4_K_M con un contexto de 4K, coincidiendo con el valor predeterminado de la tabla.

Programación

Qwen2.5 Coder 32B con 21.7 GB sigue siendo el modelo de programación con licencia permisiva más potente que cabe en una sola tarjeta de 24GB, y su hermano de 7B con 5.5 GB es la opción estándar para autocompletado en línea donde la latencia es más importante que la profundidad. Devstral Small 24B con 15.7 GB está optimizado para edición mediante agentes en múltiples archivos en lugar de completar una sola función. DeepSeek Coder V2 Lite es la opción de velocidad, activando 2.4B de 15.7B parámetros. Codestral 22B es bueno, pero tiene una licencia de no producción, lo que lo descarta para la mayoría de los productos comerciales. Por encima del nivel de estación de trabajo, DeepSeek V3 y Kimi K2 son los modelos de programación abiertos serios y ambos requieren un servidor.

Razonamiento

QwQ 32B con 21.7 GB fue el primer modelo abierto en hacer práctica la deliberación de formato largo en una tarjeta de consumo, y las versiones destiladas de DeepSeek R1 ofrecen el mismo estilo en 7B, 14B, 32B y 70B bajo MIT, lo cual es inusualmente generoso para esta categoría. La línea densa Qwen3 activa y desactiva la deliberación por solicitud, por lo que una sola descarga cubre ambos modos. gpt-oss 20B y 120B están enfocados en razonamiento y bajo Apache 2.0. Phi-4 14B con 10.5 GB supera su tamaño en matemáticas, pero está limitado a un contexto de 16K, lo cual es corto para los estándares de 2026.

Contexto largo

Llama 4 Scout es la excepción con una ventana de 10M de tokens, y Llama 4 Maverick ofrece 1M. DeepSeek R1 y V3 aceptan 163840 tokens, y la mayor parte del catálogo moderno se sitúa en 131072. Lo importante es lo que no está en esa lista: toda la generación Gemma 2 se detiene en 8192 tokens, Phi-4 en 16384 y TinyLlama en 2048. Si está introduciendo documentos largos, compruebe la columna de contexto antes que nada, porque ninguna calidad compensa una ventana que no puede contener su entrada.

Visión

Seis modelos aquí leen imágenes. Qwen2.5-VL 7B con 5.9 GB es el pequeño caballo de batalla para documentos, capturas de pantalla y gráficos. Gemma 3 viene en tamaños de 4B, 12B y 27B con capacidad de visión, todos bajo los términos de Gemma, y el de 4B con 3.5 GB es notable por su memoria. Llama 4 Scout y Maverick son multimodal nativos pero requieren hardware potente. Recuerde que los tokens de imagen consumen el mismo presupuesto de contexto que el texto, por lo que una carga de trabajo de visión consume su ventana más rápido de lo que sugiere el número de páginas.

Multilingüe y recuperación

Mistral Nemo 12B con 8.8 GB fue construido con un tokenizador que trata el texto no inglés de manera más justa que la línea Llama, lo que se traduce en mejor calidad y menos tokens por oración. GLM-4 9B es fuerte tanto en chino como en inglés. Para la generación aumentada por recuperación con citas en línea, Command R y Command R+ siguen siendo los diseños de referencia, con la enorme advertencia de que ambos son no comerciales y Command R utiliza atención multi-head completa, por lo que se vuelve muy costoso precisamente en los contextos largos que producen las cargas de trabajo de recuperación.

Edge y embebido

Trece modelos llevan la etiqueta edge. Qwen2.5 0.5B necesita alrededor de 1.0 GB, Qwen3 0.6B alrededor de 1.6 GB, TinyLlama 1.1B alrededor de 1.4 GB y SmolLM2 1.7B alrededor de 2.5 GB, lo que permite que todos ellos funcionen dentro de un teléfono, una pestaña del navegador o una Raspberry Pi con un acelerador. Phi-4 mini 3.8B con 3.5 GB y Llama 3.2 3B con 3.1 GB son el límite práctico para esa categoría y el punto donde el seguimiento de instrucciones se vuelve confiable.

Cómo leer una afirmación de benchmark con escepticismo

Cada publicación de lanzamiento contiene una tabla donde el nuevo modelo gana. Eso no es deshonestidad, es selección: la tabla se ensambló después de conocer los resultados, y cualquier fila que no favoreciera al modelo fue discretamente omitida. Esto es lo que debe comprobar antes de que un número de benchmark cambie su decisión.

• Contaminación. Los benchmarks públicos se filtran en los corpus de entrenamiento con el tiempo, y cuanto más antiguo es el benchmark, más probable es que haya sido memorizado. Una puntuación muy alta en un conjunto de pruebas antiguo es una evidencia más débil que una puntuación media en algo lanzado el mes pasado.
• Qué instantánea de comparación. Los modelos cerrados son objetivos móviles. Una afirmación de superar a un modelo de frontera generalmente se refiere a una versión específica de un mes específico, que puede haber sido superada antes de que se publicara el post.
• Presupuesto de tokens. Los modelos de razonamiento pueden gastar miles de tokens ocultos antes de responder. Si a una fila se le permitió deliberar y a otra no, la comparación está midiendo el gasto tanto como la habilidad.
• Formato de prompt y muestreo. El mismo modelo puede variar varios puntos en el mismo benchmark dependiendo de la plantilla de chat, el system prompt, la temperatura y cómo se analiza la respuesta. Los números reportados rara vez revelan los cuatro factores.
• Agregación. Un promedio general oculta qué categorías cambiaron. Un modelo que mejora en matemáticas y empeora en seguimiento de instrucciones puede mostrar un promedio estable mientras es claramente peor para su uso.
• Pass at one frente a best of many. Muestrear varias veces y quedarse con la mejor respuesta infla sustancialmente las puntuaciones de programación, y no es así como funcionará su aplicación.

El reemplazo para todo esto es poco glamuroso pero funciona: recopile de treinta a cincuenta ejemplos de su tarea real, escriba cómo se ve una buena respuesta y evalúe a los candidatos usted mismo. Toma una tarde, sobrevive a cada lanzamiento de modelo y responde a la única pregunta que importa, que es si este modelo es bueno para su trabajo en lugar de para un examen público.

Adapte el modelo a la tarea, no al leaderboard

Una gran parte del trabajo de modelos de lenguaje en producción no necesita un modelo grande. Estas tareas son manejadas rutinariamente bien por algo en el rango de 3B a 8B, lo que significa Llama 3.2 3B con 3.1 GB, Gemma 3 4B con 3.5 GB, Qwen3 4B con 3.7 GB o Qwen2.5 7B con 5.5 GB, todos los cuales caben en una tarjeta de 8GB con espacio para el contexto.

• Clasificación y enrutamiento: decidir a cuál de las seis colas pertenece un ticket de soporte, o si un mensaje requiere intervención humana.
• Extracción a un esquema fijo: extraer fechas, cantidades, nombres de partes e identificadores de un documento semiestructurado.
• Reformateo: convertir notas en una plantilla, convertir entre formatos de marcado, normalizar direcciones.
• Resumen corto: un párrafo de una página, donde la fuente está presente y el trabajo es de compresión en lugar de juicio.
• Etiquetado y metadatos: títulos, palabras clave, sentimiento, detección de idioma, advertencias de contenido.
• Reescritura de consultas para búsqueda y reranking de un puñado de pasajes recuperados antes de que lleguen a un modelo más grande.

Las tareas que realmente recompensan el tamaño son diferentes: cambios de código en múltiples archivos donde el modelo debe mantener una arquitectura en mente, instrucciones ambiguas que requieren inferir la intención, síntesis a través de documentos largos que no están de acuerdo entre sí, matemáticas con más de un par de pasos y bucles de agentes donde un error temprano se complica en veinte turnos. Si su carga de trabajo no está en esa segunda lista, el dinero gastado en un modelo más grande compra latencia en lugar de calidad.

La arquitectura más fuerte en la práctica suele ser mixta: un modelo pequeño que realiza el volumen rutinario, escalando a uno grande en los casos en los que no está seguro. La tasa de escalada suele ser de un pequeño porcentaje, que es la diferencia entre una carga de trabajo que cabe en una tarjeta y una que no.

¿Ejecutarlo localmente o llamar a una API alojada?

Todos los modelos en esta página se pueden descargar, y bastantes de ellos también están disponibles como endpoints alojados, incluso a través de esta gateway. La elección es menos sobre ideología que sobre qué recurso le falta.

Ejecute localmente cuando los datos no puedan salir de las instalaciones, cuando necesite que los pesos estén fijados para que el comportamiento nunca cambie, cuando trabaje sin conexión o con una conexión poco fiable, cuando tenga un tráfico constante de alto volumen en una GPU que ya posee, o cuando pretenda hacer fine-tuning. La inferencia local también le ofrece cosas que ninguna API expone: logits crudos, decodificación restringida mediante una gramática, muestreo personalizado y decodificación especulativa.

Llama a un endpoint alojado cuando el tráfico sea irregular, cuando el modelo que deseas necesite más memoria de la que puedes comprar razonablemente, cuando esperes cambiar de modelo cada pocas semanas o cuando nadie en el equipo quiera operar un servidor de inferencia. El catálogo ilustra el punto de la memoria claramente: 44 de estos 63 modelos caben en una tarjeta de 24GB, pero DeepSeek R1 con 410 GB y Kimi K2 con 611 GB son despliegues multi-nodo, y la brecha entre esos dos grupos no es algo que se pueda salvar siendo ingenioso.

La economía suele decidirse por la utilización más que por las tarifas. Una tarjeta que funciona a un ciclo de trabajo del diez por ciento es cara por token útil sin importar lo barata que fuera la tarjeta, porque pagaste por ella en su totalidad. Una tarjeta que funciona continuamente es muy difícil de superar en precio. Estima tus tokens por día honestamente antes de comprar nada, y ten en cuenta que la respuesta honesta para la mayoría de proyectos secundarios y herramientas internas es que un endpoint alojado gratuito o barato gana fácilmente.

Preguntas que la gente realmente hace

¿Cómo elijo un modelo de pesos abiertos?

Ordena tus restricciones de mayor a menor dificultad. Establece un presupuesto de memoria en gigabytes en lugar de parámetros, decide la longitud de contexto que realmente necesitas antes de hacer una lista corta, filtra por licencia y solo entonces filtra por capacidad. De los 63 modelos aquí, 44 caben en 24 GB en Q4_K_M con un contexto de 4K y solo 24 caben en 8 GB, por lo que el paso del presupuesto por sí solo suele reducir la lista a la mitad. Termina probando tres candidatos con treinta a cincuenta ejemplos de tu propio trabajo real.

¿Qué significan los parámetros activos en un modelo de mezcla de expertos (MoE)?

Los parámetros totales deciden cuánta memoria necesitas, porque cada peso debe estar residente. Los parámetros activos deciden qué tan rápido se ejecuta, porque generar un token solo lee los expertos a través de los cuales se enruta ese token. Qwen3 30B-A3B contiene 30.5B de parámetros pero activa 3.3B por token, por lo que ocupa unos 19.7 GB en Q4_K_M pero decodifica aproximadamente a la velocidad de un modelo de 3B.

¿Es un modelo de mezcla de expertos más barato de ejecutar que uno denso?

Más barato en cómputo y tiempo, no en memoria. Si la VRAM es tu restricción limitante, un MoE es poco rentable, porque pagas por cada experto y usas una fracción de ellos. Si tienes la memoria y quieres rendimiento, es excelente. gpt-oss 120B necesita unos 72 GB en Q4_K_M pero solo lee 5.1B de parámetros por token.

¿Qué modelos de pesos abiertos puedo usar comercialmente sin pedir permiso?

Los de Apache 2.0 y MIT. En este catálogo son 39 de 63 modelos, incluyendo toda la línea Qwen3, Qwen2.5 Coder, QwQ 32B, Mistral Small 24B, Devstral, los modelos Mixtral, gpt-oss 20B y 120B, DeepSeek R1 y V3, los destilados de R1, Phi-4 y GLM-4.5 Air. Los otros 24 conllevan condiciones que van desde la atribución hasta una prohibición total de uso comercial.

¿Es la licencia comunitaria de Llama una licencia comercial?

Permite el uso comercial, pero no es una licencia de código abierto. Limita el uso gratuito a 700 millones de usuarios activos mensuales, requiere que muestres "Built with Llama" y que lleves el nombre Llama en los nombres de modelos derivados, y adjunta una política de uso aceptable. Para la mayoría de los equipos nada de esto es un problema, pero es un contrato más que una concesión, así que léelo antes de construir un producto sobre él.

¿Puedo usar Command R o Command R+ en un producto comercial?

No con los pesos publicados. Ambos modelos de Cohere aquí son CC-BY-NC, que es solo para uso no comercial. Son excelentes modelos de recuperación y citación y perfectamente adecuados para investigación o evaluación, pero distribuirlos en un producto de pago o que genere ingresos requiere un acuerdo por separado con Cohere.

¿Por qué el mismo modelo necesita mucha más VRAM con un contexto de 128K?

El KV cache crece linealmente con el contexto, y la pendiente depende de la geometría de atención. Command R 35B usa atención multi-cabeza completa y pasa de 27.4 GB a 4K a 194.8 GB a 128K. Qwen3 32B con atención de consulta agrupada (GQA) pasa de 21.7 GB a 55.2 GB. Gemma 3 27B, que usa ventanas deslizantes en cinco de cada seis capas, solo pasa de 18.1 GB a 28.6 GB.

¿Cuál es el modelo abierto más pequeño que sigue siendo genuinamente útil?

Para clasificación, enrutamiento, extracción a un esquema fijo y reformateo, los modelos en el rango de 3B a 4B ya son fiables. Llama 3.2 3B necesita unos 3.1 GB en Q4_K_M, Gemma 3 4B unos 3.5 GB y Qwen3 4B unos 3.7 GB, por lo que los tres funcionan en una tarjeta de 8GB con espacio para un contexto real. Por debajo de aproximadamente 2B, los modelos siguen escribiendo con fluidez pero dejan de seguir instrucciones de varios pasos de forma fiable.

¿Necesito un modelo de razonamiento?

Solo para problemas con una cadena de pasos verificable: matemáticas, código algorítmico, acertijos de restricciones, análisis de múltiples saltos. Los modelos de razonamiento gastan una gran cantidad de tokens ocultos antes de responder, lo que significa mayor latencia y más tokens generados por cada solicitud. Para extracción, resumen, reescritura y chat, un modelo sin razonamiento del mismo tamaño suele ser más rápido y no peor.

¿Qué modelo de pesos abiertos es mejor para programar?

Para una sola tarjeta de 24GB, Qwen2.5 Coder 32B con unos 21.7 GB es la opción con licencia permisiva más fuerte. Devstral Small 24B con unos 15.7 GB está ajustado para edición agente de múltiples archivos en lugar de completados simples. Para completado en línea rápido, Qwen2.5 Coder 7B o DeepSeek Coder V2 Lite, que activa solo 2.4B de sus 15.7B de parámetros. En el extremo superior, DeepSeek V3 y Kimi K2 son más fuertes pero necesitan cientos de gigabytes.

¿Significa una longitud de contexto larga anunciada que el modelo la usa bien?

No. La cifra de contexto es la longitud que aceptan los pesos publicados, no la longitud a la que se mantiene la calidad. Llama 4 Scout anuncia 10M de tokens y la mayoría de los modelos modernos aquí listan 128K, pero la precisión de recuperación suele degradarse mucho antes del máximo declarado. Trata el número como un límite estricto y mide el rendimiento real a la longitud que planeas usar.

¿Debo confiar en la tabla de benchmarks en una publicación de lanzamiento de un modelo?

Trátalo como marketing con números reales. Las tablas de lanzamiento se eligen a posteriori, los modelos de comparación suelen ser instantáneas más antiguas, los formatos de prompt y los ajustes de muestreo difieren entre filas, y los benchmarks populares se filtran en los datos de entrenamiento con el tiempo. El número que debería decidir tu elección es la puntuación en treinta a cincuenta ejemplos de tu propia carga de trabajo.

¿Cuánta calidad pierdo al cuantizar a 4-bit?

Menos de lo que la mayoría espera en modelos grandes y más de lo que la mayoría espera en los pequeños. Q8_0 es efectivamente indistinguible de los pesos originales. Q4_K_M cuesta una cantidad pequeña, generalmente imperceptible, en modelos por encima de aproximadamente 13B, y se vuelve visible en modelos de 1B a 3B donde hay menos redundancia de sobra. Por debajo de 4 bits, en Q3 y Q2, la degradación es real. Ten en cuenta que gpt-oss se distribuye de forma nativa en MXFP4, por lo que 4-bit es su precisión publicada en lugar de un paso de compresión.

¿Cuándo debería ejecutar un modelo localmente en lugar de llamar a una API alojada?

Ejecuta localmente cuando los datos no puedan salir de tu máquina, cuando necesites pesos fijados para que el comportamiento nunca cambie, cuando estés sin conexión o cuando tengas un volumen alto y constante en una GPU que ya posees. Llama a una API alojada cuando el tráfico sea irregular, cuando el modelo que deseas necesite más memoria de la que tienes o cuando quieras cambiar de modelo a menudo. Una tarjeta de 24GB que permanece inactiva la mayor parte del día es más cara por token útil que cualquier API.