Recherche de modèle

Méthode

Comment choisir réellement un modèle à poids ouverts

La plupart des présélections de modèles commencent par la question de savoir quel est le meilleur modèle, et ne s'en remettent jamais, car « meilleur » n'est pas une propriété qu'un modèle possède intrinsèquement. C'est une propriété d'un modèle, d'une tâche, d'une licence et d'un matériel spécifique considérés ensemble. La démarche utile consiste à ordonner vos contraintes de manière à ce que la plus difficile et la moins négociable passe en premier. Appliqué aux modèles de ce tableau, cet ordre réduit généralement la liste à une poignée en deux étapes.

1. Définissez le budget mémoire en gigaoctets, pas en paramètres. Un nombre de paramètres ne signifie rien tant que vous n'avez pas également choisi une précision et une longueur de contexte. Parmi les 63 modèles ici, 44 tiennent dans 24 GB en Q4_K_M avec un contexte de 4K, 35 tiennent dans 16 GB, et seulement 24 tiennent dans 8 GB. Saisissez votre nombre réel dans la case budget ci-dessus et regardez le tableau se réduire.
2. Décidez de votre longueur de contexte avant de présélectionner, pas après. Le contexte est payé en KV cache, et sur certaines architectures, cette facture est énorme. Command R 35B coûte 27,4 GB à 4K et 194,8 GB à 128K. Qwen3 32B passe de 21,7 GB à 55,2 GB sur la même plage. Présélectionnez à 4K, déployez à 128K, et vous découvrirez la différence le pire jour possible.
3. Filtrez par licence avant de filtrer par capacité. La capacité est une question de degré et vous pouvez généralement en sacrifier un peu. Une licence qui interdit votre cas d'utilisation est un mur. 39 de ces modèles sont Apache 2.0, MIT ou Modified MIT ; les 24 autres comportent des conditions allant de l'attribution légère à une interdiction pure et simple d'utilisation commerciale.
4. Ce n'est qu'à présent que vous filtrez par ce pour quoi le modèle est bon. Les puces de capacité ci-dessus utilisent les tags que les laboratoires et la communauté appliquent réellement : code, raisonnement, vision, agents, multilingue, RAG, edge, long-context. Choisissez-en un ou deux, pas cinq. Chaque tag supplémentaire que vous exigez vous pousse vers un modèle plus grand que ce dont le travail a besoin.
5. Présélectionnez trois modèles plutôt qu'un seul, et testez-les sur vos propres données. Trente à cinquante exemples réels de votre propre charge de travail sépareront les candidats plus rapidement, et bien plus honnêtement, que n'importe quel classement public. Gardez les deux qui ont perdu. Les modèles sont remplacés tous les quelques mois et le harnais d'évaluation est la partie qui vaut la peine d'être conservée.

Une règle de plus qui évite bien des soucis : choisissez le plus petit modèle qui satisfait votre barre de qualité, puis arrêtez. La marge de manœuvre que vous n'utilisez pas est payée en latence sur chaque requête, en électricité, et en une carte qui reste majoritairement inactive entre les requêtes.

Dense, mélange d'experts, et le nombre qui décide de votre matériel

Chaque modèle de ce tableau comporte deux nombres de paramètres, et ils répondent à deux questions différentes. Les paramètres totaux décident de la quantité de mémoire dont vous avez besoin, car chaque poids doit se trouver quelque part où le GPU peut l'atteindre rapidement. Les paramètres actifs décident de sa vitesse d'exécution, car la production d'un token ne lit que les poids par lesquels ce token passe. Sur un modèle dense, ces deux nombres sont identiques et personne n'a à y penser. Sur un mélange d'experts, ils peuvent différer d'un facteur trente, et toute la conception existe pour rendre cet écart utile.

Lisez le tableau comme un compromis plutôt qu'un classement. Un mélange d'experts convertit la mémoire en vitesse. Vous achetez suffisamment de VRAM pour contenir chaque expert, puis vous utilisez une petite partie d'entre eux sur un token donné, de sorte que le décodage est rapide et que le modèle est plus intelligent que ne le suggère son nombre de paramètres actifs. C'est un bon compromis lorsque la mémoire est la ressource que vous avez en surplus et que la latence est celle que vous n'avez pas.

C'est un mauvais compromis dans la situation inverse, celle où se trouvent la plupart des gens. Si vous avez une carte 24GB, un MoE dépense votre ressource la plus rare en poids que vous touchez à peine. Qwen3 30B-A3B à 19,7 GB et Qwen3 32B à 21,7 GB occupent presque la même mémoire, mais le modèle dense met dix fois plus de calcul derrière chaque token. Sur une seule carte sans pression de débit, le 32B dense est généralement la meilleure réponse ; sur une machine servant de nombreux utilisateurs simultanés, le MoE gagne confortablement.

Il y a un second effet à connaître. Parce qu'un MoE lit si peu de poids par token, il est beaucoup moins sensible à la bande passante mémoire, qui est précisément la contrainte qui rend les grands modèles denses lents sur le matériel grand public et sur les puces Apple. C'est pourquoi gpt-oss 120B, bien que nécessitant environ 72 GB, génère plus rapidement sur une grande machine à mémoire unifiée qu'un 70B dense nécessitant 45 GB. La capacité et la vitesse sont décidées par des nombres différents, et le filtre de mélange d'experts ci-dessus vous permet de séparer les deux.

Pourquoi deux modèles de même taille peuvent nécessiter des machines différentes

La colonne d'attention semble anecdotique et ne l'est pas. Elle décide du coût de votre contexte, et pour les contextes longs, elle peut importer plus que le nombre de paramètres. Voici ce que le même saut de 4K à 128K fait aux modèles à travers les quatre conceptions d'attention de ce catalogue.

Phi-3.5 mini est l'entrée qui devrait changer votre façon de faire vos achats. C'est un modèle 3.8B, le genre de chose que les gens supposent fonctionner n'importe où, et à son contexte complet annoncé de 128K, il a besoin d'environ 55 GB car il met en cache 32 têtes clé-valeur complètes sur chaque couche. Pendant ce temps, un DeepSeek R1 671B n'ajoute que neuf gigaoctets en passant de 4K à 128K, car l'attention latente multi-têtes compresse les clés et les valeurs en un seul petit vecteur par token par couche. La taille n'a pas décidé du résultat ; la géométrie l'a fait.

La lecture pratique est simple. Si votre charge de travail est constituée de prompts courts, ignorez entièrement la colonne d'attention et basez votre choix sur les poids. Si votre charge de travail est constituée de documents longs, de dépôts entiers ou de grandes charges utiles de récupération, triez d'abord par conception d'attention : les modèles à fenêtre glissante tels que la famille Gemma 3 et gpt-oss restent presque stables à mesure que le contexte s'allonge, les modèles à requêtes groupées augmentent à un rythme gérable, et les modèles multi-têtes complets deviennent inabordables quelque part entre 32K et 128K, quelle que soit leur taille sur le papier.

Ce que signifie réellement la colonne licence

Les poids ouverts et l'open source ne sont pas la même chose, et c'est dans cet écart que se trouvent la plupart des surprises juridiques. N'importe qui peut télécharger chaque modèle sur cette page. Ce que vous pouvez ensuite en faire varie de véritablement illimité à explicitement non commercial. Voici les familles de licences de ce catalogue et ce que chacune d'elles vous demande réellement.

Trois détails peuvent surprendre. Le premier est qu'une famille de licences n'est pas uniforme au sein d'un laboratoire : DeepSeek publie R1 et V3 sous MIT mais Coder V2 Lite sous ses propres conditions, et Alibaba distribue presque tous les Qwen sous Apache 2.0 tandis que Qwen2.5 3B et Qwen2.5 72B sont soumis à des conditions. Vérifiez le point de contrôle spécifique que vous avez téléchargé plutôt que la marque.

Le second est que plusieurs de ces licences mentionnent les sorties du modèle, et pas seulement les poids, et en particulier si vous pouvez utiliser le texte généré pour entraîner un autre modèle. Si votre plan implique la production de données d'entraînement synthétiques, cette clause est plus importante pour vous que tout ce qui concerne le déploiement.

Le troisième point concerne les obligations qui subsistent après un fine-tuning. Les conditions d'utilisation interdites de Gemma s'appliquent à tout ce qui est dérivé de ses poids. L'exigence de nommage de Llama s'applique aux noms des modèles dérivés. Une licence non commerciale le reste après un entraînement sur vos propres données, car les poids de base sont toujours présents. Filtrer par Apache et MIT via la case à cocher ci-dessus est le moyen le plus rapide de ne plus avoir à vous soucier de cela, tout en conservant 39 modèles. Ceci ne constitue pas un conseil juridique ; la colonne licence est un résumé d'un document qui mérite d'être lu une fois.

Familles à connaître, regroupées par leurs points forts

Quatorze laboratoires sont représentés ici, mais vous n'avez besoin que d'une carte fonctionnelle d'environ six lignes de modèles pour prendre de bonnes décisions. Les chiffres de VRAM ci-dessous sont en Q4_K_M avec un contexte de 4K, correspondant à la valeur par défaut du tableau.

Codage

Qwen2.5 Coder 32B à 21,7 Go reste le modèle de codage sous licence permissive le plus puissant qui tient sur une seule carte de 24 Go, et son homologue 7B à 5,5 Go est le choix standard pour la complétion en ligne où la latence prime sur la profondeur. Devstral Small 24B à 15,7 Go est optimisé pour l'édition agentique sur plusieurs fichiers plutôt que pour le remplissage d'une seule fonction. DeepSeek Coder V2 Lite est l'option de vitesse, activant 2,4 milliards de paramètres sur 15,7 milliards. Codestral 22B est bon mais est sous licence non-production, ce qui l'exclut de la plupart des produits commercialisés. Au-dessus du niveau station de travail, DeepSeek V3 et Kimi K2 sont les modèles de codage ouverts sérieux et nécessitent tous deux un serveur.

Raisonnement

QwQ 32B à 21,7 Go a été le premier modèle ouvert à rendre la délibération longue pratique sur une carte grand public, et les distillations DeepSeek R1 vous offrent le même style à 7B, 14B, 32B et 70B sous MIT, ce qui est exceptionnellement généreux pour cette catégorie. La ligne dense Qwen3 active et désactive la délibération par requête, donc un seul téléchargement couvre les deux modes. gpt-oss 20B et 120B sont axés sur le raisonnement et sous Apache 2.0. Phi-4 14B à 10,5 Go surpasse sa taille en mathématiques mais est plafonné à un contexte de 16K, ce qui est court selon les standards de 2026.

Contexte long

Llama 4 Scout est l'exception avec une fenêtre de 10 millions de tokens, et Llama 4 Maverick offre 1 million. DeepSeek R1 et V3 acceptent 163840 tokens, et la plupart du catalogue moderne se stabilise à 131072. L'important est ce qui ne figure pas sur cette liste : toute la génération Gemma 2 s'arrête à 8192 tokens, Phi-4 à 16384 et TinyLlama à 2048. Si vous alimentez de longs documents, vérifiez la colonne de contexte avant toute autre chose, car aucune quantité de qualité ne compensera une fenêtre qui ne contiendra pas votre entrée.

Vision

Six modèles ici lisent des images. Qwen2.5-VL 7B à 5,9 Go est le petit cheval de bataille pour les documents, les captures d'écran et les graphiques. Gemma 3 est disponible en tailles 4B, 12B et 27B compatibles vision, toutes sous les conditions Gemma, et le 4B à 3,5 Go est remarquable pour la mémoire. Llama 4 Scout et Maverick sont nativement multimodaux mais nécessitent un matériel sérieux. N'oubliez pas que les tokens d'image consomment le même budget de contexte que le texte, donc une charge de travail de vision consomme votre fenêtre plus rapidement que le nombre de pages ne le suggère.

Multilingue et récupération

Mistral Nemo 12B à 8,8 Go a été construit avec un tokenizer qui traite le texte non-anglais plus équitablement que la ligne Llama, ce qui se traduit par une meilleure qualité et moins de tokens par phrase. GLM-4 9B est performant en chinois et en anglais. Pour la génération augmentée par récupération avec citations en ligne, Command R et Command R+ restent les conceptions de référence, avec l'énorme mise en garde que les deux sont non-commerciales et Command R utilise une attention multi-têtes complète, ce qui le rend très coûteux précisément dans les contextes longs que produisent les charges de travail de récupération.

Edge et embarqué

Treize modèles portent l'étiquette edge. Qwen2.5 0.5B nécessite environ 1,0 Go, Qwen3 0.6B environ 1,6 Go, TinyLlama 1.1B environ 1,4 Go et SmolLM2 1.7B environ 2,5 Go, ce qui les place tous à l'intérieur d'un téléphone, d'un onglet de navigateur ou d'un Raspberry Pi avec un accélérateur. Phi-4 mini 3.8B à 3,5 Go et Llama 3.2 3B à 3,1 Go sont le plafond pratique pour cette catégorie et le point où le suivi des instructions devient fiable.

Comment lire une affirmation de benchmark avec scepticisme

Chaque article de publication contient un tableau où le nouveau modèle gagne. Ce n'est pas de la malhonnêteté, c'est de la sélection : le tableau a été assemblé après que les résultats aient été connus, et toute ligne qui ne flattait pas le modèle n'a pas été discrètement incluse. Voici ce qu'il faut vérifier avant qu'un chiffre de benchmark ne change votre décision.

• Contamination. Les benchmarks publics s'infiltrent dans les corpus d'entraînement au fil du temps, et plus un benchmark est ancien, plus il est probable qu'il ait été mémorisé. Un score très élevé sur un ensemble de tests de longue date est une preuve plus faible qu'un score moyen sur quelque chose publié le mois dernier.
• Quel instantané de comparaison. Les modèles fermés sont des cibles mouvantes. Une affirmation de battre un modèle de pointe fait généralement référence à une version spécifique d'un mois spécifique, qui peut avoir été remplacée avant la publication de l'article.
• Budget de tokens. Les modèles de raisonnement peuvent dépenser des milliers de tokens cachés avant de répondre. Si une ligne a été autorisée à délibérer et une autre non, la comparaison mesure autant la dépense que la compétence.
• Format de prompt et échantillonnage. Le même modèle peut gagner ou perdre plusieurs points sur le même benchmark en fonction du modèle de chat, du prompt système, de la température et de la façon dont la réponse est analysée. Les chiffres rapportés divulguent rarement les quatre.
• Agrégation. Une seule moyenne globale masque les catégories qui ont évolué. Un modèle qui gagne en mathématiques et perd en suivi d'instructions peut afficher une moyenne stable tout en étant clairement moins bon pour votre usage.
• Réussite au premier essai versus meilleur de plusieurs. Échantillonner plusieurs fois et conserver la meilleure réponse gonfle considérablement les scores de codage, et ce n'est pas ainsi que votre application fonctionnera.

Le remplacement de tout cela est peu glamour et fonctionne : collectez trente à cinquante exemples de votre tâche réelle, décrivez à quoi ressemble une bonne réponse et évaluez vous-même les candidats. Cela prend un après-midi, cela survit à chaque nouvelle version de modèle, et cela répond à la seule question qui compte, à savoir si ce modèle est bon pour votre travail plutôt que pour un examen public.

Adaptez le modèle à la tâche, pas au classement

Une grande partie du travail de modèle linguistique en production n'a pas besoin d'un grand modèle. Ces tâches sont généralement bien gérées par quelque chose de l'ordre de 3B à 8B, ce qui signifie Llama 3.2 3B à 3,1 Go, Gemma 3 4B à 3,5 Go, Qwen3 4B à 3,7 Go ou Qwen2.5 7B à 5,5 Go, tous tenant sur une carte de 8 Go avec de la place pour le contexte.

• Classification et routage : décider à laquelle des six files d'attente appartient un ticket de support, ou si un message nécessite une intervention humaine.
• Extraction dans un schéma fixe : extraire les dates, les montants, les noms de parties et les identifiants d'un document semi-structuré.
• Reformatage : transformer des notes en modèle, convertir entre formats de balisage, normaliser des adresses.
• Résumé court : un paragraphe à partir d'une page, où la source est présente et le travail est de la compression plutôt que du jugement.
• Balises et métadonnées : titres, mots-clés, sentiment, détection de langue, avertissements de contenu.
• Réécriture de requêtes pour la recherche, et reclassement d'une poignée de passages récupérés avant qu'ils n'atteignent un modèle plus grand.

Les tâches qui récompensent réellement la taille sont différentes : modifications de code multi-fichiers où le modèle doit garder une architecture à l'esprit, instructions ambiguës qui nécessitent d'inférer l'intention, synthèse à travers de longs documents qui sont en désaccord les uns avec les autres, mathématiques avec plus de quelques étapes, et boucles d'agents où une erreur précoce se propage sur vingt tours. Si votre charge de travail ne figure pas dans cette deuxième liste, l'argent dépensé pour un modèle plus grand achète de la latence plutôt que de la qualité.

L'architecture la plus robuste en pratique est généralement mixte : un petit modèle gérant le volume de routine, passant à un grand modèle dans les cas où il est incertain. Le taux d'escalade est généralement de quelques pour cent, ce qui fait la différence entre une charge de travail qui tient sur une carte et une qui ne tient pas.

L'exécuter localement ou appeler une API hébergée ?

Chaque modèle de cette page peut être téléchargé, et un bon nombre d'entre eux sont également disponibles en tant qu'endpoints hébergés, y compris via cette passerelle. Le choix est moins une question d'idéologie que de la ressource qui vous manque.

Exécutez localement lorsque les données ne peuvent pas quitter le bâtiment, lorsque vous avez besoin que les poids soient fixés afin que le comportement ne change jamais sous vous, lorsque vous travaillez hors ligne ou sur une connexion peu fiable, lorsque vous avez un trafic constant à volume élevé sur un GPU que vous possédez déjà, ou lorsque vous avez l'intention de faire du fine-tuning. L'inférence locale vous offre également des choses qu'aucune API n'expose : les logits bruts, le décodage contraint par une grammaire, l'échantillonnage personnalisé et le décodage spéculatif.

Appelez un endpoint hébergé lorsque le trafic est en rafales, lorsque le modèle que vous voulez nécessite plus de mémoire que vous ne pouvez raisonnablement en acheter, lorsque vous prévoyez de changer de modèle toutes les quelques semaines, ou lorsque personne dans l'équipe ne veut opérer un serveur d'inférence. Le catalogue illustre clairement le point de la mémoire : 44 de ces 63 modèles tiennent sur une carte de 24 Go, mais DeepSeek R1 à 410 Go et Kimi K2 à 611 Go sont des déploiements multi-nœuds, et l'écart entre ces deux groupes n'est pas quelque chose que vous franchissez en étant malin.

L'économie est généralement décidée par l'utilisation plutôt que par les tarifs. Une carte qui fonctionne à dix pour cent de son cycle de service est chère par token utile, peu importe le prix du matériel, car vous avez tout payé. Une carte qui fonctionne en continu est très difficile à battre sur le prix. Estimez honnêtement vos tokens par jour avant d'acheter quoi que ce soit, et notez que la réponse honnête pour la plupart des projets secondaires et des outils internes est qu'un endpoint hébergé gratuit ou bon marché gagne facilement.

Questions fréquemment posées

Comment choisir un modèle open-weight ?

Classez vos contraintes de la plus difficile à la première. Définissez un budget mémoire en gigaoctets plutôt qu'en paramètres, décidez de la longueur de contexte dont vous avez réellement besoin avant de présélectionner, filtrez par licence, et seulement ensuite filtrez par capacité. Sur les 63 modèles ici, 44 tiennent dans 24 Go en Q4_K_M avec un contexte de 4K et seulement 24 tiennent dans 8 Go, donc l'étape du budget seule réduit généralement la liste de moitié. Terminez en testant trois candidats sur trente à cinquante exemples de votre propre travail réel.

Que signifient les paramètres actifs sur un modèle mixture-of-experts ?

Les paramètres totaux déterminent la quantité de mémoire dont vous avez besoin, car chaque poids doit être résident. Les paramètres actifs déterminent la vitesse d'exécution, car la génération d'un token ne lit que les experts par lesquels ce token passe. Qwen3 30B-A3B contient 30,5 milliards de paramètres mais en active 3,3 milliards par token, il occupe donc environ 19,7 Go en Q4_K_M tout en décodant à peu près à la vitesse d'un modèle de 3 milliards.

Un modèle mixture-of-experts est-il moins cher à exécuter qu'un modèle dense ?

Moins cher en calcul et en temps, pas en mémoire. Si la VRAM est votre contrainte principale, un MoE est de faible valeur, car vous payez pour chaque expert et n'en utilisez qu'une fraction. Si vous avez la mémoire et que vous voulez du débit, c'est excellent. gpt-oss 120B a besoin d'environ 72 Go en Q4_K_M mais ne lit que 5,1 milliards de paramètres par token.

Quels modèles open-weight puis-je utiliser commercialement sans demander d'autorisation ?

Ceux sous licence Apache 2.0 et MIT. Dans ce catalogue, cela représente 39 des 63 modèles, y compris toute la gamme Qwen3, Qwen2.5 Coder, QwQ 32B, Mistral Small 24B, Devstral, les modèles Mixtral, gpt-oss 20B et 120B, DeepSeek R1 et V3, les distillations R1, Phi-4 et GLM-4.5 Air. Les 24 autres comportent des conditions allant de l'attribution à une interdiction pure et simple d'utilisation commerciale.

La licence communautaire Llama est-elle une licence commerciale ?

Elle autorise l'utilisation commerciale, mais ce n'est pas une licence open-source. Elle limite l'utilisation gratuite à 700 millions d'utilisateurs actifs mensuels, vous oblige à afficher « Built with Llama » et à inclure le nom Llama dans les noms de modèles dérivés, et y attache une politique d'utilisation acceptable. Pour la plupart des équipes, rien de tout cela n'est contraignant, mais c'est un contrat plutôt qu'une subvention, alors lisez-le avant de construire un produit dessus.

Puis-je utiliser Command R ou Command R+ dans un produit commercial ?

Pas avec les poids publiés. Les deux modèles Cohere ici sont sous licence CC-BY-NC, qui est uniquement non-commerciale. Ce sont d'excellents modèles de récupération et de citation et parfaitement adaptés à la recherche ou à l'évaluation, mais les inclure dans un produit payant ou générant des revenus nécessite un accord séparé avec Cohere.

Pourquoi le même modèle nécessite-t-il beaucoup plus de VRAM avec un contexte de 128K ?

Le cache KV augmente linéairement avec le contexte, et la pente dépend de la géométrie de l'attention. Command R 35B utilise une attention multi-têtes complète et passe de 27,4 Go à 4K à 194,8 Go à 128K. Qwen3 32B avec attention à requêtes groupées passe de 21,7 Go à 55,2 Go. Gemma 3 27B, qui utilise des fenêtres glissantes sur cinq couches sur six, ne passe que de 18,1 Go à 28,6 Go.

Quel est le plus petit modèle ouvert qui reste réellement utile ?

Pour la classification, le routage, l'extraction dans un schéma fixe et le reformatage, les modèles de la gamme 3B à 4B sont déjà fiables. Llama 3.2 3B nécessite environ 3,1 Go en Q4_K_M, Gemma 3 4B environ 3,5 Go et Qwen3 4B environ 3,7 Go, de sorte que les trois fonctionnent sur une carte de 8 Go avec de la place pour un contexte réel. En dessous d'environ 2B, les modèles écrivent toujours couramment mais cessent de suivre les instructions multi-étapes de manière fiable.

Ai-je besoin d'un modèle de raisonnement ?

Uniquement pour les problèmes avec une chaîne d'étapes vérifiable : mathématiques, code algorithmique, puzzles de contraintes, analyse multi-sauts. Les modèles de raisonnement dépensent un grand nombre de tokens cachés avant de répondre, ce qui signifie une latence plus élevée et plus de tokens générés pour chaque requête. Pour l'extraction, la summarisation, la réécriture et le chat, un modèle non-raisonnement de la même taille est généralement plus rapide et pas pire.

Quel modèle open-weight est le meilleur pour le codage ?

Pour une seule carte de 24 Go, Qwen2.5 Coder 32B à environ 21,7 Go est l'option la plus puissante sous licence permissive. Devstral Small 24B à environ 15,7 Go est optimisé pour l'édition multi-fichiers agentique plutôt que pour des complétions uniques. Pour une complétion en ligne rapide, Qwen2.5 Coder 7B ou DeepSeek Coder V2 Lite, qui n'active que 2,4 milliards de ses 15,7 milliards de paramètres. Au sommet, DeepSeek V3 et Kimi K2 sont plus puissants mais nécessitent des centaines de gigaoctets.

Une longue longueur de contexte annoncée signifie-t-elle que le modèle l'utilise bien ?

Non. Le chiffre du contexte est la longueur que les poids publiés acceptent, pas la longueur à laquelle la qualité se maintient. Llama 4 Scout annonce 10M de tokens et la plupart des modèles modernes ici listent 128K, mais la précision de la récupération se dégrade généralement bien avant le maximum indiqué. Traitez le nombre comme un plafond strict et mesurez les performances réelles à la longueur que vous prévoyez d'utiliser.

Dois-je faire confiance au tableau de benchmark dans un article de publication de modèle ?

Considérez cela comme du marketing contenant des chiffres réels. Les tableaux de publication sont choisis après coup, les modèles de comparaison sont souvent d'anciens snapshots, les formats de prompt et les paramètres d'échantillonnage diffèrent selon les lignes, et les benchmarks populaires finissent par fuiter dans les données d'entraînement au fil du temps. Le chiffre qui devrait guider votre choix est le score obtenu sur trente à cinquante exemples de votre propre charge de travail.

Quelle quantité de qualité perds-je en quantifiant à 4 bits ?

Moins que ce que la plupart des gens attendent sur les grands modèles et plus que ce que la plupart attendent sur les petits. Q8_0 est effectivement indiscernable des poids originaux. Q4_K_M coûte une petite quantité, généralement imperceptible, sur les modèles d'environ 13B et plus, et devient visible sur les modèles de 1B à 3B où il y a moins de redondance à épargner. En dessous de 4 bits, à Q3 et Q2, la dégradation est réelle. Notez que gpt-oss est livré nativement en MXFP4, donc 4 bits est sa précision publiée plutôt qu'une étape de compression.

Quand dois-je exécuter un modèle localement au lieu d'appeler une API hébergée ?

Exécutez localement lorsque les données ne peuvent pas quitter votre machine, lorsque vous avez besoin que les poids soient fixés afin que le comportement ne change jamais sous vous, lorsque vous êtes hors ligne, ou lorsque vous avez un volume élevé et constant sur un GPU que vous possédez déjà. Appelez une API hébergée lorsque le trafic est en rafales, lorsque le modèle que vous voulez nécessite plus de mémoire que vous n'en avez, ou lorsque vous voulez changer de modèle souvent. Une carte de 24 Go qui reste inactive la plupart du temps est plus chère par token utile que n'importe quelle API.