Ricerca modelli

Metodo

Come scegliere concretamente un modello open-weight

La maggior parte delle liste di modelli inizia chiedendosi quale sia il migliore, senza mai uscirne, perché "migliore" non è una proprietà intrinseca del modello. È una proprietà che emerge considerando insieme modello, task, licenza e hardware specifico. L'approccio utile è ordinare i vincoli mettendo al primo posto quello più rigido e meno negoziabile. Applicato ai modelli in questa tabella, questo ordine solitamente riduce la lista a pochi elementi in due passaggi.

1. Imposta il budget di memoria in gigabyte, non in parametri. Il numero di parametri non significa nulla finché non scegli precisione e lunghezza del contesto. Dei 63 modelli qui, 44 rientrano in 24 GB a Q4_K_M con contesto 4K, 35 in 16 GB e solo 24 in 8 GB. Inserisci il tuo valore reale nel box del budget qui sopra e osserva la tabella restringersi.
2. Decidi la lunghezza del contesto prima di creare la shortlist, non dopo. Il contesto si paga in KV cache e, su alcune architetture, il costo è enorme. Command R 35B costa 27.4 GB a 4K e 194.8 GB a 128K. Qwen3 32B passa da 21.7 GB a 55.2 GB nello stesso intervallo. Se crei la shortlist a 4K e distribuisci a 128K, scoprirai la differenza nel momento peggiore possibile.
3. Filtra per licenza prima di filtrare per capacità. La capacità è una questione di gradi e solitamente puoi scendere a compromessi. Una licenza che vieta il tuo caso d'uso è un muro invalicabile. 39 di questi modelli sono Apache 2.0, MIT o Modified MIT; gli altri 24 presentano condizioni che vanno dalla semplice attribuzione al divieto totale di uso commerciale.
4. Solo ora filtra per ciò in cui il modello eccelle. I chip di capacità sopra usano i tag applicati dai lab e dalla community: code, reasoning, vision, agents, multilingual, rag, edge, long-context. Scegline uno o due, non cinque. Ogni tag extra richiesto ti spinge verso un modello più grande di quanto il lavoro richieda.
5. Seleziona tre modelli invece di uno e testali sui tuoi dati. Da trenta a cinquanta esempi reali dal tuo carico di lavoro separeranno i candidati più velocemente e in modo molto più onesto di qualsiasi classifica pubblica. Tieni i due che hanno perso. I modelli vengono sostituiti ogni pochi mesi e l'harness di valutazione è la parte che vale la pena conservare.

Un'ultima regola che risparmia molti problemi: scegli il modello più piccolo che soddisfa i tuoi standard di qualità, poi fermati. Il margine che non utilizzi si paga in latenza su ogni singola richiesta, in elettricità e in una scheda che rimane per lo più inattiva tra le richieste.

Dense, mixture of experts e il numero che determina il tuo hardware

Ogni modello in questa tabella riporta due valori di parametri, che rispondono a due domande diverse. I parametri totali determinano quanta memoria è necessaria, poiché ogni peso deve risiedere in un punto accessibile alla GPU in tempi brevi. I parametri attivi determinano la velocità di esecuzione, poiché la generazione di un token legge solo i pesi attraverso cui quel token viene instradato. In un modello dense questi due numeri sono identici e non richiedono attenzione. In un mixture of experts possono differire di un fattore trenta, e l'intera architettura esiste per rendere utile questo divario.

Leggi la tabella come un compromesso piuttosto che come una classifica. Un mixture of experts converte la memoria in velocità. Acquisti abbastanza VRAM per contenere ogni expert, quindi ne utilizzi una piccola parte per ogni token, rendendo la decodifica veloce e il modello più intelligente di quanto suggerisca il numero di parametri attivi. È un buon compromesso quando la memoria è la risorsa che hai in abbondanza e la latenza è quella che non hai.

È un cattivo compromesso nella situazione opposta, che è quella in cui si trova la maggior parte delle persone. Se hai una scheda da 24GB, un MoE spende la tua risorsa più scarsa su pesi che tocchi a malapena. Qwen3 30B-A3B a 19.7 GB e Qwen3 32B a 21.7 GB occupano quasi la stessa memoria, ma il modello dense mette dieci volte più calcolo dietro ogni token. Su una singola scheda senza pressione di throughput, il 32B dense è solitamente la risposta migliore; su una macchina che serve molti utenti simultanei, l'MoE vince comodamente.

C'è un secondo effetto da conoscere. Poiché un MoE legge così pochi pesi per token, è molto meno sensibile alla larghezza di banda della memoria, che è esattamente il vincolo che rende i grandi modelli dense lenti sull'hardware consumer e sui chip Apple silicon. Ecco perché gpt-oss 120B, nonostante richieda circa 72 GB, genera più velocemente su una macchina con ampia memoria unificata rispetto a un 70B dense che richiede 45 GB. Capacità e velocità sono determinate da numeri diversi, e il filtro mixture-of-experts qui sopra ti permette di separare i due aspetti.

Perché due modelli della stessa dimensione possono richiedere macchine diverse

La colonna attention sembra un dettaglio trascurabile, ma non lo è. Determina quanto è costoso il tuo contesto e, con contesti lunghi, può contare più del numero di parametri. Ecco cosa comporta lo stesso salto da 4K a 128K per i modelli basati sulle quattro architetture di attention presenti in questo catalogo.

Phi-3.5 mini è la voce che dovrebbe cambiare il tuo modo di scegliere. È un modello da 3.8B, il tipo di cosa che si presume giri ovunque, e al suo contesto completo dichiarato di 128K richiede circa 55 GB perché memorizza 32 head key-value complete su ogni layer. Nel frattempo, un DeepSeek R1 da 671B aggiunge solo nove gigabyte passando da 4K a 128K, perché la multi-head latent attention comprime chiavi e valori in un singolo piccolo vettore per token per layer. Non è stata la dimensione a determinare l'esito, ma la geometria.

L'interpretazione pratica è semplice. Se il tuo carico di lavoro consiste in prompt brevi, ignora completamente la colonna attention e scegli in base ai pesi. Se il tuo carico di lavoro riguarda documenti lunghi, interi repository o grandi payload di retrieval, ordina prima per architettura di attention: i modelli sliding-window come la famiglia Gemma 3 e gpt-oss rimangono quasi costanti all'aumentare del contesto, i modelli grouped-query crescono a un ritmo gestibile, mentre i modelli full multi-head diventano insostenibili tra i 32K e i 128K, indipendentemente da quanto sembrino piccoli sulla carta.

Cosa significa realmente la colonna licence

Open weights e open source non sono la stessa cosa, e in questo divario si nascondono la maggior parte delle sorprese legali. Chiunque può scaricare ogni modello in questa pagina. Ciò che puoi farne varia da genuinamente senza restrizioni a esplicitamente non commerciale. Queste sono le famiglie di licenze in questo catalogo e cosa richiede ciascuna di esse.

Tre dettagli spesso traggono in inganno. Il primo è che una famiglia di licenze non è uniforme all'interno di un laboratorio: DeepSeek pubblica R1 e V3 sotto licenza MIT, ma Coder V2 Lite sotto i propri termini; Alibaba distribuisce quasi tutto Qwen sotto Apache 2.0, mentre Qwen2.5 3B e Qwen2.5 72B presentano condizioni specifiche. Controllate lo specifico checkpoint scaricato, non il brand.

Il secondo è che diverse di queste licenze includono clausole sugli output del modello, non solo sui pesi, in particolare riguardo alla possibilità di utilizzare il testo generato per addestrare un altro modello. Se il vostro piano prevede la produzione di dati di addestramento sintetici, quella clausola è più importante di qualsiasi aspetto relativo al deployment.

Il terzo riguarda gli obblighi che persistono dopo il fine-tuning. I termini di utilizzo proibito di Gemma si applicano a qualsiasi cosa derivata dai pesi. Il requisito di denominazione di Llama si applica ai nomi dei modelli derivati. Una licenza non commerciale rimane tale anche dopo l'addestramento sui propri dati, poiché i pesi di base sono ancora presenti. Filtrare per Apache e MIT tramite la casella di controllo qui sopra è il modo più rapido per risolvere il problema, lasciandovi comunque 39 modelli. Questa non è una consulenza legale; la colonna della licenza è una sintesi di un documento che vale la pena leggere almeno una volta.

Famiglie da conoscere, raggruppate per ambito di utilizzo

Sono rappresentati quattordici laboratori, ma per prendere decisioni corrette basta una mappa operativa di circa sei linee di modelli. I valori di VRAM indicati di seguito si riferiscono a Q4_K_M con un contesto di 4K, in linea con il valore predefinito della tabella.

Programmazione

Qwen2.5 Coder 32B a 21.7 GB rimane il modello di programmazione con licenza permissiva più potente che entra in una singola scheda da 24GB, mentre la variante 7B da 5.5 GB è la scelta standard per il completamento inline dove la latenza è più importante della profondità. Devstral Small 24B a 15.7 GB è ottimizzato per l'editing agentico su più file piuttosto che per il completamento di una singola funzione. DeepSeek Coder V2 Lite è l'opzione orientata alla velocità, attivando 2.4B di 15.7B parametri. Codestral 22B è valido ma ha una licenza non per uso produttivo, il che lo esclude dalla maggior parte dei prodotti distribuiti. Oltre il livello workstation, DeepSeek V3 e Kimi K2 sono i modelli di programmazione open seri, ed entrambi richiedono un server.

Ragionamento

QwQ 32B a 21.7 GB è stato il primo modello open a rendere pratica la deliberazione complessa su una singola scheda consumer, e le versioni distillate di DeepSeek R1 offrono lo stesso stile a 7B, 14B, 32B e 70B sotto licenza MIT, un fatto insolitamente generoso per questa categoria. La linea dense di Qwen3 attiva o disattiva la deliberazione su richiesta, quindi un singolo download copre entrambe le modalità. gpt-oss 20B e 120B sono orientati al ragionamento e sotto licenza Apache 2.0. Phi-4 14B a 10.5 GB offre prestazioni matematiche superiori alla sua categoria, ma è limitato a un contesto di 16K, che è ridotto per gli standard del 2026.

Contesto lungo

Llama 4 Scout è l'eccezione con una finestra di 10M di token, mentre Llama 4 Maverick ne offre 1M. DeepSeek R1 e V3 accettano 163840 token, e gran parte del catalogo moderno si attesta su 131072. La cosa importante è ciò che non è in questo elenco: l'intera generazione Gemma 2 si ferma a 8192 token, Phi-4 a 16384 e TinyLlama a 2048. Se state inserendo documenti lunghi, controllate la colonna del contesto prima di ogni altra cosa, perché nessuna qualità può compensare una finestra che non riesce a contenere il vostro input.

Visione

Sei modelli qui leggono immagini. Qwen2.5-VL 7B a 5.9 GB è il piccolo cavallo di battaglia per documenti, screenshot e grafici. Gemma 3 è disponibile in formati da 4B, 12B e 27B con capacità di visione, tutti sotto i termini Gemma; la versione 4B da 3.5 GB è notevole per il consumo di memoria. Llama 4 Scout e Maverick sono nativamente multimodali ma richiedono hardware potente. Ricordate che i token delle immagini consumano lo stesso budget di contesto del testo, quindi un carico di lavoro di visione esaurisce la finestra più velocemente di quanto suggerisca il numero di pagine.

Multilingua e retrieval

Mistral Nemo 12B a 8.8 GB è stato costruito con un tokenizer che gestisce il testo non inglese in modo più equo rispetto alla linea Llama, il che si traduce in una qualità migliore e meno token per frase. GLM-4 9B è forte sia in cinese che in inglese. Per la retrieval-augmented generation con citazioni inline, Command R e Command R+ rimangono i design di riferimento, con l'enorme avvertenza che entrambi sono non commerciali e Command R utilizza la full multi-head attention, diventando molto costoso proprio nei contesti lunghi tipici dei carichi di lavoro di retrieval.

Edge ed embedded

Tredici modelli portano il tag edge. Qwen2.5 0.5B richiede circa 1.0 GB, Qwen3 0.6B circa 1.6 GB, TinyLlama 1.1B circa 1.4 GB e SmolLM2 1.7B circa 2.5 GB, il che li rende adatti a uno smartphone, una scheda del browser o un Raspberry Pi con acceleratore. Phi-4 mini 3.8B a 3.5 GB e Llama 3.2 3B a 3.1 GB rappresentano il limite pratico per questa categoria e il punto in cui l'esecuzione delle istruzioni diventa affidabile.

Come leggere con scetticismo i risultati dei benchmark

Ogni post di rilascio contiene una tabella in cui il nuovo modello vince. Non è disonestà, è selezione: la tabella è stata assemblata dopo aver conosciuto i risultati, e ogni riga che non favoriva il modello è stata silenziosamente esclusa. Ecco cosa controllare prima che un numero di benchmark influenzi la vostra decisione.

• Contaminazione. I benchmark pubblici finiscono nei corpora di addestramento nel tempo; più il benchmark è vecchio, più è probabile che sia stato memorizzato. Un punteggio molto alto su un set di test datato è una prova meno solida di un punteggio medio su qualcosa rilasciato il mese scorso.
• Quale snapshot di confronto. I modelli closed sono bersagli mobili. Un'affermazione di superiorità rispetto a un modello di frontiera si riferisce solitamente a una versione specifica di un mese specifico, che potrebbe essere già stata superata prima della pubblicazione del post.
• Budget di token. I modelli di ragionamento possono spendere migliaia di token nascosti prima di rispondere. Se a una riga è stato permesso di deliberare e all'altra no, il confronto misura la spesa tanto quanto l'abilità.
• Formato del prompt e campionamento. Lo stesso modello può variare di diversi punti sullo stesso benchmark a seconda del template di chat, del system prompt, della temperature e di come viene analizzata la risposta. I numeri riportati raramente rivelano tutti e quattro i fattori.
• Aggregazione. Una singola media generale nasconde quali categorie sono variate. Un modello che migliora in matematica e peggiora nell'esecuzione delle istruzioni può mostrare una media invariata pur essendo chiaramente peggiore per il vostro caso d'uso.
• Pass at one contro best of many. Campionare più volte e mantenere la risposta migliore gonfia notevolmente i punteggi di programmazione, e non è il modo in cui funzionerà la vostra applicazione.

L'alternativa a tutto questo è poco appariscente ma efficace: raccogliete da trenta a cinquanta esempi del vostro compito reale, scrivete come dovrebbe essere una buona risposta e valutate voi stessi i candidati. Richiede un pomeriggio, sopravvive a ogni rilascio di modello e risponde all'unica domanda che conta: se questo modello è adatto al vostro lavoro, piuttosto che a un esame pubblico.

Abbinate il modello al compito, non alla classifica

Gran parte del lavoro di produzione con modelli linguistici non richiede un modello di grandi dimensioni. Questi compiti sono solitamente gestiti bene da modelli nella fascia da 3B a 8B, come Llama 3.2 3B a 3.1 GB, Gemma 3 4B a 3.5 GB, Qwen3 4B a 3.7 GB o Qwen2.5 7B a 5.5 GB, tutti adatti a una scheda da 8GB con spazio per il contesto.

• Classificazione e routing: decidere in quale delle sei code inserire un ticket di supporto, o se un messaggio richiede l'intervento umano.
• Estrazione in uno schema fisso: estrarre date, importi, nomi delle parti e identificatori da un documento semi-strutturato.
• Riformattazione: trasformare note in un template, convertire tra formati di markup, normalizzare indirizzi.
• Riassunto breve: un paragrafo da una pagina, dove la fonte è presente e il compito è di compressione piuttosto che di giudizio.
• Tagging e metadati: titoli, parole chiave, sentiment, rilevamento della lingua, avvisi sui contenuti.
• Riscrittura delle query per la ricerca e reranking di una manciata di passaggi recuperati prima che raggiungano un modello più grande.

I compiti che traggono reale vantaggio dalle dimensioni sono diversi: modifiche al codice su più file dove il modello deve mantenere in mente un'architettura, istruzioni ambigue che richiedono di inferire l'intento, sintesi tra documenti lunghi che divergono tra loro, matematica con più di un paio di passaggi e loop di agenti dove un errore iniziale si accumula su venti turni. Se il vostro carico di lavoro non rientra in questo secondo elenco, il denaro speso per un modello più grande acquista latenza anziché qualità.

L'architettura più efficace nella pratica è solitamente mista: un modello piccolo che gestisce il volume di routine, passando a uno grande nei casi in cui è incerto. Il tasso di escalation è tipicamente di pochi punti percentuali, che è la differenza tra un carico di lavoro che entra in una scheda e uno che non ci entra.

Eseguirlo localmente o chiamare un'API in hosting?

Ogni modello in questa pagina può essere scaricato e molti di essi sono disponibili anche come endpoint in hosting, inclusi quelli tramite questo gateway. La scelta riguarda meno l'ideologia e più la risorsa di cui siete a corto.

Eseguite localmente quando i dati non possono lasciare l'infrastruttura, quando avete bisogno che i pesi siano fissi affinché il comportamento non cambi mai, quando lavorate offline o con una connessione instabile, quando avete un traffico costante ad alto volume su una GPU che già possedete, o quando intendete fare fine-tuning. L'inferenza locale offre anche funzionalità che nessuna API espone: logit grezzi, decodifica vincolata da una grammatica, campionamento personalizzato e speculative decoding.

Utilizza un endpoint ospitato quando il traffico è a picchi, quando il modello desiderato richiede più memoria di quella che puoi ragionevolmente acquistare, quando prevedi di cambiare modello ogni poche settimane o quando nessuno nel team vuole gestire un server di inferenza. Il catalogo rende bene l'idea della memoria: 44 di questi 63 modelli entrano in una scheda da 24GB, ma DeepSeek R1 a 410 GB e Kimi K2 a 611 GB sono distribuzioni multi-nodo, e il divario tra questi due gruppi non è qualcosa che si colma con l'ingegno.

L'economia è solitamente determinata dall'utilizzo piuttosto che dalle tariffe. Una scheda che lavora con un ciclo di lavoro del dieci percento è costosa per token utile, indipendentemente da quanto fosse economico l'hardware, perché l'hai pagata per intero. Una scheda che lavora continuamente è molto difficile da battere sul prezzo. Stima onestamente i tuoi token al giorno prima di acquistare qualsiasi cosa e nota che la risposta onesta per la maggior parte dei progetti secondari e degli strumenti interni è che un endpoint ospitato gratuito o economico vince facilmente.

Domande che le persone pongono realmente

Come scelgo un modello open-weight?

Ordina i tuoi vincoli partendo dai più rigidi. Imposta un budget di memoria in gigabyte anziché in parametri, decidi la lunghezza del contesto di cui hai realmente bisogno prima di creare una lista, filtra per licenza e solo dopo filtra per capacità. Dei 63 modelli qui presenti, 44 entrano in 24 GB a Q4_K_M con un contesto di 4K e solo 24 entrano in 8 GB, quindi il solo passaggio del budget solitamente dimezza la lista. Concludi testando tre candidati su trenta-cinquanta esempi del tuo lavoro reale.

Cosa significano i parametri attivi in un modello mixture-of-experts?

I parametri totali determinano quanta memoria ti serve, perché ogni peso deve essere residente. I parametri attivi determinano la velocità di esecuzione, perché la generazione di un token legge solo gli esperti attraverso cui quel token viene instradato. Qwen3 30B-A3B contiene 30,5B di parametri ma ne attiva 3,3B per token, quindi occupa circa 19,7 GB a Q4_K_M ma decodifica all'incirca alla velocità di un modello da 3B.

Un modello mixture-of-experts è più economico da eseguire rispetto a uno dense?

Più economico in termini di calcolo e tempo, non di memoria. Se la VRAM è il tuo vincolo principale, un MoE ha uno scarso rapporto valore/prezzo, perché paghi per ogni esperto e ne usi solo una frazione. Se hai memoria e vuoi throughput, è eccellente. gpt-oss 120B richiede circa 72 GB a Q4_K_M ma legge solo 5,1B di parametri per token.

Quali modelli open-weight posso utilizzare commercialmente senza chiedere il permesso?

Quelli con licenza Apache 2.0 e MIT. In questo catalogo si tratta di 39 modelli su 63, inclusa l'intera linea Qwen3, Qwen2.5 Coder, QwQ 32B, Mistral Small 24B, Devstral, i modelli Mixtral, gpt-oss 20B e 120B, DeepSeek R1 e V3, i distillati R1, Phi-4 e GLM-4.5 Air. Gli altri 24 presentano condizioni che vanno dall'attribuzione al divieto assoluto di uso commerciale.

La licenza Llama community è una licenza commerciale?

Permette l'uso commerciale, ma non è una licenza open-source. Limita l'uso gratuito a 700 milioni di utenti attivi mensili, richiede di mostrare Built with Llama e di mantenere il nome Llama nei nomi dei modelli derivati, e include una policy di utilizzo accettabile. Per la maggior parte dei team non è un problema, ma è un contratto piuttosto che una concessione, quindi leggilo prima di costruirci sopra un prodotto.

Posso usare Command R o Command R+ in un prodotto commerciale?

Non con i pesi rilasciati. Entrambi i modelli Cohere qui presenti sono CC-BY-NC, quindi solo per uso non commerciale. Sono eccellenti modelli di retrieval e citazione e vanno benissimo per ricerca o valutazione, ma distribuirli in un prodotto a pagamento o che genera ricavi richiede un accordo separato con Cohere.

Perché lo stesso modello richiede molta più VRAM con un contesto di 128K?

La KV cache cresce linearmente con il contesto, e la pendenza dipende dalla geometria dell'attention. Command R 35B usa la full multi-head attention e passa da 27,4 GB a 4K a 194,8 GB a 128K. Qwen3 32B con grouped-query attention passa da 21,7 GB a 55,2 GB. Gemma 3 27B, che usa sliding windows su cinque strati su sei, passa solo da 18,1 GB a 28,6 GB.

Qual è il modello open più piccolo che sia ancora realmente utile?

Per classificazione, routing, estrazione in uno schema fisso e riformattazione, i modelli nella fascia da 3B a 4B sono già affidabili. Llama 3.2 3B richiede circa 3,1 GB a Q4_K_M, Gemma 3 4B circa 3,5 GB e Qwen3 4B circa 3,7 GB, quindi tutti e tre girano su una scheda da 8GB con spazio per un contesto reale. Sotto i 2B circa, i modelli scrivono ancora fluentemente ma smettono di seguire istruzioni multi-step in modo affidabile.

Ho bisogno di un modello di reasoning?

Solo per problemi con una catena di passaggi verificabile: matematica, codice algoritmico, puzzle di vincoli, analisi multi-hop. I modelli di reasoning spendono un gran numero di token nascosti prima di rispondere, il che significa maggiore latenza e più token generati per ogni richiesta. Per estrazione, riassunto, riscrittura e chat, un modello non-reasoning della stessa dimensione è solitamente più veloce e altrettanto valido.

Quale modello open-weight è migliore per la programmazione?

Per una singola scheda da 24GB, Qwen2.5 Coder 32B a circa 21,7 GB è l'opzione più forte con licenza permissiva. Devstral Small 24B a circa 15,7 GB è ottimizzato per l'editing agentico multi-file piuttosto che per i completamenti singoli. Per un completamento inline veloce, Qwen2.5 Coder 7B o DeepSeek Coder V2 Lite, che attiva solo 2,4B dei suoi 15,7B di parametri. Al top, DeepSeek V3 e Kimi K2 sono più forti ma richiedono centinaia di gigabyte.

Una lunga lunghezza del contesto pubblicizzata significa che il modello la usa bene?

No. Il valore del contesto è la lunghezza accettata dai pesi rilasciati, non la lunghezza alla quale la qualità si mantiene. Llama 4 Scout pubblicizza 10M di token e la maggior parte dei modelli moderni qui elenca 128K, ma l'accuratezza del retrieval solitamente degrada ben prima del massimo dichiarato. Considera il numero come un tetto massimo e misura le prestazioni reali alla lunghezza che intendi utilizzare.

Dovrei fidarmi della tabella dei benchmark in un post di rilascio di un modello?

Considerala come marketing che contiene numeri reali. Le tabelle di rilascio sono scelte a posteriori, i modelli di confronto sono spesso snapshot più vecchi, i formati dei prompt e le impostazioni di campionamento differiscono tra le righe, e i benchmark popolari finiscono nei dati di addestramento nel tempo. Il numero che dovrebbe guidare la tua scelta è il punteggio su trenta-cinquanta esempi del tuo carico di lavoro.

Quanta qualità perdo quantizzando a 4-bit?

Meno di quanto la maggior parte delle persone si aspetti sui modelli più grandi e più di quanto si aspetti su quelli piccoli. Q8_0 è effettivamente indistinguibile dai pesi originali. Q4_K_M costa una piccola quantità, solitamente impercettibile, sui modelli sopra i 13B circa, e diventa visibile sui modelli da 1B a 3B dove c'è meno ridondanza da sacrificare. Sotto i 4 bit, a Q3 e Q2, il degrado è reale. Nota che gpt-oss viene distribuito nativamente in MXFP4, quindi 4-bit è la sua precisione pubblicata piuttosto che un passaggio di compressione.

Quando dovrei eseguire un modello localmente invece di chiamare un'API ospitata?

Esegui localmente quando i dati non possono lasciare la tua macchina, quando hai bisogno di pesi bloccati affinché il comportamento non cambi mai, quando sei offline o quando hai un volume elevato e costante su una GPU che già possiedi. Chiama un'API ospitata quando il traffico è a picchi, quando il modello desiderato richiede più memoria di quella che hai o quando vuoi cambiare spesso modello. Una scheda da 24GB che rimane inattiva per gran parte della giornata è più costosa per token utile di qualsiasi API.