Una chiave gratuita, molti modelli

La maggior parte dei provider di modelli offre un piano gratuito. Singolarmente sono fragili: i limiti sono bassi, i modelli vengono ritirati e un singolo provider che ha un momento di inattività blocca la tua app. Aggregarli risolve il problema.

La tua richiesta arriva a un endpoint nel formato standard chat completions. Scegliamo un provider che dispone del modello richiesto ed è attualmente operativo, inoltriamo la richiesta e restituiamo una risposta nel formato OpenAI. Se quel provider fallisce o ti impone limiti di velocità, proviamo con il successivo prima di rinunciare. Puoi fissare un modello specifico, o inviare "model": "auto" e lasciare che il router scelga.

Poiché l'endpoint è compatibile con OpenAI, la migrazione richiede una sola riga di modifica: punta base_url verso di noi e mantieni il resto del codice. Gli SDK OpenAI, LangChain, LlamaIndex, n8n e qualsiasi altro strumento che supporti il formato funzionano senza modifiche.

È gratuito perché i livelli upstream sono gratuiti. Non possediamo GPU. Ciò significa che ereditiamo ciò che i provider offrono, e questo può cambiare senza preavviso. Ogni chiave ottiene 500,000 token e 5,000 richieste in una finestra mobile di 24 ore, il che è generoso per prototipi e produzione leggera, ma non sostituisce un piano a pagamento sotto carico reale.

Il failover cambia quale modello risponde. Se fissi un modello e quel provider non è disponibile, useremo un'alternativa funzionante invece di far fallire la tua richiesta. Fissa esplicitamente quando hai bisogno di determinismo.

Le richieste vengono registrate. Conserviamo i metadati di prompt e risposta affinché quote, failover e la funzione di contesto della conversazione possano funzionare, e per poter eseguire il debug del router. Non inviare segreti o dati personali che non vorresti fossero memorizzati. Vedi la politica sulla privacy per i dettagli.

Il piano a lungo termine è avere il nostro hardware. Raggruppare i livelli gratuiti è un punto di partenza, non la destinazione. Con la crescita dell'utilizzo, l'intento è servire modelli open-weight su macchine che controlliamo, motivo per cui esistono anche gli strumenti hardware.