Une clé gratuite, de nombreux modèles

La plupart des fournisseurs de modèles offrent un niveau gratuit. Individuellement, ils sont fragiles : les limites sont basses, les modèles sont retirés, et un seul fournisseur ayant un mauvais après-midi peut casser votre application. Les regrouper résout ce problème.

Votre requête arrive à un endpoint au format standard de complétions de chat. Nous choisissons un fournisseur qui a le modèle que vous avez demandé et qui est actuellement sain, transmettons la requête et renvoyons une réponse normale au format OpenAI. Si ce fournisseur échoue ou vous limite en débit, nous essayons le suivant avant d'abandonner. Vous pouvez épingler un modèle spécifique, ou envoyer "model": "auto" et laisser le routeur choisir.

Parce que l'endpoint est compatible OpenAI, la migration est un changement d'une seule ligne : pointez base_url vers nous et gardez le reste de votre code. Les SDK OpenAI, LangChain, LlamaIndex, n8n et tout ce qui parle le format fonctionnent tous sans modification.

C'est gratuit parce que les tiers en amont sont gratuits. Nous ne possédons pas de GPU. Cela signifie que nous héritons de ce que les fournisseurs proposent, et cela peut changer sans préavis. Chaque clé obtient 500,000 tokens et 5,000 requêtes sur une fenêtre glissante de 24 heures, ce qui est généreux pour les prototypes et la production légère, mais ne remplace pas un plan payant sous une charge réelle.

Le basculement modifie le modèle qui répond. Si vous épinglez un modèle et que ce fournisseur est indisponible, nous utiliserons une alternative saine plutôt que de faire échouer votre requête. Épinglez explicitement lorsque vous avez besoin de déterminisme.

Les requêtes sont enregistrées. Nous conservons les métadonnées des invites et des réponses afin que les quotas, le basculement et la fonctionnalité de contexte de conversation puissent fonctionner, et afin que nous puissions déboguer le routeur. N'envoyez pas de secrets ou de données personnelles que vous ne voudriez pas stocker. Consultez la politique de confidentialité pour plus de détails.

Le plan à long terme est notre propre matériel. Le regroupement des tiers gratuits est un point de départ, pas la destination. À mesure que l'utilisation augmente, l'intention est de servir des modèles à poids ouverts sur des machines que nous contrôlons, c'est aussi pourquoi les outils matériels existent.