Uma chave gratuita, muitos modelos

A maioria dos provedores de modelos oferece um tier gratuito. Individualmente, eles são frágeis: os limites são baixos, modelos são descontinuados e um único provedor com problemas pode quebrar sua aplicação. Agrupá-los resolve isso.

Sua requisição chega a um endpoint no formato padrão de chat completions. Escolhemos um provedor que tenha o modelo solicitado e que esteja operacional, encaminhamos a requisição e retornamos uma resposta no formato padrão da OpenAI. Se esse provedor falhar ou aplicar rate limit, tentamos o próximo antes de desistir. Você pode fixar um modelo específico ou enviar "model": "auto" e deixar o roteador escolher.

Como o endpoint é compatível com OpenAI, a migração é uma alteração de uma linha: aponte a base_url para nós e mantenha o restante do seu código. Os SDKs da OpenAI, LangChain, LlamaIndex, n8n e qualquer outra ferramenta que utilize o formato funcionam sem modificações.

É gratuito porque os níveis dos provedores upstream são gratuitos. Nós não possuímos GPUs. Isso significa que herdamos o que os provedores oferecem, e isso pode mudar sem aviso prévio. Cada chave recebe 500,000 tokens e 5,000 requisições em uma janela rotativa de 24 horas, o que é generoso para protótipos e produção leve, mas não substitui um plano pago sob carga real.

O failover altera qual modelo responde. Se você fixar um modelo e esse provedor estiver indisponível, usaremos uma alternativa funcional em vez de falhar sua requisição. Fixe explicitamente quando precisar de determinismo.

As requisições são registradas. Mantemos metadados de prompt e resposta para que as cotas, o failover e o recurso de contexto de conversa funcionem, e para que possamos depurar o roteador. Não envie segredos ou dados pessoais que você não gostaria que fossem armazenados. Veja a política de privacidade para detalhes.

O plano de longo prazo é ter nosso próprio hardware. Agrupar níveis gratuitos é um ponto de partida, não o destino. À medida que o uso cresce, a intenção é servir modelos de pesos abertos em máquinas que controlamos, que é também o motivo da existência das ferramentas de hardware.