Ein kostenloser Key, viele Modelle

Die meisten Modellanbieter bieten ein kostenloses Kontingent an. Einzeln sind diese instabil: Limits sind niedrig, Modelle werden eingestellt und ein einzelner Anbieter mit Problemen legt Ihre App lahm. Die Bündelung löst dieses Problem.

Ihre Anfrage erreicht einen Endpoint im Standard-Chat-Completions-Format. Wir wählen einen Anbieter aus, der das angeforderte Modell bereitstellt und aktuell verfügbar ist, leiten die Anfrage weiter und geben eine Antwort im OpenAI-Format zurück. Wenn dieser Anbieter ausfällt oder ein Rate-Limit anwendet, versuchen wir es beim nächsten, bevor wir abbrechen. Sie können ein bestimmtes Modell festlegen oder senden "model": "auto" und den Router wählen lassen.

Da der Endpoint OpenAI-kompatibel ist, erfordert die Migration nur eine Zeilenänderung: Verweisen Sie base_url auf uns und behalten Sie den Rest Ihres Codes bei. Die OpenAI SDKs, LangChain, LlamaIndex, n8n und alles andere, das dieses Format unterstützt, funktionieren unverändert.

Es ist kostenlos, da die Upstream-Tarife kostenlos sind. Wir besitzen keine GPUs. Das bedeutet, wir übernehmen das, was die Anbieter bereitstellen, und dies kann sich ohne Vorwarnung ändern. Jeder Key erhält 500,000 Tokens und 5,000 Anfragen innerhalb eines rollierenden 24-Stunden-Fensters, was für Prototypen und leichte Produktion großzügig ist, aber keinen Ersatz für einen kostenpflichtigen Plan bei echter Last darstellt.

Failover ändert, welches Modell antwortet. Wenn Sie ein Modell fixieren (pin) und dieser Anbieter nicht verfügbar ist, verwenden wir eine funktionierende Alternative, anstatt Ihre Anfrage fehlschlagen zu lassen. Fixieren Sie explizit, wenn Sie Determinismus benötigen.

Anfragen werden protokolliert. Wir speichern Prompt- und Antwort-Metadaten, damit Quotas, Failover und die Konversationskontext-Funktion funktionieren und wir den Router debuggen können. Senden Sie keine Geheimnisse oder persönlichen Daten, die nicht gespeichert werden sollen. Siehe die Datenschutzerklärung für Details.

Der langfristige Plan ist unsere eigene Hardware. Das Bündeln kostenloser Tarife ist ein Ausgangspunkt, nicht das Ziel. Mit wachsender Nutzung ist beabsichtigt, Open-Weight-Modelle auf Maschinen unter unserer Kontrolle bereitzustellen, weshalb auch die Hardware-Tools existieren.