1つの無料キーで、多くのモデルを

多くのモデルプロバイダーは無料枠を提供していますが、単体では不安定です。制限が厳しく、モデルが廃止されることもあり、特定のプロバイダーの不調がアプリの停止につながります。これらを統合することで、その問題を解決します。

リクエストは標準のchat completions形式で1つのエンドポイントに送信されます。リクエストされたモデルを持ち、現在正常に稼働しているプロバイダーを選択して転送し、OpenAI形式のレスポンスを返します。プロバイダーが失敗またはレート制限を返した場合、別のプロバイダーを試してからエラーを返します。特定のモデルを指定することも、 "model": "auto" を送信して、ルーターに選択を任せることも可能です。

エンドポイントはOpenAI互換であるため、移行は1行の変更で済みます。base_urlを当社に向けるだけで、残りのコードはそのまま使用できます。OpenAI SDK、LangChain、LlamaIndex、n8nなど、この形式に対応するツールはすべてそのまま動作します。

アップストリームの無料枠を利用しているため、無料で提供しています。 当社はGPUを所有していません。そのため、プロバイダーが提供するリソースに依存しており、予告なく変更される可能性があります。各キーには以下が割り当てられます： 500,000 トークンおよび 5,000 リクエスト（24時間ごとのローリングウィンドウ）。プロトタイプや小規模な本番環境には十分ですが、本格的な負荷がかかる環境での有料プランの代わりにはなりません。

フェイルオーバーにより、応答するモデルが切り替わることがあります。 モデルを固定している場合でも、そのプロバイダーが利用できないときは、リクエストを失敗させる代わりに正常な代替モデルを使用します。決定論的な動作が必要な場合は、明示的に固定してください。

リクエストはログに記録されます。 クォータ、フェイルオーバー、会話コンテキスト機能の動作およびルーターのデバッグのため、プロンプトと返信のメタデータを保持しています。保存されたくない機密情報や個人情報は送信しないでください。詳細は以下を参照してください。 プライバシーポリシー の詳細はこちら。

長期的な計画として、自社ハードウェアの導入を目指しています。 無料枠の統合は出発点であり、最終目標ではありません。利用状況の拡大に伴い、自社管理のサーバーでオープンウェイトモデルを提供することを意図しています。これがハードウェアツールが存在する理由でもあります。