하나의 무료 키로 다양한 모델 사용

대부분의 모델 제공업체는 무료 티어를 제공합니다. 개별적으로는 제한이 낮고 모델이 폐기되거나, 특정 제공업체에 문제가 생기면 앱이 중단되는 등 불안정합니다. 이들을 통합하여 이러한 문제를 해결합니다.

요청은 표준 chat completions 형식으로 하나의 endpoint에 도달합니다. 요청한 모델을 보유하고 현재 정상 작동 중인 제공업체를 선택하여 요청을 전달하고, 일반적인 OpenAI 형식의 응답을 반환합니다. 해당 제공업체에서 오류가 발생하거나 속도 제한이 걸리면, 포기하기 전에 다음 제공업체로 시도합니다. 특정 모델을 고정하거나 다음을 전송할 수 있습니다. "model": "auto" 라우터가 선택하도록 할 수 있습니다.

endpoint가 OpenAI와 호환되므로 마이그레이션은 한 줄 변경으로 충분합니다. base_url을 저희 쪽으로 설정하고 나머지 코드는 그대로 유지하십시오. OpenAI SDK, LangChain, LlamaIndex, n8n 등 해당 형식을 지원하는 모든 도구가 수정 없이 작동합니다.

업스트림 티어가 무료이므로 무료로 제공됩니다. 저희는 GPU를 직접 소유하지 않습니다. 즉, 제공업체가 제공하는 사양을 그대로 따르며, 이는 예고 없이 변경될 수 있습니다. 각 키는 다음을 제공받습니다: 500,000 토큰 및 5,000 요청을 24시간 단위로 갱신하며, 이는 프로토타입이나 가벼운 운영 환경에는 충분하지만 실제 부하가 발생하는 환경에서 유료 플랜을 대체할 수는 없습니다.

Failover 발생 시 응답하는 모델이 변경될 수 있습니다. 특정 모델을 고정(pin)했더라도 해당 제공업체를 사용할 수 없는 경우, 요청 실패 대신 정상 작동하는 대체 모델을 사용합니다. 결정론적 결과가 필요한 경우 명시적으로 고정하십시오.

요청은 기록됩니다. 쿼터, Failover, 대화 컨텍스트 기능의 작동 및 라우터 디버깅을 위해 프롬프트와 응답 메타데이터를 보관합니다. 저장되어서는 안 될 비밀 정보나 개인정보는 전송하지 마십시오. 자세한 내용은 다음을 참조하십시오. 개인정보 처리방침을 참조하십시오.

장기적인 계획은 자체 하드웨어를 구축하는 것입니다. 무료 티어 통합은 시작점일 뿐 최종 목표가 아닙니다. 사용량이 증가함에 따라 저희가 직접 제어하는 장비에서 오픈 웨이트 모델을 서비스할 예정이며, 이것이 하드웨어 도구가 존재하는 이유이기도 합니다.