속도 제한이나 차단? 멀티 모델 페일오버 설계

## 단일 제공업체의 위험

제품 전체가 단일 모델 엔드포인트에 의존한다면, 속도 제한이나 장애, 지역 차단 하나만으로도 앱이 함께 멈춰 버립니다. 해결책은 영웅적인 것이 아니라 폴백 목록입니다.

## 패턴: 순서가 있는 폴백

먼저 기본 모델을 시도하고, 속도 제한이나 오류가 발생하면 다음 모델로 폴백합니다. ClaudeN AI는 하나의 키로 Claude, GPT, Gemini를 제공하므로, 페일오버는 그저 모델 이름의 목록일 뿐입니다.

``python
from openai import OpenAI

client = OpenAI(api_key="YOUR_CLAUDEN_KEY", base_url="https://clauden.ai/v1")

FALLBACKS = ["claude-3-5-sonnet", "gpt-4o", "gemini-1.5-pro"]

def ask(prompt: str) -> str:
last_err = None
for model in FALLBACKS:
try:
r = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
except Exception as e:
last_err = e
continue
raise RuntimeError(f"All models failed: {last_err}")

print(ask("CAP 정리를 두 문장으로 요약해 줘."))
``

## 페일오버를 안정적으로 만드는 팁

- 성능 순, 그다음 비용 순으로 정렬하세요: 가장 좋은 모델을 먼저, 가장 저렴한 폴백을 마지막에.
- 짧은 타임아웃을 추가해 느린 제공업체가 전체 체인을 막지 않도록 하세요.
- 각 요청을 실제로 어떤 모델이 처리했는지 로그로 남겨 순서를 조정할 수 있게 하세요.

## 릴레이가 도움이 되는 이유

이 작업을 세 개의 개별 제공업체를 상대로 하면 키 셋, SDK 셋, 청구 시스템 셋이 필요합니다. 하나의 게이트웨이를 통하면 그것은 단일 목록과 단일 잔액일 뿐입니다——운영 비용 없이 회복력을 얻습니다.