供应商路由

通过 provider.routing 参数控制请求路由到哪个后端提供商,优化成本、延迟和输出质量。

工作原理

UloveGPT Gateway 作为统一代理,将你的请求路由到实际的后端提供商(OpenAI、Anthropic、Google 等)。路由策略决定了请求最终由哪个后端处理。

默认路由行为

默认路由规则Text
# 默认行为:使用 model 名称中的 provider 前缀
# 例如:openai/gpt-5.4-mini → 路由到 OpenAI
#       anthropic/claude-sonnet-4.6 → 路由到 Anthropic
#       google/gemini-3.1-flash → 路由到 Google

# 如果 model 没有 provider 前缀:
# gpt-5.4-mini → UloveGPT 自动选择最佳后端
# 此时可通过 provider.routing 显式控制

路由策略

通过 provider.routing 参数可以选择不同的路由策略:

策略说明适用场景
openai强制使用 OpenAI 后端需要特定模型行为一致性
anthropic强制使用 Anthropic 后端需要 Claude 的特定能力
google强制使用 Google 后端需要 Gemini 的多模态能力
cost自动选择成本最低的后端成本敏感的应用
latency自动选择延迟最低的后端实时交互场景
quality自动选择质量最高的后端对输出质量要求高的场景

使用示例

不同路由策略Python
from openai import OpenAI

client = OpenAI(
    base_url="https://www.ulovegpt.com/v1",
    api_key="<你的 API_KEY>"
)

# 策略 1:指定使用特定后端提供商
# 同一个模型名可能由多个后端提供
response = client.chat.completions.create(
    model="gpt-5.4-mini",
    messages=[
        {"role": "user", "content": "Hello"}
    ],
    extra_body={
        "provider": {
            "routing": "openai"  # 强制使用 OpenAI 后端
        }
    }
)

# 策略 2:按成本优先路由
response2 = client.chat.completions.create(
    model="gpt-5.4-mini",
    messages=[
        {"role": "user", "content": "Hello"}
    ],
    extra_body={
        "provider": {
            "routing": "cost"  # 自动选择成本最低的后端
        }
    }
)

# 策略 3:按延迟优先路由
response3 = client.chat.completions.create(
    model="gpt-5.4-mini",
    messages=[
        {"role": "user", "content": "Hello"}
    ],
    extra_body={
        "provider": {
            "routing": "latency"  # 自动选择延迟最低的后端
        }
    }
)

# 策略 4:按质量优先路由
response4 = client.chat.completions.create(
    model="gpt-5.4-mini",
    messages=[
        {"role": "user", "content": "Hello"}
    ],
    extra_body={
        "provider": {
            "routing": "quality"  # 自动选择质量最高的后端
        }
    }
)

最佳实践

  • 有 provider 前缀时:如 openai/gpt-5.4-mini,直接路由到指定提供商,无需额外配置
  • 无前缀时:如 gpt-5.4-mini,UloveGPT 根据内部策略自动选择,可通过 provider.routing 覆盖
  • 一致性要求高:使用明确的 provider 前缀或指定 routing,确保行为一致
  • 成本优化:使用 cost 策略 + provider.fallback 组合