OmniRoute + LiteLLM + Bifrost 整合架構規劃:打造企業級 AI Gateway

5 分鐘閱讀時長

發布時間:

OmniRoute + LiteLLM + Bifrost 整合架構規劃

三個項目的定位

在規劃整合前,先釐清三者各自的核心競爭力與功能重疊:

LiteLLM:治理與多租戶核心

面向說明
語言Python
核心優勢成熟的 Team/Org/User/Key 四層多租戶、階層式預算、Guardrails(PII、注入防禦)
Provider100+
定位企業治理層 — 管人、管錢、管權限、管安全

Bifrost:效能與 MCP 核心

面向說明
語言Go
核心優勢極致效能(<100 µs overhead)、MCP Gateway、內建 Semantic Cache、叢集模式
Provider23+
定位效能與工具層 — 管速度、管快取、管 MCP 工具

OmniRoute:智能路由與 Provider 池核心

面向說明
語言Node.js / TypeScript
核心優勢250+ Provider(含 90+ 免費 tier)、18 種路由策略、RTK+Caveman 壓縮(省 15-95% token)、自動 fallback
Provider250+(最多)
定位智能路由層 — 管供應商池、管成本優化、管 token 壓縮

為什麼要整合?

單一工具的限制:

單一方案問題
只用 LiteLLM效能受限(Python)、MCP 功能不足
只用 BifrostProvider 池不夠大、缺少 OSS Guardrails
只用 OmniRoute缺少企業級多租戶治理(Team Budget / Role)

整合後的目標:用 LiteLLM 管治理、Bifrost 管效能與 MCP、OmniRoute 管路由與供應商池。


整合架構總覽

                          ┌────────────────────────────────────────┐
                          │            Open WebUI                  │
                          │      (UI / RBAC / Chat History)       │
                          └──────────────────┬─────────────────────┘
                                             │ /v1/chat/completions
                                             ▼
                          ┌────────────────────────────────────────┐
                          │         LiteLLM Proxy                  │
                          │   (治理層:Team / Budget / Guardrails) │
                          │   - 多租戶隔離、費用追蹤               │
                          │   - Virtual Key 權限控制               │
                          │   - Guardrails:PII / Prompt Injection │
                          └──────────────────┬─────────────────────┘
                                             │ 轉發至後端路由層
                                             ▼
                ┌──────────────────────────────────────────────────┐
                │              Bifrost Cluster                     │
                │   (效能層:MCP / Semantic Cache / HA)           │
                │   - <100µs overhead Go 路由                     │
                │   - MCP Gateway(工具整合)                      │
                │   - Semantic Cache(語意快取)                   │
                │   - 叢集模式、負載平衡                           │
                └──────────────────┬───────────────────────────────┘
                                   │ 智能路由與 fallback
                                   ▼
                ┌──────────────────────────────────────────────────┐
                │              OmniRoute                           │
                │   (路由層:智能選取 / Provider 池 / 壓縮)        │
                │   - 250+ Provider(含免費 tier)                 │
                │   - 18 種路由策略(cost-opt / auto-combo)       │
                │   - RTK + Caveman 壓縮(省 token)               │
                │   - 自動 fallback(毫秒級切換)                   │
                └──────────────────┬───────────────────────────────┘
                                   │ 最終調用
                ┌──────────────────────────────────────────────────┐
                │            Upstream Providers                    │
                │  OpenAI / Anthropic / Bedrock / Vertex / Ollama │
                │  + 200+ 其他 Provider(含免費 tier)             │
                └──────────────────────────────────────────────────┘

請求流程:

使用者 → Open WebUI → LiteLLM → Bifrost → OmniRoute → Provider
         [UI/RBAC]    [治理]     [效能/MCP] [路由/壓縮]  [LLM]

各層職責詳細說明

第一層:Open WebUI(UI 層)

職責說明
使用者登入LDAP / OIDC / SAML 整合
RBACGroup / Permission 控制 UI 功能
Model ACL控制 UI 上顯示哪些模型
聊天歷史儲存對話紀錄、知識庫

連接設定:

  • Base URL → http://litellm:4000
  • Key → LiteLLM Virtual Key

第二層:LiteLLM(治理層)

職責說明
多租戶隔離Team 層級隔離,每個部門獨立預算與模型權限
費用追蹤每個請求歸算至 Team / User / Key
GuardrailsPII 遮蔽、Prompt Injection 防禦、輸出審核
Virtual Key控制可存取哪些模型(即使 UI 顯示,API 層仍會拒絕)
Budget階層式預算(Org → Team → User → Key)

關鍵設定:

# LiteLLM config.yaml
general_settings:
  master_key: sk-master-key
  max_budget: 10000
  user_header_mappings:
    - header_name: X-OpenWebUI-User-Id
      litellm_user_role: internal_user

litellm_settings:
  max_budget: 10000

model_list:
  # 指向 Bifrost 作為上游
  - model_name: gpt-4o
    litellm_params:
      model: gpt-4o
      api_base: http://bifrost:8080

  - model_name: claude-sonnet-4
    litellm_params:
      model: claude-sonnet-4
      api_base: http://bifrost:8080

# Guardrails
guardrails:
  - guardrail_name: "presidio-pii"
    litellm_params:
      guardrail: presidio
      mode: pre_call
      default_on: true

第三層:Bifrost(效能與 MCP 層)

職責說明
極速路由Go 原生 <100 µs overhead,適合高併發
MCP Gateway統一管理模型與外部工具(FS、Web Search、DB)
Semantic Cache語意快取減少重複請求
Cluster Mode叢集部署,水平擴展
Load Balancing智能負載平衡至下游
可觀測性Prometheus Metrics、Tracing

關鍵設定:

{
  "providers": [
    {
      "id": "omniroute",
      "type": "openai-compatible",
      "baseUrl": "http://omniroute:20128/v1",
      "apiKey": "sk-omniroute-key"
    }
  ],
  "features": {
    "semanticCache": {
      "enabled": true,
      "similarityThreshold": 0.95
    },
    "mcp": {
      "enabled": true,
      "servers": ["filesystem", "web-search", "database"]
    }
  }
}

第四層:OmniRoute(智能路由與 Provider 池層)

職責說明
Provider 池250+ Provider,含大量免費 tier(~1.6B token/月免費)
18 種路由策略cost-optimized、auto-combo、fill-first、headroom、fusion…
RTK+Caveman 壓縮自動壓縮 prompt(省 15-95% token)
4-Tier FallbackSubscription → API → Cheap → Free,毫秒級切換
Circuit Breaker自動切斷失敗的 Provider

關鍵設定:

{
  "routingStrategy": "cost-optimized",
  "compression": {
    "rtk": true,
    "caveman": true
  },
  "fallback": {
    "enabled": true,
    "tiers": ["subscription", "api", "cheap", "free"]
  },
  "providers": [
    { "id": "openai", "apiKey": "sk-...", "type": "subscription" },
    { "id": "anthropic", "apiKey": "sk-...", "type": "subscription" },
    { "id": "siliconflow", "apiKey": "...", "type": "free" },
    { "id": "openrouter", "apiKey": "...", "type": "api" }
  ]
}

跨層協作流程(實際場景)

場景:行銷部 Alice 發出一個請求

1. Open WebUI:
   - Alice 登入 → Group: Marketing-Users → 可顯示 gpt-4o
   - 發送請求至 LiteLLM

2. LiteLLM:
   - 檢查 Team(marketing)→ models: ["gpt-4o"] ✓
   - 檢查 Guardrails → PII 遮蔽 ✓
   - 檢查 Budget → 本月剩餘 $180 ✓
   - 轉發至 Bifrost

3. Bifrost:
   - Semantic Cache 檢查 → 未命中
   - 極速路由至 OmniRoute(<100 µs)

4. OmniRoute:
   - cost-optimized 策略 → 先選 OpenAI gpt-4o($2.5/MT)
   - RTK+Caveman 壓縮 → token 從 5000 → 3200(省 36%)
   - 呼叫 OpenAI API

5. 回應沿路返回:
   - LiteLLM 記錄費用:$0.0032 → 歸算至 marketing Team

場景:OpenAI 限流時的 Fallback

1. OmniRoute 收到 OpenAI 429 Too Many Requests
2. Circuit Breaker 自動觸發
3. 毫秒級 fallback 至下一最佳選擇(如 Bedrock Claude)
4. 對上游(Bifrost → LiteLLM → 使用者)完全透明
5. LiteLLM 仍正確歸算費用至對應 Team

部署架構(Docker Compose 範例)

version: "3.9"

services:
  openwebui:
    image: ghcr.io/open-webui/open-webui:main
    ports: ["3000:8080"]
    environment:
      ENABLE_FORWARD_USER_INFO_HEADERS: "True"
      OPENAI_API_BASE_URL: "http://litellm:4000"
      OPENAI_API_KEY: "sk-owui-key"
    volumes: ["open-webui:/app/backend/data"]

  litellm:
    image: ghcr.io/berriai/litellm:main-stable
    ports: ["4000:4000"]
    command: ["--config", "/app/config.yaml"]
    environment:
      MASTER_KEY: "sk-master-key"
      OPENAI_API_KEY: "sk-litellm-key"
      ANTHROPIC_API_KEY: "sk-ant-key"
    volumes: ["./litellm-config.yaml:/app/config.yaml"]
    depends_on: [bifrost]

  bifrost:
    image: maximhq/bifrost:latest
    ports: ["8080:8080"]
    volumes: ["bifrost-data:/app/data"]
    environment:
      BIFROST_UPSTREAM_URL: "http://omniroute:20128"
    depends_on: [omniroute]

  omniroute:
    image: diegosouzapw/omniroute:latest
    ports: ["20128:20128"]
    volumes: ["omniroute-data:/app/data"]
    environment:
      ROUTING_STRATEGY: "cost-optimized"
      # 各 Provider API Key
      OPENAI_API_KEY: "sk-..."
      ANTHROPIC_API_KEY: "sk-..."
    depends_on: []

volumes:
  open-webui:
  bifrost-data:
  omniroute-data:

架構優缺點分析

優點

優點說明
各司其職LiteLLM 管治理、Bifrost 管效能、OmniRoute 管路由,互補不重疊
高可用三層防護:OmniRoute fallback + Bifrost HA + LiteLLM circuit breaker
成本優化OmniRoute 路由 + 壓縮 + 免費 tier,節省顯著
安全LiteLLM Guardrails 為所有請求提供防護
擴展性Bifrost 叢集模式可水平擴展
MCP 整合Bifrost MCP Gateway 統一管理工具

缺點

缺點說明
架構複雜四層串接增加部署與除錯難度
延遲疊加每層增加微小延遲(雖然總和仍很小)
維護成本需同時維護四個服務的更新與相容性
過殺小團隊可能不需要如此完整的架構

簡化方案建議

根據團隊規模選擇合適架構:

方案 A:完整方案(大型企業)

Open WebUI → LiteLLM → Bifrost → OmniRoute → Providers
  • 適合:千人以上、多部門、預算 > $5k/月、需完整治理

方案 B:LiteLLM + OmniRoute(中型企業)

Open WebUI → LiteLLM → OmniRoute → Providers
  • LiteLLM 管治理,OmniRoute 管路由與 Provider 池
  • 適合:百人以上、多部門、預算 $1k-5k/月

方案 C:單用 LiteLLM(小型團隊)

Open WebUI → LiteLLM → Providers
  • LiteLLM 內建 Load Balancing + Fallback,功能已足夠
  • 適合:50 人以下、單一/少數部門

方案 D:LiteLLM + Bifrost(效能優先)

Open WebUI → LiteLLM → Bifrost → Providers
  • LiteLLM 管治理,Bifrost 管效能與 MCP
  • 適合:高併發需求、需 MCP 工具整合

總結

層次工具核心價值
UI / RBACOpen WebUI使用者介面、功能權限
治理層LiteLLMTeam/Org/User 多租戶、預算、Guardrails
效能層Bifrost<100µs 延遲、MCP Gateway、Semantic Cache
路由層OmniRoute250+ Provider、18 策略、RTK 壓縮、Fallback

三者完全可以整合使用,各司其職互補不足,打造「治理嚴謹、效能極速、成本優化、高可用」的企業 AI Gateway。但請根據團隊規模選擇合適方案,避免過度工程化。


參考資料