AIProxy翻译站点

AIProxy是labring开源的生产级高性能AI网关，MIT许可。以OpenAI/Claude/Gemini协议为统一入口，具备智能错误处理、多通道管理、综合监控、限流与多租户隔离。核心能力包括优先级渠道选择、基于错误率的负载均衡、协议互转（Chat/Claude/Gemini↔Responses API）、RPM/TPM配额、组织隔离、MCP支持、插件系统（缓存/联网搜索/思维分割/流式伪造）。Go 1.24+后端+Node.js 22+前端，SQLite默认/PostgreSQL可选，Redis可选缓存。

项目概述

AIProxy由labring（开源云原生生态团队，SealOS等项目方）维护，是labring生态中专司多租户AI网关的开源项目 ，MIT许可证 。

核心定位哲学：

AIProxy官方自我定位是”a high performance AI gateway using OpenAI / Claude / Gemini protocol as the entry point” ——它是一个生产就绪的下一代AI网关，为需要可靠性、可扩展性和先进特性的AI应用提供完美的中间件 。与LiteLLM（最广提供商覆盖）、One API（中文社区中转）、Portkey（轻量可靠性）、Kong/Higress（云原生底座）形成差异化：AIProxy的核心竞争力在”多租户架构原生隔离 + 智能渠道路由 + 三协议统一入口 + MCP原生支持 + 插件系统“——它是API封装层中多租户AI服务平台的代表作。

它做什么 / 不做什么（关键归类）：

• ✅ 做：接收OpenAI/Claude/Gemini协议请求 → 智能路由到后端渠道 → 协议互转 → 调用提供商API → 返回响应 → 在此之上提供多租户隔离、渠道优先级、错误率路由、限流配额、综合监控、MCP服务、插件扩展
• ❌ 不做：自己不加载模型权重、不管理KV Cache、不执行推理计算。它严格属于”API封装/LLM网关”子类，不是推理引擎；后端接的是各家云端API或本地推理引擎（Ollama/vLLM/LocalAI等）
• 本质是生产级多租户AI网关：通过组织隔离、Token认证、配额管理、自定义定价，为多个租户/团队提供统一的AI服务能力

架构与技术栈​ ：

• 后端：Go 1.24+（核心代码约80.4% Go ）
• 前端：Node.js 22+ / TypeScript（约18.3%，管理面板）
• 数据库：SQLite（默认）/ PostgreSQL（可选，生产推荐）
• 缓存：Redis（可选，用于缓存插件）
• 部署形态：单二进制 / Docker / Docker Compose / 源码构建
• 核心入口协议：OpenAI Chat Completions、Anthropic Claude Messages、Google Gemini、OpenAI Responses API

协议转换能力（核心差异化） ：

AIProxy支持OpenAI Chat Completions、Claude Messages、Gemini与OpenAI Responses API之间的无缝协议转换：

• Chat/Claude/Gemini → Responses API：使用Responses-only模型配合任意协议
• 多协议访问：使用任意协议（Chat Completions、Claude Messages或Gemini）访问仅支持Responses的模型
• 透明转换：无需客户端修改，AIProxy自动处理协议转换

这意味着即使后端模型只提供Responses API，前端仍可用OpenAI Chat Completions格式调用——这是与LiteLLM/One API的重要差异化能力。

许可策略：MIT许可证 ，允许商用、修改、再分发、出售，无任何限制，是”最干净许可”阵营中最宽松的。

💡 AIProxy的独特定位：它是”API封装/LLM网关”子类中多租户AI服务平台的代表作。与LiteLLM（Python生态、140+提供商、网关+SDK双形态）、One API（Go语言、中文社区经典、中转分发）、Portkey Gateway（TypeScript轻量、边缘部署、Guardrails原生）、Kong AI Gateway（企业级云原生、LLM/MCP/A2A三类流量治理）、Higress（国产AI原生、CNCF Sandbox、Envoy底座）形成清晰的差异化：AIProxy的核心竞争力在”多租户架构原生隔离 + 智能渠道路由（优先级+错误率）+ 三协议统一入口与互转 + MCP原生支持 + 插件系统（缓存/联网搜索/思维分割/流式伪造）+ MIT许可” 。它是API封装层的”多租户AI服务平台代表”，MIT许可 与LiteLLM/One API/Portkey Gateway/Higress并列最干净许可阵营。AIProxy自己不执行推理计算（非vLLM/SGLang那种推理引擎），而是把各家云端API或本地推理引擎统一封装，在此之上提供组织隔离、Token认证、RPM/TPM配额、自定义定价、渠道优先级路由、错误率负载均衡、协议互转、综合监控、MCP服务、插件扩展等生产级多租户能力 。labring生态背景（SealOS等云原生项目方） 赋予了它生产级多租户架构的基因。需要注意的是，AIProxy的提供商覆盖广度不及LiteLLM（140+提供商），其优势在多租户隔离与智能渠道路由这一细分场景；官方材料未公布具体的提供商数量统计 ，部署时以实际配置支持的渠道类型为准。对于需要为多个团队/客户提供服务化AI能力、要求租户隔离与配额管理、需要三协议统一入口与互转、MCP工具统一管理的场景，AIProxy是自然选择；而对于最广提供商覆盖需求，LiteLLM仍是更合适的选择。两者的关系是互补共存——LiteLLM主导最广提供商覆盖的网关市场，AIProxy主导多租户AI服务平台的细分市场。

核心能力

• 三协议统一入口：OpenAI Chat Completions / Anthropic Claude Messages / Google Gemini 统一接入
• 协议无缝互转：Chat/Claude/Gemini ↔ Responses API 双向转换，无需客户端修改
• 智能请求管理：
  • 智能重试逻辑：智能重试策略与自动错误恢复
  • 优先级渠道选择：基于渠道优先级和错误率路由请求
  • 负载均衡：跨多个AI提供商高效分配流量
• 综合监控与分析：
  • 实时告警：余额预警、错误率、异常主动通知
  • 详细日志：完整的请求/响应跟踪与审计轨迹
  • 高级分析：请求量、错误统计、RPM/TPM指标与成本分析
  • 渠道性能：错误率分析与性能监控
• 多租户架构​ ：
  • 组织隔离：不同组织间完全分离
  • 灵活访问控制：基于Token的认证与子网限制
  • 资源配额：每组的RPM/TPM限制与使用配额
  • 自定义定价：每组模型定价与计费配置
• MCP（模型上下文协议）支持​ ：
  • 公共MCP服务器：社区维护的集成
  • 组织MCP服务器：组织的私有MCP服务器
  • 嵌入式MCP：内置MCP服务器与配置模板
  • OpenAPI转MCP：从API规范自动生成MCP工具
• 插件系统​ ：
  • 缓存插件：相同请求的高性能缓存，支持Redis/内存存储
  • 联网搜索插件：支持Google、Bing、Arxiv的实时网页搜索
  • 思维分割插件：支持推理模型的内容分割，自动处理thinking标签
  • 流式伪造插件：通过内部流式传输避免非流式请求超时
  • 可扩展架构：易于添加自定义插件
• 多格式支持：文本、图像、音频、文档处理
• 模型映射：灵活的模型别名与路由
• Prompt缓存：带计费支持的智能缓存
• 思维模式：支持推理模型的内容分割
• 内置分词器：无外部tiktoken依赖
• 管理面板：提供AI Proxy配置管理与监控的管理面板

优势亮点

• MIT最干净许可：商用、修改、再分发、出售均无限制，与LiteLLM/One API/Portkey Gateway/Higress并列最宽松阵营
• 多租户原生隔离：组织级完全隔离、Token认证、子网限制、RPM/TPM配额、自定义定价——是多租户AI服务平台的标杆能力
• 智能渠道路由：优先级+错误率双维度路由，自动错误恢复与负载均衡
• 三协议统一与互转：OpenAI/Claude/Gemini/Responses API无缝互转，后端Responses-only模型前端仍可用Chat格式调用
• MCP原生支持：公共/组织/嵌入式MCP服务器+OpenAPI转MCP，Agentic场景就绪
• 插件系统可扩展：缓存/联网搜索/思维分割/流式伪造四大官方插件，架构支持自定义插件
• 综合监控体系：实时告警、详细审计日志、高级分析、渠道性能监控
• Go语言高性能：Go 1.24+后端，单二进制部署，无Python GIL限制
• labring生态背书：SealOS等云原生项目方维护，生产级多租户架构基因
• 部署灵活：SQLite默认/PostgreSQL可选、Redis可选、Docker/Compose/单二进制多种形态
• 内置分词器：无外部tiktoken依赖，部署更简单

局限

• 自己不执行推理：AIProxy是协议转换与流量治理层，后端必须接各家API或本地推理引擎（Ollama/vLLM/LocalAI）
• 提供商覆盖广度不及LiteLLM：LiteLLM支持140+提供商、1800+模型 ，AIProxy以OpenAI/Claude/Gemini协议为入口，具体渠道类型以配置为准，未公布同等规模的提供商统计
• 社区规模不及LiteLLM/Portkey：作为labring生态项目，AIProxy的GitHub Stars与社区活跃度与LiteLLM（45K+ Stars）有差距
• 企业级治理需自建：SSO、SCIM、审计合规模块需自行扩展，不像LiteLLM企业版提供开箱即用
• 文档完整度有限：主要文档为README与config.md，深度配置示例与最佳实践文档相对LiteLLM较少
• 国产模型适配：以OpenAI/Claude/Gemini协议为入口，国产模型（文心/通义/讯飞/ChatGLM/豆包）需通过协议兼容层接入，覆盖不如One API/Higress全面
• 插件生态早期：缓存/联网搜索/思维分割/流式伪造四款官方插件，第三方插件生态尚在成长
• 生产规模验证：虽labring生产使用，但全球大规模部署案例少于LiteLLM/Kong/Higress

适用人群

• 多租户AI服务平台：需要为多个团队/客户提供服务化AI能力，要求租户隔离与配额管理
• AI云平台运营商：类似labring SealOS的云原生AI平台，需要多租户AI网关作为基础设施
• 企业IT部门：组织内需要为不同部门/项目组提供独立的AI服务访问、配额与计费
• 需要三协议统一入口：同时使用OpenAI/Claude/Gemini的团队，希望一套网关统一接入
• Agentic应用开发者：需要MCP服务器托管与OpenAPI转MCP能力
• 需要智能渠道路由：多渠道部署，希望基于优先级与错误率自动路由
• Go技术栈团队：偏好Go单二进制部署，避免Python GIL限制
• 需要综合监控与审计：实时告警、详细日志、成本分析、渠道性能监控
• 插件扩展需求：需要缓存/联网搜索/思维分割/流式伪造等能力，或自定义插件开发

安装与部署

1. 环境要求

• Go 1.24+（后端构建）
• Node.js 22+（前端开发，可选）
• SQLite（默认）/ PostgreSQL（生产推荐）
• Redis（可选，缓存插件）

2. Docker一键部署（推荐）

# 使用Docker Compose部署
git clone https://github.com/labring/aiproxy.git
cd aiproxy

# 修改config.example.yaml为config.yaml后启动
docker compose up -d

# 或直接使用Docker运行
docker run -d \
  -p 8080:8080 \
  -v $(pwd)/config.yaml:/app/config.yaml \
  -v $(pwd)/data:/app/data \
  --name aiproxy \
  labring/aiproxy:latest

3. 源码构建部署

# 克隆仓库
git clone https://github.com/labring/aiproxy.git
cd aiproxy

# 构建前端（可选）
cd web && npm install -g pnpm && pnpm install && pnpm run build && cp -r dist ../core/public/dist/ && cd ..

# 构建后端
cd core && go build -o aiproxy . && cd ..

# 运行
./core/aiproxy

4. 配置文件示例（config.yaml）

# 基础配置示例（参考config.example.yaml）
# 渠道配置
channels:
  - name: "openai-main"
    type: openai
    priority: 1
    error_rate_threshold: 0.1
    models:
      - gpt-4o
      - gpt-4o-mini
    auth:
      header_name: Authorization
      header_value: "Bearer sk-..."

  - name: "claude-main"
    type: anthropic
    priority: 2
    models:
      - claude-sonnet-4-6
    auth:
      header_name: x-api-key
      header_value: "sk-ant-..."

# 组织与配额
organizations:
  - id: "org-1"
    name: "Team A"
    rpm_limit: 100
    tpm_limit: 100000
    models:
      - gpt-4o
      - claude-sonnet-4-6
    custom_pricing:
      gpt-4o: 0.005  # 每1K tokens价格

# 数据库
database:
  type: sqlite  # 或 postgres
  dsn: "./aiproxy.db"

# 缓存（可选）
cache:
  type: redis  # 或 memory
  redis_url: "redis://localhost:6379"

# 插件
plugins:
  - cache
  - web_search
  - think_split
  - stream_fake

5. 客户端调用（OpenAI SDK兼容）

from openai import OpenAI

# 只需替换base_url为AIProxy网关地址
client = OpenAI(
    api_key="your-aiproxy-token",
    base_url="http://localhost:8080/v1"
)

# 调用OpenAI模型
response = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)

# 切换到Claude（只需改model参数，base_url不变）
response = client.chat.completions.create(
    model="claude-sonnet-4-6",
    messages=[{"role": "user", "content": "Hello!"}]
)

6. 协议互转示例

# 即使后端只提供Responses API，前端仍可用Chat Completions格式调用
# AIProxy自动将Chat请求转换为Responses API格式
client = OpenAI(
    api_key="your-token",
    base_url="http://localhost:8080/v1"
)

# 使用Chat Completions协议调用Responses-only模型
response = client.chat.completions.create(
    model="responses-only-model",
    messages=[{"role": "user", "content": "Explain quantum computing."}]
)

7. 管理面板使用

# AIProxy提供管理面板用于配置管理与监控
# 启动后访问管理面板URL（具体路径见部署配置）
# 功能包括：
# - 渠道管理：添加/编辑/删除AI提供商渠道
# - 组织管理：创建组织、配置配额与定价
# - 令牌管理：签发与管理API Token
# - 监控仪表盘：请求量、错误率、成本分析、渠道性能
# - 实时告警：余额预警、错误率异常
# - 日志审计：完整请求/响应跟踪

8. 部署前必检清单

• 确认仓库位于 github.com/labring/aiproxy（官方）
• 许可：MIT ，商用最友好，无copyleft限制
• 严格属于”API封装/LLM网关”子类，自己不执行推理计算，后端需接各家API或本地推理引擎
• 以OpenAI/Claude/Gemini协议为统一入口，支持三协议间无缝互转
• 多租户架构：组织隔离、Token认证、RPM/TPM配额、自定义定价
• 技术栈：Go 1.24+后端 + Node.js 22+前端，单二进制部署
• 数据库：SQLite默认 / PostgreSQL可选（生产推荐）
• Redis可选用于缓存插件
• 提供商覆盖广度不及LiteLLM（140+提供商），具体渠道以配置为准
• 插件系统：缓存/联网搜索/思维分割/流式伪造，支持自定义插件
• MCP原生支持：公共/组织/嵌入式MCP服务器 + OpenAPI转MCP
• labring生态维护（SealOS等云原生项目方），生产级多租户架构基因
• 国产模型需通过协议兼容层接入，覆盖不如One API/Higress全面