Kong AI Gateway翻译站点

3周前发布 14 0 0

Kong Inc.主导，构建在Kong Gateway之上的AI网关，统一治理LLM/MCP/A2A流量，Apache-2.0许可。

语言：

英文

收录时间：

2026-08-22

打开网站手机查看

API 网关与聚合 # Kong AI Gateway

Kong AI Gateway

打开网站

Kong AI Gateway是Kong Inc.在开源Kong Gateway之上提供的AI原生应用连接与治理层，Apache-2.0许可（Kong Gateway OSS）。通过AI Proxy/AI Proxy Advanced插件，提供跨OpenAI/Anthropic/Azure AI/Bedrock等16+提供商的通用LLM API、语义缓存、语义路由、PII防护、自动化RAG注入、Token级可观测、MCP流量治理与Agent-to-Agent(A2A)通信治理。2026年4月v3.14 Agent Gateway扩展至LLM+MCP+A2A三类流量的统一控制平面。

项目概述

Kong Inc.（2017年旧金山成立，2024年Serie E估值$20亿）维护的Kong Gateway是云原生API网关领域的标杆，截至2026年GitHub 43.8K Stars 。Kong AI Gateway并非独立二进制，而是Kong Gateway + 一套AI专用插件——自2024年2月v3.6起，AI Proxy等6个核心AI插件随Kong Gateway开源免费提供。

核心定位哲学：

Kong官方将AI Gateway定位为”connectivity and governance layer for modern AI-native applications” ——随着AI应用从简单LLM调用演化为”用户应用+Agent+编排层+上下文服务器”多层复杂系统，基础设施面临认证、限流、数据安全、可观测性、提供商频繁变更等挑战。AI Gateway的目标是为LLM流量、MCP协议暴露的结构化上下文、A2A协议协调的Agent通信提供单一控制平面的端到端安全、治理与观测 。

它做什么 / 不做什么（关键归类）：

✅ 做：接收客户端请求 → 通过AI Proxy插件翻译成目标提供商native请求 → 调用提供商API → 将响应返回客户端 → 在此之上提供路由、负载均衡、限流、缓存、护栏、PII防护、RAG注入、Token级可观测、MCP/A2A治理
❌ 不做：自己不加载模型权重、不管理KV Cache、不执行推理计算。它严格属于”API封装/LLM网关”子类，不是推理引擎；后端接的是各家云端API或本地推理引擎
本质是插件化AI网关：AI Gateway能力通过AI Proxy、AI Proxy Advanced等插件启用，与Kong Gateway原有60+插件（认证、限流、日志、监控、请求/响应转换）无缝组合

2026年4月v3.14 Agent Gateway重大演进：

Kong在v3.14中发布Agent Gateway，将治理范围从LLM原始调用扩展到两类新流量：

MCP（Model Context Protocol）流量：AI Gateway驱动的MCP能力，对AI Agent基础设施获得控制与可见性
A2A（Agent-to-Agent）通信：通过AI Gateway的A2A协议支持，安全、治理、观测Agent间通信

Kong声称这是唯一从单一控制平面覆盖LLM+MCP+A2A三类流量的网关 。

架构与部署形态：

Kong Gateway支持多种部署模式，AI Gateway在所有模式下均支持：

Database-backed：传统部署，PostgreSQL存储配置
DB-less/Declarative：通过declarative配置（decK）无数据库部署
Hybrid：控制平面/数据平面分离部署
Kubernetes：通过Kong Ingress Controller原生运行
Kong Gateway Operator：Kubernetes Operator模式，AIGateway CRD简化AI能力配置

AI插件体系（核心AI插件）：

AI Proxy：开源AI代理插件，将请求转换并代理到AI提供商和模型
AI Proxy Advanced：企业版插件，支持多AI提供商和模型的负载均衡、高级路由、重试
AI Semantic Cache：语义缓存LLM响应
AI Rate Limiting Advanced：为AI插件提供基于Token的限流
AI Prompt Guard / AI Semantic Prompt Guard：Prompt注入检查、主题允许/拒绝列表
AI PII Sanitizer：在请求/响应到达上游前清除PII
AI Prompt Decorator / AI Prompt Template：Prompt装饰与模板
AI Request/Response Transformer：用LLM服务转换请求/响应体
AI RAG Injector：自动从向量数据库注入RAG内容
AI Prompt Compressor：压缩Prompt降低成本和延迟
AI MCP Proxy：API转MCP工具、代理MCP服务器、暴露MCP工具、实时观测MCP流量
AI AWS Guardrails / AI Azure Content Safety：第三方护栏集成
AI Audit Log / LLM Metrics：审计日志与LLM指标暴露

支持的AI提供商 ：

OpenAI、Anthropic、Azure AI、AWS Bedrock、Cohere、Mistral、Databricks、Hugging Face、Gemini等16+提供商 ，通过provider-agnostic API统一。

许可策略：

Kong Gateway OSS：Apache License 2.0，允许商用、修改、分发
Kong Konnect：商业SaaS订阅，提供托管控制平面、实时分析、服务目录、开发者门户等
Kong Enterprise：商业订阅，提供企业级支持、高级AI插件、SLA

💡 Kong AI Gateway的独特定位：它是”API封装/LLM网关”子类中企业级云原生网关的标杆。与LiteLLM（Python生态、100+提供商、网关+SDK双形态）、One API（Go语言、中文社区经典、中转分发）、Portkey Gateway（TypeScript轻量、边缘部署、Guardrails原生）形成清晰的差异化：Kong AI Gateway的核心竞争力在”成熟云原生API网关+AI插件体系+LLM/MCP/A2A三类流量统一治理+企业级可扩展性” 。它是API封装层的”企业级云原生代表”，Apache-2.0许可与LiteLLM/One API/Portkey Gateway并列最干净许可阵营。Kong AI Gateway自己不执行推理计算（非vLLM/SGLang那种推理引擎），而是把各家云端API或本地推理引擎统一封装，通过AI Proxy插件提供provider-agnostic API，在此之上提供语义缓存、语义路由、PII防护、Prompt护栏、自动化RAG注入、Token级可观测、MCP/A2A治理等生产级能力。2026年4月v3.14 Agent Gateway发布，使其成为唯一从单一控制平面覆盖LLM+MCP+A2A三类流量的网关。Kong Gateway 43.8K Stars、Kong Inc. $20亿估值与$175M Serie E融资，证明了它的企业级实力。需要注意的是，开源核心与企业版有明确分界——6个核心AI插件开源免费，但AI Proxy Advanced（多提供商负载均衡）、Konnect托管控制平面、企业级支持等高级特性在商业层；AWS Marketplace reviewers指出企业版授权费用较高，中小组织可能难以承受，且Lua插件语言对Python-native AI团队存在学习曲线。对于已采用Kong作为API网关、需要统一治理LLM/MCP/A2A流量、企业级合规与可观测需求强的团队，Kong AI Gateway是自然选择；而对于轻量需求、Python/TypeScript技术栈、中文社区场景，LiteLLM/One API/Portkey Gateway仍是更合适的选择。

核心能力

基于成熟API网关：继承Kong Gateway的代理、SSL/TLS终止、L4/L7流量控制、60+插件生态
多种部署模式：Database-backed、DB-less/Declarative、Hybrid、Kubernetes Ingress Controller、Kong Gateway Operator
通用LLM API：通过AI Proxy插件提供跨16+提供商的provider-agnostic API，客户端与提供商解耦
多提供商路由与负载均衡：AI Proxy Advanced支持多AI提供商和模型的负载均衡、高级路由、重试
语义缓存：语义相似Prompt的响应缓存，跳过重复LLM调用
语义路由：基于语义内容将请求分发到不同LLM模型
Token级限流与配额：AI Rate Limiting Advanced提供基于Token的限流
PII防护：AI PII Sanitizer在请求/响应到达上游前清除敏感信息
Prompt护栏：AI Prompt Guard（表达式允许/拒绝列表）、AI Semantic Prompt Guard（语义主题允许/拒绝）
第三方护栏集成：AI AWS Guardrails、AI Azure Content Safety
自动化RAG注入：AI RAG Injector自动从向量数据库注入RAG内容到工作流
Prompt工程：AI Prompt Decorator、AI Prompt Template
请求/响应转换：AI Request/Response Transformer用LLM服务转换请求/响应体
Prompt压缩：AI Prompt Compressor压缩Prompt降低成本与延迟
MCP流量治理：AI MCP Proxy提供API转MCP工具、代理MCP服务器、暴露MCP工具、实时观测MCP流量
A2A流量治理：Agent Gateway支持Agent-to-Agent通信的安全、治理与观测（v3.14+）
流式支持：启用流式响应
认证与访问控制：通过AI Gateway管理认证，创建和应用访问层级控制客户端与LLM的交互
用量分析：监控请求与Token量、跟踪错误率、测量平均延迟并进行历史比较
审计日志：AI Audit Log提供完整日志记录
LLM指标：暴露和可视化LLM指标
GenAI OpenTelemetry：为生成式AI请求发出OpenTelemetry span属性（模型参数、Token使用、工具调用元数据）
Cost Control/Metering：通过Konnect进行LLM用量计量与成本控制
密钥管理：使用Konnect Config Store存储和引用LLM提供商API密钥
Canary Release：通过AI Gateway进行金丝雀发布
CLI工具代理：配置AI Gateway代理AI CLI工具到LLM提供商的请求
可视化管理：AI Gateway编辑器GUI、decK声明式管理、Terraform IaC、Kong Gateway Admin API、Control Plane Config API

优势亮点

Apache-2.0最干净许可：Kong Gateway OSS完全开放，商用、修改、分发无限制
企业级云原生API网关标杆：43.8K Stars，Kong Inc. $20亿估值，生产验证最充分
LLM/MCP/A2A三类流量统一治理：2026年4月v3.14 Agent Gateway发布，唯一从单一控制平面覆盖三类的网关
成熟插件生态：60+ API网关插件 + 15+ AI专用插件，无需部署新工具即可组装复杂AI管理平台
多种部署模式：Database-backed/DB-less/Hybrid/Kubernetes/Operator全部支持
provider-agnostic统一API：客户端与提供商解耦，凭证集中管理，路由可动态优化成本/延迟/可用性
深度AI治理：PII防护、Prompt护栏、语义缓存、语义路由、RAG注入、Prompt压缩——生产级AI治理全家桶
Token级可观测：LLM指标、审计日志、GenAI OpenTelemetry、Konnect可视化
Kubernetes原生：Kong Ingress Controller与Kong Gateway Operator提供K8s原生AI网关体验
AWS Marketplace验证：reviewer证实在每天数百万请求下降低API延迟，部署灵活性高（本地/云/K8s）
Kong Inc.商业支持：Konnect托管控制平面、Enterprise自托管企业版，提供SLA与企业级支持

局限

自己不执行推理：Kong AI Gateway是协议转换与流量治理层，后端必须接各家API或本地推理引擎（Ollama/vLLM）
企业版功能需付费：AI Proxy Advanced（多提供商负载均衡）、Konnect托管控制平面、Enterprise自托管等高级特性在商业层
授权费用较高：AWS Marketplace reviewers指出企业版授权费用高，中小组织难以承受，Enterprise合同常超$50K/年
Lua插件语言：插件开发主要用Lua，Python-native AI团队需雇佣Lua专家或投入学习成本
数据平面过度配置：为AI的低RPS、高延迟Token流式场景，Kong的数据平面可能过度配置
学习曲线陡峭：reviewer指出需要先前网关经验，初学者初始设置复杂
文档不足：AWS Marketplace reviewers批评高级配置的文档缺乏工作示例
请求计量陷阱：Konnect按请求计量，Agentic工作流中单个Prompt可能扇出20+内部调用，消耗配额远快于等效人类API流量
国产模型适配：主要面向海外16+提供商，国产模型（文心/通义/讯飞/ChatGLM/豆包）覆盖不如One API全面
轻量场景过重：对于简单的中转需求，Kong的全功能数据平面显得过重，LiteLLM/One API/Portkey Gateway更轻量

适用人群

已采用Kong API Gateway的企业：AI能力是插件扩展，无需引入新系统
Kubernetes原生组织：需要K8s Ingress Controller或Operator模式的AI网关
企业级AI治理需求：需要PII防护、Prompt护栏、语义缓存、RAG注入、Token级可观测的生产级AI治理
Agentic应用开发者：需要MCP/A2A流量统一治理，v3.14 Agent Gateway提供单一控制平面
多提供商路由需求：需要在OpenAI/Anthropic/Bedrock/Cohere/Mistral等16+提供商间动态路由
合规与审计强需求：审计日志、访问控制、用量分析、Konnect合规性
云原生微服务架构：Kong Gateway原有60+插件可同时管理AI流量与传统API流量
有商业支持预算：Kong Konnect或Enterprise提供SLA、托管控制平面、企业级支持

安装与部署

1. 环境要求

Linux/macOS/Windows
Docker（推荐）或Kubernetes
PostgreSQL（database-backed模式）
Kong Gateway v3.6+（AI插件自v3.6起开源）

2. Docker快速启动

# 使用Kong快速启动脚本
curl -Ls https://get.konghq.com/ai/v1 | bash

# 或Docker运行Kong Gateway
docker run -d --name kong \
  -p 8000:8000 \
  -p 8001:8001 \
  -p 8003:8003 \
  -p 8443:8443 \
  -p 8444:8444 \
  -e "KONG_DATABASE=postgres" \
  -e "KONG_PG_HOST=postgres" \
  -e "KONG_PROXY_ACCESS_LOG=/dev/stdout" \
  -e "KONG_ADMIN_ACCESS_LOG=/dev/stdout" \
  kong:latest

# 创建AI服务
curl -i -X POST http://localhost:8001/services \
  --data name="llm_service" \
  --data url="http://fake.host.internal"

3. 配置AI Proxy插件（OpenAI路由）

# 为服务添加AI Proxy插件，路由到OpenAI
curl -i -X POST http://localhost:8001/services/llm_service/plugins \
  --data "name=ai-proxy" \
  --data "config.provider=openai" \
  --data "config.config.model=gpt-4o" \
  --data "config.auth.header_name=Authorization" \
  --data "config.auth.header_value=Bearer $OPENAI_API_KEY"

# 创建路由
curl -i -X POST http://localhost:8001/routes \
  --data "service.id=<service-id>" \
  --data "paths[]=/openai"

4. 客户端调用

# 通过Kong网关调用OpenAI
curl -X POST http://localhost:8000/openai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-4o",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

from openai import OpenAI

# 只需替换base_url为Kong网关地址
client = OpenAI(
    api_key="anything",
    base_url="http://localhost:8000/openai/v1"
)

response = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)

5. AI Proxy Advanced（多提供商负载均衡）

# 启用AI Proxy Advanced插件
curl -i -X POST http://localhost:8001/services/llm_service/plugins \
  --data "name=ai-proxy-advanced" \
  --data "config.targets[1].provider=openai" \
  --data "config.targets[1].model=gpt-4o" \
  --data "config.targets[1].auth.header_name=Authorization" \
  --data "config.targets[1].auth.header_value=Bearer $OPENAI_API_KEY" \
  --data "config.targets[2].provider=anthropic" \
  --data "config.targets[2].model=claude-sonnet-4-6" \
  --data "config.targets[2].auth.header_name=x-api-key" \
  --data "config.targets[2].auth.header_value=$ANTHROPIC_API_KEY" \
  --data "config.strategy=round-robin"

6. Kubernetes部署（Kong Gateway Operator）

# 创建AIGateway CRD
apiVersion: gateway-operator.konghq.com/v1alpha1
kind: AIGateway
metadata:
  name: kong-aigateway
spec:
  gatewayClassName: kong-ai-gateways
  largeLanguageModels:
    cloudHosted:
      - identifier: marketing-team-classic-chatgpt
        model: gpt-3.5-turbo-instruct
        promptType: completions
        aiCloudProvider:
          name: openai
      - identifier: devteam-chatgpt
        model: gpt-4
        promptType: chat
        defaultPrompts:
          - role: system
            content: "You are a helpful assistant."
        aiCloudProvider:
          name: openai
    cloudProviderCredentials:
      name: acme-ai-cloud-providers

7. 启用AI插件（语义缓存示例）

# 启用语义缓存插件
curl -i -X POST http://localhost:8001/services/llm_service/plugins \
  --data "name=ai-semantic-cache" \
  --data "config.response_cache_ttl=300" \
  --data "config.max_cache_memory_bytes=1073741824" \
  --data "config.embedding_provider=openai" \
  --data "config.embedding_model=text-embedding-3-small" \
  --data "config.embedding_auth.header_name=Authorization" \
  --data "config.embedding_auth.header_value=Bearer $OPENAI_API_KEY"

8. 部署前必检清单

确认仓库位于 github.com/Kong/kong（官方）
许可：Kong Gateway OSS为Apache-2.0 ，商用无限制
严格属于”API封装/LLM网关”子类，自己不执行推理计算，后端需接各家API或本地推理引擎
AI插件自v3.6（2024年2月）起随Kong Gateway开源免费提供
2026年4月v3.14 Agent Gateway发布，覆盖LLM+MCP+A2A三类流量统一治理
支持16+ AI提供商：OpenAI/Anthropic/Azure AI/Bedrock/Cohere/Mistral/Databricks/Hugging Face/Gemini等
企业版（Konnect/Enterprise）提供高级AI插件、托管控制平面、SLA支持，需商业订阅
多种部署模式：Database-backed/DB-less/Hybrid/Kubernetes/Operator
Lua插件语言，Python-native AI团队需评估学习成本
轻量需求场景可能过重，LiteLLM/One API/Portkey Gateway更轻量

Kong AI Gateway翻译站点

项目概述

核心能力

优势亮点

局限

适用人群

安装与部署

1. 环境要求

2. Docker快速启动

3. 配置AI Proxy插件（OpenAI路由）

4. 客户端调用

5. AI Proxy Advanced（多提供商负载均衡）

6. Kubernetes部署（Kong Gateway Operator）

7. 启用AI插件（语义缓存示例）

8. 部署前必检清单

相关导航

Higress

LiteLLM

AIProxy

n1n

One API

Portkey Gateway

硅基流动

OpenRouter