LLM Gateway 简介
什么是 LLM Gateway?
LLM Gateway 是一个企业级的 LLM API 统一网关系统，为多个大语言模型提供商（OpenAI、DeepSeek、通义千问、Claude、Gemini等）提供统一的 OpenAI 兼容 API 接口。
通过 LLM Gateway，您可以：
统一接入
一次接入，支持 38+ 主流 LLM 提供商，兼容 OpenAI API 格式
智能路由
基于负载均衡、成本、性能、优先级的多策略智能路由系统
成本优化
语义缓存、自动降级、成本追踪，降低API 调用成本
企业安全
Prompt 防火墙、PII 检测、访问控制、审计日志
核心特性
🚀 智能路由系统
基于多维度指标的智能路由决策：
- 负载均衡：轮询、随机、最少连接、加权轮询
- 成本优化：自动选择最低成本的可用模型
- 性能优先：基于实时延迟选择最快的模型
- 优先级路由：按渠道优先级分配，支持健康检查降级
- 综合平衡：综合考虑性能、成本、可靠性的加权评分
💰 语义缓存
基于向量相似度的智能缓存系统：
- 自动识别语义相似的查询，返回缓存结果
- 相似度阈值可配置（默认 0.85）
- 支持 Redis Stack 向量搜索
- 可节省 30-70% API 调用成本
- 平均响应时间 < 100ms（缓存命中）
🛡️ Prompt 防火墙
多层安全防护，保护您的系统和数据：
- 恶意输入检测：SQL 注入、XSS、Prompt 注入
- PII 自动检测：邮箱、手机、身份证、信用卡等 10+ 类型
- 内容过滤：关键词、正则表达式、自定义规则
- 多种动作：拦截、脱敏、记录、审核
- 性能优化：结果缓存，平均延迟 1-3ms
⚡ 限流控制
三级限流体系，精准控制访问频率：
- 系统级限流：全局并发控制
- 用户级限流：按用户限制请求频率
- 令牌级限流：精细化的 API Key 管理
- 支持 Redis 分布式限流，Redis 不可用时，自动降级到内存限流
📊 完整的管理功能
- 渠道管理：多渠道配置、健康检查、自动启停
- 用户管理：用户组、配额管理、OAuth 登录
- 令牌管理：API Key 生成、权限控制、IP 白名单
- 访问日志：详细的请求日志、统计分析
支持的 LLM 提供商
支持 38+ 主流 LLM 提供商，所有提供商统一使用 OpenAI 兼容的 API 格式，无需修改现有代码。
国际主流提供商
| 提供商 | 代表模型 | 特色 |
|---|---|---|
| OpenAI | GPT-4, GPT-4o, GPT-3.5 Turbo | 业界标杆，性能卓越 |
| Anthropic | Claude 3.5 Sonnet, Claude 3 Opus | 长上下文，安全可靠 |
| Google Gemini | Gemini Pro, Gemini Ultra | 多模态能力强 |
| AWS Bedrock | 多模型支持 | 企业级云服务 |
| Google Vertex AI | PaLM 2, Gemini | GCP 原生集成 |
| Cohere | Command, Embed | 企业级NLP |
| Mistral AI | Mistral Large, Mistral Medium | 欧洲开源先锋 |
| Groq | Llama 3, Mixtral | 超高推理速度 |
| Together AI | 多种开源模型 | 开源模型托管 |
| Replicate | 开源模型 API | 模型即服务 |
| Cloudflare AI | Workers AI | 边缘计算AI |
| Novita AI | SD, LLM | AI模型市场 |
| OpenRouter | 聚合多模型 | 统一路由平台 |
| xAI | Grok | 马斯克新作 |
国产主流提供商
| 提供商 | 代表模型 | 特色 |
|---|---|---|
| 百度文心 | ERNIE 4.0, ERNIE 3.5 | 中文理解强，企业级 |
| 阿里通义 | 通义千问 Turbo/Plus/Max | 阿里云生态 |
| 腾讯混元 | 混元大模型 | 腾讯云集成 |
| 智谱AI | GLM-4, ChatGLM | 清华技术，开源友好 |
| DeepSeek | DeepSeek-V2, DeepSeek-Coder | 高性价 比，代码能力强 |
| 月之暗面 | Moonshot (Kimi) | 超长上下文 (200K) |
| MiniMax | abab6, abab5.5 | 多模态能力 |
| 讯飞星火 | Spark 3.5, Spark 4.0 | 语音识别强 |
| 百川智能 | Baichuan2 | 开源模型 |
| 零一万物 | Yi-Large, Yi-Medium | 高质量中英文 |
| 阶跃星辰 | Step-1, Step-2 | 数学推理强 |
| 字节豆包 | 豆包大模型 | 字节跳动出品 |
| 硅基流动 | 多模型加速 | 高性能推理 |
| AI360 | 360智脑 | 安全厂商背景 |
| Coze | 扣子 | 字节AI Bot平台 |
| 阿里百炼 | 多模型聚合 | 阿里云AI市场 |
| AI Proxy | 代理服务 | API加速 |
开源模型部署
| 提供商 | 说明 |
|---|---|
| Ollama | 本地部署开源模型 (Llama, Mistral, Qwen等) |
| DeepL | 专业翻译API |
总计：38个提供商，覆盖国内外主流LLM服务，支持100+种模型。
技术架构
快速开始
系统要求
系统要求
最低要求
- Go 1.20+
- 2GB RAM
- 10GB 磁盘空间
- SQLite 3（或 MySQL 5.7+ / PostgreSQL 12+）
推荐配置
- Go 1.21+
- 8GB+ RAM
- 50GB+ 磁盘空间
- MySQL 8.0+ / PostgreSQL 14+
- Redis 7.0+ (Redis Stack，用于语义缓存)
许可证提醒
LLM Gateway 自动创建 30 天试用许可证。试用期结束后，系统将进入只读模式，仅允许查询操作。请参考 许可证管理 了解如何升级。