快速开始

快速安装

1

下载并安装

# 拉取镜像
docker pull deepcells/llm-gateway:latest

# 运行容器
docker run -d --name llm-gateway -p 3000:3000 -v ./data:/data -v ./logs:/app/logs deepcells/llm-gateway:latest

2

访问 Web 界面

打开浏览器访问：http://localhost:3000

默认管理员账号

• 用户名：root
• 密码：123456

注意

首次登录后请立即修改密码！

3

添加 LLM 渠道

登录后，进入「管理」/「渠道管理」页面添加您的第一个 LLM 提供商：

示例：添加 DeepSeek 渠道

1. 点击「新建渠道」按钮
2. 填写渠道信息：
   • 名称：DeepSeek
   • 类型：选择 DeepSeek
   • 密钥：填入您的 DeepSeek API Key
   • 模型：默认已自动填入 'deepseek-chat', 'deepseek-reasoner' 等相关模型。
3. 点击「测试连接」确认配置正确
4. 点击「创建」

4

创建 API 令牌

前往「运营」/「令牌管理」页面创建 API 令牌用于调用：

1. 点击「新建令牌」
2. 填写令牌信息：
   • 名称：My First Token
   • 过期时间：永不过期（或设置具体日期）
   • 额度：500000（或选择「无限额度」）
   • 允许的模型：留空表示允许所有模型
   • IP限制：留空表示允许所有IP
3. 点击「提交」
4. 重要：复制生成的令牌（格式：sk-xxxxxx），妥善保管

测试 API

创建令牌后，使用以下代码测试 API 是否正常工作：

cURL

curl http://localhost:3000/v1/chat/completions \
  -H "Content-Type: application/json; charset=utf-8" \
  -H "Authorization: Bearer sk-xxxxxx" \
  -d '{
    "model": "deepseek-chat",
    "messages": [
      {
        "role": "user",
        "content": "Hello, please introduce yourself"
      }
    ]
  }'

中文字符编码说明

如果在命令行中直接使用中文可能遇到编码问题，建议：

1. 使用Unicode转义字符（如 \u4f60\u597d）
2. 在API客户端（如Bruno、Postman）中可以直接使用中文

Python

from openai import OpenAI

client = OpenAI(
    api_key="sk-xxxxxx",  # 替换为您的令牌
    base_url="http://localhost:3000/v1"
)

response = client.chat.completions.create(
    model="deepseek-chat",
    messages=[
        {"role": "user", "content": "你好，请介绍一下自己"}
    ]
)

print(response.choices[0].message.content)

JavaScript

const OpenAI = require('openai');

const client = new OpenAI({
  apiKey: 'sk-xxxxxx',  // 替换为您的令牌
  baseURL: 'http://localhost:3000/v1'
});

async function main() {
  const response = await client.chat.completions.create({
    model: 'deepseek-chat',
    messages: [
      { role: 'user', content: '你好，请介绍一下自己' }
    ]
  });
  
  console.log(response.choices[0].message.content);
}

main();

Go

package main

import (
	"context"
	"fmt"
	openai "github.com/sashabaranov/go-openai"
)

func main() {
	config := openai.DefaultConfig("sk-xxxxxx")  // 替换为您的令牌
	config.BaseURL = "http://localhost:3000/v1"
	client := openai.NewClientWithConfig(config)

	resp, err := client.CreateChatCompletion(
		context.Background(),
		openai.ChatCompletionRequest{
			Model: "deepseek-chat",
			Messages: []openai.ChatCompletionMessage{
				{
					Role:    "user",
					Content: "你好，请介绍一下自己",
				},
			},
		},
	)

	if err != nil {
		panic(err)
	}

	fmt.Println(resp.Choices[0].Message.Content)
}

成功！

如果看到 LLM 的回复，说明您的 LLM Gateway 已经正常工作了！

下一步

🏗️

详细部署

了解生产环境部署最佳实践

🔌

渠道管理

深入学习渠道配置和管理

🧠

智能路由

掌握智能路由策略优化成本

📖

API 参考

查看完整 API 文档

❓

常见问题

快速解决常见问题

需要帮助？

遇到问题？查看 常见问题、详细部署文档 或联系技术支持邮箱 support@deep-cells.com。