Microservices Engine：AI 代理

基本配置

provider的配置欄位說明如下：

context的配置欄位說明如下：

customSettings的配置欄位說明如下：

customSettings會遵循如下表格，根據name和協議來替換對應的欄位，使用者需要填寫表格中settingName列中存在的值。例如使用者將name設定為max_tokens，在openai協議中會替換max_tokens，在gemini中會替換maxOutputTokens。none表示該協議不支援此參數。如果name不在此表格中或者對應協議不支援此參數，同時沒有設定raw模式，則配置不會生效。

如果啟用了raw模式，customSetting會直接用輸入的name和value去變更要求中的JSON內容，而不對參數名稱做任何限制和修改。 對於大多數協議，customSetting都會在JSON內容的根路徑修改或者填充參數。對於qwen協議，ai-proxy會在JSON的parameters子路徑下做配置。對於gemini協議，則會在generation_config子路徑下做配置。

供應商特有配置

使用 OpenAI 協議代理 Azure OpenAI 服務

使用最基本的 Azure OpenAI 服務，不配置任何上下文。

配置資訊

provider:
  type: azure
  apiTokens:
    - "YOUR_AZURE_OPENAI_API_TOKEN"
  azureServiceUrl: "https://YOUR_RESOURCE_NAME.openai.azure.com/openai/deployments/YOUR_DEPLOYMENT_NAME/chat/completions?api-version=2024-02-15-preview",

使用 OpenAI 協議代理通義千問服務

使用通義千問服務，並配置從 OpenAI 大模型到通義千問的模型映射關係。

配置資訊

provider:
  type: qwen
  apiTokens:
    - "YOUR_QWEN_API_TOKEN"
  modelMapping:
    'gpt-3': "qwen-turbo"
    'gpt-35-turbo': "qwen-plus"
    'gpt-4-turbo': "qwen-max"
    'gpt-4-*': "qwen-max"
    'gpt-4o': "qwen-vl-plus"
    'text-embedding-v1': 'text-embedding-v1'
    '*': "qwen-turbo"

使用original協議代理阿里雲百鍊智能體應用

配置資訊

provider:
  type: qwen
  apiTokens:
    - "YOUR_DASHSCOPE_API_TOKEN"
  protocol: original

使用 OpenAI 協議代理豆包大模型服務

配置資訊

provider:
  type: doubao
  apiTokens:
    - YOUR_DOUBAO_API_KEY
  modelMapping:
    '*': YOUR_DOUBAO_ENDPOINT
  timeout: 1200000

使用月之暗面配合其原生的檔案上下文

提前上傳檔案至月之暗面，以檔案內容作為上下文使用其 AI 服務。

配置資訊

provider:
  type: moonshot
  apiTokens:
    - "YOUR_MOONSHOT_API_TOKEN"
  moonshotFileId: "YOUR_MOONSHOT_FILE_ID",
  modelMapping:
    '*': "moonshot-v1-32k"

使用 OpenAI 協議代理 Groq 服務

配置資訊

provider:
  type: groq
  apiTokens:
    - "YOUR_GROQ_API_TOKEN"

使用 OpenAI 協議代理 Claude 服務

配置資訊

provider:
  type: claude
  apiTokens:
    - "YOUR_CLAUDE_API_TOKEN"
  version: "2023-06-01"

使用 OpenAI 協議代理混元服務

配置資訊

provider:
  type: "hunyuan"
  hunyuanAuthKey: "<YOUR AUTH KEY>"
  apiTokens:
    - ""
  hunyuanAuthId: "<YOUR AUTH ID>"
  timeout: 1200000
  modelMapping:
    "*": "hunyuan-lite"

使用 OpenAI 協議代理百度文心一言服務

配置資訊

provider:
  type: baidu
  apiTokens:
    - "YOUR_BAIDU_API_TOKEN"
  modelMapping:
    'gpt-3': "ERNIE-4.0"
    '*': "ERNIE-4.0"

使用 OpenAI 協議代理MiniMax服務

配置資訊

provider:
  type: minimax
  apiTokens:
    - "YOUR_MINIMAX_API_TOKEN"
  modelMapping:
    "gpt-3": "abab6.5g-chat"
    "gpt-4": "abab6.5-chat"
    "*": "abab6.5g-chat"
  minimaxGroupId: "YOUR_MINIMAX_GROUP_ID"

使用 OpenAI 協議代理360智腦服務

配置資訊

provider:
  type: ai360
  apiTokens:
    - "YOUR_MINIMAX_API_TOKEN"
  modelMapping:
    "gpt-4o": "360gpt-turbo-responsibility-8k"
    "gpt-4": "360gpt2-pro"
    "gpt-3.5": "360gpt-turbo"
    "text-embedding-3-small": "embedding_s1_v1.2"
    "*": "360gpt-pro"

使用 OpenAI 協議代理 Cloudflare Workers AI 服務

配置資訊

provider:
  type: cloudflare
  apiTokens:
    - "YOUR_WORKERS_AI_API_TOKEN"
  cloudflareAccountId: "YOUR_CLOUDFLARE_ACCOUNT_ID"
  modelMapping:
    "*": "@cf/meta/llama-3-8b-instruct"

使用 OpenAI 協議代理Spark服務

配置資訊

provider:
  type: spark
  apiTokens:
    - "APIKey:APISecret"
  modelMapping:
    "gpt-4o": "generalv3.5"
    "gpt-4": "generalv3"
    "*": "general"

使用 OpenAI 協議代理 gemini 服務

配置資訊

provider:
  type: gemini
  apiTokens:
    - "YOUR_GEMINI_API_TOKEN"
  modelMapping:
    "*": "gemini-pro"
  geminiSafetySetting:
    "HARM_CATEGORY_SEXUALLY_EXPLICIT" :"BLOCK_NONE"
    "HARM_CATEGORY_HATE_SPEECH" :"BLOCK_NONE"
    "HARM_CATEGORY_HARASSMENT" :"BLOCK_NONE"
    "HARM_CATEGORY_DANGEROUS_CONTENT" :"BLOCK_NONE"

使用 OpenAI 協議代理 DeepL 文本翻譯服務

配置資訊

provider:
  type: deepl
  apiTokens:
    - "YOUR_DEEPL_API_TOKEN"
  targetLang: "ZH"

請求樣本

此處model表示 DeepL 的服務類型，只能填Free或Pro。content中設定需要翻譯的文本；在role: system的content中可以包含可能影響翻譯但本身不會被翻譯的上下文，例如翻譯產品名稱時，可以將產品描述作為上下文傳遞，這種額外的上下文可能會提高翻譯的品質。

{
  "model": "Free",
  "messages": [
    {
      "role": "system",
      "content": "money"
    },
    {
      "content": "sit by the bank"
    },
    {
      "content": "a bank in China"
    }
  ]
}

響應樣本

{
  "choices": [
    {
      "index": 0,
      "message": { "name": "EN", "role": "assistant", "content": "坐莊" }
    },
    {
      "index": 1,
      "message": { "name": "EN", "role": "assistant", "content": "中國銀行" }
    }
  ],
  "created": 1722747752,
  "model": "Free",
  "object": "chat.completion",
  "usage": {}
}