Server Load Balancer：Token 限速實踐

1.建立擴充版ALB執行個體

1. 登入ALB控制台，選擇華北6（烏蘭察布）地區，單擊建立應用型負載平衡。

2. 在購買頁完成以下配置，單擊立即建立。

   • 地區：選擇華北6（烏蘭察布）。

   • 執行個體網路類型：選擇公網。

   • VPC和可用性區域：選擇目標VPC，勾選烏蘭察布 可用性區域A和烏蘭察布 可用性區域B後選擇對應交換器，並自動分配公網IP。

   • 協議版本：選擇IPv4。

   • 功能版本（執行個體費）：選擇擴充版。

3. 在確認訂單頁面確認執行個體配置詳情，單擊立即開通。

2.建立AI類型伺服器組

建立AI類型伺服器組，對接阿里雲百鍊。

1. 在伺服器組控制台，單擊建立伺服器組，伺服器群組類型選擇AI服務，輸入名稱如sgp-ai-qwen，單擊建立。

2. 在伺服器組建立成功對話方塊單擊添加後端伺服器。

3. 在添加AI服務對話方塊完成配置，單擊確定。

   • 大模型供應商：選擇阿里雲百鍊。

   • 服務地址：選擇大模型供應商後自動填滿。

   • 身份憑證：選擇為阿里雲百鍊API Key建立的身份憑證。

3.建立監聽

1. 在ALB控制台，單擊目標執行個體ID進入執行個體詳情頁。在監聽頁簽單擊建立監聽。

2. 在配置監聽步驟，選擇監聽協議為HTTPS，監聽通信埠填寫443，完成後單擊下一步。

3. 在配置SSL認證步驟，選擇與自訂網域名匹配的伺服器憑證，單擊下一步。

4. 在選擇伺服器組步驟，依次選擇AI服務類型和伺服器組sgp-ai-qwen，完成後單擊下一步。

   此處選擇的伺服器組將用於監聽的預設規則，即在請求未命中其他轉寄規則時處理請求，使用者可根據實際需求進行調整。

5. 在組態稽核步驟，確認配置並單擊提交。

4.建立服務擴充

建立服務擴充並添加Token限速組件，從HTTP標題識別請求並應用限速策略。

1. 在服務擴充控制台，單擊建立服務擴充。在服務擴充配置地區，輸入服務副檔名稱如ext-token-rate-limit。

2. 擴充類型預設選擇外掛程式，組件名稱下拉選擇Token限速。配置限速策略，完成後單擊建立。

   • 限速條件：選擇按HTTP標題，輸入參數x-account-id，匹配方式為任意匹配。

     從HTTP要求標頭中提取x-account-id的值作為限速標識符，不同值的請求會分別統計Token消耗，每個值獨立計算限速。x-account-id僅作樣本，使用者可根據實際需求使用其他HTTP標題欄位名，或調整限速條件類型及匹配方式。

   • 限速範圍：選擇總計Token，每1分鐘100Tokens。使用者可根據實際需求調整。

   • 逾時時間（毫秒）和處理策略：本文保持預設值1000和跳過，使用者可按需調整。

當同一Token限速組件下存在多條限速策略，請求將從上到下逐條匹配，命中第一條限速策略後執行對應的限速範圍，不再匹配後續策略。

5.配置轉寄規則

在監聽上建立轉寄規則，添加網域名稱匹配條件並關聯服務擴充。

1. 在ALB控制台，單擊目標執行個體ID進入執行個體詳情頁。切換到監聽頁簽後，單擊目標監聽ID進入監聽詳情頁，再切換到轉寄規則頁簽。

2. 單擊插入新規則，完成以下配置後單擊確定。

   • 轉寄條件：選擇網域名稱，精確匹配用於訪問ALB執行個體的網域名稱如ai.example.com。

     用於生產時使用者可按實際需求使用其他類型的轉寄條件。

   • 服務擴充（可選）：預設使用已有服務擴充，下拉選擇ext-token-rate-limit。

   • 轉寄動作：選擇轉寄至AI服務伺服器組sgp-ai-qwen。

轉寄規則建立後，HTTP標題中Host欄位值為ai.example.com的請求會命中該規則，服務擴充根據HTTP標題x-account-id的值識別請求並進行限速檢查，未超過閾值時轉寄至伺服器組sgp-ai-qwen。

6.設定網域名稱解析

將自有網域名稱通過CNAME解析指向ALB執行個體的DNS名稱，用戶端通過自有網域名稱訪問ALB。

本文以阿里雲Alibaba Cloud DNS為例，對於非阿里雲註冊網域名稱，需先將網域名稱添加到雲解析控制台。

1. 在ALB控制台，複製目標執行個體的DNS 名稱。

2. 登入網域名稱解析控制台，在目標網域名稱的操作列單擊解析设置。在解析设置頁面單擊添加记录。

3. 參考以下資訊添加CNAME記錄，完成後單擊确定。

   • 记录类型：選擇CNAME。

   • 主机记录：輸入欄位名首碼如ai。假設使用者自有根網域名稱為example.com，則訪問ALB的網域名稱為ai.example.com，注意該網域名稱需要和步驟五中設定的匹配網域名稱保持一致。

   • 解析请求来源和TTL时间：保持預設。

   • 记录值：輸入ALB執行個體的DNS名稱。

4. 在彈出的解析变更确认對話方塊確認解析資訊，單擊確定。

7.驗證測試

使用curl命令發送請求驗證Token限速功能，請求需滿足以下條件：

• 通過ai.example.com訪問ALB：即HTTP標題中Host欄位值為ai.example.com。

• 包含限速策略匹配標題x-account-id: <任意值>：限速策略用於識別請求，每個標題值獨立計算限速，決定是否轉寄至後端AI服務sgp-ai-qwen。

• 符合OpenAI相容協議：請求路徑為/v1/completions、/v1/chat/completions或/v1/embeddings且整體格式符合規範。

以下測試命令中的網域名稱ai.example.com為樣本網域名稱，實際測試時請替換為步驟六中配置的真實網域名稱，需確保網域名稱解析已生效。

curl -v \
    -H "x-account-id: id" \
    -H "Content-Type: application/json" \
    -d '{
        "model": "qwen-turbo",
        "messages": [
            {
                "role": "user", 
                "content": "你是誰"
            }
        ]
    }' \
    https://ai.example.com/v1/chat/completions

{
    "choices": [
        {
            "message": {
                "role": "assistant",
                "content": "你好！我是千問，是阿里巴巴集團旗下的通義實驗室自主研發的超大規模語言模型..."
            },
            "finish_reason": "stop",
            "index": 0
        }
    ],
    "object": "chat.completion",
    "usage": {
        "prompt_tokens": 14,
        "completion_tokens": 53,
        "total_tokens": 67
    },
    "model": "qwen-turbo"
}

for i in {1..3}; do
    curl -v \
        -H "x-account-id: 12345" \
        -H "Content-Type: application/json" \
        -d '{
            "model": "qwen-turbo",
            "messages": [
                {
                    "role": "user", 
                    "content": "你是誰"
                }
            ]
        }' \
        https://ai.example.com/v1/chat/completions
    sleep 2
done

HTTP/2 429 
x-tokenratelimit-reset: 52
content-length: 17
content-type: text/plain
date: Wed, 21 Jan 2026 07:59:38 GMT

Too Many Requests

計費說明

• ALB擴充版：目前處於公測階段，使用者可免費體驗。

• 公網訪問費用：公網NAT Gateway收取執行個體費和容量單位CU費。NAT Gateway和擴充版ALB執行個體綁定的EIP有獨立的計費規則，費用由EIP收取。

• 網域名稱和DNS解析費用：除了需要支付網域名稱供應商的網域名稱費用外，在阿里雲配置DNS解析需要支付公網權威解析費用。

• 認證費用：從阿里雲購買認證或將認證上傳至阿里雲，需要支付伺服器憑證費用。

• 百鍊模型費用：調用百鍊大模型API需要支付費用。

ALB擴充版支援的地區

使用建議

• 限速閾值設定：建議先通過監控觀察正常的Token消耗模式，再設定略高於正常值的限速閾值，避免限速策略過於激進阻塞正常請求。

• 時間視窗選擇：

  • 對於高頻調用情境，建議使用較短的時間視窗實現更精確的控制；對於低頻但高消耗情境，可使用較長的時間視窗避免單次請求被誤限。

  • 基於響應的限速受到後端響應時間長度的影響，需設定至少大於單次模型推理時間長度的時間視窗。

常見問題