全部產品
Search
文件中心

Platform For AI:服務壓測

更新時間:Jan 05, 2026

EAS提供了針對LLM服務和通用情境服務的壓測方法,協助您輕鬆建立壓測任務並進行一鍵壓測,全面瞭解EAS服務的效能表現。本文為您介紹如何建立和管理壓測任務。

一、進入添加壓測任務頁面

  1. 登入PAI控制台,在頁面上方選擇目標地區,並在右側選擇目標工作空間,然後單擊進入EAS

  2. 切換到壓測任務頁簽,單擊添加壓測任務

二、建立壓測任務

LLM服務壓測

如果您的EAS服務是LLM服務,強烈建議勾選LLM服務,這樣能夠擷取LLM情境定製化的壓測報告。

LLM服務壓測目前僅支援控制台方式建立任務,不支援EASCMD用戶端。

重要

LLM服務壓測只支援OpenAI的/v1/completions/v1/chat/completions兩個介面。因此,只有使用相容OpenAI API介面的推理引擎(如vLLM、SGLang、LMDeploy、BladeLLM)部署的EAS服務,才能使用LLM服務壓測功能。

添加壓測任務頁面,配置以下參數。參數配置完成後,單擊確定

基本資料

image

參數

描述

所屬服務

選擇需要進行壓測的服務名稱,並選中LLM服務

服務介面

僅支援如下OpenAI的兩個介面:

  • Completions:請求介面為/v1/completions,用於單輪補全任務。

  • Chat:請求介面為/v1/chat/completions,用於多輪對話任務。

壓測地址

選擇服務介面後,系統會自動為您佈建服務調用地址。

模型ID

必填。請填寫開源社區官方ModelScope或Hugging Face的模型 ID。例如Qwen/Qwen2.5-7B-Instruct

  • 用於載入對應的分詞器(tokenizer),從而準確計算壓測過程的Token數量。

  • 作為請求中的模型參數(當模型名稱未填寫時生效)。

模型名稱

選填。用於構造請求中的model參數,優先順序高於模型ID,為空白時將使用模型ID作為請求參數。

  • 對於以下情境,無需配置模型名稱:

    • 使用BladeLLM推理引擎部署的LLM服務。

    • 使用vLLM/SGLang/LMDeploy推理引擎部署的LLM服務,請求的model參數是模型ID。

  • 對於以下情境,需要配置模型名稱:

    使用vLLM/SGLang/LMDeploy推理引擎部署的LLM服務,請求的model參數不是模型ID,例如模型本地路徑,或者在啟動vLLM服務時額外指定了--served-model-name

資料類型及相關參數說明

資料類型

參數配置

公用資料集

表示使用公開的ShareGPT資料集進行壓力測試,該資料集包含多條對話記錄,可用於評估LLM服務的效能。需配置以下參數:

  • 資料集:目前僅支援ShareGPT

  • 輸出長度:用於控制產生文本的長度,不填表示不截斷輸出結果。通過配置輸出長度,可以測試LLM服務在不同負載下的穩定性和效能。

自訂資料集

根據具體使用情境,配置自訂資料集:

重要

LLM壓測的請求資料必須包含 "stream": true參數,以構造流式請求統計TTFT、TPOT等token相關指標。

  • 資料來源:支援通過以下資料來源上傳自訂資料檔案進行壓力測試:

    • 單個資料:需在單個資料文字框中輸入單條壓測請求資料,格式必須為Base64編碼的字串。

    • 資料地址:在資料地址文字框中輸入測試資料來源的HTTP路徑。支援單個檔案或zip檔案,zip檔案下載後會自動解壓。

    • OSS檔案:通過設定物件儲存OSS路徑,來擷取壓測檔案。

    • 本地上傳:按照控制台操作指引,將本地壓測檔案上傳到Object Storage Service路徑,通過Object Storage Service來擷取壓測檔案。

  • 檔案內的資料按行分割:當資料來源選擇資料地址OSS檔案本地上傳時,支援配置該參數。開啟開關,上傳的壓測檔案將按行做分隔處理,以每行內容作為壓測資料進行壓測。否則將以整個檔案內容作為壓測資料進行壓測。

    說明

    壓測檔案配置樣本,請參考benchmark_demo.json。檔案中的每條資料為使用者的實際請求JSON,建議您先通過線上調試功能,確認單條請求資料的格式是否正確。

類比資料

  • 資料產生模式:僅支援均勻分布

  • 輸入Token數:輸入Token的長度範圍。最小值為10,最大值為10000。預設值均為1024。

  • 輸出Token數:輸出Token的長度範圍。最小值為10,最大值為10000。預設值均為128。

測試模式及相關參數說明

支援以下3種測試模式:

  • 固定並發測試:設定固定的並發數,適用於測試系統在特定並發下的效能表現。

  • 固定請求速率測試:設定固定的請求速率,適用於測試系統在特定請求速率下的效能表現。

  • 極限吞吐測試:一次性發送所有請求,找到推理服務能處理的最大請求速率(QPS)。適用於測試系統的極限能力。

固定並發測試固定請求速率測試模式下,支援開啟持續壓測

  • 開啟持續壓測,任務會持續運行至壓測時間長度結束,不受請求樣本數限制。

  • 關閉持續壓測,任務在完成設定的請求樣本數或到達壓測時間長度上限後停止。

不同測試模式的參數配置如下:

測試模式

參數配置

固定並發測試

  • 並發數:用來類比並發使用者數量。取值範圍為[1, 200]。

  • 壓測時間長度上限(秒):表示壓測期間,單位為秒。預設為300,最小值為30。

  • 請求樣本數:開啟持續壓測時,無需設定。表示壓測過程發送的請求數量。取值範圍為[100, 1000]。

固定請求速率測試

設定固定的請求速率,適用於測試系統在特定請求速率下的效能表現。

  • 請求速率:每秒發送的請求數量。

  • 最大並發數:用來類比並發使用者數量。

  • 壓測時間長度上限(秒):表示壓測期間,單位為秒。預設為300,最小值為30。

  • 請求樣本數:開啟持續壓測時,無需設定。表示壓測過程發送的請求數量。取值範圍為[100, 1000]。

極限吞吐測試

  • 壓測時間長度上限(秒):表示壓測期間,單位為秒。預設為300,最小值為30。

  • 請求樣本數:壓測過程發送的請求數量。取值範圍為[100, 1000]。

其他配置

參數

描述

HTTP Header

格式為索引值對,例如:

  • 傳遞認證資訊:Authorization: EAS_TOKEN

  • 佈建要求體的資料格式:Content-Type: application/json

突發性

  • 預設值:1。資料粒度:0.1。資料範圍:0.1-200。

  • 突發性(burstiness)用於控制請求產生的時間分布模式,僅在固定請求速率模式下生效。預設值為1,服從泊松分布;其他情況下服從伽馬分布。值越小,請求流越突發;值越大,請求流越均勻。

隨機種子

預設值:0。資料類型:整數。取值範圍:0-4294967295(即2**32-1)。

忽略EOS

開啟忽略EOS表示,模型在產生文本時會忽略終止標記(End-of-Sequence, EOS),強制產生直到達到預設的最大產生長度。

通用情境服務壓測

通用情境服務壓測支援以下3種模式:

  • auto模式:自動加壓模式。eas-benchmark控制器會自動建立用於壓測的Agent Worker,並設定合適的並發,通過自動尋優的演算法來尋找服務的承壓上限。

  • scan模式:周期加壓模式。根據您指定的起始QPS(minQPS),QPS上限(maxQPS),QPS增長時間間隔(adjustInterval),QPS增長步長(qpsGrowthDelta)等參數,動態加壓,當服務承載到達指定的maxRT、maxQPS或服務壓測出現錯誤數量超出容忍程度(faultTolerate)時為止。

  • manual模式:手動加壓模式。固定壓測Agent數量及每個Agent的並發數,您可以在壓測過程中動態調整Agent數量及Agent並發數。

控制台僅支援auto模式,EASCMD用戶端支援auto、scan、manual三種壓測模式。使用方式如下:

通過控制台

說明

壓測控制台限制了壓測請求的逾時時間為20秒。如果壓測報告中出現512返回碼,大機率是由於請求等待逾時所致。目前,EAS壓測控制台暫不支援自訂配置逾時時間。

添加壓測任務頁面,配置以下參數。參數配置完成後,單擊確定

image

參數

描述

基本資料

所屬服務

選擇需要進行壓測的服務名稱。

壓測地址

表示服務調用地址。

壓測配置

資料來源

支援按照單個資料資料地址OSS檔案本地上傳方式配置壓測資料。關於壓測資料如何構造及支援的檔案類型,詳情請參見附錄1:壓測資料說明

說明
  • 單條壓測請求資料格式必須為Base64編碼的字串。

  • 壓測檔案支援單個檔案或zip檔案,下載zip檔案後會自動解壓。

檔案內的資料按行分割

資料來源選擇資料地址OSS檔案本地上傳時,支援配置該參數。

開啟開關,表示上傳的壓測檔案將按行做分隔處理,以每行內容作為壓測資料進行壓測。否則以整個檔案內容作為壓測資料進行壓測。

壓測時間長度上限(秒)

表示壓測期間,單位為秒。預設為300秒。

壓測QPS上限

允許到達的QPS(即每秒發送請求的速率)上限值,預設為10000。

壓測RT上限(ms)

允許達到的回應時間(RT)上限值,單位為毫秒。超過該閾值會自動調節QPS,直到即時RT符合預期。

HTTP Header

要求標頭配置,格式為索引值對。例如:

  • 傳遞認證資訊:Authorization: EAS_TOKEN

  • 佈建要求體的資料格式:Content-Type: application/json

通過EASCMD用戶端

通過bench create命令建立壓測任務(如何登入EASCMD用戶端,請參見下載並認證用戶端。)。成功後,您可以通過返回的URL,查看即時監控資料。以Windows 64版本為例,命令格式如下所示。

eascmdwin64.exe bench create [bench_desc_json]

其中bench_desc_json表示壓測任務相關資訊的JSON檔案。樣本如下:

單條壓測請求資料

{
    "service": {
        "serviceName": "xgb_test"
    },
    "data": {
        "content": "W1sxLDAsMCwwLDEsMSwwLDEsMCwxLDEsMCwwLDEsMCwxLDAsMSwwLDAsMSwxLDEsMCwxLDEsMCwwLDAsMSwxLDEsMCwxLDEsMSwxLDAsMSwxLDEsMCwxLDAsMCwwLDEsMSwwLDAsMCwxLDAsMSwwLDEsMCwwLDEsMCwwLDEsMCwxLDAsMCwxLDAsMCwwLDAsMSwwLDEsMCwxLDAsMCwxLDEsMSwwLDAsMSwwLDAsMCwwLDEsMSwxLDAsMSwxLDAsMCwxLDAsMSwwLDEsMSwxLDEsMCwxLDAsMCwxLDEsMSwxLDAsMCwwLDEsMSwwXV0K"
    }
}
                

OSS檔案壓測資料

通過path指定多個OSS檔案作為壓測資料。

如需大量設定多條壓測資料,可以直接將多個請求資料打包成zip包,通過oss://XX.zippath進行配置。

{
    "service": {
        "serviceName": "xgb_test"
    },
    "data": {
        "path": "oss://examplebucket/test1.bin,oss://examplebucket/test2.bin"
    }
}
                

JSON參數解釋請參見附錄3:壓測JSON配置參數說明。更多其他模式配置樣本參見。

系統輸出樣本如下。

[RequestId]: DE240637-4976-59AF-A28C-BAA55C0A****
[OK] Task [benchmark-xgb-test-b514] is creating
[OK] [Agnet: 0/1]: Succeed to start benchmark master
[OK] [Agnet: 0/1]: Succeed to start benchmark master
[OK] [Agnet: 1/1]: Benchmark task is Running
[OK] Benchmark task is Running
[OK] Click the link http://127.0.0.1:18222/eas-benchmark/statsview to observe realtime visualization details, you can turn it off with CTRL+C.
Turning off will not interrupt the benchmark test task, and you can reopen it by the visualize command:
eascmd -c [config_file] bench visualize benchmark-xgb-test-b514

三、查看壓測詳情

查看即時監控資料

當壓測任務狀態運行中時,單擊任務名稱,查看即時監控資料。image

查看壓測報告

當壓測任務狀態已完成時,單擊任務名稱查看壓測報告。

壓測報告包含壓測任務基本資料壓測配置壓測結果壓測任務監控等內容。其中壓測任務監控指標說明如下:

  • 僅LLM服務支援展示的監控指標

    TTFT(Time To First Token)

    請求首包延時。表示從發送請求到接收到服務產生的第一個Token的時間

    image

    TPOT(Time per Output Token)

    請求的每包延時。表示服務產生的相鄰兩個Token的時間間隔。

    image

    TPS(Token Per Second)

    表示每秒傳輸的Token數量。

    image

  • 所有服務都支援展示的監控指標

    每秒請求數分布

    表示服務每秒接收到的請求數量的分布情況。

    image

    回應時間分布

    表示服務在選定時間範圍內返回的響應數量的分布情況。

    image

    傳輸串流量分布

    表示在選定時間範圍內,用戶端發送到服務的請求資料量和服務返回給用戶端的響應資料量分布情況。

    image

    回應時間區間分布

    表示服務返回的回應時間的區間佔比,單位為毫秒。

    image

    回應時間整體分布

    表示不同分位元下,請求的端到端延時,單位為毫秒。

    image

    返回狀態代碼分布

    表示服務返回狀態代碼的分布情況。

    image

四、管理壓測任務

通過控制台管理壓測任務

您可以在壓測任務頁簽中查看已建立的壓測工作清單,並支援啟動複製、複製報告刪除

image

通過EASCMD用戶端管理壓測任務

  • 查看壓測工作清單

    使用bench list命令查看目前使用者建立的壓測工作清單。以Windows64 版本為例,命令格式如下所示。

    eascmdwin64.exe bench ls

    系統輸出樣本如下。

    [RequestId]: 7F953F8E-8897-5785-808A-CA648302****
    +-------------------------+--------------------------+-------------+----------------+---------+---------------------+
    |        TASKNAME         |          TASKID          |   REGION    | AVAILABLEAGENT | STATUS  |     CREATETIME      |
    +-------------------------+--------------------------+-------------+----------------+---------+---------------------+
    | benchmark-***-test-**** | eas-b-ql470xog6qeh25**** | cn-shanghai |              0 | Stopped | 2022-06-17 17:58:01 |
    | benchmark-***-test-**** | eas-b-bdnzvwq0z0h3xq**** | cn-shanghai |              2 | Running | 2022-06-20 12:18:54 |
    +-------------------------+--------------------------+-------------+----------------+---------+---------------------+
  • 查看壓測任務詳情

    使用bench desc命令查看指定壓測任務的詳細資料。以Windows64 版本為例,命令格式如下所示。

    eascmdwin64.exe bench desc [benchmark_task_name]

    其中[benchmark_task_name]需替換為壓測任務名稱。

    系統輸出樣本如下。

    +----------------+------------------------------------------------------------------------------+
    |     TaskName   | benchmark-***-test-b514                                                      |
    |     TaskId     | eas-b-bdnzvwq0z0h3xq****                                                     |
    |    ServiceName | xgb_test                                                                     |
    |         Region | cn-shanghai                                                                  |
    |   DesiredAgent | 2                                                                            |
    | AvailableAgent | 2                                                                            |
    |         Status | Running                                                                      |
    |        Message | Benchmark task is running                                                    |
    |     CreateTime | 2021-10-20 12:38:35                                                          |
    |     UpdateTime | 2021-10-20 12:38:45                                                          |
    |         Config | {                                                                            |
    |                |   "base": {                                                                  |
    |                |     "agentCount": 2,                                                         |
    |                |     "concurrency": 40,                                                       |
    |                |     "duration": 1200,                                                        |
    |                |     "requestCount":                                                          |
    |                | 922337203685477****,                                                         |
    |                |   },                                                                         |
    |                |  ...                                                                         |
    |                | }                                                                            |
    +----------------+------------------------------------------------------------------------------+
  • 啟動壓測任務即時可視化

    使用bench visualize命令啟動壓測任務的即時可視化功能。該命令執行完成後會在本地127.0.0.1啟動一個由webserver提供的即時監控頁面的展示。以Windows64 版本為例,命令格式如下所示。

    eascmdwin64.exe bench visualize [benchmark_task_name]

    其中[benchmark_task_name]需替換為壓測任務名稱。

    系統輸出樣本如下。

    [OK] Click the link http://127.0.0.1:18734/eas-benchmark/statsview to observe realtime visualization details, you can turn it off with CTRL+C.
    Turning off will not interrupt the benchmark test task, and you can reopen it by the visualize command:
    eascmd -c [config_file] bench visualize benchmark-xgb-test-b514

    使用瀏覽器開啟連結http://127.0.0.1:18734/eas-benchmark/statsview,即可查看即時資料結果。

  • 擷取壓測報告

    當壓測任務狀態為Stopped狀態時,表示壓測任務結束。壓測報告會儲存到OSS中,您可以使用bench report命令擷取壓測任務報告。以Windows64 版本為例,命令格式如下所示。

    eascmdwin64.exe  bench report [benchmark_task_name]

    其中[benchmark_task_name]需替換為壓測任務名稱。

    系統輸出樣本如下。

    [OK] Benchmark task benchmark-demo-test-c7eb report url: http://eas-benchmark.oss-cn-chengdu.aliyuncs.com/summary/benchmark-demo-test-c7eb-10004.html

    使用瀏覽器開啟url後的連結,即可查看壓測報告結果,具體如下圖所示。image.png

  • 動態修改用戶端執行個體數量和並發數

    當壓測模式為manual時,需要使用bench update命令動態修改用戶端執行個體數量和並發數。以Windows64 版本為例,命令格式如下所示。

    eascmdwin64.exe bench update [benchmark_task_name] -Doptional.concurrency=<attr_value> -Doptional.agentCount=<attr_value>

    其中<attr_value>為具體取值。使用樣本如下:

    eascmdwin64.exe bench update benchmark-demo-b99c -Doptional.concurrency=2 -Doptional.agentCount=1

    系統輸出樣本如下。

    [RequestId]: 9920C672-4D41-5CC4-8EC0-C690F76EB2BA
    [OK] Running [TaskName: benchmark-demo-b99c, DesiredAgent:1, AvailableAgent: 1, Message: Benchmark task is Updating]
    [OK] Benchmark task benchmark-demo-b99c was updated successfully
  • 停止壓測任務

    使用bench stop命令停止當前正在啟動並執行壓測任務。以Windows64 版本為例,命令格式如下所示。

    eascmdwin64.exe bench stop [benchmark_task_name]

    其中[benchmark_task_name]需替換為壓測任務名稱。

    系統輸出樣本如下。

    Are you sure to stop the benchmark task [benchmark-***-test-b514] in [cn-shanghai]? [Y/n]
    [OK] Task [benchmark-***-test-b514] is stopping
    [OK] [Agnet: 0/1]: Benchmark task is Running
    [OK] [Agnet: 0/1]: Benchmark task is Stopped
    [OK] Benchmark task is stopped

    如果停止任務時,正在運行即時可視化功能。系統會在執行可視化命令的終端輸出壓測報告,您也可以通過bench report命令,擷取更詳細的html圖文報告。

  • 啟動壓測任務

    使用bench start命令啟動處於停止狀態的壓測任務。以Windows64 版本為例,命令格式如下所示。

    eascmdwin64.exe bench start [benchmark_task_name]
    說明

    該命令與bench create命令的區別為,通過該命令重新啟動壓測任務後,會按照該任務最後一次更新的配置,重新啟動新一輪的壓測任務。

    其中[benchmark_task_name]需替換為壓測任務名稱。

    系統輸出樣本如下。

    Are you sure to start the benchmark task [benchmark-***-test-b514] in [cn-shanghai]? [Y/n]
    [OK] Task [benchmark-***-test-b514] is starting
    [OK] [Agnet: 0/1]: Succeed to start benchmark master
    [OK] [Agnet: 1/1]: Benchmark task is Running
    [OK] Benchmark task is Running
    [OK] Click the link http://127.0.0.1:18947/eas-benchmark/statsview to observe realtime visualization details, you can turn it off with CTRL+C.
    Turning off will not interrupt the benchmark test task, and you can reopen it by the visualize command:
    eascmd -c [config_file] bench visualize benchmark-xgb-test-b514
  • 刪除壓測任務

    壓測任務運行結束後,控制器會根據壓測任務結束的狀態保留壓測任務的記錄,具體保留規則如下表所示。

    結束狀態

    保留時間

    Stopped

    48小時。

    CreateFailedUpdateFailedTerminatedError

    10分鐘。

    超過保留時間,系統會自動刪除壓測任務。

    您也可以使用bench delete命令,手動刪除壓測任務。命令格式如下所示。

    eascmdwin64.exe bench delete [benchmark_task_name]

    其中[benchmark_task_name]需替換為壓測任務名稱。

    系統輸出樣本如下。

    Are you sure to delete the benchmark task [benchmark-***-test-b514] in [cn-shanghai]? [Y/n]
    [OK] Benchmark task benchmark-***-test-b514 is Deleting
    [OK] Benchmark task was deleted successfully

附錄1:壓測資料說明

壓測資料格式說明

服務的請求資料格式與模型的定義及Processor的實現有關,分為以下兩種情況:

  • 如果是非結構化資料(如語音、圖片、文字等),直接通過檔案上傳作為壓測請求資料。

  • 如果是結構化資料(如TFRequest),需要通過EAS SDK構造請求資料(參考模型服務預熱),並將產生的位元據通過檔案上傳。

壓測資料檔案類型

支援的檔案類型包括.txt.jpg.bin.zip等,具體取決於服務的業務需求。

附錄2:壓測配置樣本

使用EASCMD用戶端對通用情境服務建立壓測任務時,支援auto、scan、manual三種壓測模式。

您可以在設定檔optional部分,添加mode參數,指定壓測模式。配置樣本如下。

auto模式

auto模式中,您只需在設定檔中指定服務名字和壓測資料即可,其它參數均可使用預設值。具體配置樣本,如下所示。

{
    "service": {
        "serviceName": "demo"
    },
    "data": {
        "path": "https://examplebucket.oss-cn-chengdu.aliyuncs.com/data/warmup.tf.bin"
    },
    "optional": {
        "maxQPS": 1000,
        "duration": 300
     }
}

scan模式

{
    "service": {
        "serviceName": "demo"
    },
    "data": {
        "content": "aGVsbG8K"
    },
    "optional": {
        "mode": "scan",
        "maxQPS": 1000,
        "minQPS": 500,
        "qpsGrowthDelta": 100,
        "adjustInterval": 30
    }
}

manual模式

{
    "service": {
        "serviceName": "demo"
    },
    "data": {
        "content": "aGVsbG8K"
    },
    "optional": {
        "mode": "manual",
        "agentCount": 1,
        "concurrency": 5
    }
}

附錄3:壓測JSON配置參數說明

表項

參數

是否必選

描述

service

serviceName

待壓測服務的服務名稱。

data

content

單條壓測請求資料,Base64編碼的字串。

如果您需要配置多條請求資料,可通過path參數進行指定。關於壓測資料如何構造及支援的檔案類型,詳情請參見附錄1:壓測資料說明

path

測試資料來源的路徑,支援配置HTTP路徑或OSS路徑。可同時指定多條路徑,通過半形逗號(,)分隔。同時支援通過.zip的形式,對多個壓測檔案進行批量打包配置。

說明

儲存壓測資料的檔案按原始格式,不需要進行Base64編碼。

multiLine

測試資料是否按行分割,Bool類型,預設為false。如果設定為true,會將下載的資料逐行解析。

http

headers

http請求header設定,list類型。例如:["Authorization:aaa", "Content-Type:text"]

timeout

http請求延時(單位為毫秒),預設為20000。

optional

mode

壓測模式,支援以下三種模式:

  • auto(預設值):自動加壓模式。

  • scan:周期加壓模式。

  • manual:手動加壓模式。

duration

壓測時間長度(單位秒),預設為600,最大不超過1200。

agentCount

manual模式下的用戶端執行個體數量,執行個體數越多壓力越大,預設為1。

concurrency

manual模式下的每個用戶端執行個體的並發數,並發越高壓力越大,預設為2。當壓力不夠時先增加並發,如果增加並發無法提升壓力時再嘗試增加用戶端執行個體數。

adjustInterval

scan模式下自動加壓的動態調整間隔(單位為秒),預設為60。

minQPS

scan模式下自動加壓的起始QPS值,預設為100。

maxQPS

scan或auto模式下允許到達的QPS上限值。

maxRT

scan或auto模式下的RT(TP99)上限值,超過該閾值會自動調節QPS,直到即時RT符合預期。

qpsGrowthDelta

scan模式下的QPS每次增長的數值,預設為50。

faultTolerate

scan或auto模式下對請求錯誤(非200狀態代碼)的容忍程度。比如0.01,表示有1%的請求出現錯誤則觸發錯誤處理流程。預設值為0.001,即對錯誤請求的容忍程度為千分之一。

faultAction

scan或auto模式下在請求錯誤率超過faultTolerate設定的閾值時,壓測控制器的行為,支援以下取值:

  • stop:維持當前QPS, 不再繼續加壓。

  • revise(預設值):動態調整QPS, 直到請求錯誤率符合預期。

常見問題

Q:單條壓測時返回 400 或 404 錯誤,但單次 curl 請求正常

問題現象:在使用單個資料對 EAS 部署的大模型推理服務進行一鍵壓測時,所有請求均失敗,返回 HTTP 狀態代碼 400 或 404;而通過手動 curl 發送相同請求卻能成功返回 200。

根本原因:

  • 404 錯誤:壓測請求的 URL 路徑不對。比如末尾包含多餘的斜杠(如 /test/),而服務實際註冊的路徑為 /test,導致路由不匹配。

  • 400 錯誤:在產生請求體的 base64 編碼時,未將 JSON 字串用單引號包裹(如 echo -n {"file_names": [...]} | base64),導致 shell 解析錯誤,實際傳入的 JSON 格式無效,服務無法解析。

解決方案

  • 確保壓測 URL 路徑與服務註冊路徑完全一致,移除末尾多餘的斜杠(應使用 /test 而非 /test/)。

  • 在產生 base64 編碼前,將完整的 JSON 請求體用單引號包裹,例如:

    echo -n '{"file_names": ["xxx.pdf"]}' | base64

相關文檔

  • 您可以通過調用API的方式,來建立和管理壓測任務。具體調用方法和詳情介紹,請參見壓測任務

  • 在確認服務效能滿足要求後,您即可使用該服務進行模型推理。具體操作,請參見調用方式概覽