Application Real-Time Monitoring Service：對vLLM/SGLang推理引擎進行可觀測

步驟一：準備環境變數

export ARMS_APP_NAME=xxx   # EAS應用程式名稱。
export ARMS_REGION_ID=xxx   # 對應的阿里雲帳號的RegionID。
export ARMS_LICENSE_KEY=xxx   # 阿里雲 LicenseKey。

步驟二：修改PAI-EAS運行命令

1. 登入PAI控制台，在頁面上方選擇目標地區，然後進入目標工作空間。

2. 在左側導覽列選擇模型部署 > 模型線上服務（EAS）。

3. 在推理服務頁簽選擇要接入模型觀測的應用，然後單擊操作列的更新。

4. 修改運行命令。

   以接入DeepSeek-R1-Distill-Qwen-7B模型為例。

   vLLM原始指令：

   gpu_count=$(nvidia-smi --query-gpu=count --format=csv,noheader | wc -l);vllm serve /model_dir --host 0.0.0.0 --port 8000 --root-path '/' --trust-remote-code --gpu-memory-utilization 0.95 --max-model-len 32768 --tensor-parallel-size $gpu_count --served-model-name DeepSeek-R1-Distill-Qwen-7B

   接入應用監控對應的vLLM指令：

   gpu_count=$(nvidia-smi --query-gpu=count --format=csv,noheader | wc -l);pip3 config set global.index-url https://mirrors.aliyun.com/pypi/simple/ ; pip3 config set install.trusted-host mirrors.aliyun.com; pip3 install aliyun-bootstrap;ARMS_REGION_ID=cn-hangzhou aliyun-bootstrap -a install;ARMS_APP_NAME=qwq32 ARMS_LICENSE_KEY=it0kjz0oxz@3115ad****** ARMS_REGION_ID=cn-hangzhou aliyun-instrument vllm serve /model_dir --host 0.0.0.0 --port 8000 --root-path '/' --trust-remote-code --gpu-memory-utilization 0.95 --max-model-len 32768 --tensor-parallel-size $gpu_count --served-model-name DeepSeek-R1-Distill-Qwen-7B

   新增部分說明：

   1. 配置 pipy 倉庫, 可以根據實際情況調整。

      pip3 config set global.index-url https://mirrors.aliyun.com/pypi/simple/ ; pip3 config set install.trusted-host mirrors.aliyun.com;

   2. 下載探針安裝器。

      pip3 install aliyun-bootstrap;

   3. 使用安裝器安裝探針。

      請根據實際地區替換cn-hangzhou。

      ARMS_REGION_ID=cn-hangzhou aliyun-bootstrap -a install;

   SGLang原始命令：

   python -m sglang.launch_server --model-path /model_dir

   接入應用監控對應的SGLang指令：

   pip3 config set global.index-url https://mirrors.aliyun.com/pypi/simple/ ; pip3 config set install.trusted-host mirrors.aliyun.com; pip3 install aliyun-bootstrap;ARMS_REGION_ID=cn-hangzhou aliyun-bootstrap -a install;ARMS_APP_NAME=qwq32 ARMS_LICENSE_KEY=it0kjz0oxz@3115ad****** ARMS_REGION_ID=cn-hangzhou aliyun-instrument python -m sglang.launch_server --model-path /model_dir

   新增部分說明：

   1. 配置 pipy 倉庫, 可以根據實際情況調整。

      pip3 config set global.index-url https://mirrors.aliyun.com/pypi/simple/ ; pip3 config set install.trusted-host mirrors.aliyun.com;

   2. 下載探針安裝器。

      pip3 install aliyun-bootstrap;

   3. 使用安裝器安裝探針。

      請根據實際地區替換cn-hangzhou。

      ARMS_REGION_ID=cn-hangzhou aliyun-bootstrap -a install;

5. 單擊更新。