Cloud Monitor:vLLM/SGLang 推論エンジンのオブザーバビリティ

ステップ 1: 環境変数の準備

export ARMS_APP_NAME=xxx   # EAS アプリケーション名。
export ARMS_REGION_ID=xxx   # Alibaba Cloud アカウントのリージョン ID。
export ARMS_LICENSE_KEY=xxx   # Alibaba Cloud のライセンスキー。

ステップ 2: PAI-EAS 実行コマンドの変更

1. PAI コンソールにログインします。上部メニューで、対象のリージョンを選択し、対象のワークスペースに移動します。

2. 左側のナビゲーションペインで、[モデルデプロイメント] > [Elastic Algorithm Service (EAS)] を選択します。

3. [推論サービス] タブで、対象のアプリケーションを見つけ、[操作] 列の [更新] をクリックします。

4. 実行コマンドを変更します。

   この例では、DeepSeek-R1-Distill-Qwen-7B モデルを使用します。

   元の vLLM コマンド：

   gpu_count=$(nvidia-smi --query-gpu=count --format=csv,noheader | wc -l);vllm serve /model_dir --host 0.0.0.0 --port 8000 --root-path '/' --trust-remote-code --gpu-memory-utilization 0.95 --max-model-len 32768 --tensor-parallel-size $gpu_count --served-model-name DeepSeek-R1-Distill-Qwen-7B

   Application Monitoring と統合するための vLLM コマンド：

   gpu_count=$(nvidia-smi --query-gpu=count --format=csv,noheader | wc -l);pip3 config set global.index-url https://mirrors.aliyun.com/pypi/simple/ ; pip3 config set install.trusted-host mirrors.aliyun.com; pip3 install aliyun-bootstrap;ARMS_REGION_ID=cn-hangzhou aliyun-bootstrap -a install;ARMS_APP_NAME=qwq32 ARMS_LICENSE_KEY=it0kjz0oxz@3115ad****** ARMS_REGION_ID=cn-hangzhou aliyun-instrument vllm serve /model_dir --host 0.0.0.0 --port 8000 --root-path '/' --trust-remote-code --gpu-memory-utilization 0.95 --max-model-len 32768 --tensor-parallel-size $gpu_count --served-model-name DeepSeek-R1-Distill-Qwen-7B

   追加されたコマンドの説明：

   1. PyPI リポジトリを設定します。必要に応じてこの設定を調整してください。

      pip3 config set global.index-url https://mirrors.aliyun.com/pypi/simple/ ; pip3 config set install.trusted-host mirrors.aliyun.com;

   2. エージェントインストーラーをダウンロードします。

      pip3 install aliyun-bootstrap;

   3. インストーラーを使用してエージェントをインストールします。

      cn-hangzhou を実際のリージョンに置き換えてください。

      ARMS_REGION_ID=cn-hangzhou aliyun-bootstrap -a install;

   元の SGLang コマンド：

   python -m sglang.launch_server --model-path /model_dir

   Application Monitoring と統合するための SGLang コマンド：

   pip3 config set global.index-url https://mirrors.aliyun.com/pypi/simple/ ; pip3 config set install.trusted-host mirrors.aliyun.com; pip3 install aliyun-bootstrap;ARMS_REGION_ID=cn-hangzhou aliyun-bootstrap -a install;ARMS_APP_NAME=qwq32 ARMS_LICENSE_KEY=it0kjz0oxz@3115ad****** ARMS_REGION_ID=cn-hangzhou aliyun-instrument python -m sglang.launch_server --model-path /model_dir

   コマンドの説明：

   1. PyPI リポジトリを設定します。必要に応じてこの設定を調整してください。

      pip3 config set global.index-url https://mirrors.aliyun.com/pypi/simple/ ; pip3 config set install.trusted-host mirrors.aliyun.com;

   2. エージェントインストーラーをダウンロードします。

      pip3 install aliyun-bootstrap;

   3. エージェントをインストールします。

      cn-hangzhouを実際のリージョンに置き換えます。

      ARMS_REGION_ID=cn-hangzhou aliyun-bootstrap -a install;

5. [更新] をクリックします。