Container Service for Kubernetes:ACK で大規模言語モデルの推論サービスを迅速にデプロイ

ステップ 1：モデルファイルのダウンロード

1. Git と Git Large File Storage (LFS) をインストールします。macOS

   brew install git
   brew install git-lfs

   Windows Git の公式サイトから Git をダウンロードしてインストールします。Git Large File Storage は Git for Windows にバンドルされています — 最新バージョンをダウンロードしてください。Linux (Red Hat ベース)

   yum install git
   yum install git-lfs

   その他の Linux ディストリビューションについては、Git の公式サイトをご参照ください。

2. Qwen1.5-4B-Chat モデルのリポジトリをクローンし、大きなファイルをプルします：

   GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/qwen/Qwen1.5-4B-Chat.git
   cd Qwen1.5-4B-Chat
   git lfs pull

ステップ 2：モデルファイルの OSS へのアップロード

1. ossutil をインストールして設定します。

2. バケットを作成します。モデルのプルレイテンシーを削減するために、クラスターと同じリージョンにバケットを作成します：

   ossutil mb oss://<your-bucket-name>

3. モデルファイル用にバケット内にフォルダを作成します：

   ossutil mkdir oss://<your-bucket-name>/Qwen1.5-4B-Chat

4. モデルファイルをアップロードします：

   ossutil cp -r ./Qwen1.5-4B-Chat oss://<your-bucket-name>/Qwen1.5-4B-Chat

ステップ 3：永続ボリューム (PV) の設定

1. ACK コンソールにログインし、対象のクラスターをクリックします。左側のナビゲーションウィンドウで、[ボリューム] > [永続ボリューム] を選択します。

2. [作成] をクリックします。[PV の作成] ダイアログボックスで、次のパラメーターを設定し、[作成] をクリックします：

   パラメーター	値
   PV タイプ	OSS
   ボリューム名	llm-model
   容量	20Gi
   アクセスモード	ReadOnlyMany
   アクセス証明書	[シークレットの作成]
   [オプションパラメーター]	-o umask=022 -o max_stat_cache_size=0 -o allow_other
   バケット ID	[バケットの選択] をクリックし、ご利用のバケットを選択します
   OSS パス	/Qwen1.5-4B-Chat
   エンドポイント	[パブリックエンドポイント]

ステップ 4：永続ボリューム要求 (PVC) の設定

1. 左側のナビゲーションウィンドウで、[ボリューム] > [永続ボリューム要求] を選択します。

2. [永続ボリューム要求] ページで、次のパラメーターを設定し、[作成] をクリックします：

   パラメーター	値
   PVC タイプ	OSS
   名前	llm-model
   割り当てモード	[既存のボリューム]
   既存のボリューム	前のステップで作成した llm-model PV を選択します
   容量	20Gi

ステップ 5：推論サービスのデプロイ

Arena コマンドを実行してサービスをデプロイします。--data フラグは、事前ロードされたモデルファイルを含む PVC をマウントします。モデルはすでにマウントされたボリューム上にあるため、Pod は何もダウンロードせずに起動します：

arena serve custom \
    --name=modelscope \
    --version=v1 \
    --gpus=1 \
    --replicas=1 \
    --restful-port=8000 \
    --readiness-probe-action="tcpSocket" \
    --readiness-probe-action-option="port: 8000" \
    --readiness-probe-option="initialDelaySeconds: 30" \
    --readiness-probe-option="periodSeconds: 30" \
    --data=llm-model:/Qwen1.5-4B-Chat \
    --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/quick-deploy-llm:v1 \
    "MODEL_ID=/Qwen1.5-4B-Chat python3 server.py"

次の出力は、推論サービスが送信されたことを示しています：

service/modelscope-v1 created
deployment.apps/modelscope-v1-custom-serving created
INFO[0001] The Job modelscope has been submitted successfully
INFO[0001] You can run `arena serve get modelscope --type custom-serving -n default` to check the job status

サービスステータスを確認します：

arena serve get modelscope

Pod のステータスが Running と表示されたら、推論サービスの準備は完了です。

ModelScope の代わりに Hugging Face からモデルファイルをプルするにはどうすればよいですか？

コンテナランタイムが Hugging Face リポジトリに到達できることを確認してから、Arena コマンドで MODEL_SOURCE=Huggingface を設定します。ダウンロードされたファイルを格納するために、GPU ノードには少なくとも 30 GB の空きディスク領域が必要です：

arena serve custom \
    --name=huggingface \
    --version=v1 \
    --gpus=1 \
    --replicas=1 \
    --restful-port=8000 \
    --readiness-probe-action="tcpSocket" \
    --readiness-probe-action-option="port: 8000" \
    --readiness-probe-option="initialDelaySeconds: 30" \
    --readiness-probe-option="periodSeconds: 30" \
    --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/quick-deploy-llm:v1 \
    "MODEL_ID=Qwen/Qwen1.5-4B-Chat MODEL_SOURCE=Huggingface python3 server.py"

次の出力は、リソースが作成されたことを示しています：

service/huggingface-v1 created
deployment.apps/huggingface-v1-custom-serving created
INFO[0003] ジョブ huggingface は正常に送信されました 
INFO[0003] `arena serve get huggingface --type custom-serving -n default` を実行してジョブのステータスを確認できます 

Hugging Face からモデルをプルする

1. コンテナの実行環境が Hugging Face リポジトリにアクセス可能であることを確認します。

2. Arena クライアントを使用してカスタムサービスをデプロイし、--image パラメーターでデプロイ対象のコンテナイメージを指定します。パラメーターの詳細については、「コマンドパラメーター リファレンス」をご参照ください。

   この方法では、Hugging Face のモデルファイルがコンテナ内にダウンロードされます。ご利用の GPU ノードに、少なくとも 30 GB の空きディスク領域があることを確認してください。

   arena serve custom \
       --name=huggingface \
       --version=v1 \
       --gpus=1 \
       --replicas=1 \
       --restful-port=8000 \
       --readiness-probe-action="tcpSocket" \
       --readiness-probe-action-option="port: 8000" \
       --readiness-probe-option="initialDelaySeconds: 30" \
       --readiness-probe-option="periodSeconds: 30" \
       --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/quick-deploy-llm:v1 \
       "MODEL_ID=Qwen/Qwen1.5-4B-Chat MODEL_SOURCE=Huggingface python3 server.py"

   以下の出力は、huggingface-v1 推論サービス用 Kubernetes リソースが作成されたことを示しています：

   service/huggingface-v1 created
   deployment.apps/huggingface-v1-custom-serving created
   INFO[0003] The Job huggingface has been submitted successfully 
   INFO[0003] You can run `arena serve get huggingface --type custom-serving -n default` to check the job status