Elastic Container Instance:Qwen-7B-Chat のデプロイ

ModelScope にアクセスし、Qwen-7B-Chat モデルの ID を取得します。

このトピックでは、Qwen-7B-Chat のバージョンは v1.1.4 です。ModelScope で使用するモデルを見つけ、モデルの詳細ページの上部にあるモデル ID をコピーします。

エラスティックコンテナインスタンスコンソール にログオンします。

上部のナビゲーションバーで、リージョンを選択します。

左側のナビゲーションペインで、データキャッシュ をクリックします。

Qwen-7B-Chat モデルのデータキャッシュを作成します。

1. データキャッシュの作成 をクリックします。

2. データキャッシュの作成に使用するパラメータを構成します。

   次の表に、サンプルパラメータを示します。Qwen-7B-Chat モデルをプルするための固定構成であるキャッシュデータソースパラメータには、指定された値を使用する必要があります。ビジネス要件に基づいて他のパラメータを指定できます。詳細については、データキャッシュを作成する を参照してください。

   パラメータ	例
   キャッシュバケット	test
   キャッシュディレクトリ	/model/qwen/
   キャッシュ名	qwen
   キャッシュサイズ	20 GiB
   キャッシュデータソース	タイプ: URL パラメータ repoSource: ModelScope/Model repoId: qwen/Qwen-7B-Chat revision: v1.1.4

   

3. OK をクリックします。

データキャッシュのステータスを表示します。

データキャッシュ ページで、ページを更新してデータキャッシュのステータスを表示します。ステータスが「使用可能」になったら、データキャッシュを使用する準備ができています。

ModelScope にアクセスし、Qwen-7B-Chat モデルの ID を取得します。

このトピックでは、Qwen-7B-Chat のバージョンは v1.1.4 です。ModelScope で使用するモデルを見つけ、モデルの詳細ページの上部にあるモデル ID をコピーします。

Qwen-7B-Chat モデルのデータキャッシュを作成します。

次のコードは、CreateDataCache API オペレーションを呼び出してデータキャッシュを作成する場合に使用されるサンプルパラメータを示しています。システムは ModelScope からモデルデータをプルし、test という名前のバケットの /model/qwen/ ディレクトリにモデルデータを保存します。データキャッシュの名前は qwen で、1 日間保持されます。

{
  "RegionId": "cn-beijing",
  "SecurityGroupId": "sg-2ze7l1o0ql1cbk******",
  "VSwitchId": "vsw-2ze23nqzig8inpr******",
  "Bucket": "test",
  "Path": "/model/qwen/",
  "Name": "qwen",
  "DataSource": {
    "Type": "URL",
    "Options": {
      "#6#repoId": "qwen/Qwen-7B-Chat",
      "#10#repoSource": "ModelScope/Model", // Add missing comma
      "#8#revision": "v1.1.4"
    }
  },
  "RetentionDays": 1
}

データキャッシュのステータスをクエリします。

返された DataCache ID を使用して、DescribeDataCaches API オペレーションを呼び出し、DataCache の情報をクエリします。DataCaches.Status で示される DataCache のステータスが「使用可能」の場合、DataCache を使用する準備ができています。

エラスティックコンテナインスタンスコンソール の左側のナビゲーションペインで、[コンテナグループ] をクリックします。コンテナグループ ページで、コンテナグループの作成 をクリックします。

コンテナグループ (エラスティックコンテナインスタンス) の作成に使用するパラメータを構成し、構成の確認 をクリックします。

次の表に、エラスティックコンテナインスタンスの作成に使用されるサンプルパラメータを示します。インスタンスは、GPU アクセラレーション ECS インスタンスタイプに基づいて作成され、Qwen-7B-Chat モデルがマウントされています。エラスティックコンテナインスタンス内のコンテナは、Qwen WebUI アプリケーションを含むイメージを使用します。コンテナが起動した後、コンテナは python Qwen-7B/web_demo.py --server_port 8888 コマンドを実行して Qwen WebUI を起動します。

インスタンスの構成を確認し、利用規約を読んで選択し、注文の確認 をクリックします。

コンテナグループ ページに戻り、Qwen-7B-Chat アプリケーションがデプロイされているかどうかを確認し、インスタンスの EIP を表示します。

コンテナグループ ページで、エラスティックコンテナインスタンスのステータスを表示できます。インスタンス ID をクリックしてインスタンスの詳細ページに移動し、コンテナのステータスを表示できます。インスタンスのステータスとコンテナのステータスが 実行中 の場合、アプリケーションはデプロイされています。IP アドレス 列にインスタンスの EIP が表示されます。

データキャッシュを使用してエラスティックコンテナインスタンスを作成し、Qwen-7B-Chat アプリケーションをデプロイします。

次のコードは、CreateContainerGroup API オペレーションを呼び出してエラスティックコンテナインスタンスを作成する場合に使用されるパラメータを示しています。インスタンスは、GPU アクセラレーション ECS インスタンスタイプを使用し、Qwen-7B-Chat モデルがマウントされています。エラスティックコンテナインスタンス内のコンテナは、Qwen WebUI アプリケーションを含むイメージを使用します。コンテナが起動した後、コンテナは python Qwen-7B/web_demo.py --server_port 8888 コマンドを実行して Qwen WebUI を起動します。

{
  "RegionId": "cn-beijing",
  "SecurityGroupId": "sg-2ze7l1o0ql1cbk******",
  "VSwitchId": "vsw-2ze23nqzig8inpr******",
  "ContainerGroupName": "qwen-web",
  "InstanceType": "ecs.gn6i-c16g1.4xlarge",
  "DataCacheBucket": "test",
  "Container": [
    {
      "Arg": [
        "-c",
        "python Qwen-7B/web_demo.py --server_port 8888"
      ],
      "Command": [
        "/bin/sh"
      ],
      "Gpu": 1,
      "Name": "qwen",
      "Image": "registry.cn-hangzhou.aliyuncs.com/eci_open/qwen-webui:1.0.0",
      "VolumeMount": [
        {
          "Name": "model-qwen",
          "MountPath": "/data/model"
        }
      ]
    }
  ],
  "Volume": [
    {
      "Type": "DataCacheVolume", // Corrected volume type
      "DataCacheVolume.Path": "/model/qwen/",
      "Name": "model-qwen"
    }
  ],
  "DataCacheProvisionedIops": 35000,
  "DataCacheBurstingEnabled": true,
  "AutoCreateEip": true
}

アプリケーションがデプロイされているかどうかを確認します。

返されたインスタンス ID を使用して、DescribeContainerGroupStatus API オペレーションを呼び出し、インスタンスとコンテナのステータスをクエリします。Status で示されるインスタンスのステータスと ContainerStatuses.State で示されるコンテナのステータスが「実行中」の場合、インスタンスは作成され、コンテナは実行されています。

エラスティックコンテナインスタンスの EIP をクエリします。

返されたインスタンス ID を使用して、DescribeContainerGroups API オペレーションを呼び出し、インスタンスの詳細をクエリします。InternetIP パラメータからインスタンスの EIP を取得できます。