Elastic Container Instance：部署DeepSeek-R1系列模型

訪問HuggingFace，擷取模型ID。

本樣本使用DeepSeek-R1-Distill-Qwen-7B模型的main版本。在HuggingFace找到目標模型後，在模型詳情頁面頂部可以複製模型ID。

登入Elastic Container Instance控制台。

在頂部功能表列左上方處選擇地區。

在左側導覽列，單擊資料緩衝。

建立DeepSeek-R1-Distill-Qwen-7B的資料緩衝。

1. 單擊建立資料緩衝。

2. 完成資料緩衝參數配置。

   本文使用的參數樣本如下，其中快取資料源為拉取DeepSeek-R1-Distill-Qwen-7B模型的固定配置，其他參數可自訂配置，更多資訊，請參見建立資料緩衝。

   

   配置項	樣本值
   緩衝所屬Bucket	test
   緩衝所屬目錄	/model/deepseek-r1-distill-qwen-7b
   緩衝名	deepseek-qwen-7b
   緩衝大小	20 GiB
   快取資料源	類型：URL 參數 repoSource：HuggingFace/Model repoId：deepseek-ai/DeepSeek-R1-Distill-Qwen-7B revision：main

3. 單擊確定。

查看資料緩衝狀態。

在資料緩衝頁面重新整理查看資料緩衝狀態，當狀態為Available時，表示可以使用該資料緩衝。阿里雲為DeepSeek-R1系列模型提供了熱載入能力，能實現資料緩衝秒級製作完成。

訪問HuggingFace，擷取模型ID。

本樣本使用DeepSeek-R1-Distill-Qwen-7B模型的main版本。在HuggingFace找到目標模型後，在模型詳情頁面頂部可以複製模型ID。

建立DeepSeek-R1-Distill-Qwen-7B的資料緩衝。

調用CreateDataCache介面建立資料緩衝。建議您使用SDK，關於如何使用SDK，請參見SDK概覽。

Java SDK樣本如下，表示從HuggingFace拉取指定模型資料，儲存到名為test的Bucket的/model/deepseek-r1-distill-qwen-7b目錄。

CreateDataCacheRequest request = new CreateDataCacheRequest();
request.setName("deepseek-qwen-7b");
request.setBucket("test");
request.setPath("/model/deepseek-r1-distill-qwen-7b");
request.setVSwitchId("vsw-bp1*********");
request.setSecurityGroupId("sg-bp1*********");
CreateDataCacheRequest.DataSource dataSource = new CreateDataCacheRequest.DataSource();
dataSource.setType("URL");
HashMap<String, String> options = new HashMap<>();
options.put("repoId", "deepseek-ai/DeepSeek-R1-Distill-Qwen-7B");
options.put("repoSource", "HuggingFace/Model");
options.put("revision", "main");
dataSource.setOptions(options);
request.setDataSource(dataSource);

查詢資料緩衝狀態。

根據返回的資料緩衝ID調用DescribeDataCaches介面查詢資料緩衝資訊，當資料緩衝的狀態（DataCaches.Status）為Available時，表示可以使用該資料緩衝。

在Elastic Container Instance控制台的容器組頁面，單擊建立彈性容器組。

填寫執行個體相關配置資訊，然後單擊配置確認。

本文使用的參數樣本如下，執行個體使用GPU規格，並掛載了DeepSeek-R1-Distill-Qwen-7B模型。容器啟動後會運行vllm serve /deepseek-r1-7b --tensor-parallel-size 1 --max-model-len 24384 --enforce-eager啟動vLLM推理引擎。

確認執行個體配置資訊，閱讀並選中服務合約，單擊確認訂單。

返回容器組頁面，確認應用部署狀態並查看執行個體的EIP地址。

在容器組頁面可以查看執行個體狀態，單擊執行個體ID進入執行個體詳情頁可以查看容器狀態。當執行個體狀態和容器狀態均為運行中時，表示應用部署成功。您可以在IP地址列擷取執行個體的EIP地址。

使用資料緩衝建立ECI執行個體，部署DeepSeek。

調用CreateContainerGroup介面建立ECI執行個體所採用的參數樣本如下，執行個體使用GPU規格，並掛載了DeepSeek-R1-Distill-Qwen-7B模型。容器啟動後會運行vllm serve /deepseek-r1-7b --tensor-parallel-size 1 --max-model-len 24384 --enforce-eager啟動vLLM推理引擎。

{
  "RegionId": "cn-hangzhou",
  "SecurityGroupId": "sg-bp18***********",
  "VSwitchId": "vsw-bp14***********",
  "ContainerGroupName": "deepseek-r1-7b-server",
  "InstanceType": "ecs.gn7i-c16g1.4xlarge",
  "DataCacheBucket": "default",
  "Container": [
    {
      "Arg": [
        "-c",
        "vllm serve /deepseek-r1-7b --tensor-parallel-size 1 --max-model-len 24384 --enforce-eager"
      ],
      "Command": [
        "/bin/sh"
      ],
      "Gpu": 1,
      "Name": "vllm",
      "Image": "registry-vpc.cn-hangzhou.aliyuncs.com/eci_open/vllm-openai:v0.7.2",
      "VolumeMount": [
        {
          "Name": "llm-model",
          "MountPath": "/deepseek-r1-7b"
        }
      ]
    }
  ],
  "Volume": [
    {
      "Type": "HostPathVolume",
      "HostPathVolume.Path": "/model/deepseek-r1-distill-qwen-7b",
      "Name": "llm-model"
    }
  ],
  "DataCacheProvisionedIops": 15000,
  "DataCacheBurstingEnabled": true,
  "AutoCreateEip": true
}

確認應用部署狀態。

根據返回的執行個體ID調用DescribeContainerGroupStatus查詢執行個體和容器狀態。當執行個體狀態（Status）和容器狀態（ContainerStatuses.State）為Running，表示執行個體已經建立成功，容器正在運行。

查詢執行個體的EIP地址。

根據返回的執行個體ID調用DescribeContainerGroups查詢執行個體詳情，在InternetIp中可以擷取執行個體的EIP地址。