Auto Scaling：使用搶佔式執行個體節省大模型微調成本

成本對比

假設訓練共需12小時，搶佔式執行個體單價為3.5/h，按量執行個體單價10/h，成本對比如下。

搭建流程

1. 構建包含訓練基礎環境的執行個體鏡像。

   該鏡像將作為伸縮組執行個體的啟動鏡像，內建開機自動訓練指令碼，確保新執行個體能夠快速恢複訓練任務，實現自動化運行。

2. 建立並配置伸縮組。

   伸縮組負責在執行個體中斷或回收後，自動建立新的搶佔式或按量執行個體，確保訓練任務持續進行。

3. 啟動訓練任務。

   啟動伸縮組後自動觸發擴容，建立執行個體以開始訓練任務，並按照預先設定的自動化機制工作。

4. 類比中斷回收（驗證）。

   手動釋放執行個體以類比中斷或資源回收情境，驗證是否能啟動新執行個體並自動回復訓練任務，確保任務的穩定性和可靠性。

1.1 建立執行個體並構建基礎環境

該執行個體會作為模板執行個體，產出鏡像，後續伸縮組會自動以該鏡像建立新執行個體。

1. 前往ECS控制台建立GPU執行個體。

   首先需要建立一個按量的GPU執行個體用於基礎環境的搭建。本文以在杭州地區的可用性區域J建立規格為ecs.gn7i-c8g1.2xlarge的執行個體為例。配置步驟如圖所示：

   ①：付費類型。隨用隨付。 ②：地區。華東1（杭州）。 ③④：網路及可用性區域。選擇專用網路和交換器，若沒有可按照介面提示建立。

   ⑤⑥：選擇執行個體規格。ecs.gn7i-c8g1.2xlarge。

   ⑦⑧⑨：鏡像。Ubuntu 22.04 64位。 ⑩：安裝GPU驅動。版本：CUDA版本 12.4.1、Driver版本 550.127.08、CUDNN版本 9.2.0.82。

   ⑪：系統硬碟 > 容量。60GiB。

   ⑫⑬⑭：分配公網IPv4地址使執行個體可以訪問公網，下載模型檔案。頻寬計費模式選擇按使用流量。頻寬峰值選擇100Mbps。 ⑮⑯⑰：建立普通安全性群組，連接埠至少放開SSH（TCP：22）和ICMP（IPv4），便於後續遠端連線執行個體。

   ⑱⑲⑳：登入憑證。用於後續登入執行個體。可根據需求選擇金鑰組或密碼。根據介面提示完成設定。 ㉑：執行個體名稱。設定便於記憶的執行個體名稱，便於尋找。本文以ess-lora-deepseek7b-template為例。

   完成配置後單擊確認下單，等待執行個體建立完成。

2. 在執行個體建立完成後，串連執行個體並等待GPU驅動安裝完成。

   1. 訪問ECS控制台-執行個體。

   2. 找到上一步建立的執行個體，單擊操作列下的遠端連線，通過Workbench串連執行個體，並根據介面提示完成登入操作。

      若未找到執行個體，可能是當前地區與執行個體地區不符，可以在左上方切換地區。

      若執行個體處於停止狀態，請重新整理頁面並等待執行個體啟動。

      

   3. 串連執行個體後，等待GPU驅動安裝完成。安裝完成後，會提示您重新串連執行個體。

      若介面卡住，您可以嘗試重新整理頁面，重新串連執行個體。

      

      看不到該頁面&如何判斷已經完成安裝？

      在串連執行個體後沒有出現該介面，可能是由於您的執行個體已經完成驅動安裝操作。您可以通過使用以下命令確認是否已安裝驅動。

      nvidia-smi

      若出現如下介面，則代表已經完成安裝。

      

      如果未出現該介面，代表啟動驅動未安裝或存在問題，建議您重新建立新執行個體，並勾選安裝 GPU 驅動。

      如需手動安裝驅動，請參見在GPU計算型執行個體中手動安裝Tesla驅動（Linux）。

3. 安裝相關Python依賴。

   使用以下命令，安裝訓練相關依賴。

   本樣本所選擇的鏡像為Ubuntu 22.04 64位，已經包含Python 3.10環境，因此不需要安裝Python。

   # ubuntu 22.04鏡像內建python 3.10，無需額外安裝
   python3 -m pip install --upgrade pip
   # 切換為阿里雲內網鏡像源
   pip config set global.index-url http://mirrors.cloud.aliyuncs.com/pypi/simple/
   
   pip install modelscope==1.22.3
   pip install openai==1.61.0
   pip install tqdm==4.67.1
   pip install "vllm>=0.5.1" -U
   pip install "lmdeploy>=0.5,<0.6.5" -U --no-deps
   pip install autoawq -U --no-deps
   pip install auto_gptq optimum bitsandbytes -U
   pip install ms-swift[all]
   pip install timm -U
   pip install deepspeed==0.14.* -U
   pip install qwen_vl_utils decord librosa pyav icecream -U

在等待依賴安裝時，可以點擊右上方開啟多屏終端，同時進行步驟1.2的操作。

1.2 建立Object Storage Service的儲存空間並掛載到執行個體

本步驟需要先在Object Storage Service建立儲存空間（Bucket），並將該儲存空間作為額外的資料盤掛載到ECS執行個體，負責儲存後續步驟下載的模型權重檔案、訓練資料集以及訓練過程中產生的Checkpoint。

1. 前往Object Storage Service控制台建立Bucket。

   關鍵配置項說明如下，未提及配置項保持預設。

   ②：Bucket 名稱。該Bucket名稱在後續掛載儲存空間時會用到。 ③：地區。選擇有地區屬性，地區需與ECS執行個體所在地區保持一致，本樣本為華東1（杭州）。 ECS執行個體支援通過內網訪問同地區的Object Storage ServiceBucket，內網訪問不會產生流量費用，具體說明，請參見ECS執行個體通過OSS內網地址訪問OSS資源。

2. 建立並綁定執行個體RAM角色。

   執行個體RAM角色用於授權ECS執行個體訪問您建立的Object Storage ServiceBucket。建立並綁定執行個體RAM角色的操作流程如下：

   1. 在控制台建立執行個體RAM角色。關鍵配置項說明如下。

      ②：信任主體類型。選擇雲端服務。 ③：信任主體名稱。選擇Elastic Compute Service，代表該角色需要授權給ECS執行個體。 ④：單擊確定後，根據介面提示設定執行個體RAM角色的名稱。

   2. 在控制台建立以下自訂權限原則。

      ③：該策略代表某個Bucket的全部許可權。權限原則指令碼內容如下。 重要 設定以下自訂策略時，請將<bucket_name>替換為您所建立的儲存空間的Bucket 名稱。 { "Version": "1", "Statement": [ { "Effect": "Allow", "Action": "oss:*", "Resource": [ "acs:oss:*:*:<bucket_name>", "acs:oss:*:*:<bucket_name>/*" ] } ] } 完成配置後單擊確定，根據介面提示設定權限原則名稱。

   3. 在控制台為執行個體RAM角色授權。

      ⑥：授權主體。選擇之前建立的執行個體RAM角色。 ⑦：權限原則。選擇之前建立的自訂權限原則。 完成配置後單擊確認新增授權。

   4. 前往ECS控制台，將執行個體RAM角色授予給執行個體。

      若未找到執行個體，可能是當前地區與執行個體地區不符，可以在左上方切換地區。

      

3. 將儲存空間掛載到ECS執行個體。

   1. 串連步驟1.1建立的執行個體，執行以下命令，安裝ossfs工具。

      wget https://gosspublic.alicdn.com/ossfs/ossfs_1.91.5_ubuntu22.04_amd64.deb
      apt-get update
      DEBIAN_FRONTEND=noninteractive apt-get install gdebi-core
      DEBIAN_FRONTEND=noninteractive gdebi -n ossfs_1.91.5_ubuntu22.04_amd64.deb

   2. 執行以下命令完成掛載操作。需注意替換命令中的以下內容：

      • <bucket_name>：替換為您所建立的儲存空間的Bucket 名稱。

        查看Bucket名稱

        前往Object Storage Service控制台，尋找您建立的Bucket。

      • <ecs_ram_role>：替換為您所建立的執行個體RAM角色名稱。

        查看執行個體RAM角色名稱

        前往ECS控制台，找到綁定了執行個體RAM角色的執行個體，根據如圖所示步驟進入授予/收回RAM角色頁面

        。在該頁面可以查看執行個體已經綁定的執行個體RAM角色。

        若未找到執行個體，可能是當前地區與執行個體地區不符，可以在左上方切換地區。

        

      • <internal_endpoint>：替換為oss-cn-hangzhou-internal.aliyuncs.com。

        重要

        本樣本所建立的Bucket地區為華東1（杭州），故使用oss-cn-hangzhou-internal.aliyuncs.com作為VPC內網Endpoint。

        您使用的Object Storage ServiceBucket地區不在杭州，如何擷取Endpoint地址。

        若您建立Object Storage ServiceBucket地區不在杭州，請擷取VPC內網Endpoint地址後，替換<internal_endpoint>的值。

        

      # 需替換對應的Bucket名稱、內網存取點、執行個體RAM角色
      BUCKET_NAME="<bucket_name>"
      ECS_RAM_ROLE="<ecs_ram_role>"
      INTERNAL_ENDPOINT="<internal_endpoint>"
      
      # Bucket掛載目錄
      BUCKET_MOUNT_PATH="/mnt/oss-data"
      
      # 1. 掛載前備份fstab檔案
      cp /etc/fstab /etc/fstab.bak
      
      # 2. 建立被掛載的目錄
      mkdir $BUCKET_MOUNT_PATH
      # 3. 掛載Bucket到執行個體
      ossfs $BUCKET_NAME $BUCKET_MOUNT_PATH -ourl=$INTERNAL_ENDPOINT -oram_role=http://100.100.100.200/latest/meta-data/ram/security-credentials/$ECS_RAM_ROLE
      # 4. 設定開機自動掛載
      echo "ossfs#$BUCKET_NAME $BUCKET_MOUNT_PATH fuse _netdev,url=http://$INTERNAL_ENDPOINT,ram_role=http://100.100.100.200/latest/meta-data/ram/security-credentials/$ECS_RAM_ROLE,allow_other 0 0" | sudo tee -a /etc/fstab

4. （驗證）測試儲存空間是否可用。

   1. 在Object Storage Service的Bucket中上傳任意檔案。

      

   2. 在執行個體中輸入以下命令，測試是否可以在目錄看到Object Storage Service中的檔案。

      ls /mnt/oss-data/

      如果可以看到，則代表掛載成功。

      

   為什麼在Object Storage ServiceBucket中看不到這個檔案？

   可能是掛載失敗造成的，請按照以下思路排查。

   1. ECS執行個體是否與Object Storage ServiceBucket在相同地區，掛載命令中的<internal_endpoint>是否已經正確替換為Bucket的VPC內網的Endpoint地址。

   2. 檢查掛載命令中的<bucket_name>是否已經正確替換為Object Storage ServiceBucket的名稱。

   3. 嘗試重新授予執行個體RAM角色給ECS執行個體，同時檢查掛載命令中的<ecs_ram_role>是否與授予的執行個體RAM角色名稱一致。

   4. 使用正確的替換以下命令中的<bucket_name>、<internal_endpoint>、<ecs_ram_role>的內容，並執行重新掛載命令。

      # 需替換對應的Bucket名稱、內網存取點、執行個體RAM角色
      BUCKET_NAME="<bucket_name>"
      ECS_RAM_ROLE="<ecs_ram_role>"
      INTERNAL_ENDPOINT="<internal_endpoint>"
      
      # Bucket掛載目錄
      BUCKET_MOUNT_PATH="/mnt/oss-data"
      
      # 1. 嘗試解除掛載
      umount $BUCKET_MOUNT_PATH
      
      # 2. 從備份中恢複/etc/fstab檔案
      cp /etc/fstab.bak /etc/fstab
      
      # 3. 重新掛載Bucket到執行個體
      ossfs $BUCKET_NAME $BUCKET_MOUNT_PATH -ourl=$INTERNAL_ENDPOINT -oram_role=http://100.100.100.200/latest/meta-data/ram/security-credentials/$ECS_RAM_ROLE
      # 4. 重新設定開機自動掛載
      echo "ossfs#$BUCKET_NAME $BUCKET_MOUNT_PATH fuse _netdev,url=http://$INTERNAL_ENDPOINT,ram_role=http://100.100.100.200/latest/meta-data/ram/security-credentials/$ECS_RAM_ROLE,allow_other 0 0" | sudo tee -a /etc/fstab

   4. 檢查是否可以在掛載的目錄（/mnt/oss-data）下看到Object Storage Service中的檔案。

      ls /mnt/oss-data/

1.3 準備模型與資料集

本文使用的模型權重檔案與資料集均從魔搭社區下載，串連執行個體後，按照以下步驟操作。將模型與資料集下載到Object Storage ServiceBucket所掛載的目錄，並等待所有檔案下載完成。

1. 下載資料集

   # Bucket掛載目錄
   BUCKET_MOUNT_PATH="/mnt/oss-data"
   
   # 從魔搭社區下載微調資料集
   # 使用步驟1.1中安裝的modelscope工具
   modelscope download --dataset swift/self-cognition --local_dir $BUCKET_MOUNT_PATH/self-cognition
   modelscope download --dataset AI-ModelScope/alpaca-gpt4-data-zh --local_dir $BUCKET_MOUNT_PATH/alpaca-gpt4-data-zh
   modelscope download --dataset AI-ModelScope/alpaca-gpt4-data-en --local_dir $BUCKET_MOUNT_PATH/alpaca-gpt4-data-en

   若進度卡住可以多次點擊斷行符號。

2. 下載模型權重檔案

   重要

   由於模型權重檔案過大，若下載失敗，或提示please try again，請重試該命令恢複下載。

   # Bucket掛載目錄
   BUCKET_MOUNT_PATH="/mnt/oss-data"
   
   # 從魔搭社區下載DeepSeek-R1-Distill-Qwen-7B模型
   modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Qwen-7B --local_dir $BUCKET_MOUNT_PATH/DeepSeek-R1-Distill-Qwen-7B

   若進度卡住可以多次點擊斷行符號。

3. 測試模型權重檔案是否有效

   在下載完成後，您可以在命令列執行以下命令，使用模型進行推理測試，測試模型權重檔案是否完整。

   # Bucket掛載目錄
   BUCKET_MOUNT_PATH="/mnt/oss-data"
   
   CUDA_VISIBLE_DEVICES=0 swift infer \
       --model $BUCKET_MOUNT_PATH/DeepSeek-R1-Distill-Qwen-7B \
       --stream true \
       --infer_backend pt \
       --max_new_tokens 2048

   如圖所示，模型載入完成後，您可以與大模型進行對話。如果模型權重檔案載入失敗，請重新下載模型權重檔案。

   

   測試完成後可輸入exit退出對話。

1.4 編寫自動訓練指令碼

1. 編寫自動訓練指令碼。

   輸入以下命令建立自動訓練指令碼，並授予可執行許可權。本指令碼包含自動從最新Checkpoint恢複訓練的以及判斷訓練完成的功能。

   # 建立自動訓練指令碼
   cat <<EOF > /root/train.sh
   #!/bin/bash
   
   # Bucket掛載目錄
   BUCKET_MONTH_PATH="/mnt/oss-data"
   
   # 模型權重檔案及資料集儲存目錄
   MODEL_PATH="\$BUCKET_MONTH_PATH/DeepSeek-R1-Distill-Qwen-7B"
   DATASET_PATH="\$BUCKET_MONTH_PATH/alpaca-gpt4-data-zh#500 \$BUCKET_MONTH_PATH/alpaca-gpt4-data-en#500 \$BUCKET_MONTH_PATH/self-cognition#500"
   
   # 設定輸出目錄
   OUTPUT_DIR="\$BUCKET_MONTH_PATH/output"
   mkdir -p "\$OUTPUT_DIR"
   
   # 判斷已經完成訓練，無需操作的邏輯
   if [ -f "\$OUTPUT_DIR/logging.jsonl" ]; then
       last_line=\$(tail -n 1 "\$OUTPUT_DIR/logging.jsonl")
       if echo "\$last_line" | grep -q "last_model_checkpoint" && echo "\$last_line" | grep -q "best_model_checkpoint"; then
           echo "Training already completed. Exiting."
           exit 0
       fi
   fi
   
   # 初始化恢複參數
   RESUME_ARG=""
   
   # 尋找最新檢查點
   LATEST_CHECKPOINT=\$(ls -dt \$OUTPUT_DIR/checkpoint-* 2>/dev/null | head -1)
   
   if [ -n "\$LATEST_CHECKPOINT" ]; then
       RESUME_ARG="--resume_from_checkpoint \$LATEST_CHECKPOINT"
       echo "Resume training from: \$LATEST_CHECKPOINT"
   else
       echo "No checkpoint found. Starting new training."
   fi
   
   # 啟動訓練命令
   CUDA_VISIBLE_DEVICES=0 swift sft \\
       --model \$MODEL_PATH \\
       --train_type lora \\
       --dataset \$DATASET_PATH \\
       --torch_dtype bfloat16 \\
       --num_train_epochs 1 \\
       --per_device_train_batch_size 1 \\
       --per_device_eval_batch_size 1 \\
       --learning_rate 1e-4 \\
       --lora_rank 8 \\
       --lora_alpha 32 \\
       --target_modules all-linear \\
       --gradient_accumulation_steps 16 \\
       --eval_steps 50 \\
       --save_steps 10 \\
       --save_total_limit 5 \\
       --logging_steps 5 \\
       --max_length 2048 \\
       --output_dir "\$OUTPUT_DIR" \\
       --add_version False \\
       --overwrite_output_dir True \\
       --system 'You are a helpful assistant.' \\
       --warmup_ratio 0.05 \\
       --dataloader_num_workers 4 \\
       --model_author swift \\
       --model_name swift-robot \\
       \$RESUME_ARG
   EOF
   
   # 授予可執行許可權
   chmod +x /root/train.sh

   測試指令碼是否可以正常執行

   使用以下命令測試該指令碼是否可以正常運行。

   ./train.sh

   如圖所示，若執行命令後，模型可以正常載入，並正常開始訓練，證明模型檔案正確且依賴完整，按CTRL + C退出訓練即可。

   

   若不能正常執行，請重新安裝步驟1.1中的Python依賴，並重新下載步驟1.3中的權重以及資料集檔案。

2. 建立Linux服務，並配置開機自啟動。

   輸入以下命令建立服務，並配置訓練指令碼開機自啟動。

   # 建立日誌儲存目錄
   mkdir -p /root/train-service-log
   
   # 編寫Service設定檔
   cat <<EOF > /etc/systemd/system/train.service
   [Unit]
   Description=Train AI Model Script
   After=network.target local-fs.target remote-fs.target
   Requires=local-fs.target remote-fs.target
   
   [Service]
   ExecStart=/root/train.sh
   WorkingDirectory=/root/
   User=root
   Environment="PATH=/usr/bin:/usr/local/bin"
   Environment="CUDA_VISIBLE_DEVICES=0"
   StandardOutput=append:/root/train-service-log/train.log
   StandardError=append:/root/train-service-log/train_error.log
   
   [Install]
   WantedBy=multi-user.target
   EOF
   
   # 重新載入systemd配置
   systemctl daemon-reload
   # 配置train.service服務開機自啟動
   systemctl enable train.service

   命令執行完成返回如下內容：

   

1.5 構建鏡像

在完成前面所有步驟後，需要從完成配置的執行個體構建自訂鏡像，後續在擴容時，可以直接使用該鏡像作為執行個體的啟動鏡像，無需重新安裝相關依賴等操作。

1. 訪問ECS控制台-執行個體。

2. 根據以下步驟說明建立鏡像。

   

3. 等待鏡像建立完成。鏡像建立大概需要5分鐘左右的時間，您可以在ECS控制台-鏡像查看您的鏡像建立進度。

   

2.1 建立伸縮組

首先需要建立伸縮組，操作步驟如下。

2.2 建立伸縮配置

伸縮配置主要用於定義伸縮組中執行個體的規格、鏡像等資訊。完成該配置後，伸縮組會自動按照該配置定義的執行個體資訊，建立新執行個體。在建立伸縮配置頁面，完成以下配置：

建立伸縮配置後，根據介面提示啟用伸縮配置並啟動伸縮組。

• 接入CloudMonitor，感知中斷回收並響應

  在生產環境中應用該方案，建議在訓練代碼中接入CloudMonitor，感知並響應搶佔式執行個體中斷事件，在中斷回收前5分鐘儲存Checkpoint檔案，以減少恢複訓練時的進度損失。改良後的架構如下：

  

• 建立完善的任務恢複機制

  本文樣本中恢複訓練時，會自動從最新的Checkpoint恢複，但不會檢測其有效性。在實際應用中，建議建立異常檢測機制，以排除無效Checkpoint，並自動從最新的有效Checkpoint恢複訓練。

• 完善訓練任務執行結束的操作

  您可以在訓練代碼中補充訓練結束的判斷邏輯，在訓練結束時使用CLI或SDK等方式調用伸縮組的API，將期望執行個體數修改為0，伸縮組會自動根據期望執行個體數釋放多餘執行個體，避免資源浪費造成的額外開支。

  此外，還可以在任務完成時，向CloudMonitor上報自訂事件，將訓練執行結果以郵件、簡訊、DingTalk機器人等方式通知到您。

• 使用效率更高的OSFS儲存模型與Checkpoint檔案

  訓練大參數量模型時，Object Storage Service可能成為系統瓶頸，建議使用高吞吐、低延遲的CPFS替代Object Storage Service作為檔案系統掛載，以提高系統整體效率。

• 配置多可用性區域交換器，提高搶佔式執行個體的使用機率

  僅配置單個可用性區域交換器時，伸縮組僅能從一個可用性區域建立執行個體，容易因庫存不足導致擴容失敗。建議配置多個可用性區域的交換器，在搶佔式執行個體被回收時，系統會自動嘗試從其他可用性區域建立新的搶佔式執行個體，有效提高搶佔式執行個體的使用機率。