ディスク並列マウントの有効化 - Container Service for Kubernetes

ステートフルアプリケーション (データベースなど) または多数の短寿命コンテナ (連続統合やバッチ処理など) の高密度展開を伴うシナリオでは、各ポッドはデータを保持するために多数のディスクを必要とします。多数のポッドが同時に同じノードにスケジュールされている場合、デフォルトのシリアルマウント方法ではポッドの起動時間が長くなります。この問題を解決するには、ディスク並列マウント機能を有効にします。

前提条件

ACK管理クラスターが作成されました。クラスターのKubernetesバージョンが1.26以降です。 csi-pluginおよびcsi-provisionerコンポーネントのバージョンは1.30.4以降です。詳細については、「csi-plugin」および「csi-provisioner」をご参照ください。
Alibaba Cloud CLIがインストールされ、設定されています。詳細については、「Alibaba Cloud CLIのインストール」をご参照ください。

使用上の注意

パラレルマウント機能は、シリアル番号を持つディスクに対してのみ有効にできます。ディスクのシリアル番号を照会する方法の詳細については、「ディスクのシリアル番号の照会」をご参照ください。
6月10日より前に作成されたディスクには、2020認識可能なシリアル番号がありません。これらのディスクの並列マウント機能を有効にすると、マウントエラーが発生します。
複数のディスクが同じノードからアンマウントされている場合、ディスクはシリアルモードでアンマウントされます。
並列マウントを有効にすると、ECS DescribeDisksなどのAPIによって返されるデバイスフィールドと、コンソールに表示されるマウントターゲットが不正確になる場合があります。ビジネスではこのマウントパスを使用しないでください。ディスクのシリアル番号を使用して、実際のマウントパスを確認できます。

手順

手動でディスク並列マウントを有効にするか、自動スクリプトを使用してこの機能を有効にすることができます。

自動スクリプトの使用

次のスクリプトをenable_parallel_attach.shという名前のファイルとして保存します。

スクリプトの表示

#!/bin/bash

set -e
set -o pipefail

readonly REQUIRED_VERSION="v1.30.4"
CLUSTER_ID=$1

if [ -z "$CLUSTER_ID" ]; then
    echo "Usage: enable_parallel_attach.sh <cluster-id>"
    exit 1
fi

check_version() {
    local ADDONS VERSION
    ADDONS=$(aliyun cs GET "/clusters/${CLUSTER_ID}/addon_instances")

    VERSION=$(echo "$ADDONS" | jq -r '.addons[] | select(.name=="csi-plugin") | .version')
    if !  printf "%s\n" "$REQUIRED_VERSION" "$VERSION" | sort -V -C; then
        echo "csi-plugin version $VERSION is not supported, please upgrade to $REQUIRED_VERSION or later"
        exit 1
    fi

    PROVISIONER=managed-csiprovisioner
    VERSION=$(echo "$ADDONS" | jq -r '.addons[] | select(.name=="managed-csiprovisioner") | .version')
    if [ -z "$VERSION" ]; then
        PROVISIONER=csi-provisioner
        VERSION=$(echo "$ADDONS" | jq -r '.addons[] | select(.name=="csi-provisioner") | .version')
    fi
    if !  printf "%s\n" "$REQUIRED_VERSION" "$VERSION" | sort -V -C; then
        echo "$PROVISIONER version $VERSION is not supported, please upgrade to $REQUIRED_VERSION or later"
        exit 1
    fi
}

update_node_pool() {
    local NODE_POOL_DOC
    NODE_POOL_DOC=$(aliyun cs GET "/clusters/${CLUSTER_ID}/nodepools/$1")

    if [ -n "$(echo "$NODE_POOL_DOC" | jq -r '(.scaling_group.tags // [])[] | select(.key=="supportConcurrencyAttach")')" ]; then
        echo "node pool already has supportConcurrencyAttach tag"
        return
    fi

    aliyun cs PUT "/clusters/${CLUSTER_ID}/nodepools/$1" --header "Content-Type=application/json" \
        --body "$(echo "$NODE_POOL_DOC" | jq -c '{
    "scaling_group": {
        "tags": ((.scaling_group.tags // []) + [{
            "key": "supportConcurrencyAttach",
            "value": "true"
        }])
    }
}')"
}

# Configure existing nodes.
update_nodes() {
    local PAGE=1
    local IDX TOTAL NODES_DOC ARGS
    while :; do
        echo "tagging nodes, page $PAGE"
        NODES_DOC=$(aliyun cs GET "/clusters/${CLUSTER_ID}/nodes" --pageSize 50 --pageNumber $PAGE)
        TOTAL=$(echo "$NODES_DOC" | jq -r '.page.total_count')

        ARGS=()
        IDX=0
        for node in $(echo "$NODES_DOC" | jq -r '.nodes[] | select(.is_aliyun_node) | .instance_id'); do
            IDX=$((IDX+1))
            ARGS+=("--ResourceId.$IDX" "$node")
        done
        if [ "$IDX" != "0" ]; then
            aliyun ecs TagResources --region "$ALIBABA_CLOUD_REGION_ID" --ResourceType Instance "${ARGS[@]}" \
                --Tag.1.Key supportConcurrencyAttach --Tag.1.Value true
            echo "finished nodes $(( (PAGE-1)*50+IDX ))/$TOTAL"
        fi

        if [[ $(( PAGE*50 )) -ge $TOTAL ]]; then
            break
        fi
        PAGE=$((PAGE+1))
    done
}

update_addon() {
    local ADDON=$1
    shift
    local CONFIG STATE
    CONFIG=$(aliyun cs GET "/clusters/${CLUSTER_ID}/addon_instances/${ADDON}" | \
        jq -c '.config | fromjson | (.FeatureGate // "" | split(",")) as $fg | .FeatureGate = ($fg + $ARGS.positional | unique | join(",")) | {config: . | tojson}' --args "$@")

    aliyun cs POST "/clusters/${CLUSTER_ID}/components/${ADDON}/config" --header "Content-Type=application/json" --body "$CONFIG"

    echo "Waiting for $ADDON config to complete"
    while true; do
        STATE=$(aliyun --secure cs GET "/clusters/${CLUSTER_ID}/addon_instances/${ADDON}" | jq -r '.state')
        echo "state: $STATE"
        if [ "$STATE" != "updating" ]; then
            break
        fi
        sleep 5
    done
    if [ "$STATE" != "active" ]; then
        echo "Failed to update $ADDON config"
        return 1
    fi
}

check_version

aliyun cs GET "/clusters/${CLUSTER_ID}/nodepools" | jq -r '.nodepools[]|.nodepool_info|"\(.nodepool_id)\t\(.name)"' | \
while read -r NODE_POOL_ID NODE_POOL_NAME; do
    echo "Updating tags for node pool $NODE_POOL_NAME ($NODE_POOL_ID)"
    update_node_pool "$NODE_POOL_ID"
done

ALIBABA_CLOUD_REGION_ID=$(aliyun cs GET "/clusters/${CLUSTER_ID}" | jq -r .region_id)

update_nodes

update_addon $PROVISIONER DiskADController=true DiskParallelAttach=true
update_addon csi-plugin DiskADController=true

echo "All done!  Now the disks can be attached concurrently to the same node."

スクリプトを実行して、並列モードでディスクをマウントします。
```
bash enable_parallel_attach.sh <Cluster ID>
```

機能を手動で有効にする

クラスターのノードプールにECSタグを追加します。タグキーをsupportConcurrencyAttachに設定し、タグ値をtrueに設定します。タグが新しいECSインスタンスに追加されていることを確認します。
1. ACKコンソールにログインします。左側のナビゲーションウィンドウで、[クラスター] をクリックします。
2. [クラスター] ページで、管理するクラスターの名前をクリックします。左側のナビゲーションウィンドウで、[ノード] > [ノードプール] を選択します。
3. [ノードプール] ページで、変更するノードプールを見つけ、[操作] 列の [編集] をクリックします。
4. ページの下部で、[詳細オプション] セクションを見つけ、ESCタグを追加します。キーをsupportConcurrencyAttachに設定し、値をtrueに設定します。
クラスター内の既存のすべてのノードのECSインスタンスにタグを追加します。キーをsupportConcurrencyAttachに設定し、値をtrueに設定します。詳細については、「カスタムタグの追加」をご参照ください。
左側のナビゲーションウィンドウで、[操作] > [アドオン] を選択します。 [ストレージ] タブをクリックしてcsi-provisionerコンポーネントを見つけ、コンポーネントの右下隅にある [設定] をクリックし、FeatureGateパラメーターをDiskADController=true,DiskParallelAttach=trueに設定します。
説明
DiskADController=trueを指定すると、ディスクに関連するアタッチおよびデタッチ操作がcsi-provisionerによって実行されます。 DiskParallelAttach=trueを指定すると、ディスク並列マウント機能が有効になります。
csi-provisionerを設定した後、csi-pluginコンポーネントのFeatureGateパラメーターをDiskADController=trueに設定します。

ディスク並列マウント機能が有効になっていることを確認する

この例では、多数のディスクがマウントされたポッドを同じノードに作成して、並列マウントが有効になった後のポッドの起動加速を確認します。

重要

このトピックで提供される統計は理論値にすぎません。実際の値は環境によって異なる場合があります。

複数のディスクをサポートするノードをACKクラスターに追加します。たとえば、ecs.g7se.16xlargeタイプのインスタンスに最大56台のディスクをマウントできます。

attach-stress.yamlという名前のテストファイルを作成し、次の内容をファイルにコピーします。 attach-stress.yamlをノードの実際の名前に置き換えます。

attach-stress.yamlファイルの表示

---
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: alibabacloud-disk
provisioner: diskplugin.csi.alibabacloud.com
parameters:
  type: cloud_auto
volumeBindingMode: WaitForFirstConsumer
reclaimPolicy: Delete
allowVolumeExpansion: true
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: attach-stress
spec:
  selector:
    matchLabels:
      app: attach-stress
  serviceName: attach-stress
  replicas: 1
  podManagementPolicy: Parallel
  persistentVolumeClaimRetentionPolicy:
    whenScaled: Retain
    whenDeleted: Delete
  template:
    metadata:
      labels:
        app: attach-stress
    spec:
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              - key: kubernetes.io/hostname
                operator: In
                values:
                - <YOUR-HOSTNAME> # Replace this parameter with the actual name of the node. 
      hostNetwork: true
      containers:
      - name: attach-stress
        image: registry-cn-hangzhou.ack.aliyuncs.com/acs/busybox
        command: ["/bin/sh", "-c", "trap exit TERM; while true; do date > /mnt/0/data; sleep 1; done"]
        volumeMounts:
        - name: volume-0
          mountPath: /mnt/0
        - name: volume-1
          mountPath: /mnt/1
  volumeClaimTemplates:
  - metadata:
      name: volume-0
    spec:
      accessModes: [ "ReadWriteOnce" ]
      storageClassName: alibabacloud-disk
      resources:
        requests:
          storage: 1Gi
  - metadata:
      name: volume-1
    spec:
      accessModes: [ "ReadWriteOnce" ]
      storageClassName: alibabacloud-disk
      resources:
        requests:
          storage: 1Gi

次のコマンドを実行して、アプリケーションが期待どおりに起動することを確認します。次に、ポッドの数を0にスケールインして、後続のバッチマウントテストに備えます。

kubectl apply -f attach-stress.yaml
kubectl rollout status sts attach-stress
kubectl scale sts attach-stress --replicas 0

期待される出力:

storageclass.storage.k8s.io/alibabacloud-disk created
statefulset.apps/attach-stress created
partitioned roll out complete: 1 new pods have been updated...
statefulset.apps/attach-stress scaled

次のコマンドを実行して、バッチマウントテストを開始し、ポッドの起動に必要な時間を計算します。
説明
この場合、クラスターの並列マウントは無効になります。ノードでサポートされているディスクの最大数に基づいて、テスト用のポッドの数を調整します。
```
date && \
  kubectl scale sts attach-stress --replicas 28 && \
  kubectl rollout status sts attach-stress && \
  date
```
期待される出力:
```
Tuesday October 15 19:21:36 CST 2024
statefulset.apps/attach-stress scaled
Waiting for 28 pods to be ready...
Waiting for 27 pods to be ready...
<Omitted...>
Waiting for 3 pods to be ready...
Waiting for 2 pods to be ready...
Waiting for 1 pods to be ready...
partitioned roll out complete: 28 new pods have been updated...
Tuesday October 15 19:24:55 CST 2024
```
出力は、パラレルマウントが無効になっている場合、28個のポッドすべてを起動するのに3分以上かかることを示しています。
[手順] セクションの指示に従って、並列マウントを有効にします。
次のコマンドを実行して、前述のポッドを削除し、その後のテストの準備をします。
説明
クラスター内のvolumeattachmentsリソースに注意してください。リソースが削除されると、ディスクはアンマウントされます。このプロセスには数分かかります。
```
kubectl scale sts attach-stress --replicas 0
```

次のコマンドを再度実行して、並列マウントを有効にした後のポッドの起動に必要な時間を計算します。予想される時間は約40秒で、パラレルマウントが無効になっている場合の3分よりもはるかに高速です。

date && \
  kubectl scale sts attach-stress --replicas 28 && \
  kubectl rollout status sts attach-stress && \
  date

期待される出力:

Tuesday October 15 20:02 54 CST 2024
statefulset.apps/attach-stress scaled
Waiting for 28 pods to be ready...
Waiting for 27 pods to be ready...
<Omitted...>
Waiting for 3 pods to be ready...
Waiting for 2 pods to be ready...
Waiting for 1 pods to be ready...
partitioned roll out complete: 28 new pods have been updated...
Tuesday October 15 20:03:31 CST 2024

次のコマンドを実行して、クラスター内のテストアプリケーションを削除します。
```
kubectl delete -f attach-stress.yaml
```