ノードリソースマネージャーを使用してローカルストレージリソースを自動的に初期化する - Container Service for Kubernetes

Kubernetes クラスタ内のローカルストレージリソースを手動で初期化することも、Ansible を使用してバッチでローカルストレージリソースを初期化することもできます。ローカルストレージリソースの初期化プロセスは、特に大規模なクラスタでは複雑です。 node-resource-manager コンポーネントは、ConfigMap に基づいてノード上のローカルストレージリソースを自動的に初期化および更新できます。このトピックでは、node-resource-manager を使用して Kubernetes クラスタ内のノードのローカルストレージリソースを自動的に初期化する方法について説明します。

背景情報

Kubernetes クラスタ内のローカルストレージリソースを初期化するプロセスは困難です。ローカルストレージリソースを手動で初期化することも、Ansible を使用してローカルストレージリソースをバッチで初期化することもできます。ただし、以下の問題が存在します。

Kubernetes ノード情報に基づいて Ansible を使用してカスタムデプロイを実行するのは複雑です。まず、ノードに kubelet をインストールし、shell commands を実行する必要があります。次に、コマンド出力を手動で解析する必要があります。
多数のノードを含むクラスタでは、ローカルストレージリソースを手動で初期化することは困難です。
初期化されたストレージリソースは、長期的なビジネスのために自動的に維持することはできません。ノードに手動でログインしてリソースを更新する必要があります。さらに、初期化されたストレージリソースの使用状況情報は Kubernetes コントロールプレーンに報告されないため、ポッドのスケジューリングに影響します。

node-resource-manager コンポーネントは、ローカルストレージリソースを自動的に初期化し、ローカルストレージリソースの使用状況情報を Kubernetes コントロールプレーンに報告できます。これにより、スケジューラは、報告された使用状況情報に基づいてローカルストレージリソースをポッドに割り当てることができます。詳細については、「node-resource-manager」をご参照ください。

手順 1：ローカルストレージリソースを初期化するノードを指定する ConfigMap を作成する

ConfigMap で次のパラメータを構成して、ローカルストレージリソースを初期化するノードを指定できます。

key: kubernetes.io/hostname
operator: In
value: xxxxx

パラメータ	説明
`key`	ノードラベルに基づいてノードを選択するために使用される `key` です。
`operator`	ラベルセレクタで使用される演算子です。有効な値： `In`: ノードに指定したキーと `value` と同じキーと `value` を持つラベルがある場合、そのノードが選択されます。 `NotIn`：ノードに、指定したキーと同じキーを持つラベルがあるが、`value` が指定した `value` と異なる場合、そのノードが選択されます。 `Exists`：ノードに、指定したキーと同じキーを持つラベルがある場合、そのノードが選択されます。 `DoesNotExist`：ノードに、指定したキーと異なるキーを持つラベルがある場合、そのノードが選択されます。
`value`	ノードラベルに基づいてノードを選択するために使用される `value` です。

論理ボリュームマネージャ (LVM) または QuotaPath を使用して、ノードのローカルストレージリソースを定義します。

LVM を使用してリソーストポロジを定義する

次のいずれかの方法を使用して、リソーストポロジを定義できます。

type: device：node-resource-manager は、devices パラメータで指定されたブロックストレージデバイスに基づいてプロビジョニングされた volume group を要求します。 volumegroup は、name パラメータに基づいて名前が付けられます。論理ボリューム (LV) を要求するアプリケーションが起動されると、volumegroup に基づいて LV を割り当てることができます。
type: alibabacloud-local-disk: node-resource-manager は、ホストのすべてのローカルディスクに基づいて volumegroup を作成します。volumegroup の名前は、name パラメーターに基づいて付けられます。このメソッドを使用するには、ローカルディスクを搭載した Elastic Compute Service (ECS) インスタンスにホストをデプロイする必要があります。
重要
ローカル SSD を搭載した i2 インスタンスファミリーの ECS インスタンスに手動でアタッチされたブロックストレージデバイスはクラウドディスクであり、ローカルディスクとは見なされません。
type: pmem：node-resource-manager は、ホストの永続メモリ (PMEM) リソースに基づいてを作成します。 volumegroup は、name パラメータに基づいて名前が付けられます。 regions パラメータを構成して、PMEM リソースが属する regions を指定できます。リージョン

次の YAML テンプレートに基づいてリソーストポロジを定義します。

apiVersion: v1
kind: ConfigMap
metadata:
  name: unified-resource-topo
  namespace: kube-system
data:
  volumegroup: |-
    volumegroup:
    - name: volumegroup1
      key: kubernetes.io/hostname
      operator: In
      value: cn-zhangjiakou.192.168.XX.XX
      topology:
        type: device
        devices:
        - /dev/vdb
        - /dev/vdc
    - name: volumegroup2
      key: kubernetes.io/nodetype
      operator: NotIn
      value: localdisk
      topology:
        type: alibabacloud-local-disk
    - name: volumegroup3
      key: kubernetes.io/hostname
      operator: Exists
      value: cn-beijing.192.168.XX.XX
      topology:
        type: pmem
        regions:
        - region0

QuotaPath を使用してリソーストポロジを定義する

次のいずれかの方法を使用して、リソーストポロジを定義できます。

type: device：node-resource-manager は、ホストのブロックストレージデバイスに基づいて QuotaPath ボリュームを初期化します。 QuotaPath ボリュームは、name パラメータで指定されたパスにマウントされます。
type: pmem：node-resource-manager は、ホストの PMEM リソースに基づいて QuotaPath ボリュームを初期化します。 QuotaPath ボリュームは、name パラメータで指定されたパスにマウントされます。

次の YAML テンプレートに基づいてリソーストポロジを定義します。

apiVersion: v1
kind: ConfigMap
metadata:
  name: unified-resource-topo
  namespace: kube-system
data:
  quotapath: |-
    quotapath:
    - name: /mnt/path1
      key: kubernetes.io/hostname
      operator: In
      value: cn-beijing.192.168.XX.XX
      topology:
        type: device
        options: prjquota
        fstype: ext4
        devices:
        - /dev/vdb
    - name: /mnt/path2
      key: kubernetes.io/hostname
      operator: In
      value: cn-beijing.192.168.XX.XX
      topology:
        type: pmem
        options: prjquota,shared
        fstype: ext4
        regions:
        - region0

次の表にパラメータを示します。

パラメータ	説明
`options`	ブロックストレージデバイスのマウントオプションです。
`fstype`	ブロックストレージデバイスのフォーマットに使用するファイルシステムタイプです。デフォルト値：`ext4`。
`devices`	マウントするブロックストレージデバイスです。複数のブロックストレージデバイスを指定した場合、デバイスは順番にマウントされます。

手順 2：node-resource-manager をデプロイする

次の YAML テンプレートを使用して DaemonSet を作成し、クラスタに node-resource-manager をデプロイします。

cat <<EOF | kubectl apply -f -
---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: node-resource-manager
  namespace: kube-system
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: node-resource-manager
rules:
  - apiGroups: [""]
    resources: ["configmaps"]
    verbs: ["get", "watch", "list", "delete", "update", "create"]
  - apiGroups: [""]
    resources: ["nodes"]
    verbs: ["get", "list", "watch"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: node-resource-manager-binding
subjects:
  - kind: ServiceAccount
    name: node-resource-manager
    namespace: kube-system
roleRef:
  kind: ClusterRole
  name: node-resource-manager
  apiGroup: rbac.authorization.k8s.io
---
kind: DaemonSet
apiVersion: apps/v1
metadata:
  name: node-resource-manager
  namespace: kube-system
spec:
  selector:
    matchLabels:
      app: node-resource-manager
  template:
    metadata:
      labels:
        app: node-resource-manager
    spec:
      tolerations:
        - operator: "Exists"
      priorityClassName: system-node-critical
      serviceAccountName: node-resource-manager
      hostNetwork: true
      hostPID: true
      containers:
        - name: node-resource-manager
          securityContext:
            privileged: true
            capabilities:
              add: ["SYS_ADMIN"]
            allowPrivilegeEscalation: true
          image: registry.cn-hangzhou.aliyuncs.com/acs/node-resource-manager:v1.18.8.0-983ce56-aliyun
          imagePullPolicy: "Always"
          args:
            - "--nodeid=$(KUBE_NODE_NAME)"
          env:
            - name: KUBE_NODE_NAME
              valueFrom:
                fieldRef:
                  apiVersion: v1
                  fieldPath: spec.nodeName
          volumeMounts:
            - mountPath: /dev
              mountPropagation: "HostToContainer"
              name: host-dev
            - mountPath: /var/log/
              name: host-log
            - name: etc
              mountPath: /host/etc
            - name: config
              mountPath: /etc/unified-config
      volumes:
        - name: host-dev
          hostPath:
            path: /dev
        - name: host-log
          hostPath:
            path: /var/log/
        - name: etc
          hostPath:
            path: /etc
        - name: config
          configMap:
            name: node-resource-topo
EOF

node-resource-manager がデプロイされると、node-resource-manager は、作成した ConfigMap 内の構成に基づいて、ノード上のローカルストレージリソースを自動的に初期化します。 ConfigMap を更新すると、node-resource-manager は、更新完了後 1 分以内に初期化されたローカルストレージリソースを更新します。

重要

データセキュリティを確保するため、node-resource-manager はクラスターからリソースを削除しません。