cara bermigrasi dari FlexVolume ke CSI - Container Service for Kubernetes

Plug-in FlexVolume sudah tidak digunakan lagi. Kluster Container Service for Kubernetes (ACK) baru tidak mendukung FlexVolume. Untuk kluster yang ada, disarankan untuk bermigrasi dari FlexVolume ke Container Storage Interface (CSI). Topik ini menjelaskan cara menggunakan CSI untuk mengambil alih volume Object Storage Service (OSS) yang diprovinsi secara statis dan dikelola oleh FlexVolume.

Perbedaan antara FlexVolume dan CSI

Tabel berikut menunjukkan perbedaan antara CSI dan FlexVolume.

Plug-in

Komponen

Parameter kubelet

Referensi

CSI

CSI-Provisioner (diterapkan sebagai Deployment)
Komponen ini digunakan untuk mengimplementasikan pembuatan volume otomatis dan pembuatan snapshot otomatis. Komponen ini juga mendukung penyimpanan Container Network File System (CNFS) dan pemulihan data setelah data terhapus secara tidak sengaja.
CSI-Plugin (diterapkan sebagai DaemonSet)
Komponen ini digunakan untuk mengimplementasikan pemasangan dan pelepasan volume otomatis. Beberapa jenis volume disk didukung.

Parameter kubelet yang dibutuhkan oleh plug-in CSI berbeda dengan yang dibutuhkan oleh plug-in FlexVolume.

Untuk menjalankan plug-in CSI, Anda harus mengatur parameter kubelet enable-controller-attach-detach menjadi true di setiap node.

Penyimpanan

FlexVolume

Disk-Controller (diterapkan sebagai Deployment)
Komponen ini digunakan untuk mengimplementasikan pembuatan volume otomatis.
FlexVolume (diterapkan sebagai DaemonSet)
Komponen ini digunakan untuk mengimplementasikan pemasangan dan pelepasan volume.

Parameter kubelet yang dibutuhkan oleh plug-in FlexVolume berbeda dengan yang dibutuhkan oleh plug-in CSI.

Untuk menjalankan plug-in FlexVolume, Anda harus mengatur parameter kubelet enable-controller-attach-detach menjadi true di setiap node.

Ikhtisar FlexVolume

Skenario

FlexVolume telah diinstal di kluster Anda dan digunakan untuk memasang volume OSS yang diprovinsi secara statis. Jika Anda juga memiliki volume disk yang dikelola oleh FlexVolume di dalam kluster, lihat Gunakan csi-compatible-controller untuk bermigrasi dari FlexVolume ke CSI.

Catatan penggunaan

Saat bermigrasi dari FlexVolume ke CSI, persistent volume claims (PVC) akan dibuat ulang. Akibatnya, pod akan dimulai ulang dan bisnis Anda terganggu. Disarankan untuk melakukan migrasi selama jam-jam sepi.

Persiapan

Sebelum migrasi, instal CSI secara manual di dalam kluster.

Buat file bernama csi-plugin.yaml dan csi-provisioner.yaml.

View the csi-plugin.yaml file

---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: csi-admin
  namespace: kube-system
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: alicloud-csi-plugin
rules:
  - apiGroups: [""]
    resources: ["secrets"]
    verbs: ["get", "create", "list"]
  - apiGroups: [""]
    resources: ["persistentvolumes"]
    verbs: ["get", "list", "watch", "update", "create", "delete", "patch"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "update"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims/status"]
    verbs: ["get", "list", "watch", "update", "patch"]
  - apiGroups: ["storage.k8s.io"]
    resources: ["storageclasses"]
    verbs: ["get", "list", "watch"]
  - apiGroups: ["storage.k8s.io"]
    resources: ["csinodes"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["events"]
    verbs: ["get", "list", "watch", "create", "update", "patch"]
  - apiGroups: [""]
    resources: ["endpoints"]
    verbs: ["get", "watch", "list", "delete", "update", "create"]
  - apiGroups: [""]
    resources: ["configmaps"]
    verbs: ["get", "watch", "list", "delete", "update", "create"]
  - apiGroups: [""]
    resources: ["nodes"]
    verbs: ["get", "list", "watch", "update"]
  - apiGroups: ["csi.storage.k8s.io"]
    resources: ["csinodeinfos"]
    verbs: ["get", "list", "watch"]
  - apiGroups: ["storage.k8s.io"]
    resources: ["volumeattachments"]
    verbs: ["get", "list", "watch", "update", "patch"]
  - apiGroups: ["snapshot.storage.k8s.io"]
    resources: ["volumesnapshotclasses"]
    verbs: ["get", "list", "watch", "create"]
  - apiGroups: ["snapshot.storage.k8s.io"]
    resources: ["volumesnapshotcontents"]
    verbs: ["create", "get", "list", "watch", "update", "delete"]
  - apiGroups: ["snapshot.storage.k8s.io"]
    resources: ["volumesnapshots"]
    verbs: ["get", "list", "watch", "update", "create"]
  - apiGroups: ["apiextensions.k8s.io"]
    resources: ["customresourcedefinitions"]
    verbs: ["create", "list", "watch", "delete", "get", "update", "patch"]
  - apiGroups: ["coordination.k8s.io"]
    resources: ["leases"]
    verbs: ["get", "create", "list", "watch", "delete", "update"]
  - apiGroups: ["snapshot.storage.k8s.io"]
    resources: ["volumesnapshotcontents/status"]
    verbs: ["update"]
  - apiGroups: ["storage.k8s.io"]
    resources: ["volumeattachments/status"]
    verbs: ["patch"]
  - apiGroups: ["snapshot.storage.k8s.io"]
    resources: ["volumesnapshots/status"]
    verbs: ["update"]
  - apiGroups: ["storage.k8s.io"]
    resources: ["storageclasses"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["namespaces"]
    verbs: ["get", "list"]
  - apiGroups: [""]
    resources: ["pods","pods/exec"]
    verbs: ["create", "delete", "get", "post", "list", "watch", "patch", "update"]
  - apiGroups: ["storage.alibabacloud.com"]
    resources: ["rules"]
    verbs: ["get"]
  - apiGroups: ["storage.alibabacloud.com"]
    resources: ["containernetworkfilesystems"]
    verbs: ["get","list", "watch"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: alicloud-csi-plugin
subjects:
  - kind: ServiceAccount
    name: csi-admin
    namespace: kube-system
roleRef:
  kind: ClusterRole
  name: alicloud-csi-plugin
  apiGroup: rbac.authorization.k8s.io
---
apiVersion: storage.k8s.io/v1
kind: CSIDriver
metadata:
  name: diskplugin.csi.alibabacloud.com
spec:
  attachRequired: true
  podInfoOnMount: true
---
apiVersion: storage.k8s.io/v1
kind: CSIDriver
metadata:
  name: nasplugin.csi.alibabacloud.com
spec:
  attachRequired: false
  podInfoOnMount: true
---
apiVersion: storage.k8s.io/v1
kind: CSIDriver
metadata:
  name: ossplugin.csi.alibabacloud.com
spec:
  attachRequired: false
  podInfoOnMount: true
---
kind: DaemonSet
apiVersion: apps/v1
metadata:
  name: csi-plugin
  namespace: kube-system
spec:
  selector:
    matchLabels:
      app: csi-plugin
  template:
    metadata:
      labels:
        app: csi-plugin
    spec:
      tolerations:
        - operator: Exists
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              - key: type
                operator: NotIn
                values:
                - virtual-kubelet
      nodeSelector:
        kubernetes.io/os: linux
      serviceAccount: csi-admin
      priorityClassName: system-node-critical
      hostNetwork: true
      hostPID: true
      dnsPolicy: ClusterFirst
      containers:
        - name: disk-driver-registrar
          image: registry.cn-hangzhou.aliyuncs.com/acs/csi-node-driver-registrar:v2.3.1-038aeb6-aliyun
          resources:
            requests:
              cpu: 10m
              memory: 16Mi
            limits:
              cpu: 500m
              memory: 1024Mi
          args:
            - "--v=5"
            - "--csi-address=/var/lib/kubelet/csi-plugins/diskplugin.csi.alibabacloud.com/csi.sock"
            - "--kubelet-registration-path=/var/lib/kubelet/csi-plugins/diskplugin.csi.alibabacloud.com/csi.sock"
          volumeMounts:
            - name: kubelet-dir
              mountPath: /var/lib/kubelet
            - name: registration-dir
              mountPath: /registration
        - name: nas-driver-registrar
          image: registry.cn-hangzhou.aliyuncs.com/acs/csi-node-driver-registrar:v2.3.1-038aeb6-aliyun
          resources:
            requests:
              cpu: 10m
              memory: 16Mi
            limits:
              cpu: 500m
              memory: 1024Mi
          args:
            - "--v=5"
            - "--csi-address=/var/lib/kubelet/csi-plugins/nasplugin.csi.alibabacloud.com/csi.sock"
            - "--kubelet-registration-path=/var/lib/kubelet/csi-plugins/nasplugin.csi.alibabacloud.com/csi.sock"
          volumeMounts:
            - name: kubelet-dir
              mountPath: /var/lib/kubelet/
            - name: registration-dir
              mountPath: /registration
        - name: oss-driver-registrar
          image: registry.cn-hangzhou.aliyuncs.com/acs/csi-node-driver-registrar:v2.3.1-038aeb6-aliyun
          resources:
            requests:
              cpu: 10m
              memory: 16Mi
            limits:
              cpu: 500m
              memory: 1024Mi
          args:
            - "--v=5"
            - "--csi-address=/var/lib/kubelet/csi-plugins/ossplugin.csi.alibabacloud.com/csi.sock"
            - "--kubelet-registration-path=/var/lib/kubelet/csi-plugins/ossplugin.csi.alibabacloud.com/csi.sock"
          volumeMounts:
            - name: kubelet-dir
              mountPath: /var/lib/kubelet/
            - name: registration-dir
              mountPath: /registration
        - name: csi-plugin
          securityContext:
            privileged: true
            allowPrivilegeEscalation: true
          image: registry.cn-hangzhou.aliyuncs.com/acs/csi-plugin:v1.24.6-55c95dd-aliyun
          args:
            - "--endpoint=$(CSI_ENDPOINT)"
            - "--v=2"
            - "--driver=oss,nas,disk"
          env:
            - name: KUBE_NODE_NAME
              valueFrom:
                fieldRef:
                  apiVersion: v1
                  fieldPath: spec.nodeName
            - name: CSI_ENDPOINT
              value: unix://var/lib/kubelet/csi-plugins/driverplugin.csi.alibabacloud.com-replace/csi.sock
            - name: MAX_VOLUMES_PERNODE
              value: "15"
            - name: SERVICE_TYPE
              value: "plugin"
          resources:
            requests:
              cpu: 100m
              memory: 128Mi
            limits:
              cpu: 500m
              memory: 1024Mi
          livenessProbe:
            httpGet:
              path: /healthz
              port: healthz
              scheme: HTTP
            initialDelaySeconds: 10
            periodSeconds: 30
            timeoutSeconds: 5
            failureThreshold: 5
          readinessProbe:
            httpGet:
              path: /healthz
              port: healthz
            initialDelaySeconds: 10
            periodSeconds: 30
            timeoutSeconds: 5
            failureThreshold: 5
          ports:
            - name: healthz
              containerPort: 11260
          volumeMounts:
            - name: kubelet-dir
              mountPath: /var/lib/kubelet/
              mountPropagation: "Bidirectional"
            - name: etc
              mountPath: /host/etc
            - name: host-log
              mountPath: /var/log/
            - name: ossconnectordir
              mountPath: /host/usr/
            - name: container-dir
              mountPath: /var/lib/container
              mountPropagation: "Bidirectional"
            - name: host-dev
              mountPath: /dev
              mountPropagation: "HostToContainer"
            - mountPath: /var/addon
              name: addon-token
              readOnly: true
            - mountPath: /host/var/run/
              name: fuse-metrics-dir
      volumes:
        - name: fuse-metrics-dir
          hostPath:
            path: /var/run/
            type: DirectoryOrCreate
        - name: registration-dir
          hostPath:
            path: /var/lib/kubelet/plugins_registry
            type: DirectoryOrCreate
        - name: container-dir
          hostPath:
            path: /var/lib/container
            type: DirectoryOrCreate
        - name: kubelet-dir
          hostPath:
            path: /var/lib/kubelet
            type: Directory
        - name: host-dev
          hostPath:
            path: /dev
        - name: host-log
          hostPath:
            path: /var/log/
        - name: etc
          hostPath:
            path: /etc
        - name: ossconnectordir
          hostPath:
            path: /usr/
        - name: addon-token
          secret:
            defaultMode: 420
            optional: true
            items:
            - key: addon.token.config
              path: token-config
            secretName: addon.csi.token
  updateStrategy:
    rollingUpdate:
      maxUnavailable: 30%
    type: RollingUpdate

View the csi-provisioner.yaml file

---
kind: Deployment
apiVersion: apps/v1
metadata:
  name: csi-provisioner
  namespace: kube-system
spec:
  selector:
    matchLabels:
      app: csi-provisioner
  strategy:
    rollingUpdate:
      maxSurge: 0
      maxUnavailable: 1
    type: RollingUpdate
  replicas: 2
  template:
    metadata:
      labels:
        app: csi-provisioner
    spec:
      affinity:
        nodeAffinity:
          preferredDuringSchedulingIgnoredDuringExecution:
          - weight: 1
            preference:
              matchExpressions:
              - key: node-role.kubernetes.io/master
                operator: Exists
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              - key: type
                operator: NotIn
                values:
                - virtual-kubelet
        podAntiAffinity:
          preferredDuringSchedulingIgnoredDuringExecution:
          - weight: 100
            podAffinityTerm:
              labelSelector:
                matchExpressions:
                - key: app
                  operator: In
                  values:
                  - csi-provisioner
              topologyKey: kubernetes.io/hostname
      tolerations:
      - effect: NoSchedule
        operator: Exists
        key: node-role.kubernetes.io/master
      - effect: NoSchedule
        operator: Exists
        key: node.cloudprovider.kubernetes.io/uninitialized
      serviceAccount: csi-admin
      hostPID: true
      priorityClassName: system-node-critical
      containers:
        - name: external-disk-provisioner
          image: registry.cn-hangzhou.aliyuncs.com/acs/csi-provisioner:v3.0.0-080f01e64-aliyun
          resources:
            requests:
              cpu: 10m
              memory: 16Mi
            limits:
              cpu: 500m
              memory: 1024Mi
          args:
            - "--csi-address=$(ADDRESS)"
            - "--feature-gates=Topology=True"
            - "--volume-name-prefix=disk"
            - "--strict-topology=true"
            - "--timeout=150s"
            - "--leader-election=true"
            - "--retry-interval-start=500ms"
            - "--extra-create-metadata=true"
            - "--default-fstype=ext4"
            - "--v=5"
          env:
            - name: ADDRESS
              value: /var/lib/kubelet/csi-provisioner/diskplugin.csi.alibabacloud.com/csi.sock
          volumeMounts:
            - name: disk-provisioner-dir
              mountPath: /var/lib/kubelet/csi-provisioner/diskplugin.csi.alibabacloud.com
        - name: external-disk-attacher
          image: registry.cn-hangzhou.aliyuncs.com/acs/csi-attacher:v3.3-72dd428b-aliyun
          resources:
            requests:
              cpu: 10m
              memory: 16Mi
            limits:
              cpu: 500m
              memory: 1024Mi
          args:
            - "--v=5"
            - "--csi-address=$(ADDRESS)"
            - "--leader-election=true"
          env:
            - name: ADDRESS
              value: /var/lib/kubelet/csi-provisioner/diskplugin.csi.alibabacloud.com/csi.sock
          volumeMounts:
            - name: disk-provisioner-dir
              mountPath: /var/lib/kubelet/csi-provisioner/diskplugin.csi.alibabacloud.com
        - name: external-disk-resizer
          image: registry.cn-hangzhou.aliyuncs.com/acs/csi-resizer:v1.3-ca84e84-aliyun
          resources:
            requests:
              cpu: 10m
              memory: 16Mi
            limits:
              cpu: 500m
              memory: 8Gi
          args:
            - "--v=5"
            - "--csi-address=$(ADDRESS)"
            - "--leader-election"
          env:
            - name: ADDRESS
              value: /var/lib/kubelet/csi-provisioner/diskplugin.csi.alibabacloud.com/csi.sock
          volumeMounts:
            - name: disk-provisioner-dir
              mountPath: /var/lib/kubelet/csi-provisioner/diskplugin.csi.alibabacloud.com
        - name: external-nas-provisioner
          image: registry.cn-hangzhou.aliyuncs.com/acs/csi-provisioner:v3.0.0-080f01e64-aliyun
          resources:
            requests:
              cpu: 10m
              memory: 16Mi
            limits:
              cpu: 500m
              memory: 1024Mi
          args:
            - "--csi-address=$(ADDRESS)"
            - "--volume-name-prefix=nas"
            - "--timeout=150s"
            - "--leader-election=true"
            - "--retry-interval-start=500ms"
            - "--default-fstype=nfs"
            - "--v=5"
          env:
            - name: ADDRESS
              value: /var/lib/kubelet/csi-provisioner/nasplugin.csi.alibabacloud.com/csi.sock
          volumeMounts:
            - name: nas-provisioner-dir
              mountPath: /var/lib/kubelet/csi-provisioner/nasplugin.csi.alibabacloud.com
        - name: external-nas-resizer
          image: registry.cn-hangzhou.aliyuncs.com/acs/csi-resizer:v1.3-ca84e84-aliyun
          resources:
            requests:
              cpu: 10m
              memory: 16Mi
            limits:
              cpu: 500m
              memory: 8Gi
          args:
            - "--v=5"
            - "--csi-address=$(ADDRESS)"
            - "--leader-election"
          env:
            - name: ADDRESS
              value: /var/lib/kubelet/csi-provisioner/nasplugin.csi.alibabacloud.com/csi.sock
          volumeMounts:
            - name: nas-provisioner-dir
              mountPath: /var/lib/kubelet/csi-provisioner/nasplugin.csi.alibabacloud.com
        - name: external-oss-provisioner
          args:
            - --csi-address=$(ADDRESS)
            - --volume-name-prefix=oss
            - --timeout=150s
            - --leader-election=true
            - --retry-interval-start=500ms
            - --default-fstype=ossfs
            - --v=5
          env:
          - name: ADDRESS
            value: /var/lib/kubelet/csi-provisioner/ossplugin.csi.alibabacloud.com/csi.sock
          image: registry.cn-hangzhou.aliyuncs.com/acs/csi-provisioner:v3.0.0-080f01e64-aliyun
          resources:
            limits:
              cpu: 500m
              memory: 1Gi
            requests:
              cpu: 10m
              memory: 16Mi
          volumeMounts:
          - mountPath: /var/lib/kubelet/csi-provisioner/ossplugin.csi.alibabacloud.com
            name: oss-provisioner-dir
        - name: external-csi-snapshotter
          image: registry.cn-hangzhou.aliyuncs.com/acs/csi-snapshotter:v4.0.0-a230d5b3-aliyun
          resources:
            requests:
              cpu: 10m
              memory: 16Mi
            limits:
              cpu: 500m
              memory: 1024Mi
          args:
            - "--v=5"
            - "--csi-address=$(ADDRESS)"
            - "--leader-election=true"
            - "--extra-create-metadata=true"
          env:
            - name: ADDRESS
              value: /csi/csi.sock
          volumeMounts:
            - name: disk-provisioner-dir
              mountPath: /csi
        - name: external-snapshot-controller
          image: registry.cn-hangzhou.aliyuncs.com/acs/snapshot-controller:v4.0.0-a230d5b3-aliyun
          resources:
            requests:
              cpu: 10m
              memory: 16Mi
            limits:
              cpu: 500m
              memory: 1024Mi
          args:
            - "--v=5"
            - "--leader-election=true"
        - name: csi-provisioner
          securityContext:
            privileged: true
          image: registry.cn-hangzhou.aliyuncs.com/acs/csi-plugin:v1.24.6-55c95dd-aliyun
          args:
            - "--endpoint=$(CSI_ENDPOINT)"
            - "--v=2"
            - "--driver=nas,disk,oss"
          env:
            - name: CSI_ENDPOINT
              value: unix://var/lib/kubelet/csi-provisioner/driverplugin.csi.alibabacloud.com-replace/csi.sock
            - name: MAX_VOLUMES_PERNODE
              value: "15"
            - name: SERVICE_TYPE
              value: "provisioner"
            - name: "CLUSTER_ID"
              value: "CLUSTER_ID"
          livenessProbe:
            httpGet:
              path: /healthz
              port: healthz
              scheme: HTTP
            initialDelaySeconds: 10
            periodSeconds: 30
            timeoutSeconds: 5
            failureThreshold: 5
          readinessProbe:
            httpGet:
              path: /healthz
              port: healthz
            initialDelaySeconds: 5
            periodSeconds: 20
          ports:
            - name: healthz
              containerPort: 11270
          volumeMounts:
            - name: host-log
              mountPath: /var/log/
            - name: disk-provisioner-dir
              mountPath: /var/lib/kubelet/csi-provisioner/diskplugin.csi.alibabacloud.com
            - name: nas-provisioner-dir
              mountPath: /var/lib/kubelet/csi-provisioner/nasplugin.csi.alibabacloud.com
            - name: oss-provisioner-dir
              mountPath: /var/lib/kubelet/csi-provisioner/ossplugin.csi.alibabacloud.com
            - mountPath: /var/addon
              name: addon-token
              readOnly: true
            - mountPath: /mnt
              mountPropagation: Bidirectional
              name: host-dev
            - mountPath: /host/etc
              name: etc
          resources:
            limits:
              cpu: 500m
              memory: 1024Mi
            requests:
              cpu: 100m
              memory: 128Mi
      volumes:
        - name: disk-provisioner-dir
          emptyDir: {}
        - name: nas-provisioner-dir
          emptyDir: {}
        - name: oss-provisioner-dir
          emptyDir: {}
        - name: host-log
          hostPath:
            path: /var/log/
        - name: etc
          hostPath:
            path: /etc
            type: ""
        - name: host-dev
          hostPath:
            path: /mnt
            type: ""
        - name: addon-token
          secret:
            defaultMode: 420
            optional: true
            items:
            - key: addon.token.config
              path: token-config
            secretName: addon.csi.token

Jalankan perintah berikut untuk menerapkan csi-plugin dan csi-provisioner di dalam kluster:
```
kubectl apply -f csi-plugin.yaml -f csi-provisioner.yaml
```

Jalankan perintah berikut untuk memeriksa apakah CSI berjalan normal:

kubectl get pods -nkube-system | grep csi

Output yang Diharapkan:

csi-plugin-577mm                              4/4     Running   0          3d20h
csi-plugin-k9mzt                              4/4     Running   0          41d
csi-provisioner-6b58f46989-8wwl5              9/9     Running   0          41d
csi-provisioner-6b58f46989-qzh8l              9/9     Running   0          6d20h

Jika output di atas ditampilkan, CSI berjalan normal.

Prosedur

Contoh ini menunjukkan migrasi volume NAS yang diprovinsi secara statis dari FlexVolume ke CSI menggunakan beban kerja StatefulSet. Gambar berikut menunjukkan alur kerja:

oss

Langkah 1: Periksa status volume di dalam kluster

Jalankan perintah berikut untuk memeriksa status pod:

kubectl get pod

Output yang Diharapkan:

NAME       READY   STATUS    RESTARTS   AGE
oss-sts-1  1/1     Running   0          11m

Jalankan perintah berikut untuk memeriksa PVC yang digunakan oleh pod:
```
kubectl describe pod oss-sts-1 |grep ClaimName
```
Output yang Diharapkan:
```
ClaimName:  oss-pvc
```

Jalankan perintah berikut untuk memeriksa status saat ini dari PVC:

kubectl get pvc

Output yang Diharapkan:

NAME      STATUS   VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
oss-pvc   Bound    oss-pv   5Gi        RWX                           7m23s

Langkah 2: Buat PVC dan PV untuk volume NAS yang diprovision secara statis yang dikelola oleh CSI

Metode 1: Konversi otomatis melalui CLI Flexvolume2CSI

Konversikan PV dan PVC yang dikelola oleh FlexVolume menjadi PV dan PVC yang dikelola oleh CSI.
Jalankan perintah berikut untuk membuat PVC dan persistent volume (PV) untuk volume OSS:
oss-pv-pvc-csi.yaml adalah file YAML yang mendefinisikan PVC dan PV yang dikelola oleh CSI setelah Anda menggunakan CLI Flexvolume2CSI untuk mengonversi PVC dan PV asli.
```
kubectl apply -f oss-pv-pvc-csi.yaml
```

Jalankan perintah berikut untuk memeriksa status saat ini dari PVC:

kubectl get pvc

Output yang Diharapkan:

NAME         STATUS   VOLUME       CAPACITY   ACCESS MODES   STORAGECLASS   AGE
oss-pvc-csi   Bound    oss-pv-csi   5Gi        RWO                           7m15s
oss-pvc       Bound    oss-pv       5Gi        RWX                           52m

Metode 2: Konversi manual dengan memodifikasi plug-in volume konfigurasi PVC/PV

Simpan Objek PV dan PVC yang Dikelola oleh FlexVolume.

Jalankan perintah berikut untuk menyimpan objek PVC yang didukung oleh FlexVolume:

kubectl get pvc oss-pvc -oyaml > oss-pvc-flexvolume.yaml
cat oss-pvc-flexvolume.yaml

Output yang Diharapkan:

apiVersion: v1
kind: PersistentVolumeClaim
  name: oss-pvc
  namespace: default
spec:
  accessModes:
  - ReadWriteMany
  resources:
    requests:
      storage: 5Gi
  volumeMode: Filesystem
  volumeName: oss-pv

Jalankan perintah berikut untuk menyimpan objek PV yang didukung oleh FlexVolume:

kubectl get pv oss-pv -oyaml > oss-pv-flexvolume.yaml
cat oss-pv-flexvolume.yaml

Output yang Diharapkan:

apiVersion: v1
kind: PersistentVolume
metadata:
  name: oss-pv
spec:
  accessModes:
  - ReadWriteMany
  capacity:
    storage: 5Gi
  claimRef:
    apiVersion: v1
    kind: PersistentVolumeClaim
    name: oss-pvc
    namespace: default
  flexVolume:
    driver: alicloud/oss
    nodePublishSecretRef:
      name: oss-secret
      namespace: default
    options:
      bucket: xxx
      otherOpts: -o max_stat_cache_size=0 -o allow_other
      url: xxx.aliyuncs.com
  persistentVolumeReclaimPolicy: Retain
  volumeMode: Filesystem

Buat volume NAS yang diprovinsi secara statis yang dikelola oleh CSI dengan mendefinisikan PVC dan PV.

Buat file bernama oss-pv-pvc-csi.yaml dan tambahkan konten YAML berikut ke dalam file untuk membuat volume OSS yang diprovinsi secara statis yang dikelola oleh CSI:

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: oss-pvc-csi
spec:
  accessModes:
  - ReadWriteMany
  resources:
    requests:
      storage: 5Gi
  selector:
    matchLabels:
      alicloud-pvname: oss-pv-csi
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: oss-pv-csi
  labels:
    alicloud-pvname: oss-pv-csi
spec:
  capacity:
    storage: 5Gi
  accessModes:
    - ReadWriteMany
  persistentVolumeReclaimPolicy: Retain
  csi:
    driver: ossplugin.csi.alibabacloud.com
    volumeHandle: oss-pv-csi
    nodePublishSecretRef:
      name: oss-secret
      namespace: default
    volumeAttributes:
      bucket: "***"
      url: "***.aliyuncs.com"
      otherOpts: "-o max_stat_cache_size=0 -o allow_other"

Jalankan perintah berikut untuk membuat PVC dan PV untuk volume OSS:
```
kubectl apply -f oss-pv-pvc-csi.yaml
```

Jalankan perintah berikut untuk memeriksa status saat ini dari PVC:

kubectl get pvc

Output yang Diharapkan:

NAME         STATUS   VOLUME       CAPACITY   ACCESS MODES   STORAGECLASS   AGE
oss-pvc-csi   Bound    oss-pv-csi   5Gi        RWO                           7m15s
oss-pvc       Bound    oss-pv       5Gi        RWX                           52m

Langkah 3: Ubah PVC yang terkait dengan aplikasi

Jalankan perintah berikut untuk memodifikasi file konfigurasi aplikasi:
```
kubectl edit sts oss-sts
```

Ubah PVC ke yang didukung oleh CSI.

      volumes:
      - name: oss
        persistentVolumeClaim:
          claimName: oss-pvc-csi

Jalankan perintah berikut untuk memeriksa apakah pod telah dimulai ulang:

kubectl get pod

Output yang Diharapkan:

NAME       READY   STATUS    RESTARTS   AGE
oss-sts-1  1/1     Running   0          70s

Jalankan perintah berikut untuk memeriksa informasi mount:

kubectl exec oss-sts-1 -- mount |grep ossfs

Output yang Diharapkan:

# Lihat informasi mount.
***:/ on /var/lib/kubelet/pods/ac02ea3f-125f-4b38-9bcf-9b117f62eaf0/volumes/kubernetes.io~csi/oss-pv-csi/mount type ossfs (rw,relatime,max_stat_cache_size=0,allow_other)

Jika output di atas ditampilkan, pod telah bermigrasi.

Langkah 4: Uninstal FlexVolume

Masuk ke konsol OpenAPI Explorer dan panggil operasi UnInstallClusterAddons untuk menguninstal plug-in FlexVolume.
- ClusterId: Atur nilai ke ID kluster Anda. Anda dapat melihat ID kluster pada tab Basic Information halaman detail kluster Anda.
- name: Atur nilai ke Flexvolume.
Untuk informasi lebih lanjut, lihat Uninstal Komponen dari Kluster.
Jalankan perintah berikut untuk menghapus komponen alicloud-disk-controller dan alicloud-nas-controller:
```
kubectl delete deploy -n kube-system alicloud-disk-controller alicloud-nas-controller
```
Jalankan perintah berikut untuk memeriksa apakah plug-in FlexVolume telah diuninstal dari kluster Anda:
```
kubectl get pods -n kube-system | grep 'flexvolume\|alicloud-disk-controller\|alicloud-nas-controller'
```
Jika tidak ada output yang ditampilkan, plug-in FlexVolume telah diuninstal dari kluster Anda.

Jalankan perintah berikut untuk menghapus StorageClass yang menggunakan FlexVolume dari kluster. Provisioner dari StorageClass yang menggunakan FlexVolume adalah alicloud/disk.

kubectl delete storageclass alicloud-disk-available alicloud-disk-efficiency alicloud-disk-essd alicloud-disk-ssd

Output yang Diharapkan:

storageclass.storage.k8s.io "alicloud-disk-available" deleted
storageclass.storage.k8s.io "alicloud-disk-efficiency" deleted
storageclass.storage.k8s.io "alicloud-disk-essd" deleted
storageclass.storage.k8s.io "alicloud-disk-ssd" deleted

Jika output di atas ditampilkan, StorageClass telah dihapus dari kluster Anda.

Langkah 5: Panggil API untuk menginstal CSI

Masuk ke konsol OpenAPI Explorer dan panggil InstallClusterAddons untuk menginstal plug-in CSI.
- ClusterId: Atur nilai ke ID kluster Anda.
- name: Atur nilai ke csi-provisioner.
- version: Versi terbaru akan ditentukan secara otomatis. Untuk informasi lebih lanjut tentang versi CSI, lihat csi-provisioner.
Untuk informasi lebih lanjut tentang cara menginstal plug-in CSI, lihat Instal Komponen di dalam Kluster ACK.

Jalankan perintah berikut untuk memeriksa apakah plug-in CSI berjalan sesuai harapan di dalam kluster Anda:

kubectl get pods -n kube-system | grep csi

Output yang Diharapkan:

csi-plugin-577mm                              4/4     Running   0          3d20h
csi-plugin-k9mzt                              4/4     Running   0          41d
csi-provisioner-6b58f46989-8wwl5              9/9     Running   0          41d
csi-provisioner-6b58f46989-qzh8l              9/9     Running   0          6d20h

Jika output di atas ditampilkan, plug-in CSI berjalan sesuai harapan di dalam kluster.

Langkah 6: Modifikasi konfigurasi node yang ada

Gunakan template YAML berikut untuk memodifikasi parameter Kubelet agar kompatibel dengan plug-in CSI. DaemonSet ini dapat mengubah nilai parameter kubelet --enable-controller-attach-detach dari node yang ada menjadi true. Setelah langkah ini selesai, DaemonSet dapat dihapus.

Penting

Saat Anda menerapkan file YAML, kubelet akan dimulai ulang. Disarankan untuk mengevaluasi dampaknya pada aplikasi sebelum menerapkan file YAML.

kind: DaemonSet
apiVersion: apps/v1
metadata:
  name: kubelet-set
spec:
  selector:
    matchLabels:
      app: kubelet-set
  template:
    metadata:
      labels:
        app: kubelet-set
    spec:
      tolerations:
        - operator: "Exists"
      hostNetwork: true
      hostPID: true
      containers:
        - name: kubelet-set
          securityContext:
            privileged: true
            capabilities:
              add: ["SYS_ADMIN"]
            allowPrivilegeEscalation: true
          image: registry.cn-hangzhou.aliyuncs.com/acs/csi-plugin:v1.26.5-56d1e30-aliyun
          imagePullPolicy: "Always"
          env:
          - name: enableADController
            value: "true"
          command: ["sh", "-c"]
          args:
          - echo "Starting kubelet flag set to $enableADController";
            ifFlagTrueNum=`cat /host/etc/systemd/system/kubelet.service.d/10-kubeadm.conf | grep enable-controller-attach-detach=$enableADController | grep -v grep | wc -l`;
            echo "ifFlagTrueNum is $ifFlagTrueNum";
            if [ "$ifFlagTrueNum" = "0" ]; then
                curValue="true";
                if [ "$enableADController" = "true" ]; then
                    curValue="false";
                fi;
                sed -i "s/enable-controller-attach-detach=$curValue/enable-controller-attach-detach=$enableADController/" /host/etc/systemd/system/kubelet.service.d/10-kubeadm.conf;
                restartKubelet="true";
                echo "current value is $curValue, change to expect "$enableADController;
            fi;
            if [ "$restartKubelet" = "true" ]; then
                /nsenter --mount=/proc/1/ns/mnt systemctl daemon-reload;
                /nsenter --mount=/proc/1/ns/mnt service kubelet restart;
                echo "restart kubelet";
            fi;
            while true;
            do
                sleep 5;
            done;
          volumeMounts:
          - name: etc
            mountPath: /host/etc
      volumes:
        - name: etc
          hostPath:
            path: /etc