自建Kubernetes集群对接VNode

前提条件

• 已部署好Kubernetes集群，且集群的版本属于1.13~1.20版本。

• 如果您的Kubernetes集群部署在线下IDC，请确保已通过高速通道、智能接入网关或者VPN网关打通IDC和云上网络。相关参考如下：

  • 高速通道

  • 智能接入网关

  • VPN网关

准备工作

操作前，请准备创建虚拟节点所需的参数信息，并了解虚拟节点所需的权限信息。需要准备的参数如下表所示。

部署虚拟节点时，需要配置相关权限，包括原生K8s节点使用的标准权限，以及虚拟节点所需的额外权限，具体如下表所示。

步骤一：配置虚拟节点证书

虚拟节点需要使用KubeConfig来接入集群。因此，创建虚拟节点前需要为虚拟节点签发证书（即KubeConfig）。 操作步骤如下：

1. 下载并执行配置脚本，生成KubeConfig。

   选择TLS Bootstrap或ServiceAcoount方式，根据您的Kubernetes集群的版本执行对应命令生成KubeConfig。

   • TLS Bootstrap

     如果有安全性要求，建议采用TLS Bootstrap方式。采用该方式时，将自动部署vnode-approver组件。vnode-approver组件用于签发Vnode提交的CSR请求，目前已开源至GitHub。更多信息，请参见vnode-approver。

     • 集群版本为1.14~1.20

       curl -fsSL https://eci-release.oss-cn-beijing.aliyuncs.com/vnode-deploy.sh | bash -s -- bootstrap

     • 集群版本为1.13

       1.13版本的集群需要endpoints资源进行选主，脚本中需配置额外权限（EXTRA_PRIVILEDGE=true）。

       curl -fsSL https://eci-release.oss-cn-beijing.aliyuncs.com/vnode-deploy.sh | env EXTRA_PRIVILEDGE=true bash -s -- bootstrap

   • ServiceAcoount

     该方式不支持证书轮换。签发证书时需确保token有足够的有效期（或者设置为不过期），防止因证书过期导致虚拟节点无法正常工作。

     • 集群版本为1.14~1.20

       curl -fsSL https://eci-release.oss-cn-beijing.aliyuncs.com/vnode-deploy.sh | bash -s -- common

     • 集群版本为1.13

       1.13版本的集群需要endpoints资源进行选主，脚本中需配置额外权限（EXTRA_PRIVILEDGE=true）。

       curl -fsSL https://eci-release.oss-cn-beijing.aliyuncs.com/vnode-deploy.sh | env EXTRA_PRIVILEDGE=true bash -s -- common

2. 检查KubeConfig。

   生成的KubeConfig名为vnode-config。执行以下命令查看KubeConfig。

   cat vnode-config

   检查时，请注意以下几点：

   • 确认待创建虚拟节点的VPC网络能够连接到server地址。

   • 如果certificate-authority-data的内容为空，请检查~/.kube/config中的相应字段是否使用了PATH。

   KubeConfig的内容示例如下：

   • TLS Bootstrap

     apiVersion: v1
     kind: Config
     current-context: kubernetes-admin@kubernetes
     contexts:
     - name: kubernetes-admin@kubernetes
       context:
         cluster: kubernetes-admin@kubernetes
         user: vnode
         namespace: kube-system
     clusters:
     - name: kubernetes-admin@kubernetes
       cluster:
         certificate-authority-data: "*****************************************=="
         server: https://10.16.XX.XX:6443
     users:
     - name: vnode
       user:
         token: ******.****************

   • ServiceAcoount

     apiVersion: v1
     kind: Config
     current-context: kubernetes-admin@kubernetes
     contexts:
     - name: kubernetes-admin@kubernetes
       context:
         cluster: kubernetes-admin@kubernetes
         user: vnode
         namespace: kube-system
     clusters:
     - name: kubernetes-admin@kubernetes
       cluster:
         certificate-authority-data: "*****************************************=="
         server: https://10.16.XX.XX:6443
     users:
     - name: vnode
       user:
         token: ***********************************************

步骤二：创建虚拟节点

您可以通过弹性容器实例控制台或者OpenAPI来创建虚拟节点。

查看结果

创建后等待一段时间，您可以在Kubernetes集群中查询到虚拟节点，如下图所示。

步骤三：配置反亲和性策略

由于VNode不是真实节点，因此无法运行DaemonSet。创建VNode后，您需要修改kube-proxy的DaemonSet，配置nodeAffinity来禁止DaemonSet调度到VNode。相关配置如下：

1. 执行以下命令修改DaemonSet配置。

   kubectl -n kube-system edit ds kube-proxy

2. 配置nodeAffinity。

   在spec>template>spec下添加以下YAML：

   affinity:
     nodeAffinity:
       requiredDuringSchedulingIgnoredDuringExecution:
         nodeSelectorTerms:
         - matchExpressions:
           - key: type
             operator: NotIn
             values:
             - virtual-kubelet

后续操作

创建虚拟节点后，您可以通过以下方式将Pod调度到虚拟节点上，以使用ECI来运行Pod。

• 手动调度

  通过配置nodeSelector和tolerations、指定nodeName的方式，可以手动将Pod调度到VNode。具体操作，请参见将Pod调度到VNode。

• 自动调度

  ECI Profile功能支持自定义配置selector，可以将满足条件的Pod自动调度到VNode。具体操作，请参见。配置ECI Profile实现Pod编排。