Container Service for Kubernetes:Terraform を使用したアドオンの管理

アドオンの種類

ACK アドオンには、システムアドオンとオプションアドオンがあります。「アドオン」をご参照ください。

システムアドオン

オプションアドオン

オプションアドオンは必須ではありませんが、インストールすることでクラスターの機能を拡張できます。これらは、次のようなカテゴリに分けられます：

• アプリケーション管理

• ロギングとモニタリング

• ストレージ

• ネットワーキング

• セキュリティ

コンソールでの Terraform 設定パラメーターの生成

ACK コンソールでは、クラスターアドオンを管理するための Terraform 設定を自動生成できます。

1. ACKコンソールにログインします。 左側のナビゲーションウィンドウで、[クラスター] をクリックします。

2. [クラスター] ページで、管理するクラスターの名前をクリックします。 左側のナビゲーションウィンドウで、[操作] > [アドオン] を選択します。

3. [アドオン] ページで、対象のアドオンを選択し、[インストール] または [設定] をクリックします。

4. 表示されたダイアログボックスで [Console-to-Code] をクリックします。[Terraform] タブをクリックし、表示された設定をコピーします。

アドオン管理のベストプラクティス

クラスター作成時にアドオンを指定し、そのライフサイクルを管理します。以降のセクションでは、さまざまなシナリオにおけるライフサイクル管理とベストプラクティスについて説明します。

クラスター作成時のアドオン指定

次の Terraform リソースは、異なるクラスタータイプに対応しています：

• ACK マネージドクラスター：alicloud_cs_managed_kubernetes

• ACK 専用クラスター：alicloud_cs_kubernetes

• ACK エッジクラスター：alicloud_cs_edge_kubernetes

• ACK サーバーレスクラスター：alicloud_cs_serverless_kubernetes

アドオンを指定するには、リソースで addons オブジェクトを設定します。次のコードブロックに、addons オブジェクトの属性を示します。

# この例では ACK マネージドクラスターを使用します。
resource "alicloud_cs_managed_kubernetes" "default" {
  # その他のパラメーター。
  # ...

  # addons オブジェクトはリストです。リソース内で addons オブジェクトを設定して、クラスター作成時にインストールするアドオンを指定できます。
  addons {
    # アドオン名。データソース alicloud_cs_kubernetes_addons を使用してアドオン名を照会できます。
    # クラスターにすでにインストールされているアドオン、インストール可能なアドオン、および各アドオンのバージョン。
    name = "XXX"

    # アドオンのカスタムパラメーター。カスタムパラメーターをサポートするクラスターアドオンの場合、この属性を設定できます。詳細については、「クラスターアドオンのカスタムパラメーターの変更」をご参照ください。
    config = jsonencode(
      {
        ....
      }
    )

    # 値はブール型で、デフォルトは false です。デフォルトでは、ACK はクラスターを管理するための特定のアドオンを自動的にインストールします。ACK がクラスターを作成する際にアドオンをインストールしない場合は、disabled=true を設定します。
    disabled = XXX
  }
}

次の表に、Terraform で設定可能なアドオンを示します。

クラスター作成後のアドオン管理

アドオンのライフサイクルを管理する前に、Container Service for Kubernetes (ACK) クラスターがあることを確認してください。

alicloud_cs_kubernetes_addon リソースを使用して、アドオンのインストール、更新、アンインストール、および設定を行います。 次のコードブロックに、alicloud_cs_kubernetes_addon の属性を示します。

resource "alicloud_cs_kubernetes_addon" "addon-example" {
  # クラスター ID。
  cluster_id = "XXXX"

  # アドオン名。alicloud_cs_kubernetes_addons データソースを使用して、インストール済みのアドオン、インストール可能なアドオン、およびそのバージョンを照会できます。
  name = "XXXX"

  # アドオンのバージョン。
  version = "XXXX"

  # カスタムアドオンパラメーター (JSON 文字列形式) 。Terraform の jsonencode メソッドを使用するか、JSON 文字列を直接指定します。後者の場合は、文字のエスケープに注意してください。この属性はカスタムパラメーターをサポートするアドオンにのみ適用されます。詳細については、「アドオンパラメーターのカスタマイズ」をご参照ください。
  config = jsonencode(
    {
      ....
    }
  )
}

JSON 文字列でカスタムパラメーターを直接指定することもできます。文字のエスケープに注意してください。たとえば、nginx-ingress-controller を設定するには、以下のいずれかの方法を使用します。

• jsonencode を使用してカスタムパラメーターを設定します：

  config = jsonencode(   
    {       
      IngressSlbNetworkType="internet"       
      IngressSlbSpec="slb.s2.small"     
    }  
  )

• JSON 文字列でカスタムパラメーターを直接指定します。

  config = "{\"IngressSlbNetworkType\":\"internet\",\"IngressSlbSpec\":\"slb.s2.small\"}"

インストール済みアドオンの Terraform へのインポート

terraform import を使用して、クラスターアドオンを Terraform の管理対象としてインポートします。 次の例では nginx-ingress-controller を使用します。

1. .tf ファイルを作成し、リソースを定義します。すでに .tf ファイルがある場合は、そのファイルに定義します。

   alicloud_cs_kubernetes_addon リソースはクラスターアドオンを管理します。最初は空のままにしておきます。

   resource "alicloud_cs_kubernetes_addon" "nginx-ingress-controller" {
   }

2. nginx-ingress-controller をインポートします。

   Terraform は、クラスターから nginx-ingress-controller の設定を .state ファイルにプルします。

   terraform import alicloud_cs_kubernetes_addon.nginx-ingress-controller <cluster_id>:nginx-ingress-controller

3. terraform plan を実行します。出力には、nginx-ingress-controller とリソース間の設定差分が表示されます。

   差分と .state に基づいて、ステップ 1 のリソースを更新します。terraform plan で差分が表示されなくなると、インポートは完了です。

   resource "alicloud_cs_kubernetes_addon" "nginx-ingress-controller" {
     cluster_id = "XXXXX"
     name = "nginx-ingress-controller"
     version = "v1.2.1-aliyun.1"
     config = jsonencode(
       {
         IngressSlbNetworkType = "internet"
         IngressSlbSpec        = "slb.s2.small"
       }
     )
   }

クラスターアドオンのインストール

alicloud_cs_kubernetes_addon リソースを使用してアドオンをインストールします。次の例では Gatekeeper を使用します。

1. .tf ファイルでアドオンを指定します。

   • クラスター ID。

   • アドオンの名前とバージョン。

     alicloud_cs_kubernetes_addons データソースを使用して、インストール可能なアドオンとバージョンを照会します。最新バージョンのみが表示されます。以前のバージョンについては、アドオンのリリースノートをご確認ください。

   • (オプション) カスタムアドオンの設定。

     jsonencode を使用して config フィールドをカスタマイズします。サポートされているパラメーターは、alicloud_cs_kubernetes_addon_metadata データソースを使用して照会します。詳細については、「アドオンパラメーターのカスタマイズ」をご参照ください。

   詳細を表示

   resource "alicloud_cs_kubernetes_addon" "gatekeeper" {
     cluster_id = "ce36b7c61e126430b8b245730ca6d****"
     name = "gatekeeper"
     version = "v3.8.1.113-geb7947ef-aliyun"
     config = jsonencode(
       {
         AdmissionPodCpuLimit      = "1000m"
         AdmissionPodCpuRequest    = "100m"
         AdmissionPodMemoryLimit   = "512Mi"
         AdmissionPodMemoryRequest = "256Mi"
         AdmissionPodNumber        = 3
         AuditInterval             = 1800
         AuditPodCpuLimit          = "1000m"
         AuditPodCpuRequest        = "100m"
         AuditPodMemoryLimit       = "512Mi"
         AuditPodMemoryRequest     = "256Mi"
         EnableAuditPod            = false
         EnableMutatingWebhook     = false
       }
     )
   }

2. アドオンをインストールします。

   terraform apply

   出力例：

   Plan: 1 to add, 0 to change, 0 to destroy.
   
   Do you want to perform these actions?
     Terraform will perform the actions described above.
     Only 'yes' will be accepted to approve.
   
     Enter a value: yes
   
   alicloud_cs_kubernetes_addon.gatekeeper: Creating...
   alicloud_cs_kubernetes_addon.gatekeeper: Still creating... [10s elapsed]
   alicloud_cs_kubernetes_addon.gatekeeper: Creation complete after 16s [id=XXXXX:gatekeeper]
   
   Apply complete! Resources: 1 added, 0 changed, 0 destroyed.

   Apply complete! と表示されると、アドオンがインストールされます。

クラスターアドオンの更新

alicloud_cs_kubernetes_addons データソースで利用可能なバージョンを照会し、バージョン番号を変更して更新します。 次の例では Gatekeeper を使用します。

resource "alicloud_cs_kubernetes_addon" "gatekeeper" {
  cluster_id = "ce36b7c61e126430b8b245730ca6d****"
  name = "gatekeeper"

  # version を目的のバージョン番号に変更します。
  version = "XXXXXXXXX"
  config = jsonencode(
    {
      AdmissionPodCpuLimit      = "1000m"
      AdmissionPodCpuRequest    = "100m"
      AdmissionPodMemoryLimit   = "512Mi"
      AdmissionPodMemoryRequest = "256Mi"
      AdmissionPodNumber        = 3
      AuditInterval             = 1800
      AuditPodCpuLimit          = "1000m"
      AuditPodCpuRequest        = "100m"
      AuditPodMemoryLimit       = "512Mi"
      AuditPodMemoryRequest     = "256Mi"
      EnableAuditPod            = false
      EnableMutatingWebhook     = false
    }
  )
}

terraform apply を実行してアドオンを更新します。Apply complete! が表示されると、更新は成功です。

アドオンパラメーターのカスタマイズ

alicloud_cs_kubernetes_addons の config フィールドを変更して、アドオン設定をカスタマイズします。 次の例では Gatekeeper を使用します。

resource "alicloud_cs_kubernetes_addon" "gatekeeper" {
  cluster_id = "ce36b7c61e126430b8b245730ca6d****"
  name = "gatekeeper"
  version = "v3.8.1.113-geb7947ef-aliyun"

  # config の設定を変更して適用すると、クラスターアドオンをカスタマイズできます。

}

alicloud_cs_kubernetes_addon_metadata データソースを使用して、サポートされているカスタムパラメーターを照会すると、JSON スキーマが返されます。たとえば、Gatekeeper パラメーターを照会するには、以下をお客様の .tf ファイルに追加します。

# Gatekeeper アドオンでサポートされているカスタムパラメーターのスキーマを取得するデータソース。
data "alicloud_cs_kubernetes_addon_metadata" "default" {
  cluster_id = "ce36b7c61e126430b8b245730ca6d****"
  name       = "gatekeeper"
  version    = "v3.8.1.113-geb7947ef-aliyun"
}

# スキーマを出力します。
output "addon_config_schema" {
  value = data.alicloud_cs_kubernetes_addon_metadata.default.config_schema
}

addon_config_schema = <<EOT
{
  "$schema": "http://json-schema.org/draft-07/schema#",
  "properties": {
    "AdmissionPodCpuLimit": {
      "default": "1000m",
      "description": "Gatekeeper の CPU 上限",
      "pattern": "^(|[1-9][0-9]*(m|\\.\\d+)?)$",
      "type": "string"
    },
    "AdmissionPodCpuRequest": {
      "default": "100m",
      "description": "Gatekeeper の CPU リクエスト",
      "pattern": "^[1-9][0-9]*(m|\\.\\d+)?$",
      "type": "string"
    },
    "AdmissionPodMemoryLimit": {
      "default": "512Mi",
      "description": "Gatekeeper のメモリー上限",
      "pattern": "^(|[1-9][0-9]*(\\.\\d+)?(K|Ki|M|Mi|G|Gi|T|Ti)?)$",
      "type": "string"
    },

    ......
  },
  "title": "Config",
  "type": "object"
}
EOT

ネットワークアドオンの設定

ACK クラスターは、コンテナネットワークには Terway を使用します。概要をご参照ください。

# Terway ネットワークアドオンを設定し、各 Pod に 1 つの ENI を割り当てるモードを有効にします。これはデフォルトのモードです。
# このモードでは、ノード上の Pod 数は Elastic Compute Service (ECS) インスタンスの Elastic Network Interface (ENI) クォータによって制限されます。

resource "alicloud_cs_managed_kubernetes" "default" {
  # その他のパラメーター。
  # ...

  addons {
    name = "terway-eniip"
  }
}

# Terway ネットワークアドオンを設定し、IPVLAN モードを有効にします。
# 複数の Pod で 1 つの ENI を使用するモードは IPVLAN + eBPF の仮想化技術を使用するため、Alibaba Cloud Linux 2 オペレーティングシステムのみ使用可能です。
resource "alicloud_cs_managed_kubernetes" "default" {
  # その他のパラメーター。
  # ...

  addons {
    name   =  "terway-eniip"
    config = "{\"IPVlan\":\"true\",\"NetworkPolicy\":\"false\"}"
  }
}

# Terway ネットワークアドオンを設定し、IPVLAN モードで Kubernetes ネットワークポリシーを有効にします。
# 複数の Pod で 1 つの ENI を使用するモードは IPVLAN + eBPF の仮想化技術を使用するため、Alibaba Cloud Linux 2 オペレーティングシステムのみ使用可能です。
# IPVLAN モードでは、Kubernetes ネットワークポリシーに基づいてネットワークアクセスを制御できます。
resource "alicloud_cs_managed_kubernetes" "default" {
  # その他のパラメーター。
  # ...

  addons {
    name   =  "terway-eniip"
    config = "{\"IPVlan\":\"true\",\"NetworkPolicy\":\"true\"}"
  }
}

ボリュームアドオンの設定

# CSI を使用するには、csi-plugin と csi-provisioner のアドオンをインストールする必要があります。さらに、動的にプロビジョニングされたボリューム用に ACK でデフォルトの NAS ファイルシステムと CNFS ファイルシステムを作成するには、storage-operator アドオンもインストールする必要があります。
resource "alicloud_cs_managed_kubernetes" "default" {
  # その他のパラメーター。
  # ...

  addons {
    name = "csi-plugin"
  }
  addons {
    name = "csi-provisioner"
  }
  addons {
    name   = "storage-operator"
    config = "{\"CnfsOssEnable\":\"false\",\"CnfsNasEnable\":\"true\"}"
  }
}

ロギングアドオンの設定

# 自動作成された SLS プロジェクトを使用します。
resource "alicloud_cs_managed_kubernetes" "default" {
  # その他のパラメーター。
  # ...

  addons {
    name = "loongcollector"
  }
}

# 自動作成された SLS プロジェクトを使用します。自動作成された Ingress ダッシュボードを有効にします。
resource "alicloud_cs_managed_kubernetes" "default" {
  # その他のパラメーター。
  # ...

  addons {
    name = "loongcollector"
    config = "{\"IngressDashboardEnabled\":\"true\"}"
  }
}


# 既存の SLS プロジェクトを使用します。自動作成された Ingress ダッシュボードを有効にします。
resource "alicloud_cs_managed_kubernetes" "default" {
  # その他のパラメーター。
  # ...

  addons {
    name = "loongcollector"
    config = "{\"IngressDashboardEnabled\":\"true\",\"sls_project_name\":\"k8s-log-c55c35ff493df47b88783bea48827****\"}"
  }
}

# node-problem-detector をインストールして設定します。
# 自動作成された SLS プロジェクトにイベントを保存するように、node-problem-detector を設定します。
resource "alicloud_cs_managed_kubernetes" "default" {
  # その他のパラメーター。
  # ...

  addons {
    name   = "ack-node-problem-detector"
    config = "{\"sls_project_name\":\"\"}"
  }
}

# node-problem-detector をインストールして設定します。
# 既存の SLS プロジェクトにイベントを保存するように、node-problem-detector を設定します。node-problem-detector は、loongcollector が使用する Logstore を共有できます。
resource "alicloud_cs_managed_kubernetes" "default" {
  # その他のパラメーター。
  # ...

  addons {
    name   = "ack-node-problem-detector"
    config = "{\"sls_project_name\":\"k8s-log-c55c35ff493df47b88783bea48827****\"}"
  }
}

モニタリング アドオンの設定

# Managed Service for Prometheus をインストールします。
resource "alicloud_cs_managed_kubernetes" "default" {
  # 他のパラメーター
  # ...
  addons {
    name = "arms-prometheus"
  }
}
# ECS ノードに CloudMonitor エージェントをインストールします。
resource "alicloud_cs_kubernetes_node_pool" "default" {
  # 他のパラメーター
  # ...
  install_cloud_monitor = true
}

Ingress アドオンの設定

# nginx-ingress-controller を設定します。
# インターネット向けの Server Load Balancer (SLB) インスタンスを使用する場合は、Config で IngressSlbNetworkType パラメーターを internet に設定する必要があります。
# 内部向けの SLB インスタンスを使用する場合は、Config で IngressSlbNetworkType パラメーターを intranet に設定する必要があります。
resource "alicloud_cs_managed_kubernetes" "default" {
  # その他のパラメーター。
  # ...

  addons {
    name   =  "nginx-ingress-controller"
    config = "{\"IngressSlbNetworkType\":\"internet\",\"IngressSlbSpec\":\"slb.s2.small\"}"
  }
}

# alb-ingress-controller を設定します。
resource "alicloud_cs_managed_kubernetes" "default" {
  # その他のパラメーター。
  # ...

  addons {
    name   = "alb-ingress-controller"
    config = "{\"albIngress\":{\"CreateDefaultALBConfig\":false}}"  # 現時点では作成されません。
#   config = "{\"albIngress\":{\"LoadBalancerId\":\"alb-vl8uiXXXXXxdr\",\"CreateDefaultALBConfig\":true}}" # 既存の ALB インスタンスを指定します。
#   config = "{\"albIngress\":{\"AddressType\":\"Internet\",\"ZoneMappings\":{\"cn-hangzhou-l\":[\"vsw-uf6XXXXXoyb4qe\"],\"cn-hangzhou-m\":[\"vsw-uf6XXXX0rlkiq\"]},\"CreateDefaultALBConfig\":true}}" # 新しい ALB インスタンスを作成します。少なくとも 2 つのアベイラビリティーゾーンを指定する必要があります。
 
  }
}

デフォルトアドオンのインストールの無効化

# nginx-ingress-controller アドオンのインストールの無効化

resource "alicloud_cs_managed_kubernetes" "default" {
  # その他のパラメーター
  # ...

  addons {
    name     =  "nginx-ingress-controller"
    disabled = true
  }
}

デフォルトでインストールされるアドオン

明示的なアドオン設定がない場合、システムは以下のアドオンをインストールします。

一般的な設定例

# クラスターの作成時にアドオンをインストールしません。このシナリオでは、デフォルトのアドオンのみがインストールされます。
# シンプルなテンプレートです。変数を目的の値に置き換えてください。
resource "alicloud_cs_managed_kubernetes" "default" {
  name                         = var.name
  cluster_spec                 = "ack.pro.small"
  is_enterprise_security_group = true
  pod_cidr                     = "172.20.0.0/16"
  service_cidr                 = "172.21.0.0/20"
  worker_vswitch_ids           = [var.vswitch_id]
}

# Terway がインストールされたクラスターを作成します。
# 各 Pod に 1 つの ENI を割り当てるモードを有効にします。

resource "alicloud_cs_managed_kubernetes" "default" {
  name                         = var.name
  cluster_spec                 = "ack.pro.small"
  is_enterprise_security_group = true
  pod_vswitch_ids              = [var.vswitch_id]
  service_cidr                 = "172.21.0.0/20"
  worker_vswitch_ids           = [var.vswitch_id]

  addons {
    name = "terway-eni"
  }
}

# Terway がインストールされたクラスターを作成します。
# IPVLAN モードを有効にし、Kubernetes NetworkPolicy を有効にします。
resource "alicloud_cs_managed_kubernetes" "default" {
  name                         = var.name
  cluster_spec                 = "ack.pro.small"
  is_enterprise_security_group = true
  service_cidr                 = "172.21.0.0/20"
  pod_vswitch_ids              = [var.vswitch_id]
  worker_vswitch_ids           = [var.vswitch_id]

  addons {
    name   =  "terway-eniip"
    config = "{\"IPVlan\":\"true\",\"NetworkPolicy\":\"true\"}"
  }
}

# Terway、CSI、および nginx-ingress-controller アドオンをインストールするためのテンプレートです。

resource "alicloud_cs_managed_kubernetes" "default" {
  name                         = var.name
  cluster_spec                 = "ack.pro.small"
  is_enterprise_security_group = true
  service_cidr                 = "172.21.0.0/20"
  pod_vswitch_ids              = [var.vswitch_id]
  worker_vswitch_ids           = [var.vswitch_id]

  addons {
    name = "terway-eniip"
    config = "{\"IPVlan\":\"true\",\"NetworkPolicy\":\"false\"}"
  }
  addons {
    name = "csi-plugin"
  }
  addons {
    name = "csi-provisioner"
  }
  addons {
    name = "storage-operator"
    config = "{\"CnfsOssEnable\":\"false\",\"CnfsNasEnable\":\"true\"}"
  }
  addons {
    name = "ack-node-problem-detector"
    config = "{\"sls_project_name\":\"\"}"
  }
  addons {
    name = "nginx-ingress-controller"
    config = "{\"IngressSlbNetworkType\":\"internet\",\"IngressSlbSpec\":\"slb.s2.small\"}"
  }
  addons {
    name = "ack-node-local-dns"
  }
  addons {
    name = "arms-prometheus"
  }
  addons {
    name = "alicloud-monitor-controller"
    config = "{\"group_contact_ids\":\"[10619]\"}"
  }
}