Container Service for Kubernetes:複雑なオンプレミスネットワーク環境で Terway Edge を使用してコンテナ通信を実装する

前提条件

• Kubernetes 1.28 以降を実行する Container Service for Kubernetes (ACK) Edge クラスターが作成されていること。

• クラスターで Terway Edge ネットワークプラグインが使用されていること。

課金

• Cloud Enterprise Network (CEN) の課金については、「課金」をご参照ください。

• 専用回線 (Express Connect) の課金については、「課金の概要」をご参照ください。

エッジコンテナ間の通信

エッジ通信は、コンピューティングデバイス、コンテナ、クラウド上のクラウドサービスとエッジ上のデバイスとの間の双方向通信を提供します。ACK Edge クラスターを使用して、クラウド上のデバイスとエッジデバイス間の通信を確立できます。

• クラウド上のデバイスとは、Elastic Compute Service (ECS) インスタンスや Elastic Container Instance などのクラウド上のノードプール、その他のクラウドサービス、および VPC (Virtual Private Cloud) 内のマネージドコントロールプレーンを指します。

• エッジデバイスとは、オンプレミスネットワークデバイスや自己管理データセンター内のコンピューティングデバイスなどのエッジノードプールを指します。

次の図は、エッジコンテナ間の通信を示しています。

apiVersion: network.openyurt.io/v1alpha1
kind: BGPPeer
metadata:
  name: peer
spec:
  localSpeakers:
    - Node-1
    - Node-2
    - Node-3
  localAsNumber: 65010      # コンテナネットワークの自律ドメインの ID。
  peerIP: 10.0.0.1          # スイッチの IP アドレス。
  peerAsNumber: 65001       # スイッチの自律ドメインの ID。
  nodeSelector: ASN=65010   # このラベルを持つすべてのノードを選択します。

LAN をまたぐコンテナ間の通信

データセンターのネットワークトポロジーが複雑で、同じドメインに複数のローカルエリアネットワーク (LAN) がデプロイされている場合は、複数の LAN 上のデバイスを 1 つの ACK Edge クラスターに接続して一元管理する必要があります。例として次の図をご参照ください。

同じノード上のコンテナは、ホストネットワークスタックを介して相互に通信します。

次のセクションでは、ノードをまたぐコンテナ間の通信のための Terway Edge プラグインのルート設定について説明します。

• 2 つのノードが同じ LAN にあり、同じ自律システム番号 (ASN) を使用する場合、コンテナルートのネクストホップは対応するノードアドレスに設定されます。

• 2 つのノードが異なる LAN にあり、異なる ASN を使用する場合、ホストのデフォルトルートが使用され、これはスイッチアドレスを指します。

同じ LAN 上の 2 つのノード

2 つのノードが同じ LAN にあるシナリオでは、ノードはレイヤー 2 ネットワーク上で相互に通信します。上の図では、Node-1 上の Pod が Node-2 上の Pod にアクセスします。コンテナネットワークのパケットはレイヤー 2 ネットワークを通過して Node-2 に到達し、その後 Node-2 のホストネットワークスタックを介して Pod に入ります。

異なる LAN 上の 2 つのノード

2 つのノードが異なる LAN にあるシナリオでは、ノード間のレイヤー 2 ネットワークは相互に通信しません。したがって、スイッチのレイヤー 3 転送機能を使用する必要があります。スムーズなネットワーク接続を確保するために BGP セッションを設定します。上の図では、Node-1 上の Pod が Node-5 上の Pod にアクセスします。この例は、コンテナルートをクラスター外のネットワークデバイスに公開する方法を示しています。この例では、次の設定が使用されます。

1. Node-1 と スイッチ A の間に BGP セッションを確立し、LAN A のコンテナルートを スイッチ A に公開します。YAML ファイルの例：

   apiVersion: network.openyurt.io/v1alpha1
   kind: BGPPeer
   metadata:
     name: peer-a
   spec:
     localSpeakers:
       - Node-1
     localAsNumber: 65010      # コンテナネットワークの自律ドメインの ID。
     peerIP: 10.0.10.1         # スイッチの IP アドレス。
     peerAsNumber: 65002       # スイッチの自律ドメインの ID。
     nodeSelector: ASN=65010   # このラベルを持つすべてのノードを選択します。

2. Node-5 と スイッチ B の間に BGP セッションを構築し、LAN B のコンテナルートを スイッチ B に公開します。YAML ファイルの例：

   apiVersion: network.openyurt.io/v1alpha1
   kind: BGPPeer
   metadata:
     name: peer-b
   spec:
     localSpeakers:
       - Node-5
     localAsNumber: 65020      # コンテナネットワークの自律ドメインの ID。
     peerIP: 10.0.20.1         # スイッチの IP アドレス。
     peerAsNumber: 65003       # スイッチの自律ドメインの ID。
     nodeSelector: ASN=65020   # このラベルを持つすべてのノードを選択します。

3. スイッチ A と スイッチ B の間に BGP セッションを確立します。これにより、スイッチ A と スイッチ B は互いのコンテナルートを学習できます。

   • パケット送信ルート： Node-1 -> スイッチ A -> スイッチ B -> Node-5

   • パケット受信ルート： Node-5 -> スイッチ B -> スイッチ A -> Node-1

4. (オプション) 次の図に示すように、ネットワークデバイスにクラウド上の VPC のホストとコンテナを接続するコアスイッチがある場合は、スイッチ A、コアスイッチ、および スイッチ B の間で BGP セッションを確立する必要があります。スイッチ A と コアスイッチ の間に BGP セッションを確立し、スイッチ B と コアスイッチ の間に BGP セッションを確立します。

ドメインをまたぐコンテナ間の通信

次の例は、異なるネットワークドメインのデータセンターを ACK Edge クラスターに接続する方法を示しています。

1. 次の YAML コードは、BGP セッションを作成してネットワークドメイン A のコンテナから スイッチ A にルートを公開する方法の例を示しています。

   apiVersion: network.openyurt.io/v1alpha1
   kind: BGPPeer
   metadata:
     name: peer-a
   spec:
     localSpeakers:
       - Node-1
     localAsNumber: 65010      # コンテナネットワークの自律ドメインの ID。
     peerIP: 10.0.10.1         # スイッチの IP アドレス。
     peerAsNumber: 65001       # スイッチの自律ドメインの ID。
     nodeSelector: ASN=65010   # このラベルを持つすべてのノードを選択します。

2. 次の YAML コードは、BGP セッションを作成してネットワークドメイン B のコンテナから スイッチ B にルートを公開する方法の例を示しています。

   apiVersion: network.openyurt.io/v1alpha1
   kind: BGPPeer
   metadata:
     name: peer-b
   spec:
     localSpeakers:
       - Node-5
     localAsNumber: 65020      # コンテナネットワークの自律ドメインの ID。
     peerIP: 10.0.20.1         # スイッチの IP アドレス。
     peerAsNumber: 65002       # スイッチの自律ドメインの ID。
     nodeSelector: ASN=65020   # このラベルを持つすべてのノードを選択します。

3. 異なるデータセンターを接続します。

   • 2 つのデータセンターが Express Connect 回線を介してネットワークレイヤーで相互に通信する場合、スイッチ A と スイッチ B の間に BGP セッションを確立して、それぞれのネットワークドメインのコンテナルートを相互に公開する必要があります。

   • 2 つのデータセンターが Express Connect 回線を介してネットワークレイヤーで相互に通信しない場合、スイッチ A と VBR の間、および スイッチ B と VBR の間に BGP プロトコルを確立する必要があります。これにより、VBR を使用してクロスドメインのネットワークパケットを転送できます。

関連ドキュメント

• Terway Edge

• Terway Edge の使用ガイド