How to connect an ACK cluster and an on-premises Kubernetes cluster using SAG vCPE -

Ön koşullar

Veri merkezinizin ağını yönetmek ve yapılandırmak için gerekli izinlere sahip olmanız gerekir. Yardıma ihtiyacınız varsa veri merkezi yöneticinizle iletişime geçin.
Alibaba Cloud'da bir Virtual Private Cloud (VPC) oluşturmuş ve gerekli bulut hizmetlerini dağıtmış olmalısınız. Daha fazla bilgi için bkz. IPv4 CIDR bloğu ile VPC oluşturma.
VPC içindeki bulut hizmetlerinizin güvenlik grubu kurallarına aşina olmalısınız. Kuralların, şirket içi ağınızdan gelen trafiğin VPC'deki kaynaklara erişmesine izin verdiğinden emin olun. Daha fazla bilgi için bkz. Güvenlik grubu kurallarını görüntüleme ve Güvenlik grubu kuralı ekleme.
ACK kümesi için ağ oluşturma ve planlama sürecini bilmeniz gerekir. ACK kümesinin CIDR bloklarının şirket içi ağınızla çakışmadığından emin olun. Daha fazla bilgi için bkz. ACK yönetilen kümesi oluşturma ve ACK kümesi için CIDR blokları planlama.

Senaryo

Bir işletmenin özel veri merkezinde dağıtılmış bir Kubernetes kümesi ve bir Alibaba Cloud bölgesinde dağıtılmış bir ACK kümesi bulunuyor. İşletme, aralarındaki kaynak erişimini sağlamak amacıyla şirket içi Kubernetes kümesini bulut tabanlı ACK kümesine bağlamak için SAG vCPE kullanmak istiyor.

SAG vCPE görüntüsünü veri merkezinizdeki bir örnek (fiziksel sunucu veya sanal makine) üzerine dağıtabilirsiniz. Bu örnek, Alibaba Cloud'a bağlanan bir SAG vCPE cihazı görevi görür. Bağlantı kurulduktan sonra, veri merkezinizdeki kaynaklar ile Alibaba Cloud VPC'niz arasındaki iletişimi etkinleştirmek için Cloud Connect Network ve Cloud Enterprise Network hizmetlerini kullanabilirsiniz. Aşağıdaki şekil bu senaryonun mimarisini gösterir.

Bulut ve şirket içi ortamlara ait ağ ayrıntıları aşağıdaki gibidir:

Tür	Özel CIDR bloğu	Pod CIDR bloğu
Alibaba Cloud ACK kümesi	172.16.0.0/12	10.77.0.0/16
Veri merkezindeki Kubernetes kümesi	192.168.0.0/16	10.18.0.0/16

Prosedür

部署流程.png

SAG vCPE örneği oluşturun: Smart Access Gateway konsolu sayfasında bir SAG vCPE örneği oluşturun. Bu örneği SAG vCPE cihazını yönetmek için kullanacaksınız.
SAG vCPE görüntüsünü dağıtın: Veri merkezinizde bir sunucu seçin ve SAG vCPE görüntüsünü bu sunucu üzerine dağıtın. Seçtiğiniz sunucu, veri merkezi ağınızı Alibaba Cloud'a bağlayan SAG vCPE cihazı olarak çalışır.
Alibaba Cloud ağını yapılandırın: Smart Access Gateway konsolu sayfasında SAG vCPE cihazının ağ ayarlarını yapılandırarak Alibaba Cloud'a bağlanabildiğinden emin olun.
Veri merkezi ağını yapılandırın: Veri merkeziniz ile Alibaba Cloud ACK kaynakları arasında iletişim kurabilmek için veri merkezinizdeki ağı yapılandırın.
Bağlantıyı doğrulayın: Buluttaki ve veri merkezindeki sunucuların yanı sıra pod'lar arasındaki ağ bağlantısını doğrulayın.

Adım 1: SAG vCPE örneği oluşturma

Smart Access Gateway konsolu sayfasında bir SAG vCPE örneği oluşturun. Bu örnek, SAG vCPE cihazınızı yönetmek için kullanılır.

Smart Access Gateway konsolu sayfasında oturum açın.
Smart Access Gateway sayfasında Purchase SAG > Create SAG (vCPE) yolunu izleyin.

Satın alma sayfasında aşağıdaki parametreleri yapılandırın ve Buy Now düğmesine tıklayarak ödemeyi tamamlayın.

Parametre	Açıklama	Örnek
Area	SAG vCPE örneğinin dağıtılacağı alan.	Çin anakarası
Instance name	SAG vCPE örneğinin adı. Bu parametre isteğe bağlıdır. Ad 2 ila 128 karakter uzunluğunda olmalı, bir harf veya Çince karakterle başlamalı; rakam, nokta (.), alt çizgi (_) veya kısa çizgi (-) içerebilir.	Demo
Instance Type	SAG vCPE'nin örnek türü.	SAG-vCPE
Edition	SAG vCPE'nin sürümü.	Basic
Deployment method	SAG vCPE'nin dağıtım yöntemi. Varsayılan değer Active-Active'dir. Active-Active modunda, tek bir SAG vCPE örneği varsayılan olarak iki SAG vCPE cihazına bağlanabilir. Yerel ağınızı Alibaba Cloud'a bağlamak için iki cihazı aktif-bekleme düzeninde yapılandırarak ağ kullanılabilirliğini artırabilirsiniz. Bu eğitimde yalnızca birincil cihaz kullanılmaktadır.	Active-Active
Peak bandwidth	Ağ iletişimi için Mbit/s cinsinden tepe bant genişliği.	50 Mbps
Quantity	Oluşturulacak SAG vCPE örneği sayısı.	1
Subscription duration	Abonelik süresi. Otomatik yenilemeyi etkinleştirmek için onay kutusunu seçebilirsiniz.	1 Month
Resource Group	SAG vCPE örneğini barındıracak kaynak grubu.	Yok

Smart Access Gateway konsolu sayfasına dönün. Üst gezinme çubuğundan örneği oluşturduğunuz bölgeyi seçin.
Sol gezinme bölmesinde Smart Access Gateway öğesine tıklayın.
Smart Access Gateway sayfasında, oluşturduğunuz örneğin ID değerine tıklayın.
Örnek ayrıntıları sayfasında Device Management sekmesine tıklayın. Birincil SAG vCPE cihazının seri numarasını ve anahtarını görüntüleyip kaydedin. Bu bilgiler, SAG vCPE örneğini cihazla ilişkilendirmek için gereklidir.

Birincil cihaz sekmesini seçin. Sol bölmede seri numarasını görüntülemek için Device Information menüsüne tıklayın. Anahtarı görmek üzere Key alanının yanındaki Show bağlantısına tıklayın.

Adım 2: SAG vCPE görüntüsünü dağıtma

Veri merkeziniz ile ACK kümesi arasında ağ iletişimi sağlamak için SAG vCPE görüntüsünü dağıtacağınız bir sunucu seçmeniz gerekir. Dağıtımdan sonra bu sunucu, veri merkezi ağınızı Alibaba Cloud'a bağlayan bir SAG vCPE cihazı olarak çalışır.

Veri merkezinizde bir sunucu seçin.
SAG vCPE görüntüsünün sorunsuz çalışması için seçilen sunucunun aşağıdaki gereksinimleri karşılaması gerekir:
- Aşağıdaki işletim sistemlerinden birini desteklemeli:
  - (Önerilir) CentOS 7.6 (64 bit) veya üstü.
  - Ubuntu 18.04 (64 bit) veya üstü.
- 3.10.0-957.21.3.el7.x86_64 veya daha yeni çekirdek sürümünü desteklemeli.
- İnternete bağlanabilen özel bir ağ arabirim kartına (NIC) sahip olmalı.
- Uzaktan oturum açmayı desteklemeli.
- Üzerinde iş açısından kritik hiçbir sistem çalışmıyor olmalı.
Sunucuda oturum açın ve betiği sunucunun /root dizinine indirmek için aşağıdaki komutu çalıştırın.
Not
- Betiği özel bir dizine indirebilirsiniz. Bunu yaparsanız, betiği çalıştırırken yolu güncellediğinizden emin olun.
- İndirdikten sonra betiğin içeriğini veya adını değiştirmeyin.
Sunucunuzun Çin anakarasında mı yoksa dışında mı dağıtıldığına göre uygun komutu seçin.
- Sunucu Çin anakarasında dağıtılmışsa
```
wget -O /root/sag_vcpe_v2.3.0_deployment.sh https://sdwan-oss-shanghai.oss-cn-shanghai.aliyuncs.com/vcpe_vm/sag_vcpe_v2.3.0_deployment.sh
```
- Sunucu Çin anakarası dışında dağıtılmışsa
```
wget -O /root/sag_vcpe_v2.3.0_deployment.sh https://sdwan-oss-shanghai.oss-accelerate.aliyuncs.com/vcpe_vm/sag_vcpe_v2.3.0_deployment.sh
```
Betiğe çalıştırma izni vermek için aşağıdaki komutu çalıştırın.
```
chmod +x /root/sag_vcpe_v2.3.0_deployment.sh
```

Betiği çalıştırın.

/root/sag_vcpe_v2.3.0_deployment.sh -n sag**** -k X8==**** -t idc  -w eth0

Aşağıdaki tabloda temel parametreler açıklanmaktadır. Betik parametrelerinin tam listesi için bkz. Betik parametresi açıklamaları.

Parametre	Açıklama
-n	SAG vCPE cihazının seri numarası.
-k	SAG vCPE cihazının anahtarı.
-t	SAG vCPE görüntüsünün bulunduğu sunucunun platformu. Geçerli değerler: `aliyun` (varsayılan): SAG vCPE görüntüsü bir Alibaba Cloud Elastic Compute Service (ECS) örneğine dağıtılır. `aws`: SAG vCPE görüntüsü bir AWS EC2 örneğine dağıtılır. `ens`: SAG vCPE görüntüsü bir Alibaba Cloud Edge Node Service (ENS) örneğine dağıtılır. SAG vCPE görüntünüz şirket içi bir sunucuya dağıtılmışsa, bu parametreyi `aliyun`, `aws` veya `ens` dışındaki herhangi bir İngilizce karakter dizesi olarak ayarlayın.
-w	WAN bağlantı noktasının NIC adı. Sunucunun NIC adlarını görüntülemek için `ifconfig` komutunu çalıştırabilirsiniz.

Betiği çalıştırdığınızda sistem, dağıtım ortamının gereksinimleri karşılayıp karşılamadığını otomatik olarak kontrol eder:

Gerekli bileşenlerden bazıları yüklü değilse sistem aşağıdaki istemi gösterir. Sistem bu bileşenleri otomatik olarak yüklesin diye yes girin. Ardından betik, SAG vCPE görüntüsünü dağıtmaya başlar.
```
Missing dependency packages python3 telnet vim traceroute sshpass mtr docker inotify wget netifaces==0.10.9, are you sure want to install these packages? [yes|no]
[no] >>>
```

Dağıtım ortamı gereksinimleri karşılıyorsa sistem doğrudan SAG vCPE görüntüsünü dağıtmaya başlar. Dağıtım tamamlandığında betik aşağıdaki mesajı gösterir:

2021-10-27 01:48:08 INFO: Install complete, please wait for few minutes to check state
==============================================================================================
[root@xxx ~]#

Dağıtım tamamlandıktan sonra, sistemde aşağıdaki iki konteynerin mevcut olup olmadığını kontrol etmek için docker ps komutunu çalıştırın.
```
[root@xxx ~]# docker ps
CONTAINER ID   IMAGE        COMMAND                  CREATED       STATUS       PORTS     NAMES
b5xxx          vsag-core    "sh -c 'mkdir -p /li…"   7 days ago    Up 7 days              vsag-core
2fxxx          centos:7     "/sbin/init"             7 days ago    Up 7 days              vsag-manager-base
```
- Sistemde vsag-core ve vsag-manager-base konteynerleri mevcutsa dağıtım başarılıdır.
- Sistemde bu iki konteyner yoksa dağıtım başarısız olmuştur. Bu durumda yardım almak için bir talep gönderin.

Adım 3: Alibaba Cloud ağını yapılandırma

SAG vCPE görüntüsünü dağıttıktan sonra, cihazı Alibaba Cloud'a bağlamak için Smart Access Gateway konsolu sayfasında SAG vCPE cihazının ağını yapılandırmanız gerekir.

Şirket içi rota eşitlemesini yapılandırın.
1. Smart Access Gateway konsolu sayfasında oturum açın ve üst gezinme çubuğundan hedef bölgeyi seçin.
2. Smart Access Gateway sayfasında hedef örneği bulun ve Actions sütununda Network Settings seçeneğine tıklayın.
3. Network Settings sekmesinde, Method to Synchronize with On-premises Routes bölümünde Add Static Route öğesine tıklayın.
4. Add Static Route iletişim kutusunda veri merkezinizin özel CIDR bloğunu girin ve ardından OK düğmesine tıklayın.
5. Tekrar Add Static Route öğesine tıklayın. Açılan Add Static Route iletişim kutusunda, veri merkezinizdeki Kubernetes kümesinin pod CIDR bloğunu girin ve OK düğmesine tıklayın.
  
  Rotalar eklendikten sonra Network Configuration sekmesinde, Method to Synchronize with On-premises Routes bölümünün altında Static Route seçeneğini işaretleyin. Eklenen rota girişlerini (örneğin 192.168.0.0/16 ve 10.18.0.0/16) görüntüleyebilirsiniz.
Cloud Connect Network örneği ekleyin.

Cloud Connect Network, SAG hizmetinin önemli bir bileşenidir. SAG, ağınızı Alibaba Cloud'a bağlamak için Cloud Connect Network kullanır.
1. Bir Cloud Connect Network örneği oluşturun. Daha fazla bilgi için bkz. CCN örneği oluşturma.
  
  Not
  Cloud Connect Network örneği, SAG vCPE örneğiyle aynı bölgede olmalıdır.
2. Smart Access Gateway konsolu sayfasının sol gezinme bölmesinde Smart Access Gateway öğesine tıklayın.
3. Smart Access Gateway sayfasında hedef örneği bulun ve Actions sütununda Network Settings seçeneğine tıklayın.
4. Network Settings sekmesinde Network Instance Details seçeneğini işaretleyin.
5. Associated Instances Under Current Account bölümünde Attach Network öğesine tıklayın, oluşturduğunuz Cloud Connect Network örneğini seçin ve OK düğmesine tıklayın.
6. SAG vCPE cihazının VPN Status ve Controller Status durumlarını görüntülemek için Device Management sekmesine tıklayın.
  
  Cloud Connect Network örneğini ekledikten sonra, SAG vCPE cihazının hem VPN Status hem de Controller Status durumu Normal ise SAG vCPE cihazı Alibaba Cloud'a bağlanmış demektir.
Cloud Enterprise Network hizmetini yapılandırın.

SAG vCPE örneğini ve VPC'yi bir Cloud Enterprise Network (CEN) hizmetine bağlayın. Böylece örnekler birbirlerinin rotalarını öğrenir ve SAG vCPE cihazı ile VPC'deki kaynaklar arasında iletişim sağlanır.
1. Smart Access Gateway konsolu sayfasının sol gezinme bölmesinde CCN Instance öğesine tıklayın.
2. CCN Instance sayfasında hedef Cloud Connect Network örneğini bulun ve Actions sütununda Bind CEN Instance öğesine tıklayın.
3. Bind CEN Instance panelinde bağlanacak Cloud Enterprise Network örneğini seçin ve OK düğmesine tıklayın.
  Cloud Enterprise Network örneğini iki yöntemden biriyle seçebilirsiniz. Bu konuda Create CEN seçeneği kullanılmaktadır.
  - Existing CEN: Zaten bir CEN oluşturduysanız, bağlamak için açılır listeden bunu seçebilirsiniz.
  - Create CEN: Mevcut bir CEN'iniz yoksa metin kutusuna bir ad girin. Sistem yeni bir CEN örneği oluşturur ve bunu otomatik olarak bağlar.
    
    Not
    CEN örneği adı 2 ila 100 karakter uzunluğunda olmalı, bir harf veya Çince karakterle başlamalı; rakam, alt çizgi (_) veya kısa çizgi (-) içerebilir.
4. Oluşturduğunuz VPC örneğini bu Cloud Enterprise Network'e ekleyin. Daha fazla bilgi için bkz. Ağ örneği ekleme.

Adım 4: Veri merkezi ağını yapılandırma

Veri merkeziniz ile Alibaba Cloud kaynakları arasında iletişim sağlamak için veri merkezinizin ağını da yapılandırmanız gerekir. Ortamınıza özgü komutlar için veri merkezi ağ yöneticinizle iletişime geçin.

Veri merkezinde statik bir rota yapılandırın.
Veri merkezi ağınızda, Alibaba Cloud ACK kümesinin CIDR bloğuna (ve gerekirse pod CIDR bloğuna) yönelik trafiği SAG vCPE'nin kurulu olduğu sunucunun IP adresine yönlendiren bir rota yapılandırın. Bu sunucu, Alibaba Cloud hizmetleriyle iletişimi yönetir.
```
ip route add 10.77.0.0/16 via 192.168.11.210
```
Not
Bu statik rota örneği yalnızca referans amaçlıdır. Komut, cihaz üreticisine ve modeline göre farklılık gösterebilir.
Veri merkezindeki güvenlik duvarını yapılandırın.

Alibaba Cloud ACK kümesinin ve veri merkezinin özel CIDR blokları arasındaki trafiğe izin verin.

Adım 5: Bağlantıyı doğrulama

Sunucu bağlantısını doğrulayın.
1. VPC'niz içindeki bir ECS örneğinde oturum açın. Daha fazla bilgi için bkz. Bağlantı yöntemlerine genel bakış.
2. Bulut ve şirket içi sunucularınız arasındaki ağ bağlantısını doğrulamak için ping komutunu çalıştırarak şirket içi veri merkezinizdeki bir sunucuya erişin.
  Bu çıktı, Alibaba Cloud VPC'sindeki kaynakların şirket içi veri merkezindeki kaynaklarla iletişim kurabildiğini doğrular.
  [root@<hostname> ~]# ping 192.168.11.236 PING 192.168.11.236 (192.168.11.236) 56(84) bytes of data. 64 bytes from 192.168.11.236: icmp_seq=1 ttl=61 time=9.52 ms 64 bytes from 192.168.11.236: icmp_seq=2 ttl=61 time=9.30 ms 64 bytes from 192.168.11.236: icmp_seq=3 ttl=61 time=9.24 ms

Pod ağ bağlantısını doğrulayın.

Alibaba Cloud üzerindeki bir ACK kümesinde ve şirket içi IDC'deki bir Kubernetes kümesinde test konteynerleri dağıtın. Aşağıda bir YAML örneği yer almaktadır.

apiVersion: apps/v1 # for versions before 1.8.0 use apps/v1beta1
kind: Deployment
metadata:
  name: nginx-deployment-basic
  labels:
    app: nginx
spec:
  replicas: 2
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
    #  nodeSelector:
    #    env: test-team
      containers:
      - name: nginx
        image: nginx:1.7.9 # Replace with your actual <image_name:tags>.
        ports:
        - containerPort: 80
        resources:
          limits:
            cpu: "500m"

ACK kümesindeki konteynere erişin ve ping komutunu çalıştırarak şirket içi Kubernetes kümesindeki bir pod'un IP adresine erişin. Bu işlem, ACK kümesi ile şirket içi Kubernetes kümesi arasındaki pod ağ bağlantısını doğrular.

Bu çıktı, Alibaba Cloud ACK kümesindeki pod'ların şirket içi Kubernetes kümesindeki pod'larla iletişim kurabildiğini doğrular.

root@nginx-deployment-basic-8xxx-pjns8:/# ping 10.18.1.131
PING 10.18.1.131 (10.18.1.131): 48 data bytes
56 bytes from 10.18.1.131: icmp_seq=0 ttl=59 time=10.106 ms
56 bytes from 10.18.1.131: icmp_seq=1 ttl=59 time=9.930 ms
56 bytes from 10.18.1.131: icmp_seq=2 ttl=59 time=9.926 ms
56 bytes from 10.18.1.131: icmp_seq=3 ttl=59 time=9.909 ms
56 bytes from 10.18.1.131: icmp_seq=4 ttl=59 time=9.888 ms
56 bytes from 10.18.1.131: icmp_seq=5 ttl=59 time=9.859 ms

Özet

SAG vCPE'yi Cloud Connect Network ve Cloud Enterprise Network ile birlikte kullanarak şirket içi ve bulut ortamlarınızı kesintisiz iletişim için hızla birbirine bağlayabilirsiniz. Olası sorunları en aza indirmek adına, üretim ortamınızı etkileyebilecek ağ çakışmalarını önlemek için ağ mimarinizi önceden planlayın.