Elasticsearch:Replikasi data ES lintas wilayah

Langkah 1: Hubungkan VPC lintas wilayah

Gunakan CEN untuk menghubungkan VPC tempat kluster pemimpin dan kluster pengikut berada. Untuk langkah-langkah detailnya, lihat Hubungkan VPC lintas wilayah.

Langkah 2: Dapatkan IP privat kluster pemimpin

1. Masuk ke Konsol Alibaba Cloud Elasticsearch.

2. Di halaman Basic Information kluster pemimpin, temukan bidang Internal Endpoint dan salin nama domain-nya.

3. Pada instans ECS di VPC yang sama, jalankan perintah berikut untuk menyelesaikan alamat IP privat kluster pemimpin:

   ping <private_domain_of_the_leader_cluster>

   Catat alamat IP yang diperoleh untuk digunakan nanti.

Langkah 3: Buat NLB dan kelompok server

Buat instans NLB di VPC kluster pengikut untuk meneruskan traffic ke kluster pemimpin.

1. Masuk ke Konsol Network Load Balancer (NLB).

2. Buat kelompok server.

   1. Di panel navigasi sebelah kiri, klik Server Groups.

   2. Klik Create Server Group dan konfigurasikan parameter berikut:

      Parameter	Description
      Server Group Type	Pilih IP.
      Forwarding Port	Aktifkan Forward All Ports.
      Health Check	Atur port ke 9300.

   3. Pada kelompok server yang telah Anda buat, klik Add Backend Servers, tambahkan alamat IP privat kluster pemimpin dari Langkah 2, dan pertahankan port default.

3. Buat instans NLB dan pendengar (listener).

   Jika Anda sudah memiliki instans NLB, Anda dapat langsung membuat listener. Jika belum, buat instans NLB terlebih dahulu dan lewati konfigurasi listener.

   1. Di panel navigasi sebelah kiri, klik Instances. Pilih atau buat instans NLB.

   2. Buka halaman detail instans, klik tab Listeners, lalu klik Create Listener.

   3. Aktifkan fitur All ports dan atur rentang port listener menjadi 9200-9300.

   4. Untuk Server Group, pilih IP dan kelompok server yang telah Anda buat pada langkah sebelumnya.

Langkah 4: Konfigurasi PrivateLink

Gunakan PrivateLink untuk membuat koneksi jaringan dari VPC management kluster pengikut ke kluster pemimpin.

1. Masuk ke Konsol PrivateLink.

2. Buat layanan titik akhir.

   1. Di panel navigasi sebelah kiri, klik Endpoint Services.

   2. Klik Create Endpoint Service dan konfigurasikan parameter berikut:

      Parameter	Description
      Service Resource Type	Pilih NLB.
      Service Resource	Pilih instans NLB yang telah Anda buat atau gunakan di Langkah 3.
      Availability Zone	Pilih zona ketersediaan tempat instans NLB berada.
      Automatically accept endpoint connections	Pilih Yes.

3. Tambahkan koneksi privat untuk kluster pengikut.

   1. Masuk ke Konsol Alibaba Cloud Elasticsearch dan buka halaman detail instans kluster pengikut.

   2. Di panel navigasi sebelah kiri, pilih Configuration and Management > Security Settings.

   3. Di bagian Network Settings, klik Configure Private Connection.

   4. Klik Add Private Connection dan pilih layanan titik akhir yang telah Anda buat.

   5. Tunggu hingga status koneksi berubah menjadi Connected.

4. Dapatkan nama domain PrivateLink.

   Setelah koneksi dibuat, kembali ke Konsol PrivateLink. Di tab Endpoint Connection Status layanan titik akhir, temukan koneksi titik akhir yang dibuat secara otomatis. Nama domain untuk koneksi ini adalah nama domain PrivateLink yang akan Anda gunakan nanti untuk mengonfigurasi kluster remote.

Langkah 5: Konfigurasi replikasi antar kluster (CCR)

1. Akses Konsol Kibana kluster pengikut. Untuk informasi selengkapnya, lihat Masuk ke Konsol Kibana melalui internet (untuk instans dengan arsitektur v2 atau v3).

   Di halaman detail instans kluster pengikut, klik Visualization Control di panel navigasi sebelah kiri, lalu klik Access Kibana.

2. Tambahkan kluster remote.

   1. Di panel navigasi sebelah kiri Kibana, klik Stack Management.

   2. Di bagian Data, klik Remote Clusters.

   3. Klik Add a remote cluster dan konfigurasikan parameter berikut:

      Parameter	Description
      Name	Masukkan ID instans kluster pemimpin.
      Proxy mode	Aktifkan modus proxy.
      Proxy address	Masukkan nama domain PrivateLink yang Anda peroleh di Langkah 4. Gunakan format <domain_name>:9300.

   4. Klik Save dan verifikasi bahwa status koneksi adalah Connected.

3. Konfigurasikan mode replikasi CCR.

   CCR mendukung dua mode replikasi:

   Mode	Description
   Follower index	Mereplikasi satu indeks tertentu.
   Auto-follow pattern	Otomatis mereplikasi indeks yang sesuai dengan pola nama indeks tertentu. Mode ini cocok untuk sinkronisasi batch. Setelah pola auto-follow dibuat, indeks baru di kluster pemimpin akan secara otomatis direplikasi ke kluster pengikut. Indeks yang sudah ada tidak direplikasi secara otomatis. Untuk mereplikasi indeks yang sudah ada, Anda harus membuat follower index secara manual.

   Langkah-langkah berikut menunjukkan cara mengonfigurasi pola auto-follow:

   1. Di Stack Management, klik Cross-Cluster Replication.

   2. Klik tab Auto-follow patterns, lalu klik Create an auto-follow pattern.

   3. Untuk Remote cluster, pilih kluster remote yang baru saja Anda tambahkan. Untuk Index patterns, masukkan * untuk mereplikasi semua indeks. Untuk mereplikasi indeks tertentu, masukkan pola nama, seperti logs-*.

   4. Klik Create.

Langkah 6: Verifikasi replikasi data

1. Verifikasi replikasi data yang sudah ada.

   Di Konsol Kibana kluster pengikut, jalankan perintah berikut untuk mengkueri indeks yang telah direplikasi:

   GET /<index_name>/_search

   Jika hasil yang dikembalikan konsisten dengan data di kluster pemimpin, data yang sudah ada telah berhasil direplikasi.

2. Verifikasi replikasi data inkremental.

   1. Di Konsol Kibana kluster pemimpin, buat indeks baru dan tulis dokumen ke dalamnya:

      PUT /test-increment-index
      
      POST /test-increment-index/_doc
      {
          "title": "increment test",
          "content": "This is a test document for CCR incremental sync."
      }

   2. Di Konsol Kibana kluster pengikut, kueri indeks baru tersebut:

      GET /test-increment-index/_search

      Jika konten dokumen yang dikembalikan sama dengan dokumen yang Anda tulis, data inkremental sedang direplikasi hampir secara real-time.