Elasticsearch：Migrasi data dari kluster Elasticsearch yang dikelola sendiri ke Alibaba Cloud Elasticsearch melalui koneksi pribadi

Prasyarat

• Kluster Elasticsearch yang dikelola sendiri harus memenuhi persyaratan berikut:

  • Instans ECS yang meng-host kluster tersebut harus berada dalam virtual private cloud (VPC). ClassicLink tidak didukung. Instans ECS dan instans Alibaba Cloud Elasticsearch harus berada dalam VPC yang sama.

  • Security group instans ECS harus mengizinkan akses dari semua alamat IP node instans Alibaba Cloud Elasticsearch. Anda dapat menemukan alamat IP node tersebut di Konsol Kibana. Port 9200 juga harus terbuka.

  • Koneksi telah dibuat dengan instans Alibaba Cloud Elasticsearch. Anda dapat menjalankan perintah curl -XGET http://<host>:9200 dari mesin tempat Anda menjalankan skrip untuk memverifikasi koneksi.

    Catatan

    Anda dapat menjalankan skrip dalam topik ini dari mesin mana pun, asalkan mesin tersebut dapat mengakses port 9200 baik dari kluster Elasticsearch yang dikelola sendiri maupun dari kluster Alibaba Cloud Elasticsearch.

  • Persiapkan data indeks di kluster Elasticsearch yang dikelola sendiri. Topik ini menggunakan indeks `source` yang ditampilkan pada gambar berikut sebagai contoh.

• Instans Alibaba Cloud Elasticsearch harus memenuhi persyaratan berikut:

  • Aktifkan fitur pembuatan indeks otomatis terlebih dahulu. Atau, Anda dapat membuat mappings dan settings indeks pada instans Alibaba Cloud Elasticsearch.

  • Tidak ada konfigurasi pembatasan daftar putih.

Batasan

Prosedur

1. Langkah 1: Konfigurasikan instans SLB yang mendukung PrivateLink

   Saat ini, hanya instans Server Load Balancer (SLB) yang mendukung PrivateLink yang dapat digunakan sebagai sumber daya layanan untuk layanan titik akhir. Sebelum menggunakan PrivateLink untuk mengakses layanan secara pribadi antar VPC, Anda harus membuat instans SLB yang mendukung PrivateLink dan mengonfigurasi pendengarnya.

2. Langkah 2: Buat layanan titik akhir

   Layanan titik akhir memungkinkan VPC lain membuat koneksi pribadi dengan membuat titik akhir. Setelah mengonfigurasi instans SLB, Anda harus membuat layanan titik akhir.

3. Langkah 3: Konfigurasikan peering jaringan pribadi untuk Alibaba Cloud Elasticsearch

   Di Konsol Elasticsearch, Anda dapat mengaitkan instans Alibaba Cloud Elasticsearch dengan layanan titik akhir yang dibuat di Langkah 2.

4. Langkah 4: Dapatkan nama domain titik akhir

   Setelah instans target dikaitkan dengan layanan titik akhir, Anda harus mendapatkan nama domain titik akhir tersebut. Nama domain ini akan digunakan untuk mengonfigurasi daftar putih reindex.

5. Langkah 5: Konfigurasikan daftar putih reindex

   Di Konsol Elasticsearch, tambahkan nama domain yang diperoleh di Langkah 4 ke daftar putih reindex instans target untuk otorisasi.

6. Langkah 6: Migrasi data

   Setelah menyelesaikan langkah-langkah ini, koneksi pribadi telah dibuat antara instans sumber dan target. Anda sekarang dapat memigrasikan data.

Langkah 1: Konfigurasikan instans SLB yang mendukung PrivateLink

1. Buat instans SLB.

   Pastikan instans SLB berada dalam wilayah yang sama dengan instans Elastic Computing Service (ECS) backend. Untuk informasi selengkapnya, lihat Buat instans SLB yang mendukung PrivateLink.

2. Konfigurasikan Protocol & Listener dengan mengatur protokol load balancing ke TCP dan port ke 9200.

   

   Untuk informasi selengkapnya, lihat Konfigurasi protokol dan pendengar.

3. Klik Next. Konfigurasikan grup server backend dengan menambahkan instans ECS yang meng-host kluster ES yang dikelola sendiri dan mengatur port ke 9200.

   Untuk informasi selengkapnya, lihat Konfigurasi server backend.

4. Klik Next. Di bagian Configure the Health Check, konfigurasikan pengaturan sesuai kebutuhan. Topik ini menggunakan pengaturan default.

5. Klik Next. Tinjau konfigurasi dan klik Submit. Klik OK. Kembali ke halaman Instance Management dan periksa status pemeriksaan kesehatan instans ECS backend.

   Jika status pemeriksaan kesehatan instans ECS backend adalah Normal, instans tersebut dapat memproses permintaan yang diteruskan oleh instans SLB.

Langkah 2: Buat layanan titik akhir

1. Login ke konsol layanan titik akhir.

2. Di bilah menu atas, pilih wilayah tempat Anda ingin membuat layanan titik akhir.

   Contoh dalam topik ini menggunakan wilayah China (Hangzhou).

3. Klik Create Endpoint Service. Di halaman Create Endpoint Service, konfigurasikan layanan titik akhir sesuai kebutuhan Anda.

   Untuk operasi spesifik dan petunjuk terperinci, lihat Buat dan kelola layanan titik akhir. Tabel berikut menjelaskan konfigurasi yang digunakan dalam topik ini. Untuk parameter yang tidak disebutkan, Anda dapat mengonfigurasinya sesuai kebutuhan atau menggunakan nilai default.

   Parameter	Deskripsi
   Select Service Resource	Pilih zona untuk menangani traffic. Lalu, pilih instans SLB untuk dikaitkan dengan layanan titik akhir. Instans SLB bertindak sebagai sumber daya layanan dan dikaitkan dengan layanan titik akhir. Instans SLB yang dikaitkan menerima akses jaringan dari pengguna layanan Anda. Zona layanan titik akhir sama dengan zona utama sumber daya layanan. Instans SLB hanya dapat digunakan sebagai sumber daya layanan jika memenuhi dua kondisi: Jenis jaringan adalah VPC. Fitur tersebut adalah Supports PrivateLink.
   Automatically Accept Endpoint Connections	Pilih apakah akan secara otomatis menerima permintaan koneksi dari titik akhir. Kami merekomendasikan Anda memilih Yes. Nilai-nilai tersebut dijelaskan sebagai berikut: Yes: Layanan titik akhir secara otomatis menerima permintaan koneksi dari titik akhir. Layanan dapat diakses melalui titik akhir tersebut. No: Koneksi titik akhir akan berada dalam status Disconnected, menunggu administrator layanan memprosesnya: Jika administrator layanan menerima koneksi titik akhir, layanan dapat diakses melalui titik akhir tersebut. Jika administrator layanan menolak koneksi titik akhir, layanan tidak dapat diakses melalui titik akhir tersebut.
   Enable Zone Affinity	Pilih apakah akan mengaktifkan afinitas zona. Kami merekomendasikan Anda memilih Yes.

4. Klik Create.

Langkah 3: Konfigurasikan peering jaringan pribadi untuk Alibaba Cloud Elasticsearch

1. Login ke Konsol Alibaba Cloud Elasticsearch.

2. Di panel navigasi kiri, klik Elasticsearch Clusters.

3. Navigasi ke kluster yang diinginkan.

   1. Di bilah navigasi atas, pilih kelompok sumber daya tempat kluster tersebut berada dan wilayah tempat kluster tersebut berlokasi.

   2. Di halaman Elasticsearch Clusters, temukan kluster tersebut dan klik ID-nya.

4. Di panel navigasi kiri, pilih Configuration and Management > Security.

5. Di bagian Network Settings, klik Modify di sebelah kanan Configure Private Connection.

6. Di panel Configure Private Connection, klik Add Private Connection. Pilih layanan titik akhir yang dibuat di Langkah 2 dan zona akses target. Lalu, centang kotak centang untuk prompt sistem.

   

7. Klik OK. Layanan titik akhir kemudian terhubung ke titik akhir. Setelah koneksi dibuat, statusnya berubah menjadi Connected.

   

Langkah 4: Dapatkan nama domain titik akhir

Setelah menyelesaikan langkah-langkah sebelumnya, Anda harus mendapatkan nama domain titik akhir untuk mengonfigurasi daftar putih reindex.

1. Di panel Configure Private Connection, klik Endpoint ID yang diinginkan.

   

2. Di tab Endpoint Connections, klik ikon di sebelah ID titik akhir target untuk melihat nama domain yang sesuai.

   

Langkah 5: Konfigurasikan daftar putih reindex

1. Login ke Konsol Alibaba Cloud Elasticsearch.

2. Di panel navigasi kiri, klik Elasticsearch Clusters.

3. Navigasi ke kluster yang diinginkan.

   1. Di bilah navigasi atas, pilih kelompok sumber daya tempat kluster tersebut berada dan wilayah tempat kluster tersebut berlokasi.

   2. Di halaman Elasticsearch Clusters, temukan kluster tersebut dan klik ID-nya.

4. Di panel navigasi kiri, pilih Configuration and Management > Cluster Configuration.

5. Di bagian YML File Configuration, klik Modify Configuration di sebelah kanan.

6. Di panel YML File Configuration, klik Modify Configuration dan tambahkan nama domain yang diperoleh di Langkah 4.

   Kode contoh:

   reindex.remote.whitelist: 'ep-bp1nitq0krp8yhcf****-cn-hangzhou-i.epsrv-bp1zczi0fgoc5qtv****.cn-hangzhou.privatelink.aliyuncs.com:9200'

   

7. Klik OK.

Langkah 6: Migrasi data

1. Di Dev Tools pada konsol Kibana, jalankan perintah berikut untuk memigrasikan data.

   Catatan

   Untuk informasi selengkapnya tentang cara login ke konsol Kibana, lihat Login ke konsol Kibana.

   POST /_reindex?pretty
   {
   
     "source": {
   
       "remote": {
   
         "host": "http://ep-bp1nitq0krp8yhcf****-cn-hangzhou-i.epsrv-bp1zczi0fgoc5qtv****.cn-hangzhou.privatelink.aliyuncs.com:9200",
   
         "username": "elastic",
   
         "password": "Elastic@123***"
   
       },
   
       "index": "source",
       "size": 5000
   
     },
   
     "dest": {
   
       "index": "dest"
   
     }
   
   }

   Untuk informasi selengkapnya, lihat reindex API.

2. Opsional: Selama migrasi data, Anda dapat menjalankan perintah berikut untuk mendapatkan status semua permintaan reindex yang sedang berjalan.

   GET _tasks?detailed=true&actions=*reindex

3. Lihat hasil migrasi data.

   Setelah migrasi data selesai, Anda dapat menjalankan perintah berikut untuk melihat hasilnya.

   GET _cat/indices?

   Jika status kesehatan indeks target `dest` normal dan ukuran datanya sesuai harapan, migrasi data berhasil.

FAQ

Pertanyaan: Apa yang harus saya lakukan jika satu indeks memiliki volume data besar dan sinkronisasi data lambat?