Elasticsearch：migrasi data elasticsearch yang dikelola sendiri ke alibaba cloud

Elasticsearch yang dikelola sendiri

• Kluster Elasticsearch yang dikelola sendiri telah di-deploy pada Instance ECS. Kluster ini berfungsi sebagai kluster sumber untuk migrasi data.

  Catatan

  Anda harus mengonfigurasi security group Instance ECS untuk menambahkan daftar putih untuk Blok CIDR tertentu. Hal ini memungkinkan Blok CIDR yang ditentukan mengakses Instance ECS melalui Port 9200 dan 9300.

  • Port 9200: Port API HTTP untuk Elasticsearch, digunakan oleh klien seperti browser, aplikasi, dan Kibana untuk berinteraksi dengan kluster Elasticsearch.

  • Port 9300: Port komunikasi TCP untuk Elasticsearch, digunakan untuk komunikasi antar-node dalam kluster.

• Indeks pada kluster Elasticsearch yang dikelola sendiri memiliki replika.

• File P12 yang telah didekripsi telah disiapkan. File P12 menyimpan kunci publik dan kunci privat serta berisi sertifikat digital. Selama migrasi data, file P12 digunakan untuk memastikan komunikasi normal antar-node.

• (Opsional) Jika autentikasi belum diaktifkan pada kluster Elasticsearch yang dikelola sendiri, aktifkan X-Pack Security dengan mengatur xpack.security.enabled: true untuk memastikan keamanan data selama migrasi.

Alibaba Cloud Elasticsearch

Kluster Alibaba Cloud Elasticsearch telah dibuat. Kluster ini berfungsi sebagai kluster tujuan untuk migrasi data dan menerima data dari kluster Elasticsearch yang dikelola sendiri. Untuk memastikan migrasi berjalan lancar, pastikan kluster Alibaba Cloud Elasticsearch memenuhi persyaratan berikut:

• Dideploy dalam mode cloud-native new management (v3).

• Kluster berada di wilayah dan VPC yang sama dengan Instance ECS tempat kluster Elasticsearch yang dikelola sendiri berada.

• Versinya harus konsisten dengan kluster Elasticsearch yang dikelola sendiri.

  Catatan

  Untuk melakukan migrasi data lintas-versi, hubungi helpdesk Alibaba Cloud Elasticsearch.

• Tipe instans dan jumlah node tidak lebih kecil daripada kluster Elasticsearch yang dikelola sendiri.

• Kluster memiliki username dan password yang sama dengan kluster Elasticsearch yang dikelola sendiri.

• Jika kluster Elasticsearch yang dikelola sendiri memiliki plugin kustom yang terinstal, seperti plugin elasticsearch-knn untuk pencarian kemiripan, Anda harus menginstal plugin yang sama pada kluster Alibaba Cloud Elasticsearch. Untuk informasi lebih lanjut tentang operasi plugin, lihat Konfigurasi Plugin.

• Fitur-fitur kluster cloud, seperti konfigurasi kluster dan kamus, memenuhi kebutuhan bisnis Anda dan dapat diakses melalui jaringan.

Langkah 1: Buat tugas migrasi

1. Buka tool migrasi online.

   1. Login ke Konsol Alibaba Cloud Elasticsearch.

   2. Pada panel navigasi di sebelah kiri, klik Elastic Stack cloud-native PaaS Edition > Elasticsearch online migration tool untuk mengakses halaman migrasi online.

2. Anda dapat mengklik Create untuk membuat tugas migrasi dan mengonfigurasi parameter yang diperlukan.

   

   Parameter	Deskripsi
   Type	Pilih Self-managed Elasticsearch Migration untuk memigrasikan data dari kluster Elasticsearch yang dikelola sendiri ke Alibaba Cloud Elasticsearch.
   Destination Cluster	Instans Alibaba Cloud Elasticsearch yang menerima data dari kluster Elasticsearch yang dikelola sendiri Anda. Pilih instans di wilayah yang sama dengan Instance ECS tempat Elasticsearch yang dikelola sendiri Anda di-deploy. Setelah memilih instans, masukkan Virtual Switch ID-nya sesuai petunjuk di halaman. Catatan Anda hanya dapat memilih instans yang di-deploy dalam mode Cloud-native New Control Plane (v3). Jika tidak ada instans yang sesuai, buat instans baru sesuai kebutuhan dengan mengikuti panduan Buat Instans Alibaba Cloud Elasticsearch. Virtual switch menyediakan isolasi jaringan dan kontrol akses. Anda dapat menemukan Virtual Switch ID di halaman detail instans dengan mengikuti panduan Lihat Informasi Dasar Instans.
   Self-managed ES VPC	ID VPC kluster Elasticsearch yang dikelola sendiri Anda.
   Self-managed ES ECS IP	Alamat IP dari salah satu Instance ECS yang menjalankan node dalam kluster Elasticsearch yang dikelola sendiri Anda. Catatan Anda harus mengonfigurasi security group Instance ECS untuk menambahkan daftar putih untuk Blok CIDR tertentu. Hal ini memungkinkan Blok CIDR yang ditentukan mengakses Instance ECS melalui Port 9200 dan 9300. Port 9200: Port API HTTP untuk Elasticsearch, digunakan oleh klien seperti browser, aplikasi, dan Kibana untuk berinteraksi dengan kluster Elasticsearch. Port 9300: Port komunikasi TCP untuk Elasticsearch, digunakan untuk komunikasi antar-node dalam kluster.
   Self-managed ES P12 File	Unggah file P12 yang telah didekripsi sesuai petunjuk di halaman. File P12 menyimpan kunci publik, kunci privat, dan sertifikat digital. File ini memastikan komunikasi aman antar-node selama migrasi data.
   Self-managed ES Username	Username yang digunakan untuk login ke kluster Elasticsearch yang dikelola sendiri Anda.
   Self-managed ES Password	Password yang digunakan untuk login ke kluster Elasticsearch yang dikelola sendiri Anda.

3. Klik OK untuk membuat pekerjaan.

Langkah 2: Konfigurasi dan jalankan tugas migrasi

Pada langkah ini, Anda mengonfigurasi tugas migrasi dan menyelesaikan migrasi data dengan mengikuti petunjuk di halaman.

1. Lakukan pemeriksaan migrasi dan konfigurasi penggabungan.

   Pada tab Source and Destination Cluster Settings, Anda dapat melakukan pemeriksaan kelayakan dan menentukan konfigurasi penggabungan untuk tugas migrasi sebagai berikut.

   

   1. Pemeriksaan kelayakan: Sebelum migrasi, sistem secara otomatis memeriksa konektivitas jaringan, kompatibilitas versi, dan kecukupan resource kluster sumber dan tujuan untuk memastikan migrasi data aman dan layak dilakukan.

      Catatan

      Jika pemeriksaan kelayakan gagal, ubah konfigurasi sesuai petunjuk di halaman.

   2. Konfigurasi penggabungan: Sistem secara otomatis mendeteksi parameter konfigurasi kluster sumber—seperti jumlah shard replika, strategi sharding, dan konfigurasi izin pengguna—dan menyesuaikannya ke kluster tujuan. Hal ini memastikan parameter konfigurasi, alokasi sumber daya, dan strategi sharding tersinkronisasi secara lancar antara kluster sumber dan tujuan, sehingga memungkinkan migrasi yang mulus dan operasi yang efisien.

      Catatan

      Langkah ini memerlukan waktu sekitar 20 menit untuk diselesaikan. Harap tunggu.

2. Migrasikan data.

   Pada tab Data Migration, selesaikan penggabungan kluster, migrasi replika, migrasi node master, dan migrasi shard utama secara berurutan, seperti yang ditunjukkan pada gambar berikut.

   Operasi	Deskripsi	Catatan
   Cluster merging	Sistem menggabungkan kluster sumber dan tujuan menjadi satu kluster. Setelah penggabungan, total node dalam kluster = node kluster sumber + node kluster tujuan.	Setelah kluster digabung, konsol Kibana kluster tujuan akan dinonaktifkan sementara. Selama migrasi data, Anda dapat terus menggunakan konsol Kibana kluster sumber hingga alih bencana selesai.
   Replica migration	Sistem memigrasikan shard replika indeks dari node kluster sumber ke node kluster tujuan.	Jika terjadi kegagalan tak terduga atau layanan Anda terganggu selama migrasi, Anda dapat melakukan rollback. Setelah rollback, tugas migrasi saat ini tidak dapat dilanjutkan. Anda harus membuat tugas migrasi baru.
   Master node migration	Sistem memigrasikan node master dalam kluster gabungan dari kluster sumber ke kluster tujuan.	Migrasi node master dimulai segera setelah diinisiasi. Rollback tidak didukung. Lakukan dengan hati-hati.
   Primary shard migration	Sistem memigrasikan shard utama yang menyimpan data mentah dari node kluster sumber ke node kluster tujuan.	Setelah migrasi shard utama dimulai, rollback tidak didukung. Lakukan dengan hati-hati.

3. Alihkan layanan dan lakukan isolasi jaringan.

   Pada langkah ini, Anda mengalihkan layanan Anda ke kluster tujuan. Secara bersamaan, Anda menerapkan isolasi jaringan untuk menghentikan kluster sumber dari memberikan layanan.

   1. Alihkan layanan.

      Pada tab Business Switch, ikuti petunjuk di layar untuk mengalihkan semua permintaan kueri dan penulisan bisnis Anda dari nama domain kluster sumber ke nama domain kluster tujuan. Kluster tujuan kemudian akan menyediakan layanan terkait.

   2. Isolasi jaringan.

      Setelah alih bencana selesai, kirim permintaan isolasi jaringan untuk mencegah node kluster sumber bergabung kembali ke kluster tujuan. Hal ini memastikan kluster sumber tidak lagi memberikan layanan.

      Catatan

      Ketika pesan Take Offline Self-managed Cluster Nodes muncul, ikuti petunjuk untuk menonaktifkan node ECS kluster yang dikelola sendiri atau menghentikan proses ES. (Kami menyarankan Anda menghentikan proses ES dengan menjalankan perintah kill -15 <ES process PID>.) Setelah operasi selesai, sistem akan melanjutkan isolasi jaringan. Proses ini memerlukan waktu sekitar 20 menit.

4. Selesaikan migrasi.

   Setelah isolasi jaringan berhasil, tugas migrasi selesai. Klik Go to Instance List untuk melihat detail instans.

Langkah 3: Validasi data

Setelah tugas migrasi data selesai, akses kluster Alibaba Cloud Elasticsearch tujuan dari Konsol Kibana. Kemudian, lakukan operasi kueri atau penulisan untuk memverifikasi bahwa kluster berfungsi sebagaimana mestinya.