Elasticsearch:Migrasikan data Elasticsearch yang dikelola sendiri ke Alibaba Cloud

Elasticsearch yang dikelola sendiri

• Kluster Elasticsearch yang dikelola sendiri telah dideploy di ECS dan berfungsi sebagai kluster sumber untuk migrasi.

  Catatan

  security group instance ECS harus memiliki allowlist yang dikonfigurasi untuk blok CIDR tertentu agar memungkinkan akses ke instance ECS melalui port 9200 dan 9300.

  • Port 9200: Port HTTP API untuk Elasticsearch, digunakan untuk interaksi antara klien (seperti browser, aplikasi, dan Kibana) dengan kluster Elasticsearch.

  • Port 9300: Port transport TCP untuk Elasticsearch, digunakan untuk komunikasi antar node dalam kluster.

• Replika telah dibuat untuk indeks di kluster Elasticsearch yang dikelola sendiri.

• Anda harus memiliki file P12 yang telah didekripsi. File P12 menyimpan kunci publik dan kunci privat serta mencakup sertifikat digital, sehingga memastikan komunikasi yang tepat antar node selama proses migrasi data.

• (Opsional) Jika Elasticsearch yang dikelola sendiri Anda tidak memiliki autentikasi yang diaktifkan, aktifkan X-Pack Security (yaitu, atur xpack.security.enabled: true) untuk memastikan keamanan data selama proses migrasi.

Alibaba Cloud Elasticsearch

Anda harus memiliki kluster Alibaba Cloud Elasticsearch sebagai kluster target untuk migrasi. Untuk memastikan migrasi berjalan lancar, verifikasi bahwa kluster target memenuhi persyaratan berikut:

• Kluster tersebut dideploy dalam mode Cloud-native Control Architecture (v3).

• Kluster tersebut berada di wilayah dan VPC yang sama dengan instance ECS tempat kluster Elasticsearch yang dikelola sendiri dideploy.

• Disarankan menggunakan versi yang sama dengan kluster Elasticsearch yang dikelola sendiri.

  Catatan

  Jika Anda perlu melakukan migrasi lintas versi, hubungi tim dukungan teknis Alibaba Cloud Elasticsearch.

• Spesifikasi instans dan jumlah node harus memenuhi atau melebihi spesifikasi kluster Elasticsearch yang dikelola sendiri.

• Disarankan menggunakan username dan password yang sama dengan kluster Elasticsearch yang dikelola sendiri.

• Jika Anda telah menginstal plugin kustom pada instance Elasticsearch yang dikelola sendiri, seperti plugin elasticsearch-knn untuk pencarian kemiripan, instal juga plugin yang sama pada instance Alibaba Cloud Elasticsearch. Untuk informasi tentang operasi plugin, lihat Plugin Configuration.

• Fitur kluster target, seperti konfigurasi kluster dan kamus, harus memenuhi kebutuhan bisnis Anda, dan kluster tersebut harus dapat dijangkau melalui jaringan.

Langkah 1: Buat tugas migrasi

1. Buka halaman migrasi online.

   1. Login ke Konsol Alibaba Cloud Elasticsearch.

   2. Pada bilah navigasi kiri, klik Elastic Stack Cloud Native PaaS > Online Migration Tool untuk membuka halaman migrasi online.

2. Klik Create untuk membuat tugas migrasi dan konfigurasikan parameternya.

   Parameter	Deskripsi
   Type	Pilih Data Migration from Self-managed Elasticsearch Cluster untuk migrasikan data dari kluster Elasticsearch yang dikelola sendiri ke Alibaba Cloud Elasticsearch.
   Destination Cluster	Instance Alibaba Cloud Elasticsearch target. Pilih instance di wilayah yang sama dengan instance ECS tempat kluster yang dikelola sendiri dideploy. Setelah memilih instance, masukkan Virtual Switch ID-nya sesuai permintaan. Catatan Anda hanya dapat memilih instance yang dideploy dalam mode Cloud-native Control Architecture (v3). Jika tidak ada instance yang sesuai, buat instance Alibaba Cloud Elasticsearch sesuai kebutuhan. vSwitch digunakan untuk isolasi jaringan dan kontrol akses. Anda dapat menemukan ID-nya dengan melihat informasi dasar instance.
   VPC of Self-managed Elasticsearch Cluster	ID VPC kluster Elasticsearch yang dikelola sendiri Anda.
   IP Address of ECS Instance for Self-managed Elasticsearch Cluster	Alamat IP instance ECS yang menjalankan salah satu node kluster Elasticsearch yang dikelola sendiri Anda. Catatan security group instance ECS harus memiliki allowlist yang dikonfigurasi untuk blok CIDR tertentu agar memungkinkan akses ke instance ECS melalui port 9200 dan 9300. Port 9200: Port HTTP API untuk Elasticsearch, digunakan untuk interaksi antara klien (seperti browser, aplikasi, dan Kibana) dengan kluster Elasticsearch. Port 9300: Port transport TCP untuk Elasticsearch, digunakan untuk komunikasi antar node dalam kluster.
   .p12 File of Self-managed Elasticsearch Cluster	Ikuti petunjuk di layar untuk mengunggah file P12 yang telah didekripsi.File P12 menyimpan kunci publik, kunci privat, dan sertifikat digital, serta digunakan untuk memastikan komunikasi yang tepat antar node selama proses migrasi data selanjutnya.
   Username of Self-managed Elasticsearch Cluster	Username yang digunakan untuk login ke kluster Elasticsearch yang dikelola sendiri.
   Password of Self-managed Elasticsearch Cluster	Password yang digunakan untuk login ke kluster Elasticsearch yang dikelola sendiri.

3. Klik OK untuk membuat tugas.

Langkah 2: Konfigurasikan dan jalankan tugas migrasi

Pada langkah ini, ikuti petunjuk di layar untuk mengonfigurasi tugas migrasi dan menyelesaikan migrasi data.

1. Lakukan pemeriksaan migrasi dan konfigurasi integrasi.

   Pada tab Configure Source and Destination Clusters, ikuti langkah-langkah berikut untuk menyelesaikan pemeriksaan kelayakan dan konfigurasi integrasi untuk tugas migrasi.

   1. Feasibility Check: Sebelum memulai migrasi, sistem secara otomatis memeriksa konektivitas jaringan, kompatibilitas versi, dan kecukupan resource antara kluster sumber dan target untuk memastikan migrasi aman dan layak.

      Catatan

      Jika pemeriksaan kelayakan gagal, ubah konfigurasi terkait sesuai petunjuk.

   2. Configuration Integration: Sistem secara otomatis mendeteksi parameter konfigurasi kluster sumber (seperti jumlah replika shard, kebijakan sharding, dan pengaturan izin pengguna) dan menerapkannya ke kluster target. Sinkronisasi mulus ini memastikan migrasi yang lancar dan operasi yang efisien.

      Catatan

      Langkah ini memerlukan waktu sekitar 20 menit.

2. Lakukan migrasi data.

   Pada tab Migrate Data, ikuti langkah-langkah yang ditampilkan pada gambar untuk menyelesaikan integrasi kluster, migrasi replika, migrasi node master, dan migrasi shard utama secara berurutan.

   Aksi	Deskripsi	Catatan
   Cluster Integration	Sistem menggabungkan kluster sumber dan kluster target menjadi satu kluster besar. Setelah penggabungan, Total nodes in the cluster = Nodes in the source cluster + Nodes in the target cluster.	Setelah integrasi kluster, Kibana untuk kluster target sementara tidak tersedia. Selama migrasi data, Anda dapat terus menggunakan Kibana pada kluster sumber hingga alih bencana layanan selesai.
   Replica Migration	Sistem memigrasikan shard replika indeks dari node kluster sumber ke node kluster target.	Jika terjadi kegagalan tak terduga atau migrasi memengaruhi workload Anda, Anda dapat melakukan rollback. Setelah rollback, tugas migrasi saat ini dibatalkan dan tidak dapat dilanjutkan. Anda harus membuat tugas baru untuk melanjutkan.
   Master Node Migration	Sistem memigrasikan node master kluster gabungan dari kluster sumber ke kluster target.	Setelah Anda memulai migrasi node master, perubahan langsung berlaku. Rollback tidak didukung dalam skenario apa pun. Lanjutkan dengan hati-hati.
   Primary Shard Migration	Sistem memigrasikan shard utama, yang menyimpan data asli, dari node kluster sumber ke node kluster target.	Setelah Anda memulai migrasi shard utama, rollback tidak didukung dalam skenario apa pun. Lanjutkan dengan hati-hati.

3. Lakukan alih bencana layanan dan isolasi jaringan.

   Pada langkah ini, Anda akan mengalihkan layanan saat ini ke kluster target dan menggunakan isolasi jaringan untuk mengambil kluster asli offline.

   1. Alih bencana layanan.

      Pada tab Switch Business, ikuti petunjuk di layar untuk mengalihkan semua permintaan kueri dan tulis di aplikasi bisnis Anda dari titik akhir kluster sumber ke titik akhir kluster target. Kluster target sekarang menyediakan semua layanan.

   2. Isolasi jaringan.

      Setelah Alih bencana layanan selesai, Anda harus mengajukan permintaan isolasi jaringan untuk mencegah node-node Kluster sumber bergabung kembali dengan Kluster target, sehingga secara efektif menonaktifkan Kluster sumber.

      Catatan

      Saat pesan Take Offline Self-managed Cluster Node ditampilkan, ikuti petunjuk untuk mengambil node ECS kluster yang dikelola sendiri offline atau menghentikan proses ES (disarankan menggunakan perintah kill -15 <ES_process_PID> untuk mengambil proses offline). Setelah operasi selesai, sistem melanjutkan proses isolasi jaringan. Proses ini diperkirakan memerlukan waktu 20 menit. Mohon tunggu dengan sabar.

4. Selesaikan migrasi.

   Setelah isolasi jaringan berhasil, tugas migrasi selesai. Anda dapat mengklik Go to Cluster List untuk melihat detail instans.

Langkah 3: Validasi data

Setelah tugas migrasi data selesai, akses kluster Alibaba Cloud Elasticsearch target melalui Konsol Kibana. Lakukan operasi kueri atau tulis untuk memverifikasi bahwa kluster berfungsi sebagaimana mestinya.