Elasticsearch:Migrasikan data Elasticsearch yang dikelola sendiri ke Alibaba Cloud

Elasticsearch yang dikelola sendiri

• Kluster Elasticsearch yang dikelola sendiri telah dideploy di ECS. Kluster ini berfungsi sebagai kluster sumber untuk migrasi.

  Catatan

  security group instance ECS harus memiliki daftar izin yang dikonfigurasi untuk Blok CIDR tertentu agar memungkinkan akses ke instance ECS melalui port 9200 dan 9300.

  • Port 9200: Port API HTTP untuk Elasticsearch, digunakan untuk interaksi antara klien (seperti browser, aplikasi, dan Kibana) dengan kluster Elasticsearch.

  • Port 9300: Port lapisan transport TCP untuk Elasticsearch, digunakan untuk komunikasi antar node dalam kluster.

• Replika telah dibuat untuk indeks di kluster Elasticsearch yang dikelola sendiri.

• Anda harus memiliki file P12 yang telah didekripsi. File P12, yang menyimpan kunci publik dan kunci privat serta mencakup Sertifikat digital, memastikan bahwa node dapat berkomunikasi dengan benar selama proses migrasi data.

• (Opsional) Jika Elasticsearch yang dikelola sendiri Anda tidak memiliki autentikasi yang diaktifkan, Anda harus mengaktifkan X-Pack Security (yaitu, atur xpack.security.enabled: true) untuk memastikan keamanan data selama proses migrasi.

Alibaba Cloud Elasticsearch

Anda harus memiliki kluster Alibaba Cloud Elasticsearch. Kluster ini berfungsi sebagai kluster target untuk migrasi. Untuk memastikan migrasi berjalan lancar, verifikasi bahwa kluster target memenuhi persyaratan berikut:

• Dideploy dalam mode Cloud-native Control Architecture (v3).

• Berada di wilayah dan VPC yang sama dengan instance ECS tempat kluster Elasticsearch yang dikelola sendiri Anda dideploy.

• Kami merekomendasikan menggunakan versi yang sama dengan kluster Elasticsearch yang dikelola sendiri Anda.

  Catatan

  Jika Anda perlu melakukan migrasi data lintas versi, hubungi tim dukungan teknis Alibaba Cloud Elasticsearch.

• Spesifikasi instans dan jumlah node harus memenuhi atau melebihi spesifikasi kluster Elasticsearch yang dikelola sendiri Anda.

• Kami merekomendasikan menggunakan username dan password yang sama dengan kluster Elasticsearch yang dikelola sendiri Anda.

• Jika Anda telah menginstal plugin kustom pada instance Elasticsearch yang dikelola sendiri Anda, seperti plugin elasticsearch-knn untuk pencarian kemiripan, Anda juga harus menginstal plugin yang sama pada instance Alibaba Cloud Elasticsearch Anda. Untuk informasi tentang operasi plugin, lihat Plugin Configuration.

• Fitur-fitur kluster target, seperti konfigurasi kluster dan kamus, harus memenuhi kebutuhan bisnis Anda, dan kluster tersebut harus dapat dijangkau melalui jaringan.

Langkah 1: Buat tugas migrasi

1. Buka halaman migrasi online.

   1. Login ke Konsol Alibaba Cloud Elasticsearch.

   2. Di bilah navigasi kiri, klik Elastic Stack Cloud Native PaaS > Online Migration Tool untuk membuka halaman migrasi online.

2. Klik Create untuk membuat tugas migrasi dan konfigurasikan parameternya.

   Parameter	Deskripsi
   Type	Pilih Data Migration from Self-managed Elasticsearch Cluster untuk migrasikan data dari kluster Elasticsearch yang dikelola sendiri ke Alibaba Cloud Elasticsearch.
   Destination Cluster	Instance Alibaba Cloud Elasticsearch target. Pilih instance yang berada di wilayah yang sama dengan instance ECS tempat kluster yang dikelola sendiri Anda dijalankan. Setelah memilih instance, masukkan Virtual Switch ID-nya sesuai permintaan. Catatan Anda hanya dapat memilih instance yang dideploy dalam mode Cloud-native Control Architecture (v3). Jika tidak ada instance yang sesuai, buat instance Alibaba Cloud Elasticsearch sesuai kebutuhan. vSwitch digunakan untuk isolasi jaringan dan kontrol akses. Anda dapat menemukan ID-nya dengan melihat informasi dasar instance.
   VPC of Self-managed Elasticsearch Cluster	ID VPC dari kluster Elasticsearch yang dikelola sendiri Anda.
   IP Address of ECS Instance for Self-managed Elasticsearch Cluster	Alamat IP instance ECS yang menjalankan salah satu node dari kluster Elasticsearch yang dikelola sendiri Anda. Catatan security group instance ECS harus memiliki daftar izin yang dikonfigurasi untuk Blok CIDR tertentu agar memungkinkan akses ke instance ECS melalui port 9200 dan 9300. Port 9200: Port API HTTP untuk Elasticsearch, digunakan untuk interaksi antara klien (seperti browser, aplikasi, dan Kibana) dengan kluster Elasticsearch. Port 9300: Port lapisan transport TCP untuk Elasticsearch, digunakan untuk komunikasi antar node dalam kluster.
   .p12 File of Self-managed Elasticsearch Cluster	Ikuti petunjuk di layar untuk mengunggah file P12 yang telah didekripsi.File P12 menyimpan kunci publik, kunci privat, dan Sertifikat digital. File ini digunakan untuk memastikan komunikasi yang tepat antar node selama proses migrasi data selanjutnya.
   Username of Self-managed Elasticsearch Cluster	Username yang digunakan untuk login ke kluster Elasticsearch yang dikelola sendiri.
   Password of Self-managed Elasticsearch Cluster	Password yang digunakan untuk login ke kluster Elasticsearch yang dikelola sendiri.

3. Klik OK untuk membuat tugas.

Langkah 2: Konfigurasikan dan jalankan tugas migrasi

Ikuti petunjuk di layar untuk mengonfigurasi tugas migrasi dan menyelesaikan migrasi data.

1. Lakukan pemeriksaan migrasi dan konfigurasi integrasi.

   Di tab Configure Source and Destination Clusters, ikuti langkah-langkah berikut untuk menyelesaikan pemeriksaan kelayakan dan konfigurasi integrasi untuk tugas migrasi.

   1. Feasibility Check: Sebelum memulai migrasi, sistem secara otomatis memeriksa konektivitas jaringan, kompatibilitas versi, dan kecukupan resource antara kluster sumber dan target untuk memastikan migrasi aman dan layak dilakukan.

      Catatan

      Jika pemeriksaan kelayakan gagal, ubah konfigurasi terkait sesuai petunjuk.

   2. Configuration Integration: Sistem secara otomatis mendeteksi parameter konfigurasi kluster sumber (seperti jumlah replika shard, kebijakan sharding, dan pengaturan izin pengguna) dan menerapkannya ke kluster target.

      Catatan

      Langkah ini memerlukan waktu sekitar 20 menit.

2. Lakukan migrasi data.

   Di tab Migrate Data, selesaikan integrasi kluster, migrasi replika, migrasi node master, dan migrasi shard utama secara berurutan.

   Aksi	Deskripsi	Catatan
   Cluster Integration	Sistem menggabungkan kluster sumber dan kluster target menjadi satu kluster besar. Setelah penggabungan, Total nodes in the cluster = Nodes in the source cluster + Nodes in the target cluster.	Setelah integrasi kluster, Kibana untuk kluster target sementara tidak tersedia. Selama migrasi data, Anda dapat terus menggunakan Kibana pada kluster sumber hingga alih bencana layanan selesai.
   Replica Migration	Sistem memigrasikan shard replika indeks dari node kluster sumber ke node kluster target.	Jika terjadi kegagalan tak terduga atau migrasi memengaruhi workload Anda, Anda dapat melakukan rollback. Setelah rollback, tugas migrasi saat ini akan dibatalkan dan tidak dapat dilanjutkan. Anda harus membuat tugas baru untuk melanjutkan.
   Master Node Migration	Sistem memigrasikan node master dari kluster gabungan dari kluster sumber ke kluster target.	Setelah Anda memulai migrasi node master, perubahan langsung berlaku. Rollback tidak didukung dalam skenario apa pun. Lakukan dengan hati-hati.
   Primary Shard Migration	Sistem memigrasikan shard utama, yang menyimpan data asli, dari node kluster sumber ke node kluster target.	Setelah Anda memulai migrasi shard utama, rollback tidak didukung dalam skenario apa pun. Lakukan dengan hati-hati.

3. Lakukan alih bencana layanan dan isolasi jaringan.

   Alihkan layanan Anda ke kluster target dan gunakan isolasi jaringan untuk mengambil kluster sumber offline.

   1. Alih bencana layanan.

      Di tab Switch Business, ikuti petunjuk di layar untuk mengalihkan semua permintaan kueri dan tulis di aplikasi bisnis Anda dari titik akhir kluster sumber ke titik akhir kluster target. Kluster target sekarang menyediakan semua layanan.

   2. Isolasi jaringan.

      Setelah alih bencana layanan selesai, Anda harus mengajukan permintaan isolasi jaringan. Hal ini mencegah node kluster sumber bergabung kembali ke kluster target, sehingga secara efektif mengambil kluster sumber offline.

      Catatan

      Saat pesan Take Offline Self-managed Cluster Node ditampilkan, ikuti petunjuk untuk mengambil node ECS kluster yang dikelola sendiri offline atau menghentikan proses ES (kami merekomendasikan menggunakan perintah kill -15 <ES_process_PID> untuk mengambil proses offline). Setelah operasi selesai, sistem akan melanjutkan proses isolasi jaringan. Proses ini diperkirakan memerlukan waktu 20 menit. Harap tunggu dengan sabar.

4. Selesaikan migrasi.

   Setelah isolasi jaringan berhasil, tugas migrasi selesai. Anda dapat mengklik Go to Cluster List untuk melihat detail instans.

Langkah 3: Validasi data

Setelah migrasi, akses kluster Alibaba Cloud Elasticsearch target melalui Konsol Kibana dan jalankan operasi kueri atau tulis untuk memverifikasi bahwa kluster berfungsi sebagaimana mestinya.

Hapus tugas migrasi

Alat Migrasi Online saat ini tidak mendukung penghapusan tugas migrasi secara mandiri di Konsol Alibaba Cloud Elasticsearch. Jika Anda perlu menghapus tugas migrasi, kirim tiket melalui Konsol Manajemen Alibaba Cloud atau hubungi dukungan online, dan dukungan teknis Alibaba Cloud akan menghapus tugas tersebut untuk Anda.

Saat mengirim tiket, berikan informasi berikut:

• ID instans kluster Alibaba Cloud Elasticsearch Anda.

• ID tugas migrasi yang ingin Anda hapus.