Elasticsearch:Migrasikan data Elasticsearch yang dikelola sendiri ke Alibaba Cloud melalui jaringan pribadi instans

Prasyarat

• Kluster Elasticsearch yang dikelola sendiri harus memenuhi persyaratan berikut:

  • Kluster tersebut harus di-host pada instans ECS dalam VPC yang sama dengan instans Alibaba Cloud Elasticsearch Anda. Koneksi yang dibuat menggunakan ClassicLink tidak didukung.

  • Grup keamanan instans ECS mengizinkan akses dari semua alamat IP node instans Alibaba Cloud Elasticsearch Anda melalui port 9200. Anda dapat menemukan alamat IP node tersebut di konsol Kibana.

  • Anda harus dapat terhubung ke instans Alibaba Cloud Elasticsearch. Anda dapat memverifikasi koneksi dengan menjalankan perintah curl -XGET http://<host>:9200 pada sebuah mesin.

    Catatan

    Anda dapat menjalankan skrip dalam panduan ini dari mesin apa pun yang dapat mengakses kluster Elasticsearch yang dikelola sendiri dan instans Alibaba Cloud Elasticsearch melalui port 9200.

  • Data indeks sumber sudah tersedia di kluster Elasticsearch yang dikelola sendiri Anda. Panduan ini menggunakan indeks bernama source sebagai contoh.

• Instans Alibaba Cloud Elasticsearch Anda harus memenuhi persyaratan berikut:

  • Aktifkan fitur pembuatan indeks otomatis terlebih dahulu atau buat mappings dan settings indeks pada Alibaba Cloud Elasticsearch.

  • Pastikan tidak ada pembatasan daftar putih yang dikonfigurasi.

Batasan

Prosedur

1. Langkah 1: Konfigurasikan instans SLB yang mendukung PrivateLink

   Anda hanya dapat menggunakan instans SLB yang mendukung PrivateLink sebagai sumber daya layanan untuk layanan titik akhir. Sebelum membuat koneksi pribadi antar VPC menggunakan PrivateLink, Anda harus membuat instans SLB yang mendukung PrivateLink dan mengonfigurasi pendengar.

2. Langkah 2: Buat layanan titik akhir

   Layanan titik akhir memungkinkan VPC lain membuat koneksi pribadi dengan membuat titik akhir. Setelah mengonfigurasi instans SLB, Anda harus membuat layanan titik akhir.

3. Langkah 3: Konfigurasikan koneksi pribadi untuk Alibaba Cloud Elasticsearch

   Di konsol Alibaba Cloud Elasticsearch, kaitkan instans Alibaba Cloud Elasticsearch Anda dengan layanan titik akhir yang Anda buat di Langkah 2.

4. Langkah 4: Dapatkan nama domain titik akhir

   Setelah instans target dikaitkan dengan layanan titik akhir, Anda dapat memperoleh nama domain titik akhir untuk mengonfigurasi daftar putih reindex.

5. Langkah 5: Konfigurasikan daftar putih reindex

   Di konsol Alibaba Cloud Elasticsearch, tambahkan nama domain yang Anda peroleh di Langkah 4 ke daftar putih reindex instans target untuk memberikan akses.

6. Langkah 6: Migrasikan data

   Setelah menyelesaikan langkah-langkah sebelumnya, koneksi jaringan antara instans sumber dan target telah dibuat, dan Anda dapat memulai migrasi data.

Langkah 1: Konfigurasikan instans SLB untuk PrivateLink

1. Buat instans SLB.

   Pastikan instans SLB berada di wilayah yang sama dengan instans ECS yang ditambahkan sebagai server backend. Untuk informasi selengkapnya, lihat Buat instans SLB yang mendukung PrivateLink.

2. Konfigurasikan Protocol and listener. Atur protokol ke TCP dan port ke 9200.

   

   Untuk informasi selengkapnya, lihat Tambahkan pendengar TCP.

3. Klik Next step. Konfigurasikan kelompok server backend dengan menambahkan instans ECS yang meng-host kluster Elasticsearch yang dikelola sendiri Anda, dan atur port ke 9200.

   Untuk informasi selengkapnya, lihat Konfigurasikan server backend.

4. Klik Next step dan konfigurasikan Configure Health Check sesuai kebutuhan. Panduan ini menggunakan pengaturan default.

5. Klik Next step. Tinjau konfigurasi Anda, klik Submit, konfirmasi detail konfigurasi, lalu klik I Understand. Anda akan dikembalikan ke halaman Manage Cluster, tempat Anda dapat memeriksa status pemeriksaan kesehatan instans ECS backend.

   Status Normal berarti instans ECS backend dapat memproses permintaan yang diteruskan oleh instans SLB.

Langkah 2: Buat layanan titik akhir

1. Login ke konsol layanan titik akhir.

2. Di bilah navigasi atas, pilih wilayah tempat Anda ingin membuat layanan titik akhir.

   Panduan ini menggunakan China (Hangzhou) sebagai contoh.

3. Klik Create Endpoint Service. Di halaman Create Endpoint Service, konfigurasikan parameter sesuai kebutuhan.

   Untuk petunjuk lengkap, lihat Buat dan kelola layanan titik akhir. Di bagian Service resource, atur Resource type ke Classic Load Balancer (CLB). Panduan ini menggunakan konfigurasi utama berikut. Untuk parameter lainnya, gunakan nilai default atau konfigurasikan sesuai kebutuhan.

   Parameter	Deskripsi
   Select service resource	Pilih zona ketersediaan yang membawa traffic, lalu pilih instans SLB untuk dikaitkan dengan layanan titik akhir. Instans SLB yang dikaitkan menerima network traffic dari pengguna layanan Anda. Zona ketersediaan layanan titik akhir sama dengan zona ketersediaan utama sumber daya layanan. Instans SLB hanya dapat digunakan sebagai sumber daya layanan jika memenuhi kondisi berikut: Jenis jaringan adalah VPC. PrivateLink didukung.
   Automatically Accept Endpoint Connections	Pilih apakah akan secara otomatis menerima permintaan koneksi dari titik akhir. Kami menyarankan Anda memilih Yes. Opsi yang tersedia: Yes: Layanan titik akhir secara otomatis menerima permintaan koneksi. Titik akhir kemudian dapat mengakses layanan. No: Koneksi titik akhir tetap dalam keadaan terputus hingga administrator layanan menangani permintaan tersebut: Jika administrator menerima permintaan koneksi, layanan dapat diakses melalui titik akhir. Jika administrator menolak permintaan koneksi, layanan tidak dapat diakses melalui titik akhir.
   Enable zone affinity	Pilih apakah akan mengaktifkan afinitas zona. Kami menyarankan Anda memilih Yes.

4. Klik OK.

Langkah 3: Konfigurasikan koneksi pribadi

1. Login ke konsol Alibaba Cloud Elasticsearch.

2. Di bilah navigasi kiri, pilih Elasticsearch Clusters.

3. Navigasi ke kluster target.

   1. Di bilah navigasi atas, pilih kelompok sumber daya tempat kluster tersebut berada dan wilayah tempat kluster tersebut berlokasi.

   2. Di halaman Elasticsearch Clusters, temukan kluster tersebut dan klik ID-nya.

4. Klik Add Private Connection dan pilih layanan titik akhir yang dibuat pada langkah sebelumnya.

5. Tunggu hingga status koneksi menjadi Connected. Artinya VPC kluster ES dan VPC Anda telah terhubung.

6. Di panel Configure Private Connection, klik Add Private Connection. Pilih layanan titik akhir yang Anda buat di Langkah 2 dan zona ketersediaan target, lalu centang kotak centang untuk prompt sistem.

   

7. Klik OK. Layanan titik akhir secara aktif terhubung ke titik akhir. Setelah koneksi dibuat, status berubah menjadi Connected.

   

Langkah 4: Dapatkan nama domain titik akhir

Setelah menyelesaikan langkah-langkah sebelumnya, Anda harus memperoleh nama domain titik akhir untuk mengonfigurasi daftar putih reindex.

1. Di panel Configure Private Connection, klik Endpoint ID target.

   

2. Di tab Endpoint connections, klik ikon perluas () di samping Endpoint ID target untuk melihat nama domain titik akhir yang sesuai.

   

Langkah 5: Konfigurasikan daftar putih reindex

1. Login ke konsol Alibaba Cloud Elasticsearch.

2. Di bilah navigasi kiri, pilih Elasticsearch Clusters.

3. Navigasi ke kluster target.

   1. Di bilah navigasi atas, pilih kelompok sumber daya tempat kluster tersebut berada dan wilayah tempat kluster tersebut berlokasi.

   2. Di halaman Elasticsearch Clusters, temukan kluster tersebut dan klik ID-nya.

4. Di panel navigasi kiri, pilih Configuration and Management > ES Cluster Configuration.

5. Di bagian YML File Configuration, klik Modify Configuration di sebelah kanan.

6. Di panel YML File Configuration, klik Modify Configuration dan tambahkan nama domain yang Anda peroleh di Langkah 4.

   Contoh:

   reindex.remote.whitelist: 'ep-bp1nitq0krp8yhcf****-cn-hangzhou-i.epsrv-bp1zczi0fgoc5qtv****.cn-hangzhou.privatelink.aliyuncs.com:9200'

   

7. Klik OK.

Langkah 6: Migrasikan data

1. Di Dev Tools konsol Kibana, jalankan perintah berikut untuk memigrasikan data.

   Catatan

   Untuk informasi tentang cara login ke konsol Kibana, lihat Login ke konsol Kibana.

   POST /_reindex?pretty
   {
     "source": {
       "remote": {
         "host": "http://ep-bp1nitq0krp8yhcf****-cn-hangzhou-i.epsrv-bp1zczi0fgoc5qtv****.cn-hangzhou.privatelink.aliyuncs.com:9200",
         "username": "elastic",
         "password": "Elastic@123***"
       },
       "index": "source",
       "size": 5000
     },
     "dest": {
       "index": "dest"
     }
   }

   Jika konsol Kibana tidak tersedia, Anda juga dapat menjalankan perintah cURL pada mesin yang dapat mengakses instans Alibaba Cloud Elasticsearch Anda untuk melakukan operasi reindex:

   curl -u <username>:<password> -XPOST "http://<Alibaba Cloud Elasticsearch domain name>:9200/_reindex?pretty" -H "Content-Type: application/json" -d '{
     "source": {
       "remote": {
         "host": "http://<endpoint domain name>:9200",
         "username": "<self-managed Elasticsearch username>",
         "password": "<self-managed Elasticsearch password>"
       },
       "index": "source",
       "size": 5000
     },
     "dest": {
       "index": "dest"
     }
   }'

   Catatan

   Jika keamanan tidak diaktifkan untuk kluster Elasticsearch yang dikelola sendiri Anda, hapus field username dan password dari source.remote.

   Untuk informasi selengkapnya, lihat reindex API.

2. Opsional: Untuk memeriksa status tugas reindex yang sedang berjalan, jalankan perintah berikut.

   GET _tasks?detailed=true&actions=*reindex

3. Verifikasi hasil migrasi.

   Setelah migrasi selesai, jalankan perintah berikut untuk memverifikasi hasilnya.

   GET _cat/indices?v

   Jika status kesehatan indeks tujuan normal dan ukuran data sesuai harapan, migrasi berhasil.

FAQ

T: Bagaimana cara mempercepat sinkronisasi data untuk indeks besar?