Elasticsearch：Gunakan API reindex untuk memigrasikan data antar kluster Elasticsearch di Alibaba Cloud

Skenario

Bab ini menjelaskan penggunaan API reindex untuk migrasi data lintas kluster Elasticsearch di Alibaba Cloud. Pilih solusi yang sesuai berdasarkan data bisnis Anda dan arsitektur jaringan tempat kluster Elasticsearch diterapkan.

• Anda ingin memigrasikan data antar kluster Elasticsearch.

• Shard untuk indeks dalam kluster Elasticsearch didistribusikan secara tidak tepat. Sebagai contoh, volume data yang disimpan dalam indeks terlalu besar, tetapi jumlah shard untuk indeks tersebut terlalu kecil. Dalam kasus ini, Anda dapat menggunakan API reindex untuk mengindeks ulang data.

• Anda ingin memodifikasi pemetaan untuk indeks yang menyimpan sejumlah besar data. Dalam kasus ini, Anda dapat menggunakan API reindex untuk menyalin data dalam indeks.

Prasyarat

• Dua kluster Elasticsearch di Alibaba Cloud telah dibuat dalam arsitektur jaringan asli, menggunakan virtual private cloud (VPC) dan vSwitch yang sama. Dalam contoh ini, kluster Elasticsearch V6.7.0 digunakan sebagai kluster lokal, sedangkan kluster Elasticsearch V6.3.2 digunakan sebagai kluster jarak jauh.

• Data uji telah dipersiapkan.

  • Kluster lokal

    Buat indeks tujuan dalam kluster lokal.

    PUT dest
    {
      "settings": {
        "number_of_shards": 5,
        "number_of_replicas": 1
      }
    }

  • Kluster jarak jauh

    Persiapkan data yang ingin dimigrasikan dalam kluster jarak jauh. Dalam contoh ini, data dari topik "Memulai" digunakan. Untuk informasi lebih lanjut, lihat Memulai.

    Penting

    Jika Anda ingin menggunakan kluster Elasticsearch versi 7.0 atau lebih baru sebagai kluster jarak jauh, Anda harus menetapkan tipe indeks menjadi _doc.

Prosedur

1. Masuk ke Konsol Elasticsearch di Alibaba Cloud.

2. Di panel navigasi sisi kiri, klik Elasticsearch Clusters.

3. Navigasikan ke kluster yang diinginkan.

   1. Di bilah navigasi atas, pilih grup sumber daya dan wilayah tempat kluster berada.

   2. Pada halaman Elasticsearch Clusters, temukan kluster dan klik ID-nya.

4. Konfigurasikan daftar putih reindex untuk kluster lokal.

   1. Di panel navigasi sisi kiri halaman yang muncul, pilih Configuration and Management > Cluster Configuration.

   2. Pada halaman yang muncul, klik Modify Configuration di sebelah kanan YML File Configuration.

   3. Di panel Konfigurasi File YML, masukkan titik akhir dan nomor port kluster jarak jauh di bidang Other Configurations.

      Konfigurasi daftar putih reindex bervariasi berdasarkan jumlah zona kluster jarak jauh.

      • Jika kluster jarak jauh adalah kluster zona tunggal, konfigurasikan daftar putih reindex dalam format <Endpoint of the remote cluster>:9200. Contoh kode:

        reindex.remote.whitelist: ["es-cn-09k1rgid9000g****.elasticsearch.aliyuncs.com:9200"]

      • Jika kluster remote merupakan kluster multi-zona, daftar putih reindex harus mencakup alamat IP dari semua node data dalam kluster dan nomor port kluster tersebut. Contoh kode:

        reindex.remote.whitelist: ["10.0.xx.xx:9200","10.0.xx.xx:9200","10.0.xx.xx:9200","10.15.xx.xx:9200","10.15.xx.xx:9200","10.15.xx.xx:9200"]

        Catatan

        Anda dapat memperoleh alamat IP semua node data dalam kluster dari tab Node Visualization pada halaman Basic Information kluster. Untuk informasi lebih lanjut, lihat Lihat status kluster dan informasi node.

      Untuk informasi tentang konfigurasi daftar putih reindex, lihat Konfigurasikan daftar putih reindex jarak jauh.

   4. Pilih This operation will restart the cluster. Continue? dan klik OK.

      Sistem akan me-restart kluster Elasticsearch. Anda dapat melihat kemajuan restart di kotak dialog Tugas. Setelah kluster direstart, konfigurasi selesai.

5. Dalam kluster lokal, panggil API reindex untuk mengindeks ulang data.

   1. Masuk ke Konsol Kibana kluster lokal dan buka halaman utama Konsol Kibana sesuai petunjuk.

      Untuk informasi lebih lanjut tentang cara masuk ke Konsol Kibana, lihat Masuk ke Konsol Kibana.

      Catatan

      Dalam contoh ini, kluster Elasticsearch V6.7.0 digunakan. Operasi pada kluster versi lain mungkin berbeda. Operasi aktual di konsol yang berlaku.

   2. Di panel navigasi sisi kiri halaman yang muncul, klik Dev Tools.

   3. Pada tab Console, jalankan perintah berikut untuk memanggil API reindex guna mengindeks ulang data:

      POST _reindex
      {
        "source": {
          "remote": {
            "host": "http://es-cn-09k1rgid9000g****.elasticsearch.aliyuncs.com:9200",
            "username": "elastic",
            "password": "your_password"
          },
          "index": "product_info",
          "query": {
            "match": {
              "productName": "Manajemen kekayaan"
            }
          }
        },
        "dest": {
          "index": "dest"
        }
      }

      Kategori	Parameter	Deskripsi
      source	host	URL yang digunakan untuk terhubung ke kluster jarak jauh. URL harus mencakup protokol, titik akhir, dan nomor port. Contoh: https://otherhost:9200. Nilai parameter host bervariasi berdasarkan jumlah zona kluster jarak jauh. Jika kluster jarak jauh adalah kluster zona tunggal, Anda harus mengonfigurasi parameter ini dalam format http://<Titik Akhir Kluster Jarak Jauh>:9200. Catatan Anda dapat memperoleh titik akhir pada halaman Informasi Dasar kluster jarak jauh. Untuk informasi lebih lanjut, lihat Lihat informasi dasar kluster. Jika kluster jarak jauh adalah kluster multi-zona, Anda harus mengonfigurasi parameter ini dalam format http://<Alamat IP Node Data di Kluster Jarak Jauh>:9200.
      	username	Nama pengguna yang digunakan untuk terhubung ke kluster jarak jauh. Parameter ini hanya diperlukan jika otentikasi dasar perlu dilakukan pada permintaan yang dikirim ke kluster jarak jauh. Nama pengguna default yang digunakan untuk terhubung ke kluster Elasticsearch di Alibaba Cloud adalah elastic. Penting Untuk alasan keamanan, kami sarankan Anda menggunakan HTTPS untuk mengirim permintaan jika otentikasi dasar perlu dilakukan. Jika tidak, kata sandi yang diperlukan ditransmisikan dalam teks biasa. Untuk kluster Elasticsearch di Alibaba Cloud, Anda dapat menggunakan HTTPS dalam host hanya setelah Anda mengaktifkan protokol untuk kluster. Untuk informasi tentang cara mengaktifkan HTTPS untuk kluster Elasticsearch, lihat Aktifkan HTTPS.
      	password	Kata sandi yang digunakan untuk terhubung ke kluster jarak jauh. Kata sandi ditentukan saat Anda membuat kluster. Jika Anda lupa kata sandinya, Anda dapat menyetel ulang. Untuk informasi tentang prosedur dan perhatian saat menyetel ulang kata sandi, lihat Setel ulang kata sandi akses untuk kluster Elasticsearch.
      	index	Indeks sumber dalam kluster jarak jauh.
      	query	Menentukan data yang ingin Anda migrasikan. Untuk informasi lebih lanjut, lihat API Reindex.
      dest	index	Indeks tujuan dalam kluster lokal.

      Catatan

      Saat Anda mengindeks ulang data dari kluster jarak jauh, pemotongan manual dan otomatis tidak didukung untuk data tersebut. Untuk informasi lebih lanjut, lihat Pemotongan Manual dan Pemotongan Otomatis.

      Jika perintah berhasil dijalankan, hasil berikut akan dikembalikan:

      {
        "took" : 51,
        "timed_out" : false,
        "total" : 2,
        "updated" : 2,
        "created" : 0,
        "deleted" : 0,
        "batches" : 1,
        "version_conflicts" : 0,
        "noops" : 0,
        "retries" : {
          "bulk" : 0,
          "search" : 0
        },
        "throttled_millis" : 0,
        "requests_per_second" : -1.0,
        "throttled_until_millis" : 0,
        "failures" : [ ]
      }

6. Jalankan perintah berikut untuk melihat data yang dimigrasikan:

   GET dest/_search

   Jika perintah berhasil dijalankan, hasil berikut akan dikembalikan:

   • Kluster zona tunggal

   • Kluster multi-zona

Rangkuman

Informasi Tambahan