Elasticsearch:Menggunakan Reindex API untuk migrasi data multi-type

Pertimbangan

Alur Kerja

1. Prasyarat

   Siapkan instans Alibaba Cloud Elasticsearch dan Logstash. Pastikan keduanya berada dalam Virtual Private Cloud (VPC) yang sama.

   • Instans Alibaba Cloud Elasticsearch: Menyimpan data indeks.

   • Instans Alibaba Cloud Logstash: Memigrasikan data yang telah diproses melalui pipeline.

2. Langkah 1: Konversi tipe indeks

   Gunakan reindex API untuk mengonversi indeks multi-type pada instans Alibaba Cloud Elasticsearch 5.x menjadi indeks single-type. Tersedia dua metode:

   • Gabung tipe: Gabungkan data dari indeks multi-type pada instans Elasticsearch 5.x ke dalam indeks single-type baru menggunakan skrip reindex.

   • Pisahkan tipe: Pisahkan data dari indeks multi-type pada instans Elasticsearch 5.x menjadi beberapa indeks single-type berdasarkan tipe aslinya menggunakan reindex API.

3. Langkah 2: Migrasi data menggunakan Logstash

   Migrasikan data indeks yang telah diproses ke instans Elasticsearch 6.x menggunakan Alibaba Cloud Logstash.

4. Langkah 3: Verifikasi migrasi data

   Lihat indeks yang telah dimigrasikan di Kibana.

Prasyarat

1. Siapkan instans Alibaba Cloud Elasticsearch versi lama (5.5.3) dan versi baru (6.7.0), serta data multi-type yang akan dimigrasikan.

   Untuk informasi lebih lanjut tentang cara membuat instans, lihat Buat instans Alibaba Cloud Elasticsearch.

2. Buat instans Alibaba Cloud Logstash dalam Virtual Private Cloud yang sama dengan instans Alibaba Cloud Elasticsearch Anda.

   Untuk informasi selengkapnya, lihat Langkah 2: Buat instans Alibaba Cloud Logstash.

Langkah 1: Konversi tipe indeks

Langkah-langkah berikut menunjukkan cara menggabungkan tipe, yaitu mengonsolidasikan data dari indeks multi-type ke dalam satu indeks single-type.

1. Aktifkan pembuatan indeks otomatis untuk instans Elasticsearch Anda.

   1. Masuk ke Konsol Alibaba Cloud Elasticsearch.

   2. Di panel navigasi kiri, klik Elasticsearch Clusters.

   3. Di bilah navigasi atas, pilih kelompok sumber daya dan wilayah.

   4. Di daftar instans, klik ID instans versi lama.

   5. Di panel navigasi kiri, klik Cluster Configuration.

   6. Klik YML File Configuration di samping Modify Configuration.

   7. Di halaman YML File Configuration, atur Auto Indexing ke Enable.

      Peringatan

      Mengubah pengaturan Auto Indexing akan merestart instans. Pastikan tindakan ini tidak berdampak negatif terhadap layanan Anda sebelum melanjutkan.

   8. Pilih kotak centang This operation restarts the instance. Confirm to proceed., lalu klik OK.

2. Masuk ke konsol Kibana dari instans Elasticsearch versi lama.

   Untuk informasi selengkapnya, lihat Masuk ke konsol Kibana.

3. Di panel navigasi kiri, klik Dev Tools.

   Jika instans versi lama tidak berisi data indeks multi-type, jalankan perintah berikut di Console untuk membuat data uji:

   PUT twitter/tweet/1
   {"user": "kimchy", "message": "trying out Elasticsearch"}
   PUT twitter/tweet/2
   {"user": "kimchy", "message": "another tweet"}
   PUT twitter/user/1
   {"name": "kimchy", "email": "kimchy@elastic.co"}
   PUT twitter/user/2
   {"name": "elastic", "email": "info@elastic.co"}

4. Di Console, jalankan perintah berikut untuk menggabungkan data dari indeks multi-type ke dalam indeks single-type.

   POST _reindex
   {
     "source": {
       "index": "twitter"
     },
     "dest": {
       "index": "new1"
     },
     "script": {
       "inline": """
       ctx._id = ctx._type + "-" + ctx._id;
       ctx._source.type = ctx._type;
       ctx._type = "doc";
       """,
       "lang": "painless"
     }
   }

   Pada contoh ini, ctx._source.type menambahkan bidang type ke indeks new1 dan mengatur nilainya ke _type asli. _id pada indeks new1 dibentuk sebagai _type-_id untuk mencegah konflik ID antar dokumen dari tipe berbeda.

5. Jalankan perintah GET new1/_mapping untuk melihat struktur Mapping yang telah digabung.

6. Jalankan perintah berikut untuk melihat data dalam indeks yang telah digabung.

   GET new1/_search
   {
      "query":{
        "match_all":{
         }
     }
   }

Langkah-langkah berikut menunjukkan cara memisahkan tipe, yaitu melakukan pengindeksan ulang indeks multi-type menjadi beberapa indeks single-type.

1. Di Console, jalankan perintah berikut untuk memisahkan indeks multi-type menjadi indeks single-type.

   POST _reindex
   {
     "source": {
       "index": "twitter",
       "type": "tweet",
       "size": 10000
     },
     "dest": {
       "index": "twitter_tweet"
     }
   }
   POST _reindex
   {
     "source": {
       "index": "twitter",
       "type": "user",
       "size": 10000
     },
     "dest": {
       "index": "twitter_user"
     }
   }

   Contoh ini memisahkan indeks twitter menjadi indeks twitter_tweet dan twitter_user berdasarkan tipe yang berbeda.

2. Jalankan perintah berikut untuk melihat data dalam indeks yang telah dipisahkan.

   GET twitter_tweet/_search
   {
      "query":{
        "match_all":{
   
         }
     }
   }

   GET twitter_user/_search
   {
      "query":{
        "match_all":{
   
         }
     }
   }

Langkah 2: Migrasi data menggunakan Logstash

1. Buka halaman Logstash Clusters.

2. Navigasi ke kluster target.

   1. Di bilah navigasi atas, pilih wilayah tempat kluster berada.

   2. Di halaman Logstash Clusters, temukan kluster tersebut dan klik ID-nya.

3. Di panel navigasi kiri, klik Pipelines.

4. Klik Create Pipeline.

5. Di halaman Create, masukkan Pipeline ID dan konfigurasikan pipeline.

   Contoh konfigurasi pipeline:

   input {
       elasticsearch {
       hosts => ["http://es-cn-0pp1f1y5g000h****.elasticsearch.aliyuncs.com:9200"]
       user => "elastic"
       index => "*"
       password => "your_password"
       docinfo => true
     }
   }
   filter {
   }
   output {
     elasticsearch {
       hosts => ["http://es-cn-mp91cbxsm000c****.elasticsearch.aliyuncs.com:9200"]
       user => "elastic"
       password => "your_password"
       index => "test"
     }
   }

   Pada contoh ini, parameter index di bagian output diatur ke test. Ganti dengan nama indeks target aktual Anda.

   Untuk informasi selengkapnya tentang parameter konfigurasi pipeline, lihat Referensi file konfigurasi Logstash.

6. Klik Next step dan konfigurasikan parameter pipeline.

   Parameter	Deskripsi
   Pipeline Workers	Jumlah thread pekerja untuk tahap filter dan output. Tingkatkan nilai ini jika terjadi backlog event atau CPU kurang dimanfaatkan. Nilai default: jumlah core CPU.
   Pipeline Batch Size	Jumlah maksimum event yang dikumpulkan oleh worker sebelum menjalankan filter dan output. Batch yang lebih besar meningkatkan penggunaan memori dan mungkin memerlukan ukuran heap JVM (LS_HEAP_SIZE) yang lebih besar. Nilai default: 125.
   Pipeline Batch Delay	Waktu tunggu dalam milidetik sebelum mengirimkan batch yang belum penuh ke thread pekerja. Nilai default: 50 ms.
   Queue Type	Model antrian internal untuk buffering event antar tahap. Nilai yang valid: MEMORY: Default. Menggunakan antrian dalam memori. PERSISTED: Antrian persisten berbasis disk.
   Queue Max Bytes	Jumlah maksimum data yang dapat disimpan oleh antrian, dalam MB. Nilainya harus berupa bilangan bulat dari 1 hingga 2<sup>53</sup>-1. Nilai default: 1024. Catatan Pastikan nilai ini lebih kecil dari kapasitas disk total Anda.
   Queue Checkpoint Writes	Jumlah maksimum event yang ditulis sebelum checkpoint dipaksakan (hanya untuk antrian persisten). Nilai 0 berarti tanpa batas. Nilai default: 1024.

   Peringatan

   Menyimpan dan menerapkan konfigurasi akan memicu restart instans. Lanjutkan hanya jika hal ini tidak memengaruhi bisnis Anda.

7. Klik Save atau Save and Deploy.

   • Save: Menyimpan konfigurasi pipeline tetapi tidak menerapkannya. Setelah disimpan, Anda akan kembali ke halaman Pipelines. Di bagian Pipelines, Anda dapat mengklik Deploy Now di kolom Actions untuk merestart instans dan menerapkan konfigurasi.

   • Save and Deploy: Menyimpan dan menerapkan konfigurasi, merestart instans untuk menerapkan perubahan.

Langkah 3: Verifikasi migrasi data

1. Masuk ke konsol Kibana dari instans Elasticsearch versi baru.

   Untuk informasi selengkapnya, lihat Masuk ke konsol Kibana.

2. Di panel navigasi kiri, klik Dev Tools.

3. Di Console, jalankan perintah berikut untuk melihat indeks yang telah dimigrasikan.

   GET _cat/indices?v