Elasticsearch：Menurunkan spesifikasi kluster

Catatan tentang penurunan spesifikasi

• Stabilitas layanan

  • Aturan berikut berlaku untuk stabilitas layanan selama perubahan konfigurasi kluster:

    Kluster	Status layanan	Langkah antisipasi
    Payload tinggi + Tidak ada replika Payload tinggi: Konkurensi tinggi untuk operasi write atau query selama penurunan spesifikasi, dengan penggunaan CPU > 60% dan penggunaan heap memory > 50%.	Sesekali terjadi timeout akses	Aktifkan mekanisme retry pada client. Sebelum menurunkan spesifikasi, tambahkan jumlah replika indeks menjadi minimal 1.
    Jumlah node data ≤ 2 setelah penurunan spesifikasi.	Berpotensi menyebabkan kehilangan data.

  • Lakukan operasi ini selama jam sepi.

• Batasan konfigurasi

  • Penurunan kapasitas disk node data hanya didukung untuk kluster yang menggunakan arsitektur penyebaran v3.

  • Anda tidak dapat melakukan upgrade versi kluster selama proses penurunan spesifikasi.

  • Anda hanya dapat mengubah satu tipe node dalam satu operasi penurunan spesifikasi.

  • Anda tidak dapat menurunkan spesifikasi elastic data nodes.

  • Interval antara dua operasi penurunan spesifikasi berturut-turut pada kluster yang sama harus minimal 30 menit.

• Batasan spesifikasi CPU setelah penurunan spesifikasi

  • Aturan dasar: CPU dan memori pada spesifikasi target harus minimal separuh dari spesifikasi saat ini.

  • Anda tidak dapat menurunkan spesifikasi ke konfigurasi berikut: 1-core 2 GiB, 2-core 2 GiB, 2-core 4 GiB, atau 4-core 4 GiB. Node Kibana dapat diturunkan ke 2-core 2 GiB.

    Kasus khusus: Untuk menurunkan spesifikasi ke konfigurasi yang tidak diizinkan, Anda harus membuat kluster baru lalu melakukan migrasi data.

• Dampak biaya

  Setelah Anda mengirimkan pesanan penurunan spesifikasi, sistem akan menagih Anda berdasarkan konfigurasi baru. Untuk informasi lebih lanjut, lihat Pay-as-you-go dan Subscription.

Pemeriksaan sebelum penurunan spesifikasi

• Kesehatan kluster

  Jalankan GET _cluster/health untuk memastikan status kluster adalah GREEN.

• Keamanan payload

  Kluster hanya dapat diturunkan spesifikasinya jika memenuhi kondisi berikut:

  Tipe node	Penggunaan CPU	Penggunaan heap memory JVM
  Dedicated master node	Penggunaan puncak satu node dalam 24 jam terakhir < 30%	Penggunaan puncak satu node dalam 24 jam terakhir < 25%
  Node dengan peran lainnya	Kedua kondisi berikut harus dipenuhi: • Penggunaan puncak satu node dalam 24 jam terakhir < 50% • Rata-rata penggunaan semua node dalam 24 jam terakhir < 30%	Kedua kondisi berikut harus dipenuhi: • Penggunaan puncak satu node dalam 24 jam terakhir < 50% • Rata-rata penggunaan semua node dalam 24 jam terakhir < 30%

• Kesiapan indeks

  • Jalankan GET /_cat/indices?v untuk memeriksa apakah ada indeks dalam status CLOSE. Jika ditemukan, jalankan POST /<index_name>/_open untuk membukanya sementara. Jika indeks tersebut tidak dibuka, perubahan konfigurasi dapat gagal karena alasan berikut:

    • Jika suatu indeks berada dalam status CLOSE, status kluster tidak dapat berubah menjadi GREEN. Elasticsearch mensyaratkan status kluster GREEN sebelum melakukan perubahan konfigurasi sensitif tertentu, seperti menyesuaikan aturan alokasi shard.

    • Selama perubahan konfigurasi, kluster melakukan realokasi shard:

      • Shard dari indeks yang ditutup tidak dapat dialokasikan ulang.

      • Hal ini menyebabkan operasi yang bergantung pada status GREEN gagal.

      • Akibatnya, status kluster tidak dapat mencapai GREEN. Status tertinggi yang dapat dicapai hanyalah YELLOW.

  • Jalankan GET _cat/indices?v untuk memastikan jumlah replika setiap indeks minimal 1.

    Untuk instans multi-zona, pastikan jumlah replika setiap indeks kurang dari jumlah zona yang tersedia untuk instans tersebut. Kami merekomendasikan Anda mengatur jumlah replika menjadi 1. Setelah penurunan spesifikasi selesai, Anda dapat menambahkan jumlah replika secara manual.

Metode 2: Menurunkan spesifikasi kluster dengan memanggil API

Untuk informasi lebih lanjut tentang API penurunan spesifikasi kluster, lihat UpdateInstance.

Migrasi data dan rollback

Untuk memastikan keamanan data, node data yang akan dikurangi harus kosong. Jika node data yang dipilih berisi data, sistem akan meminta Anda untuk melakukan migrasi. Setelah migrasi, node yang dipilih tidak lagi berisi data indeks apa pun, dan tidak ada data indeks baru yang ditulis ke node tersebut.

Migrasi data

1. Pada bagian Remove Data Nodes, klik Data Migration Tool pada prompt.

   

   Data Migration Tool menggunakan fitur Elasticsearch shard allocation filtering untuk melakukan migrasi data yang lancar. Proses migrasi data ini transparan bagi layanan Anda.

2. Pada kotak dialog Migrate Data, pilih metode migrasi node.

   

   Parameter	Deskripsi
   Smart Migration	Sistem secara otomatis memilih node data yang akan dimigrasikan.
   Custom	Pilih secara manual node data yang akan dimigrasikan.

3. Terima perjanjian migrasi data lalu klik OK.

Data rollback

Migrasi data bisa memakan waktu lama. Selama proses ini, perubahan status atau data kluster dapat menyebabkan migrasi gagal. Anda dapat melihat detail tugas di Task List. Jika migrasi data gagal atau setelah selesai, Anda dapat melakukan rollback node yang telah dimigrasikan dengan langkah-langkah berikut:

1. Login ke Konsol Kibana kluster Elasticsearch Anda dan buka halaman utama Konsol Kibana seperti yang diminta.

   Untuk informasi lebih lanjut tentang cara login ke Konsol Kibana, lihat Log on to the Kibana console.

   Catatan

   Pada contoh ini, digunakan kluster Elasticsearch V6.7.0. Operasi pada kluster versi lain mungkin berbeda. Ikuti operasi aktual di Konsol.

2. Pada panel navigasi kiri halaman yang muncul, klik Dev Tools.

3. Pada Console, jalankan perintah berikut untuk mendapatkan alamat IP node yang telah dimigrasikan.

   GET _cluster/settings

   Jika perintah berhasil dijalankan, hasil berikut akan dikembalikan.

   {
     "transient": {
       "cluster": {
         "routing": {
           "allocation": {
             "exclude": {
               "_ip": "192.168.xx.xx,192.168.xx.xx,192.168.xx.xx"
             }
           }
         }
       }
     }
   }                        

4. Jalankan perintah berikut untuk melakukan rollback data pada node yang telah dimigrasikan.

   • Rollback data pada node tertentu. Dalam konfigurasi, hapus alamat IP node yang ingin Anda rollback, tetapi pertahankan alamat IP node yang tidak ingin Anda rollback.

     PUT _cluster/settings
     {
       "transient": {
         "cluster": {
           "routing": {
             "allocation": {
               "exclude": {
                 "_ip": "192.168.xx.xx,192.168.xx.xx"
               }
             }
           }
         }
       }
     }

   • Rollback data pada semua node yang telah dimigrasikan.

     PUT _cluster/settings
     {
       "transient": {
         "cluster": {
           "routing": {
             "allocation": {
               "exclude": {
                 "_ip": null
               }
             }
           }
         }
       }
     }                            

5. Jalankan perintah berikut untuk memverifikasi bahwa rollback data telah selesai.

   GET _cluster/settings

   Jika perintah berhasil dijalankan dan hasilnya tidak berisi alamat IP node yang dimigrasikan, rollback telah selesai. Anda juga dapat memeriksa apakah shard telah dialokasikan ulang ke node tersebut.

   Catatan

   Selama migrasi atau rollback data, Anda dapat menjalankan perintah GET _cat/shards?v untuk melihat status tugas.

FAQ

• Apa yang harus saya lakukan jika tidak dapat mengubah konfigurasi kluster saya?

• Dapatkah saya mengubah tipe disk untuk instans ES?

• Apakah mengubah konfigurasi kluster memengaruhi layanan ES?

• Apakah kluster secara otomatis merencanakan ulang shard setelah jumlah node diubah?

• Apa yang harus saya lakukan jika memilih konfigurasi yang salah saat membeli instans ES?

• Setelah saya meningkatkan spesifikasi instans, dapatkah saya menurunkan konfigurasinya? Bagaimana caranya?

• Mengapa saya tidak dapat menurunkan spesifikasi cold data nodes?