Elasticsearch:Penerapan dan operasi lintas-AZ

Cara kerja

Penerapan lintas-AZ memanfaatkan mekanisme bawaan shard allocation awareness di Elasticsearch.

Saat Anda membuat instans lintas-AZ, sistem secara otomatis menambahkan atribut zone_id ke node di setiap zona dan mengonfigurasi cluster.routing.allocation.awareness.attributes: zone_id agar Elasticsearch mempertimbangkan penempatan zona selama alokasi shard.

Hal ini memastikan shard utama dan shard replika didistribusikan di zona yang berbeda. Jika suatu zona gagal, data tetap dapat diakses dari replika di zona lainnya.

Pilih mode penyebaran

Pilih mode penyebaran berdasarkan kebutuhan ketersediaan dan anggaran Anda.

Mode penyebaran	Arsitektur	Pemulihan bencana	Kasus penggunaan
Zona ketersediaan tunggal	Semua node berada dalam satu zona.	Kegagalan zona menyebabkan gangguan layanan total.	Lingkungan pengembangan, pengujian, atau layanan non-kritis lainnya.
Dua zona ketersediaan	Node didistribusikan di dua zona.	Mampu bertahan dari kegagalan satu zona.	Lingkungan produksi dengan persyaratan ketersediaan tinggi.
Tiga zona ketersediaan	Node didistribusikan di tiga zona.	Mampu bertahan dari kegagalan satu zona.	Layanan produksi inti dengan persyaratan ketersediaan tinggi yang ketat.

Penerapan lintas-AZ mengandalkan replika untuk redundansi data, sehingga jumlah replika indeks harus minimal 1 (number_of_replicas tidak boleh kurang dari 1). Sebagai contoh, pada instans yang diterapkan di dua zona ketersediaan, jika satu zona tidak tersedia, zona lainnya harus tetap mampu memberikan layanan. Jika indeks tidak dikonfigurasi dengan replika, shard utama di zona yang gagal tidak memiliki cadangan, sehingga data terkait menjadi tidak tersedia.

Buat instans lintas-AZ

1. Buka halaman Buat Instans Alibaba Cloud Elasticsearch.

2. Pada bagian Deployment Mode, pilih dua atau tiga zona ketersediaan.

   • Jumlah node: Jumlah node data, node data dingin, atau node koordinasi harus merupakan kelipatan jumlah zona yang dipilih.

   • Dedicated master nodes: Diperlukan tiga dedicated master node untuk stabilitas multi-AZ.

   Zona yang Anda pilih di Konsol (misalnya, Zone A) berfungsi sebagai titik akses utama kluster. Sistem secara otomatis dan merata mendistribusikan node di jumlah zona yang dipilih berdasarkan ketersediaan resource real-time di setiap zona (misalnya, jika Anda memilih dua zona, node dapat ditempatkan di Zone A dan Zone B).

Upgrade dari AZ tunggal ke multi-AZ (hanya untuk kluster arsitektur penyebaran V3)

1. Sebelum melakukan upgrade, pastikan hal berikut:

   • Jalankan GET _cluster/health untuk memastikan status kluster adalah GREEN. Jika status kluster tidak sehat, lihat Kesalahan perubahan kluster: status kluster tidak sehat untuk solusinya.

   • Optimalkan distribusi koneksi klien untuk mencegah koneksi berdurasi panjang berkumpul di satu zona saja. Metode yang dapat digunakan antara lain mengatur timeout koneksi, me-restart klien secara batch, atau menggunakan node koordinasi terpisah. Analisis dan solusi beban kluster yang tidak merata.

   • Jalankan GET _cluster/settings dan pastikan output mencakup "cluster.routing.allocation.enable": "all", yang memungkinkan Elasticsearch mengalokasikan shard secara otomatis. Jika output berbeda, jalankan perintah berikut untuk memaksa alokasi shard otomatis:

     PUT _cluster/settings  
     {  
       "transient": {  
         "cluster.routing.allocation.enable": "all"  
       }  
     }  

2. Pada halaman Instance List, klik Upgrade Configuration.

   Atau, buka halaman Basic Information lalu klik Configuration Update > Upgrade.

3. Pada halaman upgrade, di bagian Deployment Mode, pilih dua atau tiga zona ketersediaan dan selesaikan pembayaran.

   • Selama proses upgrade, sistem secara otomatis mengaktifkan dedicated master nodes (jika belum diaktifkan) dan mungkin menambahkan node data agar distribusi merata di semua zona. Node tambahan akan dikenai biaya ekstra yang tercantum di Tagihan Anda.

   • Sebagai contoh, meng-upgrade instans AZ tunggal dengan dua node data ke tiga AZ akan menambah satu node data, sehingga total menjadi tiga (satu per zona).

Migrasi zona ketersediaan

Jika zona ketersediaan saat ini tidak memiliki resource yang cukup untuk upgrade, migrasikan node ke zona yang memiliki resource tersedia terlebih dahulu.

1. Sebelum melakukan migrasi, pastikan hal berikut:

   • Jalankan GET _cluster/health untuk memastikan status kluster adalah GREEN. Jika status kluster tidak sehat, lihat Kesalahan perubahan kluster: status kluster tidak sehat untuk solusinya.

   • Jalankan GET /_cat/indices?v untuk memeriksa adanya indeks tertutup. Jika ada, buka dengan POST /<index_name>/_open. Indeks tertutup mencegah status GREEN dan dapat menyebabkan upgrade gagal.

   • Jalankan GET _cluster/settings dan pastikan output mencakup "cluster.routing.allocation.enable": "all", yang memungkinkan Elasticsearch mengalokasikan shard secara otomatis. Jika output berbeda, jalankan perintah berikut untuk memaksa alokasi shard otomatis:

     PUT _cluster/settings  
     {  
       "transient": {  
         "cluster.routing.allocation.enable": "all"  
       }  
     }  

2. Lakukan migrasi:

   1. Buka halaman Basic Information instans target. Di area visualisasi node, arahkan kursor ke zona ketersediaan yang ingin dimigrasikan lalu klik Migrate.

   2. Pada kotak dialog, pilih zona ketersediaan dan vSwitch tujuan. Anda hanya dapat memigrasikan satu zona dalam satu waktu.

   3. Centang kotak persetujuan Data Migration Service Agreement lalu klik OK.

      • Setelah Anda mengonfirmasi, kluster akan restart dengan kemungkinan fluktuasi performa singkat. Sistem pertama kali menyediakan node master baru di zona target, sehingga zona lama dan baru sementara berdampingan.

      • Setelah migrasi selesai, kluster kembali normal. Konsol mungkin sementara masih menampilkan zona lama karena keterlambatan tampilan, tetapi hal ini tidak memengaruhi operasi. Alamat IP node akan berubah.

Lakukan failover zona ketersediaan (failover dan restore)

Saat suatu zona gagal, lakukan failover untuk mengarahkan traffic ke zona sehat yang tersisa. Setelah zona yang gagal pulih, lakukan restore untuk mengembalikannya ke dalam kluster.

Failover (isolasi zona yang gagal)

1. Di area visualisasi node instans, arahkan kursor ke zona ketersediaan yang ingin diisolasi lalu klik Switch Over.

2. Pada kotak dialog yang muncul, klik OK.

   Penting

   Failover mengisolasi semua node di zona yang ditentukan. Permintaan layanan kemudian ditangani oleh node di zona lainnya. Sistem berusaha menyediakan jumlah resource yang sesuai di zona tersebut, tetapi keberhasilannya tidak dijamin karena keterbatasan inventaris dan penjadwalan resource. Terapkan langkah pembatasan traffic berdasarkan beban kluster.

   Jika status kluster menjadi yellow setelah failover meskipun replika telah dikonfigurasi, jalankan perintah berikut di Kibana untuk mengabaikan kebijakan alokasi shard dan memaksa realokasi ke zona yang tersisa:

   PUT /_cluster/settings
   {
       "persistent" : {
           "cluster.routing.allocation.awareness.force.zone_id.values" : {"0": null, "1": null, "2": null}
       }
   }

   Setelah shard direalokasi, status kesehatan kluster akan kembali menjadi GREEN.

Restore (kembalikan zona ke dalam kluster)

1. Setelah Anda memastikan bahwa zona ketersediaan yang gagal telah kembali normal, di area visualisasi node instans, arahkan kursor ke zona ketersediaan offline lalu klik Switch Back.

2. Pada kotak dialog yang muncul, klik OK. Kluster akan restart. Setelah restore selesai, node failover yang ditambahkan sementara akan dihapus dan kluster kembali ke arsitektur semula.