Cara mengonfigurasi parameter saat Anda membeli instans Alibaba Cloud ES - Elasticsearch

Topik ini menjelaskan fungsi masing-masing tipe node dalam kluster Alibaba Cloud Elasticsearch dan memberikan panduan mengenai cara mengonfigurasi parameter terkait node saat membeli kluster tersebut.

Data node

Data node digunakan untuk menyimpan indeks serta menangani operasi penambahan, penghapusan, modifikasi, pencarian, dan agregasi dokumen dalam indeks. Data node memiliki kebutuhan tinggi terhadap CPU, memori, dan I/O. Saat mengoptimalkan kinerja kluster, Anda perlu memantau status data node. Jika sumber daya kluster tidak mencukupi, disarankan untuk menambahkan data node.

Catatan

Jika node master khusus dibeli, data node hanya berfungsi sebagai data node.
Jika instans tidak memiliki node master khusus, data node menjalankan fungsi ganda sebagai data node sekaligus node master.
Setelah melakukan scale-in pada kluster Elasticsearch, kluster tidak akan direstart jika menggunakan arsitektur baru (V3), tetapi akan direstart jika menggunakan arsitektur lama (V2). Jika beban kluster rendah dan indeks memiliki shard replika, kluster tetap dapat memberikan layanan selama restart. Namun, timeout akses dapat terjadi dalam beberapa skenario, seperti saat menulis atau melakukan kueri data dalam jumlah besar. Oleh karena itu, disarankan untuk melakukan restart kluster selama jam sepi.

Parameter	Deskripsi
Data Node Type	Kami menyarankan Anda menggunakan data node dengan 2 vCPU dan 4 GiB memori di lingkungan pengujian, serta menggunakan data node dengan spesifikasi lebih tinggi di lingkungan produksi.
Data Node Disk Type	ESSD (default): Jenis disk ini memiliki latensi rendah, respons cepat, dan throughput data tinggi, cocok untuk aplikasi yang sensitif terhadap latensi atau skenario bisnis intensif I/O. Untuk informasi lebih lanjut tentang spesifikasi ESSD, lihat Spesifikasi node. Untuk informasi lebih lanjut tentang kinerja ESSD, lihat ESSD. Ultra Disk: Jenis disk ini hemat biaya dan cocok untuk logging serta analisis volume data besar. Standard SSD: Jenis disk ini cocok untuk analitik data online dan pencarian yang memerlukan IOPS tinggi serta respons cepat. Catatan Anda dapat melihat tipe disk yang didukung di halaman pembelian. Setelah kluster dibuat, Anda tidak dapat mengubah tipe disk node dalam kluster tersebut.
Data Node Storage Performance Level	Jika Anda mengatur parameter Tipe Disk Data Node ke ESSD, Anda perlu mengonfigurasi parameter ini.
Data Node Disk Encryption	Enkripsi disk menawarkan keamanan data maksimal tanpa memerlukan perubahan tambahan pada bisnis dan aplikasi Anda. Namun, enkripsi disk mungkin sedikit memengaruhi kinerja kluster Anda. Enkripsi disk tidak dikenai biaya tambahan. Tidak ada biaya tambahan saat Anda membaca atau menulis data ke disk terenkripsi. Catatan Anda tidak dapat menonaktifkan enkripsi disk untuk disk yang telah dienkripsi. Anda tidak dapat mengaktifkan enkripsi disk untuk disk yang telah dibeli. Saat Anda melakukan upgrade konfigurasi kluster, Anda tidak dapat mengaktifkan enkripsi disk untuk disk yang telah dibeli. Namun, jika Anda membeli cloud disk saat melakukan upgrade konfigurasi kluster, Anda dapat mengaktifkan enkripsi disk.
Data Node Storage Space	Kapasitas penyimpanan setiap data node bergantung pada tipe disk. Satuan: GiB. Enterprise SSD: mendukung kapasitas penyimpanan hingga 6 TiB. Ultra Disk: Instans yang menjalankan versi 6.7, 7.7, dan versi setelahnya mendukung kapasitas penyimpanan hingga 20 TiB, sedangkan instans versi lainnya mendukung hingga 5 TiB. Standard SSD: Instans yang menjalankan versi 6.7, 7.7, atau versi setelahnya mendukung kapasitas penyimpanan hingga 6 TiB, sedangkan versi lainnya mendukung hingga 2 TiB. Catatan Saat Anda mengubah ukuran ultra disk dengan kapasitas penyimpanan lebih dari 2.560 GiB, hanya pembaruan blue-green yang dapat dilakukan untuk ultra disk tersebut karena disk dirancang untuk berjalan dalam array disk atau RAID 0.
Number of Data Nodes	Jumlah node yang Anda beli harus merupakan kelipatan jumlah zona. Penting Kluster yang hanya berisi dua data node memiliki risiko split-brain yang tinggi dan stabilitas rendah. Jika kluster versi lama, seperti V6.X atau V5.X, hanya berisi dua data node, node master khusus mungkin tidak dapat dipilih saat diperlukan restart node, sehingga kluster mungkin tidak dapat memberikan layanan. Oleh karena itu, Anda harus mengonfigurasi parameter ini sesuai kebutuhan.

Kibana node

Diaktifkan secara default dan tidak dapat dimodifikasi.
Kibana node dengan 1 vCPU dan 2 GiB memori tidak dikenai biaya. Namun, penggunaan spesifikasi ini disarankan hanya untuk tujuan pengujian.
Mengingat dampaknya terhadap kinerja dan stabilitas kluster, disarankan untuk membeli Kibana node dengan minimal 2 vCPU dan 4 GiB memori atau spesifikasi yang lebih tinggi.

Dedicated master node

Dedicated master node digunakan untuk menjalankan operasi tingkat kluster, seperti membuat atau menghapus indeks, melacak node, dan mengalokasikan shard. Stabilitas dedicated master node sangat penting bagi kesehatan kluster. Secara default, setiap node dalam kluster dapat berfungsi sebagai master node. Namun, operasi seperti pengindeksan, pencarian, dan kueri membutuhkan banyak sumber daya CPU, memori, dan I/O. Untuk menjaga stabilitas kluster, disarankan untuk membeli dedicated master node yang terpisah dari data node.

Penting

Jika dedicated master node dalam kluster Anda awalnya gratis, Anda akan dikenai biaya setelah melakukan upgrade konfigurasi kluster.
Jika Anda menerapkan perubahan blue-green pada kluster tanpa dedicated master node yang menggunakan arsitektur lama (V2), data node akan direstart saat perubahan berikutnya dilakukan. Oleh karena itu, disarankan untuk membeli dedicated master node.

Parameter	Deskripsi
Dedicated Master Node	Untuk meningkatkan stabilitas layanan Anda, kami menyarankan Anda membeli dedicated master node. Penerapan multi-zona memiliki dedicated master node yang diaktifkan secara default, dan pengaturan ini tidak dapat dimodifikasi. Catatan Anda tidak dapat melepaskan dedicated master node yang telah dibeli. Setelah kluster dibuat, Anda dapat membeli dedicated master node saat melakukan upgrade konfigurasi kluster.
Dedicated Master Node Type	Anda dapat melihat spesifikasi yang didukung di halaman pembelian.
Dedicated Master Node Disk Type	ESSD (default): Jenis disk ini memiliki latensi rendah, respons cepat, dan throughput data tinggi, cocok untuk aplikasi yang sensitif terhadap latensi atau skenario bisnis intensif I/O. Untuk informasi lebih lanjut tentang spesifikasi ESSD, lihat Spesifikasi node. Untuk informasi lebih lanjut tentang kinerja ESSD, lihat ESSD. Ultra Disk: Jenis disk ini hemat biaya dan cocok untuk logging serta analisis volume data besar. Standard SSD: Jenis disk ini cocok untuk analitik data online dan pencarian yang memerlukan IOPS tinggi serta respons cepat. Anda dapat melihat tipe disk yang didukung di halaman pembelian.
Dedicated Master Node Storage Space	Nilai parameter ini hanya bisa 20G.
Dedicated Master Nodes	Nilai parameter ini hanya bisa 3.

Cold Data Node

Jika bisnis Anda menerapkan arsitektur hot-cold untuk indeks data, Anda dapat membeli cold data node guna memisahkan data tersebut. Arsitektur hot-cold ini meningkatkan kinerja pemrosesan dan stabilitas layanan kluster.

Indeks yang sering dikueri atau ditulis
Indeks dengan frekuensi kueri rendah dan operasi penulisan minimal atau tidak ada, biasanya berisi data historis.

Untuk informasi selengkapnya, lihat Arsitektur "Hot-Warm" di Elasticsearch 5.x.

Catatan

Jika instans memiliki dedicated master node, cold data node hanya berfungsi sebagai data node.

Jika suatu Instans tidak memiliki node master khusus, node data dingin berfungsi sebagai node data sekaligus node master khusus.

Parameter	Deskripsi
Cold data node (also known as warm node)	Anda dapat mematikan cold data node yang telah dibeli. Jika kluster macet selama proses shutdown, lihat Apa yang harus saya lakukan jika kluster macet saat saya mematikan cold data node? untuk memperbaiki masalah tersebut.
Cold Data Node Specifications	Spesifikasi yang didukung mengacu pada halaman pembelian. Untuk skenario dengan kebutuhan I/O tinggi dan kapasitas penyimpanan besar, Anda juga dapat memilih tipe instans local disk yang hemat biaya. Spesifikasinya adalah `20 vCPU dan 88 GiB memori (SATA: 8 × 7300 GiB)`. Batasan berikut berlaku untuk tipe instans local disk: Hanya instans kernel-enhanced V7.17 yang diterapkan di dua atau tiga zona berdasarkan cloud-native control architecture (V3) yang mendukung tipe instans local disk. Untuk instans arsitektur V3, perubahan blue-green di tingkat node, seperti scale-out node, tidak didukung untuk tipe instans local disk. Catatan Untuk mencegah kehilangan data pada penyimpanan lokal, gunakan setidaknya satu replika saat memilih tipe instans local disk. Anda tidak dapat mengubah tipe instans local disk menjadi tipe berbasis cloud disk. Jika arsitektur aplikasi Anda tidak dapat menjamin keandalan data, gunakan spesifikasi berbasis cloud disk untuk membuat instans. Snapshot tingkat mesin tidak didukung untuk tipe berbasis cloud disk.
Storage Class for Cold Data Nodes	Ultra disk dan ESSD didukung.
Cold Data Node Disk Encryption	Enkripsi disk menawarkan keamanan data maksimal tanpa memerlukan perubahan tambahan pada bisnis dan aplikasi Anda. Namun, enkripsi disk mungkin sedikit memengaruhi kinerja kluster. Enkripsi disk tidak dikenai biaya tambahan. Tidak ada biaya tambahan saat membaca atau menulis data ke disk terenkripsi. Catatan Anda tidak dapat menonaktifkan enkripsi disk untuk disk yang telah dienkripsi. Anda tidak dapat mengaktifkan enkripsi disk untuk disk yang telah dibeli. Saat melakukan upgrade konfigurasi kluster, Anda tidak dapat mengaktifkan enkripsi disk untuk disk yang telah dibeli. Namun, jika Anda membeli cloud disk saat upgrade konfigurasi kluster, Anda dapat mengaktifkan enkripsi disk.
Cold Data Node Storage Space	Nilai minimum parameter ini adalah 500. Satuan: GiB.
Number of Cold Data Nodes	Jumlah node yang dibeli harus merupakan kelipatan jumlah zona.

Setelah membeli cold data node, sistem akan menambahkan parameter -Enode.attr.box_type ke konfigurasi startup node, seperti yang ditunjukkan di bawah ini.

Tipe node	Parameter startup
Data node	-Enode.attr.box_type=hot
Cold data node	-Enode.attr.box_type=warm

Client node

Anda dapat membeli client node untuk mengurangi beban CPU pada data node. Hal ini meningkatkan kinerja pemrosesan dan stabilitas layanan kluster. Untuk layanan yang intensif CPU, seperti layanan yang memerlukan banyak kueri agregat, disarankan untuk membeli client node.

Parameter	Deskripsi
Client Node	Instans yang menggunakan arsitektur kontrol cloud-native (versi 7.16 atau lebih baru) tidak mendukung pembatalan client node yang telah dibeli. Untuk ketersediaan aktual, lihat halaman pembelian.
Coordinator Node Specifications	Anda dapat melihat spesifikasi yang didukung di halaman pembelian.
Client Node Disk Type	Saat ini, hanya ultra disk yang didukung.
Client Node Storage Space	Ukuran default adalah 20 GiB, dan Anda tidak dapat mengubahnya.
Client Nodes	Jumlah node yang Anda beli harus merupakan kelipatan jumlah zona.

Referensi

Untuk informasi selengkapnya tentang cara membeli kluster Elasticsearch, lihat Buat kluster Alibaba Cloud Elasticsearch.
Untuk informasi selengkapnya tentang node, lihat Node | Panduan Elasticsearch.
Untuk informasi selengkapnya tentang harga spesifikasi node, lihat Harga.

FAQ

Apa yang harus saya lakukan jika kluster macet saat saya mematikan cold data node?

1. Periksa apakah aturan alokasi node berdasarkan `box_type` dikonfigurasi secara aktif di kluster (yaitu, apakah indeks dipaksa dialokasikan ke node yang ditandai sebagai `warm`).

GET */_settings/index.routing.allocation.require.box_type
Kueri pengaturan index.routing.allocation.require.box_type untuk semua indeks yang ada.
Jika responsnya adalah {"index.routing.allocation.require.box_type": "warm"}, indeks tersebut harus dialokasikan ke node dengan box_type=warm.
GET _template/?filter_path=.settings.index.routing.allocation.require.box_type
Periksa apakah aturan alokasi box_type dikonfigurasi di semua templat indeks. Jika sebuah templat mengembalikan "index.routing.allocation.require.box_type": "warm", semua indeks baru secara default akan dialokasikan ke cold data node.
Indeks baru mewarisi pengaturan ini dari templat. Jika templat menentukan nilai ini, semua indeks yang dibuat setelahnya secara otomatis menerapkan aturan tersebut.
GET _ilm/policy?filter_path=*.policy.phases.warm.actions.allocate.require.box_type
Tinjau konfigurasi alokasi node untuk fase warm di semua kebijakan manajemen siklus hidup indeks (ILM).

Jika indeks dialokasikan ke node warm, menurunkan spesifikasi instans—dan dengan demikian mematikan cold data node—akan menyebabkan perubahan kluster tertunda:

2. Perbaiki masalah tersebut

Hapus konfigurasi box_type dari kebijakan

# Hentikan ILM.
POST _ilm/stop

# Lihat kebijakan ILM spesifik.
GET _ilm/policy/your_policy_name

# Perbarui kebijakan ILM untuk menghapus konfigurasi box_type dari fase warm.
PUT _ilm/policy/your_policy_name
{
  "policy": {
    "phases": {
      "warm": {
        "actions": {
          "allocate": {
            "require": {
              "box_type": null  # Hapus konfigurasi ini.
            }
          }
        }
      },
      "hot": {
        "actions": {
          "allocate": {
            "require": {
              "box_type": null  # Jika konfigurasi ini ada, hapus juga.
            }
          }
        }
      }
    }
  }
}

# Jika require di bawah allocate kosong, hapus seluruh aksi allocate.
# Atau, pertahankan hanya aturan alokasi lain yang diperlukan, seperti jumlah replika.

Hapus konfigurasi box_type dari templat indeks

# Lihat nama templat spesifik.
GET _template/?filter_path=*.settings.index.routing.allocation.require.box_type
# Perbarui templat untuk menghapus konfigurasi box_type.
PUT _template/your_template_name
{
  "settings": {
    "index.routing.allocation.require.box_type": null
  }
}
# Atau, kirim ulang definisi templat lengkap tanpa field box_type.

Hapus konfigurasi box_type dari indeks

# Hapus konfigurasi box_type dari indeks tertentu.
PUT /your_index_name/_settings
{
  "index.routing.allocation.require.box_type": null
}
# Hapus konfigurasi dari semua indeks sekaligus.
{
  "index.routing.allocation.require.box_type": null
}