ApsaraDB for HBase memungkinkan Anda memilih spesifikasi, jumlah, dan jenis disk untuk node master serta node inti. Pilihan ini dapat disesuaikan berdasarkan karakteristik beban kerja seperti permintaan per detik (QPS), ruang penyimpanan yang dibutuhkan, jumlah operasi baca/tulis, latensi respons, dan stabilitas.
Anda perlu mempertimbangkan beberapa faktor utama:
Spesifikasi node master.
Spesifikasi dan jumlah node inti.
Ukuran dan jenis disk.
Edition ApsaraDB for HBase. Untuk informasi lebih lanjut tentang cara memilih edition ApsaraDB for HBase, lihat Edition ApsaraDB for HBase.
Edition instance Elastic Compute Service (ECS): Digunakan instance ECS khusus. Sumber daya khusus dialokasikan ke instance ECS khusus untuk memastikan stabilitas. Jika beban kerja Anda memerlukan latensi respons rendah, gunakan instance ECS khusus dengan SSD.
Pemilihan spesifikasi node master
Node master tidak digunakan untuk penyimpanan. Secara default, dua node master dalam mode utama-sekunder digunakan untuk pemulihan bencana jika terjadi kegagalan titik tunggal. Node master sangat penting karena menampung Master ApsaraDB for HBase, namenodes Hadoop Distributed File System (HDFS), dan ZooKeeper. Jika node master tidak memiliki sumber daya CPU atau memori yang cukup, kinerja kluster akan menurun secara signifikan.
Jumlah Node Inti | Pemilihan Spesifikasi Node Master |
< 4 | CPU 4-core dan memori 8 GB |
4 ≤ Jumlah node inti < 8 | CPU 8-core dan memori 16 GB (direkomendasikan untuk kluster kecil) |
8 ≤ Jumlah node inti < 16 | CPU 8-core dan memori 32 GB |
> 16 | CPU 16-core dan memori 64 GB atau lebih tinggi |
Pilih spesifikasi node master berdasarkan jumlah node inti, tabel, dan region yang dikelola oleh kluster. Jika kluster mengelola sejumlah besar tabel atau region, pilih node master dengan spesifikasi tinggi.
Pemilihan spesifikasi node inti
Node inti merujuk pada RegionServers di ApsaraDB for HBase. Pilih spesifikasi node inti berdasarkan jumlah permintaan. Spesifikasi minimum adalah CPU 4-core dan memori 8 GB, sedangkan spesifikasi maksimum adalah CPU 32-core dan memori 128 GB.
Untuk mencapai kinerja optimal, penting untuk menyimpan semua metadata di cache, yang merupakan faktor kritis dalam memastikan kinerja tinggi. Berikut adalah contoh rekomendasi spesifikasi node inti untuk berbagai ukuran kluster:
Kluster kecil: Direkomendasikan menggunakan CPU 4-core dan memori 16 GB atau CPU 8-core dan memori 32 GB.
Kluster sedang atau besar: Pilih node inti berdasarkan jumlah data yang akan disimpan di memori.
Jumlah data besar yang akan disimpan: Direkomendasikan menggunakan CPU 16-core dan memori 64 GB atau CPU 32-core dan memori 128 GB.
Jumlah data kecil yang akan disimpan: Direkomendasikan menggunakan CPU 16-core dan memori 32 GB atau CPU 32-core dan memori 64 GB.
Jumlah permintaan bukan satu-satunya kriteria untuk menentukan spesifikasi node inti. Pertimbangkan semua faktor saat memilih spesifikasi node inti. Misalnya, jika beban kerja Anda memproses ratusan permintaan per detik, Anda dapat memilih node inti dengan CPU 4-core dan memori 8 GB. Namun, aturan ini tidak berlaku untuk skenario berikut, di mana node inti tersebut dapat memengaruhi stabilitas beban kerja dan meningkatkan latensi respons:
Baris yang menyimpan data kilobyte atau megabyte di-query.
Permintaan scan berisi filter kompleks.
Tingkat hit cache permintaan rendah. Setiap permintaan diterima oleh disk.
Kluster mengelola sejumlah besar tabel dan region.
Jika Anda membutuhkan bantuan dalam menghitung ruang penyimpanan yang diperlukan, bergabunglah dengan grup DingTalk ApsaraDB for HBase Q&A s0s3eg3 atau ajukan tiket.
Tabel berikut mencantumkan rekomendasi spesifikasi node inti untuk menangani beban kerja yang berbeda. Pertimbangkan semua faktor saat memilih spesifikasi node inti.
TPS+QPS | Rekomendasi Jumlah dan Spesifikasi Node Inti | Saran |
Kurang dari 1.000 | Dua node inti dengan CPU 4-core dan memori 16 GB | Spesifikasi minimum yang direkomendasikan untuk menangani beban ringan. Tidak disarankan mendeploy lebih dari 600 region pada setiap node inti. Meskipun spesifikasi minimum yang tersedia adalah CPU 4-core dan memori 8 GB, kami tidak merekomendasikannya karena memori 8 GB dapat menyebabkan kesalahan kehabisan memori saat beban atau penyimpanan key-value melonjak. |
1.000 hingga 20.000 | Dua atau tiga node inti dengan CPU 8-core dan memori 32 GB | Dibandingkan dengan CPU 8-core dan memori 16 GB, CPU 8-core dan memori 32 GB lebih hemat biaya. Tambahan 16 GB memori membantu menjaga stabilitas beban kerja. Direkomendasikan untuk menangani beban ringan hingga sedang. |
Lebih dari 20.000 | CPU 8-core dan memori 32 GB; CPU 16-core dan memori 32 GB; CPU 16-core dan memori 64 GB; CPU 32-core dan memori 64 GB; CPU 32-core dan memori 128 GB; atau lebih tinggi | Pilih jumlah node inti berdasarkan jumlah permintaan aktual. Untuk beban kerja online, direkomendasikan memilih spesifikasi dengan memori besar untuk meningkatkan tingkat hit cache. Untuk tugas MapReduce atau Spark offline yang berat, atau ketika transaksi per detik (TPS) atau QPS tinggi, pilih spesifikasi dengan lebih banyak sumber daya CPU. |
Pilih node inti dengan spesifikasi tinggi atau tambahkan jumlah node inti
Anda dapat melakukan penskalaan keluar kluster ApsaraDB for HBase dengan menambahkan node inti saat lonjakan beban, latensi respons meningkat, atau kluster menjadi tidak stabil. Namun, hotspotting mungkin terjadi jika beban kerja tidak dirancang atau dilayani dengan benar. Spesifikasi node inti menentukan kemampuannya untuk mencegah hotspotting. Jika Anda hanya menambahkan node inti berspesifikasi rendah, ini dapat memengaruhi stabilitas layanan saat lonjakan beban terjadi. Oleh karena itu, kami merekomendasikan memilih node inti berspesifikasi tinggi. Misalnya, jika permintaan besar diarahkan ke node atau lonjakan lalu lintas terjadi di suatu wilayah, node berspesifikasi rendah mungkin kelebihan beban atau kehabisan memori, sehingga memengaruhi stabilitas kluster.
Kami merekomendasikan memilih spesifikasi node inti berdasarkan persyaratan beban kerja Anda.
Jika spesifikasi node master atau node inti tidak memenuhi persyaratan Anda, Anda dapat meningkatkan node tersebut. Untuk informasi lebih lanjut, bergabunglah dengan grup DingTalk ApsaraDB for HBase Q&A s0s3eg3 atau ajukan tiket.
Jenis penyimpanan
ApsaraDB for HBase mendukung tiga jenis penyimpanan: cloud disk, disk lokal, dan cold storage.
Cloud disk: Cloud disk bersifat scalable dan andal. Kami merekomendasikan penggunaan cloud disk karena mereka direplikasi untuk redundansi dan dapat diperluas sesuai kebutuhan. Tidak seperti disk fisik, cloud disk independen dari spesifikasi perangkat keras, mencegah kehilangan data akibat kerusakan fisik. Cloud disk mencakup SSD dan ultra disk.
Disk lokal: Disk lokal adalah disk fisik dengan harga lebih rendah dibandingkan cloud disk. Disk lokal tidak scalable. Ukuran disk lokal ditentukan oleh spesifikasi node inti yang dipilih. Untuk meningkatkan kapasitas penyimpanan, Anda hanya dapat menambahkan lebih banyak node inti. Kegagalan disk tunggal tidak menyebabkan kehilangan data, tetapi jika dua atau lebih disk rusak, beban kerja Anda terpengaruh. Tim dukungan ApsaraDB for HBase siap mengganti disk yang rusak sesegera mungkin. Disk lokal cocok untuk menyimpan sejumlah besar data.
Cold storage: Cold storage didedikasikan untuk ApsaraDB for HBase dan didasarkan pada Object Storage Service (OSS). Anda dapat menggunakan cold storage bersamaan dengan cloud disk. Gunakan cold storage untuk menyimpan data yang jarang diakses atau aktifkan fitur pemisahan data panas-dingin untuk mengarsipkan data dingin secara otomatis, mengurangi biaya pengarsipan data.
Setelah membuat kluster ApsaraDB for HBase, Anda tidak dapat mengubah jenis penyimpanan kluster. Jika Anda memilih cloud disk, Anda dapat meningkatkan kapasitas penyimpanan dengan memperluas cloud disk atau menambahkan lebih banyak node inti. Jika Anda memilih disk lokal, Anda hanya dapat meningkatkan kapasitas penyimpanan dengan menambahkan lebih banyak node inti. Cold storage adalah pengecualian. Anda dapat mengaktifkan cold storage setelah kluster dibuat dan memperluas kapasitas penyimpanan sesuai kebutuhan.
Fitur | Jenis penyimpanan | Jenis beban kerja |
Kinerja tinggi | SSD, local SSD, atau ESSD | Beban kerja online yang memerlukan latensi respons rendah, seperti iklan, rekomendasi, feed, dan profil pengguna. Dalam skenario ini, Anda dapat menggunakan SSD atau ESSD untuk memastikan latensi respons rendah 1 hingga 2 milidetik dan mengurangi jitter kinerja. SSD cocok untuk pengguna yang memerlukan latensi P99 rendah. Latensi P99: 99% dari permintaan harus lebih cepat dari latensi yang diberikan. |
Efisiensi tinggi | Ultra disk atau local HDD | Beban kerja online sensitif latensi. Dalam kebanyakan kasus, jika Anda menggunakan HDD, latensi respons sekitar 10 milidetik. Namun, HDD menyebabkan lebih banyak jitter kinerja dibandingkan SSD. |
Penyimpanan data dingin | OSS untuk cold storage | Penyimpanan near-line dan pengarsipan data. Penyimpanan dingin yang menggunakan cloud atau disk lokal dapat mencapai throughput tulis hampir sama dengan penyimpanan panas yang menggunakan cloud atau disk lokal. Namun, QPS pembacaan data dingin terbatas. Latensi baca sekitar puluhan milidetik. |