Konfigurasi hardware yang tepat dan desain lingkungan jaringan merupakan faktor kunci untuk memastikan performa kluster, efisiensi biaya, dan keandalan saat membuat kluster Alibaba Cloud EMR. Topik ini menjelaskan cara memilih layanan ketersediaan tinggi, spesifikasi node, dan solusi konfigurasi jaringan berdasarkan kebutuhan pemrosesan data besar.
Pemilihan layanan ketersediaan tinggi
Anda dapat memilih apakah akan mengaktifkan fitur ketersediaan tinggi berdasarkan skenario bisnis dan kebutuhan aktual. Saat diaktifkan, layanan ketersediaan tinggi menggunakan mode multi-master node untuk menghilangkan risiko kegagalan node tunggal serta memastikan kelangsungan layanan melalui mekanisme terdistribusi dan failover.
Dimensi | Kluster single-master node | Kluster multi-master node |
Skenario |
|
|
Fitur inti | Arsitektur node tunggal, penerapan sederhana. Risiko kegagalan pada node tunggal. |
|
Failback | Tidak ada pemulihan otomatis: Memerlukan intervensi manual untuk troubleshooting dan restart. | Failback otomatis: Layanan EMR secara otomatis mengganti master node yang gagal. Layanan ini mengonfigurasi lingkungan dan tindakan bootstrap yang sama seperti node aslinya. |
Biaya | Biaya rendah: Hanya perlu mengonfigurasi 1 master node. | Biaya lebih tinggi: Perlu mengonfigurasi 3 master node. Node-node ini menerapkan mekanisme pengambilan keputusan mayoritas melalui algoritma konsensus dalam sistem terdistribusi, memenuhi persyaratan konsistensi kuat komponen open-source (seperti ZooKeeper dan HDFS), serta mampu mentolerir kegagalan satu node dan menghindari split brain. |
Pemilihan spesifikasi node
Proses konfigurasi kluster adalah sebagai berikut:
Tentukan skenario bisnis: Pilih skenario yang sesuai (misalnya: data lake, analisis data, aliran data real-time, layanan data, atau skenario kluster kustom).
Pilih arsitektur penyimpanan: Tentukan apakah akan menggunakan arsitektur compute dan storage terikat (HDFS) atau terpisah (OSS-HDFS/OSS) berdasarkan skenario.
Konfigurasikan spesifikasi node dan ukuran disk:
Konfigurasikan spesifikasi node: Pilih tipe instans ECS yang sesuai (seperti tujuan umum, komputasi-teroptimalkan, optimasi memori, data besar, dll.) untuk berbagai jenis node (Master, Core, Task) berdasarkan arsitektur penyimpanan yang dipilih, skala kluster, karakteristik bisnis, dan faktor lainnya.
Konfigurasikan ukuran disk: Hitung kapasitas penyimpanan dan atur ukuran disk yang sesuai berdasarkan volume data dan ekspektasi pertumbuhan.
Skenario data lake
Storage dan compute terikat (HDFS)
Jenis node | Spesifikasi yang direkomendasikan |
Master Mengelola kluster dan mengoordinasikan tugas. Layanan yang diterapkan: NameNode, ResourceManager, HiveServer, HiveMetastore, SparkHistoryServer. |
|
Core Menyediakan daya komputasi dan sumber daya penyimpanan. Layanan yang diterapkan: DataNode, NodeManager. | Spesifikasi instans node Core disesuaikan dengan kebutuhan sumber daya.
|
Task Hanya menyediakan daya komputasi tanpa menyimpan data, terutama digunakan untuk memenuhi kebutuhan CPU dan memori dari node Core. Layanan yang diterapkan: NodeManager. | Rekomendasi untuk skenario puncak-lembah:
|
Storage dan compute terpisah (OSS-HDFS/OSS)
Jenis node | Spesifikasi yang direkomendasikan |
Master Mengelola kluster dan mengoordinasikan tugas. Layanan yang diterapkan: ResourceManager, HiveServer, HiveMetastore, SparkHistoryServer. |
|
Core Fungsinya mirip dengan node Task, tidak menyimpan data. Layanan yang diterapkan: NodeManager. | Node Core tidak mendukung skalabilitas elastis. Disarankan hanya menggunakan node Task tanpa mengonfigurasi node Core. |
Task Menyediakan daya komputasi. Layanan yang diterapkan: NodeManager. |
|
Skenario analisis data
Storage dan compute terikat
Jenis node | Spesifikasi yang direkomendasikan |
Master Mengelola kluster dan mengoordinasikan tugas. Layanan yang diterapkan: StarRocks FE, Doris FE, Zookeeper. |
|
Core Menyediakan daya komputasi dan sumber daya penyimpanan. Layanan yang diterapkan: StarRocks BE, Doris BE, ClickhouseKeeper, ClickhouseServer. | Spesifikasi instans node Core disesuaikan dengan kebutuhan komputasi bisnis dan volume penyimpanan data.
|
Task Menyediakan daya komputasi. Layanan yang diterapkan: StarRocks CN. | Hanya StarRocks Compute Node yang mendukung penerapan pada node Task. Jika Anda tidak menggunakan komponen StarRocks, Anda tidak perlu menggunakan node Task. Rekomendasi untuk skenario puncak-lembah:
|
Storage dan compute terpisah
Hanya versi StarRocks 3.x yang mendukung arsitektur storage dan compute terpisah.
Jenis node | Spesifikasi yang direkomendasikan |
Master Mengelola kluster dan mengoordinasikan tugas. Layanan yang diterapkan: StarRocks FE, Zookeeper. |
|
Task Menyediakan daya komputasi. Layanan yang diterapkan: StarRocks CN. | Dalam arsitektur storage dan compute terpisah StarRocks, tidak ada node Core—hanya node Task.
Spesifikasi instans harus dievaluasi berdasarkan kebutuhan komputasi bisnis aktual, umumnya memilih ≥16 core dan 64 GiB. Jumlah node dapat diskalakan secara elastis sesuai kebutuhan bisnis. |
Skenario aliran data real-time
Storage dan compute terikat (HDFS)
Jenis node | Spesifikasi yang direkomendasikan |
Master Mengelola kluster dan mengoordinasikan tugas. Layanan yang diterapkan: NameNode, ResourceManager, FlinkHistoryServer, Zookeeper. |
|
Core Menyediakan daya komputasi dan sumber daya penyimpanan. Layanan yang diterapkan: DataNode, NodeManager. | Spesifikasi instans node Core disesuaikan dengan jenis bisnis dan kebutuhan sumber daya.
|
Task Hanya menyediakan daya komputasi, tidak menyimpan data, terutama digunakan untuk melengkapi kebutuhan CPU dan memori node Core. Layanan yang diterapkan: NodeManager. | Rekomendasi untuk skenario puncak-lembah:
|
Storage dan compute terpisah (OSS-HDFS/OSS)
Jenis node | Spesifikasi yang direkomendasikan |
Master Mengelola kluster dan mengoordinasikan tugas. Layanan yang diterapkan: ResourceManager, FlinkHistoryServer, Zookeeper. |
|
Core Fungsinya mirip dengan node Task, tidak menyimpan data. Layanan yang diterapkan: NodeManager. | Node Core tidak mendukung skalabilitas elastis. Disarankan hanya menggunakan node Task tanpa mengonfigurasi node Core. |
Task Menyediakan daya komputasi. Layanan yang diterapkan: NodeManager. |
|
Skenario layanan data
Storage dan compute terikat (HDFS)
Jenis node | Spesifikasi yang direkomendasikan |
Master Mengelola kluster dan mengoordinasikan tugas. Layanan yang diterapkan: NameNode, HMaster, Zookeeper. |
|
Core Menyediakan daya komputasi dan sumber daya penyimpanan. Layanan yang diterapkan: DataNode, HRegionServer. |
Spesifikasi instans node Core disesuaikan dengan volume permintaan bisnis dan volume penyimpanan.
|
Task Hanya menyediakan daya komputasi, tidak menyimpan data, terutama digunakan untuk melengkapi kebutuhan CPU dan memori node Core. Layanan yang diterapkan: HRegionServer. | Dalam layanan data, karena data disimpan pada node Core, penggunaan node Task biasanya tidak direkomendasikan untuk memastikan lokalitas data. |
Storage dan compute terpisah (OSS-HDFS/OSS)
Jenis node | Spesifikasi yang direkomendasikan |
Master Mengelola kluster dan mengoordinasikan tugas. Layanan yang diterapkan: NameNode, HMaster, Zookeeper. |
|
Core Menyediakan daya komputasi dan sumber daya penyimpanan. Layanan yang diterapkan: DataNode, HRegionServer. |
Menggunakan OSS-HDFS/OSS untuk menyimpan HBase HLog berdampak signifikan terhadap performa penulisan. Disarankan menyimpan HBase HLog pada HDFS. Spesifikasi instans node Core disesuaikan dengan volume permintaan bisnis. Disarankan menggunakan instans tujuan umum dengan ruang disk ≥ 500 GiB.
|
Task Menyediakan daya komputasi. Layanan yang diterapkan: HRegionServer. | Rekomendasi untuk skenario puncak-lembah:
|
Skenario kluster kustom
Saat bisnis melibatkan beberapa skenario campuran seperti ETL offline, ETL real-time, analisis agregasi kompleks, dan layanan kueri konkurensi tinggi:
Pendekatan yang direkomendasikan: Solusi kombinasi beberapa jenis kluster. Dengan menerapkan kluster independen yang memiliki karakteristik berbeda (seperti kluster pemrosesan batch offline, kluster pemrosesan aliran real-time, kluster analitik, dan kluster akselerasi kueri), Anda dapat mencapai isolasi sumber daya dan adaptasi skenario, sehingga memastikan performa dan stabilitas berbagai tugas.
Jika skala bisnis Anda kecil dan tidak ada konflik sumber daya antar skenario, pilih kluster kustom: Kurangi kompleksitas penerapan dan tingkatkan pemanfaatan sumber daya melalui konfigurasi fleksibel.
Storage dan compute terikat (HDFS)
Jenis node | Spesifikasi yang direkomendasikan |
Master Bertanggung jawab mengelola kluster dan mengoordinasikan tugas. |
|
Core Menyediakan daya komputasi dan sumber daya penyimpanan. | Spesifikasi instans node Core disesuaikan dengan jenis bisnis dan kebutuhan sumber daya.
|
Task Hanya menyediakan daya komputasi, tidak menyimpan data, terutama digunakan untuk melengkapi kebutuhan CPU dan memori node Core. | Rekomendasi untuk skenario puncak-lembah:
|
Storage dan compute terpisah (OSS-HDFS/OSS)
Jenis node | Spesifikasi yang direkomendasikan |
Master Mengelola kluster dan mengoordinasikan tugas. | Kluster kecil (≤ 8 instans): Instans tujuan umum 8 core dan 32 GiB dengan cloud disk. |
Core Fungsinya mirip dengan node Task, tidak menyimpan data. |
|
Task Menyediakan daya komputasi. | Saat hanya mengonfigurasi node Task:
Saat mengonfigurasi node Core dan node Task sekaligus, pertimbangkan skenario puncak-lembah:
|
Rekomendasi konfigurasi jaringan
Dimensi utama | Rekomendasi konfigurasi |
Konfigurasi jaringan VPC |
|
Konfigurasi security group |
|
Konfigurasi konektivitas jaringan |
|
Lampiran: Tipe instans ECS
Silakan merujuk ke Family instans untuk melihat karakteristik, spesifikasi, dan skenario penerapan family instans ECS yang tersedia. Ini memberikan referensi untuk mengonfigurasi spesifikasi instans node di Konsol EMR.
Tipe instans | Fitur |
Tujuan umum | vCPU:Memori=1:4. Disingkat sebagai seri g. |
Komputasi-teroptimalkan | vCPU:Memori=1:2, menyediakan lebih banyak sumber daya komputasi. Disingkat sebagai seri c. |
Optimasi memori | vCPU:Memori=1:8, menyediakan lebih banyak sumber daya memori. Disingkat sebagai seri r. |
SSD lokal | vCPU:Memori=1:4, menggunakan disk SSD lokal, memiliki kemampuan IOPS acak tinggi dan throughput tinggi, tetapi berisiko kehilangan data. Tipe instans ini tidak tersedia untuk node master. Disingkat sebagai seri i. |
Data besar | vCPU:Memori=1:4, menggunakan disk SATA lokal, memiliki efektivitas biaya penyimpanan tinggi, tipe instans yang direkomendasikan untuk skenario volume data besar (tingkat TB). Disingkat sebagai seri d. |
Berbagi | Tipe instans dengan CPU bersama, tidak cukup stabil untuk beban komputasi besar, hanya cocok untuk pembelajaran tingkat pemula. Tidak direkomendasikan untuk pelanggan enterprise. Tipe instans ini hanya tersedia untuk node task. |