Gunakan wizard Konsol EMR untuk membuat kluster StarRocks pada EMR on ECS. Wizard ini memandu Anda melalui tiga langkah konfigurasi—perangkat lunak, perangkat keras, dan pengaturan dasar—sebelum menyediakan kluster.
Setelah kluster dibuat, Anda tidak dapat mengubah parameter apa pun kecuali nama kluster. Tinjau semua pengaturan dengan cermat sebelum mengklik Confirm.
Prasyarat
Sebelum memulai, pastikan Anda telah memiliki:
Virtual private cloud (VPC) di wilayah target. Untuk petunjuk penyiapan, lihat Buat dan kelola VPC.
vSwitch di zona target dalam VPC tersebut. Untuk petunjuk penyiapan, lihat Buat dan kelola vSwitch.
Buat kluster StarRocks
Tinjauan langkah:
Buka halaman pembuatan kluster.
Konfigurasikan parameter perangkat lunak.
Konfigurasikan parameter perangkat keras.
Konfigurasikan parameter dasar.
(Opsional) Simpan sebagai templat kluster.
Konfirmasi dan verifikasi.
Langkah 1: Buka halaman pembuatan kluster
Masuk ke Konsol EMR. Di panel navigasi kiri, klik EMR on ECS.
(Opsional) Di bilah navigasi atas, pilih wilayah target dan kelompok sumber daya.
Wilayah tidak dapat diubah setelah kluster dibuat. Semua kelompok sumber daya dalam akun Anda ditampilkan secara default.
Di halaman EMR on ECS, klik Create Cluster.
Langkah 2: Konfigurasikan parameter perangkat lunak
| Parameter | Wajib | Deskripsi |
|---|---|---|
| Region | Ya | Wilayah tempat kluster dibuat. Tidak dapat diubah setelah pembuatan. |
| Business scenario | Ya | Pilih Data Analytics. |
| Product version | Ya | Versi EMR. Versi terbaru (misalnya, EMR-5.19.0) dipilih secara default. |
| High Service Availability | Tidak | Nonaktif secara default. Saat diaktifkan, tiga node master ditempatkan untuk memastikan ketersediaan ResourceManager dan NameNode. Anda juga dapat mengubah jumlah node master. |
| Optional services | Tidak | Layanan tambahan yang akan disertakan. Pilih STARROCKS3 untuk men-deploy StarRocks. |
| Collect Service Operational Logs | Tidak | Aktif secara default. Mengumpulkan log layanan yang digunakan khusus untuk diagnostik kluster. Menonaktifkan fitur ini membatasi pemeriksaan kesehatan EMR dan dukungan terkait layanan. Setelah pembuatan, ubah parameter Collection Status of Service Operational Logs pada tab Basic Information. Untuk detailnya, lihat Bagaimana cara menghentikan pengumpulan log operasional layanan?. |
| StarRocks architecture | Tidak | Hanya tersedia saat STARROCKS3 dipilih. Pilih berdasarkan beban kerja Anda: Shared-nothing (default) mengintegrasikan komputasi dan penyimpanan pada disk lokal node komputasi (CNs) — paling cocok untuk online analytical processing (OLAP), analitik real-time, dan laporan Intelijen bisnis (BI). Shared-data memisahkan komputasi dari penyimpanan: CNs menjalankan tugas kueri sedangkan data disimpan di sistem terdistribusi eksternal, meningkatkan fleksibilitas dan keandalan sistem. Opsi ini cocok untuk skenario yang memerlukan penyimpanan data berskala besar dan komputasi elastis. |
| DLF Unified Metadata | Tidak | Dipilih secara default. Menyimpan metadata di Data Lake Formation (DLF) menggunakan ID akun Anda sebagai ID katalog DLF. Untuk mengaitkan kluster ini dengan katalog lain, klik Create Catalog, masukkan ID katalog, klik OK, lalu pilih katalog baru dari daftar drop-down DLF Catalog. |
| Advanced settings | Tidak | Nonaktif secara default. Aktifkan Custom Software Configuration untuk menyesuaikan parameter komponen (Hadoop, Spark, Hive) menggunakan file JSON. |
Langkah 3: Konfigurasikan parameter perangkat keras
| Parameter | Wajib | Deskripsi |
|---|---|---|
| Billing method | Ya | Subscription dipilih secara default. Gunakan Pay-as-you-go untuk pengujian jangka pendek atau pekerjaan yang dijadwalkan secara dinamis — biaya didasarkan pada jam aktual yang digunakan, ditagih setiap awal jam. Gunakan Subscription (bayar sebelum digunakan) untuk beban kerja produksi. |
| Zone | Ya | Zona dalam wilayah yang dipilih. Zona dalam wilayah yang sama terhubung melalui jaringan internal. Pilihan default berfungsi dalam sebagian besar kasus. |
| VPC | Ya | VPC yang sudah ada dipilih secara default. Untuk menggunakan VPC berbeda, buat satu di konsol VPC. |
| vSwitch | Ya | Pilih vSwitch di zona target. Jika tidak tersedia, buat satu di konsol VPC. |
| Default security group | Ya | Grup keamanan yang sudah ada dipilih secara default. Untuk membuat yang baru, klik create a new security group untuk membuka Konsol Elastic Compute Service (ECS). Untuk detailnya, lihat Buat grup keamanan dan Ikhtisar. Penting Jangan gunakan advanced security group yang dibuat di konsol ECS. |
| Node group | Ya | Konfigurasikan grup node untuk kluster. Lihat Pengaturan grup node di bawah. |
Pengaturan grup node
Kluster EMR mendukung tiga jenis grup node:
Master node group: Menjalankan proses kontrol (ResourceManager, NameNode). Satu node master dikonfigurasi secara default. Saat High Service Availability diaktifkan, beberapa node master dapat dikonfigurasi dan secara otomatis ditambahkan ke deployment set untuk mendistribusikan instans ECS di server fisik.
Core node group: Menyimpan semua data kluster. Dua node inti dikonfigurasi secara default. Tambahkan lebih banyak node inti setelah pembuatan sesuai beban kerja Anda.
Task node group: Menyediakan kapasitas komputasi tambahan tanpa penyimpanan data lokal. Tidak dikonfigurasi secara default. Mendukung penagihan Pay-as-you-go, Preemptible Instance, dan Subscription.
Untuk setiap grup node, konfigurasikan hal berikut:
| Pengaturan | Opsi | Catatan |
|---|---|---|
| System disk | Standard SSD, enhanced SSD, ultra disk | Enhanced SSD mendukung tingkat kinerja PL0, PL1, dan PL2. |
| Data disk | Standard SSD, enhanced SSD, ultra disk | Enhanced SSD mendukung tingkat kinerja PL0, PL1, PL2, dan PL3. Tingkat kinerja default: PL1. |
| Additional security group | Maksimal 2 grup keamanan | Memungkinkan interaksi dengan resource dan aplikasi eksternal. |
| Assign Public Network IP | Nonaktif secara default | Menetapkan alamat Elastic IP (EIP) ke kluster. Hanya tersedia untuk grup node kluster DataLake. Jika tidak diaktifkan dan Anda kemudian membutuhkan akses internet, ajukan EIP di ECS. Lihat Ajukan EIP. |
Untuk panduan memilih tipe instans, lihat Instance families.
Langkah 4: Konfigurasikan parameter dasar
Konfigurasikan parameter pada langkah Basic Configuration.
| Parameter | Wajib | Deskripsi |
|---|---|---|
| Cluster name | Ya | 1–64 karakter. Menerima huruf, angka, tanda hubung (-), dan garis bawah (_). Ini adalah satu-satunya parameter yang dapat Anda ubah setelah pembuatan kluster. |
| Identity credentials | Ya | Key Pair (default): Pasangan kunci SSH untuk masuk ke instans Linux. Lihat Ikhtisar. Password: password untuk masuk ke node master. Harus terdiri dari 8–30 karakter dan mencakup huruf kapital, huruf kecil, angka, serta karakter khusus (! @ # $ % ^ & *). |
(Opsional) Pengaturan lanjutan:
| Parameter | Deskripsi |
|---|---|
| ECS Application Role | Menetapkan role aplikasi ke kluster. EMR menggunakan role ini untuk meminta kredensial AccessKey temporary saat mengakses layanan Alibaba Cloud lain (seperti OSS), sehingga Anda tidak perlu memasukkan kredensial secara manual. |
| Bootstrap actions | Menjalankan skrip kustom sebelum kluster dimulai. Gunakan bootstrap actions untuk menginstal perangkat lunak atau memodifikasi lingkungan runtime. Lihat Gunakan bootstrap actions untuk menjalankan skrip. |
| Release protection | Mencegah pelepasan tidak sengaja kluster pay-as-you-go. Nonaktifkan release protection sebelum melepas kluster. Lihat Aktifkan dan nonaktifkan release protection. |
| Tags | Label untuk mengidentifikasi dan mengelola resource kluster. Tag juga dapat ditambahkan di tab Basic Information setelah pembuatan. Lihat Kelola dan gunakan tag. |
| Resource group | Mengelompokkan resource berdasarkan penggunaan, izin, atau kepemilikan. Lihat Gunakan kelompok sumber daya. |
| Data Disk Encryption | Hanya tersedia saat pembuatan kluster. Mengenkripsi data saat transit dan data saat diam di disk. Lihat Aktifkan enkripsi disk data. |
| System Disk Encryption | Hanya tersedia saat pembuatan kluster. Mengenkripsi sistem operasi, file program, dan data sistem di disk sistem. Lihat Aktifkan enkripsi disk sistem. |
| Remarks | Catatan teks bebas tentang kluster. Dapat diedit di tab Basic Information setelah pembuatan. |
Langkah 5: (Opsional) Simpan sebagai templat kluster
Opsi ini hanya tersedia saat Key Pair dipilih sebagai kredensial identitas.
Klik Save as Cluster Template.
Di kotak dialog, isi hal berikut:
Parameter Deskripsi Cluster template name 1–64 karakter. Menerima huruf, angka, tanda hubung (-), dan garis bawah (_). Cluster template resource group Pilih kelompok sumber daya untuk mengorganisasi templat. Untuk membuat kelompok sumber daya baru, klik Create Resource Group. Lihat Buat kelompok sumber daya. Klik OK.
Templat muncul di panel Manage Cluster Templates. Untuk detail tentang penggunaan templat, lihat Buat templat kluster.
Langkah 6: Konfirmasi dan verifikasi
Klik Confirm.
Segarkan halaman untuk memantau progres. Kluster siap digunakan saat Status menunjukkan Running.
FAQ
Bagaimana distribusi node Frontend (FE) dan Backend (BE) di antara node master dan core?
Node FE berjalan di node master. Dengan satu node master default, satu FE ditempatkan. Saat High Service Availability diaktifkan, tiga node master ditempatkan secara default—masing-masing menjalankan satu FE—memberikan toleransi kesalahan dan load balancing.
Node BE berjalan di node core, satu BE per node core secara default. Jumlah BE bertambah seiring dengan jumlah node core yang Anda konfigurasikan.