Alibaba Cloud E-MapReduce (EMR) membantu Anda membangun dan menjalankan framework open source untuk data besar, seperti Hadoop, Spark, Hive, dan Presto, guna pemrosesan dan analisis data skala besar. Topik ini menjelaskan cara membuat kluster EMR di ECS serta konfigurasi yang diperlukan agar Anda dapat dengan cepat menyiapkan dan mengelola kluster data besar Anda.
Jika Anda membuat kluster EMR untuk pertama kalinya setelah pukul 17.00 (UTC+8) pada 19 Desember 2022, Anda tidak dapat memilih tipe kluster Hadoop, Data Science, Presto, atau Zookeeper.
Prasyarat
Otorisasi RAM telah selesai. Untuk informasi selengkapnya, lihat Otorisasi peran Akun Alibaba Cloud.
Peringatan
Untuk kluster DataLake, DataFlow, DataServing, dan Custom pada EMR 5.12.1 ke atas atau EMR 3.46.1 ke atas, jika layanan yang dipilih tidak bergantung pada node inti, Anda dapat mengklik Remove Node Group di bagian Node Group.
Prosedur
Masuk ke Konsol E-MapReduce.
Pada bilah navigasi atas, pilih wilayah dan kelompok sumber daya sesuai kebutuhan.
Wilayah: Kluster akan dibuat di wilayah yang dipilih. Wilayah tidak dapat diubah setelah kluster dibuat.
Kelompok Sumber Daya: Secara default, semua sumber daya dalam akun Anda akan ditampilkan.
Klik Create Cluster.
Konfigurasikan kluster sesuai petunjuk.
Saat membuat kluster, Anda harus mengonfigurasi perangkat lunak, perangkat keras, dan pengaturan dasar, lalu mengonfirmasi pesanan.
CatatanSetelah kluster dibuat, Anda tidak dapat mengubah konfigurasinya, kecuali nama kluster. Pastikan semua konfigurasi sudah benar sebelum membuat kluster.
Setelah memastikan semua informasi benar, klik Confirm.
PentingKluster bayar sesuai pemakaian: Proses pembuatan kluster dimulai segera. Setelah kluster dibuat, statusnya berubah menjadi Running.
Kluster langganan: Pesanan akan dibuat. Kluster dibuat setelah Anda menyelesaikan pembayaran.
Detail konfigurasi
Konfigurasi perangkat lunak
Konfigurasi | Deskripsi |
Region | Wilayah adalah area geografis tempat pusat data berada. Pilih wilayah yang dekat dengan lokasi Anda untuk mengurangi latensi jaringan. Wilayah tidak dapat diubah setelah instans dibuat. Dari daftar drop-down Region, pilih lokasi fisik untuk instans EMR. |
Business Scenario | Pilih skenario berdasarkan kebutuhan aktual Anda:
|
Product Version | Versi rilis produk EMR. Untuk informasi selengkapnya, lihat Versi rilis. |
High Service Availability | Fitur ini dinonaktifkan secara default. Jika Anda mengaktifkan ketersediaan tinggi, EMR akan membuat beberapa node master untuk mendukung ketersediaan tinggi ResourceManager dan NameNode. EMR mendistribusikan node-node tersebut di perangkat keras dasar yang berbeda untuk mengurangi risiko kegagalan. |
Optional Services (Select One At Least) | Pilih layanan lain sesuai kebutuhan. Proses layanan terkait untuk layanan yang dipilih akan dijalankan secara default. Penting
|
Collect Service Operational Logs | Anda dapat mengaktifkan atau menonaktifkan pengumpulan log untuk semua layanan dengan satu klik. Fitur ini diaktifkan secara default untuk mengumpulkan log operasional layanan Anda. Log ini hanya digunakan untuk diagnostik kluster. Setelah kluster dibuat, ubah Collection Status of Service Operational Logs pada halaman Basic Information. Penting Jika Anda menonaktifkan pengumpulan log, pemeriksaan kesehatan EMR dan dukungan teknis akan terbatas, tetapi fitur lain tetap dapat digunakan secara normal. Untuk informasi selengkapnya tentang cara menonaktifkan fitur ini dan dampaknya, lihat Bagaimana cara menghentikan pengumpulan log layanan?. |
Metadata | Metode berikut didukung untuk menyimpan dan mengelola metadata:
|
Root Storage Directory of Cluster | Konfigurasikan parameter ini saat Anda memilih layanan OSS-HDFS di bagian optional services. Parameter ini tidak diperlukan jika Anda memilih layanan HDFS. Penting Bucket yang dibuat dengan mengklik Create OSS-HDFS Bucket di konsol EMR hanya dapat dibaca dan ditulis melalui EMR. Operasi melalui konsol atau API tidak didukung. Pertama kali menggunakan layanan OSS-HDFS, akun Alibaba Cloud harus mengklik here dan mengikuti petunjuk untuk menyelesaikan otorisasi. Untuk pengguna Resource Access Management (RAM), akun Alibaba Cloud harus memberikan otorisasi untuk mengaktifkan layanan serta memberikan izin AliyunEMRDlsFullAccess, dan peran AliyunOSSDlsDefaultRole serta AliyunEMRDlsDefaultRole. Untuk informasi selengkapnya, lihat Berikan izin kepada pengguna RAM. Pilih bucket yang telah diaktifkan layanan OSS-HDFS di wilayah yang sama, atau klik Create OSS-HDFS Bucket dan ikuti petunjuk untuk membuat instans OSS-HDFS sebagai jalur penyimpanan root kluster. Catatan
|
Skenario lainnya
Konfigurasi perangkat keras
Konfigurasi | Deskripsi |
Billing Method | Metode penagihan default adalah langganan. Metode penagihan berikut didukung:
|
Zone | Zona adalah area fisik yang berbeda dalam wilayah yang sama. Zona dalam wilayah yang sama dapat saling berkomunikasi melalui jaringan internal. Anda biasanya dapat menggunakan zona default. |
VPC | Virtual private cloud (VPC) adalah lingkungan jaringan terisolasi yang Anda definisikan di Alibaba Cloud. Anda memiliki kontrol penuh atas VPC Anda. Pilih VPC yang sudah ada, atau klik Create VPC untuk menuju konsol VPC dan membuat VPC. Untuk informasi selengkapnya, lihat Buat dan kelola VPC. Catatan Anda tidak dapat mengubah Alamat IP pribadi setelah kluster dibuat karena Alamat IP pribadi kluster terikat ke VPC. |
vSwitch | vSwitch adalah modul jaringan dasar VPC yang menghubungkan berbagai sumber daya cloud. Pilih vSwitch yang sudah ada, atau klik . Create vSwitch untuk menuju konsol VPC dan membuat vSwitch. Untuk informasi selengkapnya, lihat Buat dan kelola vSwitch. |
Default Security Group | Security group adalah firewall virtual yang mengontrol lalu lintas arah masuk dan keluar instans dalam security group tersebut. Untuk informasi selengkapnya, lihat Ikhtisar security group. Pilih grup keamanan yang ada atau klik create a new security group. untuk masuk ke Konsol ECS dan membuat grup keamanan baru. Untuk informasi selengkapnya, lihat Membuat grup keamanan. Penting Jangan gunakan advanced security group yang dibuat di ECS. |
Node Group | Pilih tipe instans sesuai kebutuhan. Untuk informasi selengkapnya, lihat Keluarga instans.
|
Cluster Scaling | Pilih aturan penskalaan sesuai kebutuhan:
Catatan
|
Konfigurasi dasar
Item Konfigurasi | Deskripsi |
Cluster Name | Nama kluster. Nama harus terdiri dari 1 hingga 64 karakter dan dapat berisi karakter Tionghoa, huruf, angka, tanda hubung (-), dan garis bawah (_). |
Identity Credentials | Identity Credentials digunakan untuk login aman ke node master kluster. Untuk operasi login, lihat Login ke kluster. Identitas berikut didukung:
|
Konfirmasi pesanan
(Opsional) Save as Cluster Template: Jika Anda memilih Key Pair untuk otentikasi identitas, Anda dapat mengklik Save as Cluster Template untuk menyimpan konfigurasi kluster saat ini sebagai templat.
Pada kotak dialog Save as Cluster Template, masukkan Cluster Template Name dan pilih Cluster Template Resource Group.
Parameter
Deskripsi
Cluster Template Name
Masukkan nama untuk templat kluster agar memudahkan manajemen di masa mendatang. Nama harus terdiri dari 1 hingga 64 karakter dan hanya boleh berisi karakter Tionghoa, huruf, angka, tanda hubung (-), dan garis bawah (_).
Cluster Template Resource Group
Pilih kelompok sumber daya yang sudah ada sesuai kebutuhan untuk mengelola templat berdasarkan kelompok.
Untuk membuat kelompok sumber daya baru, klik Create Resource Group.. Untuk informasi selengkapnya, lihat Buat kelompok sumber daya.
Klik OK.
Templat kluster baru ditambahkan ke panel Manage Cluster Templates. Untuk informasi selengkapnya tentang templat kluster, lihat Buat templat kluster.
Tanya Jawab Umum
Dokumen terkait
Untuk FAQ tentang pembuatan kluster, lihat FAQ tentang manajemen kluster.
Untuk menambahkan layanan setelah kluster dibuat, lihat Tambahkan layanan.
Untuk informasi tentang cara masuk ke kluster, lihat Masuk ke kluster.
Untuk informasi tentang cara memilih tipe instans, lihat Tipe instans ECS.
Untuk FAQ tentang penggunaan berbagai komponen, lihat FAQ.
Untuk informasi tentang penggunaan API, lihat CreateCluster.