Alibaba Cloud E-MapReduce (EMR) memungkinkan Anda membangun dan menjalankan framework open-source untuk data besar seperti Hadoop, Spark, Hive, dan Presto guna pemrosesan dan analisis data skala besar. Topik ini menjelaskan langkah-langkah serta opsi konfigurasi untuk membuat kluster EMR di atas ECS agar Anda dapat dengan cepat menyiapkan dan mengelola kluster data besar Anda.
Jika Anda membuat kluster EMR untuk pertama kalinya setelah pukul 17.00 (UTC+8) pada 19 Desember 2022, Anda tidak dapat memilih tipe kluster Hadoop, Data Science, Presto, atau ZooKeeper.
Prasyarat
Anda telah menyelesaikan otorisasi RAM. Untuk informasi selengkapnya, lihat Otorisasi role untuk Akun Alibaba Cloud.
Catatan penggunaan
Untuk kluster DataLake, DataFlow, DataServing, dan Custom pada EMR V5.12.1, EMR V3.46.1, atau versi yang lebih baru, jika layanan yang dipilih tidak memerlukan node Core, Anda dapat mengklik Remove Node Group di kolom Actions pada bagian Node Group.
Langkah-langkah
-
Login ke Konsol E-MapReduce.
-
Pada bilah navigasi atas, pilih wilayah dan kelompok sumber daya sesuai kebutuhan Anda.
-
Wilayah: Kluster dibuat di wilayah yang dipilih. Anda tidak dapat mengubah wilayah setelah kluster dibuat.
-
Kelompok Sumber Daya: Secara default, semua resource dalam akun Anda akan ditampilkan.
-
-
Klik Create Cluster.
-
Konfigurasikan kluster berdasarkan petunjuk di layar.
Saat membuat kluster, Anda harus mengonfigurasi perangkat lunak, perangkat keras, dan pengaturan dasarnya, lalu mengonfirmasi pesanan.
CatatanSetelah kluster dibuat, Anda tidak dapat mengubah pengaturan konfigurasinya, kecuali nama kluster. Tinjau kembali semua pengaturan dengan cermat sebelum membuat kluster.
-
Setelah memverifikasi bahwa semua pengaturan sudah benar, klik Confirm.
Penting-
Kluster pay-as-you-go: Pembuatan dimulai segera. Setelah kluster dibuat, statusnya berubah menjadi Running.
-
Kluster subscription: Pesanan dibuat terlebih dahulu. Kluster akan dibuat setelah Anda menyelesaikan pembayaran.
-
Parameter
Konfigurasi perangkat lunak
|
Parameter |
Deskripsi |
|
Region |
Wilayah adalah area geografis tempat pusat data berada. Memilih wilayah yang lebih dekat dengan lokasi Anda dapat mengurangi latensi jaringan. Anda tidak dapat mengubah wilayah setelah kluster dibuat. |
|
Business Scenario |
Pilih skenario berdasarkan kebutuhan bisnis Anda:
|
|
Product Version |
Versi rilis produk EMR. Untuk informasi selengkapnya, lihat Versi rilis. |
|
High Service Availability |
Fitur ini dinonaktifkan secara default. Saat Anda mengaktifkan ketersediaan tinggi, EMR membuat beberapa node Master untuk mendukung high availability bagi ResourceManager dan NameNode. Node-node tersebut didistribusikan di perangkat keras dasar yang berbeda untuk mengurangi risiko kegagalan. |
|
Optional Services (Select One At Least) |
Pilih layanan lain berdasarkan kebutuhan bisnis Anda. Layanan yang dipilih akan secara otomatis menjalankan proses terkaitnya. Penting
|
|
Collect Service Operational Logs |
Pengaturan ini, yang diaktifkan secara default, mengontrol pengumpulan log untuk semua layanan. Log-log tersebut hanya digunakan untuk diagnostik kluster. Setelah kluster dibuat, Anda dapat membuka halaman Basic Information untuk mengubah Collection Status of Service Operational Logs. Penting
Jika Anda menonaktifkan pengumpulan log, pemeriksaan kesehatan EMR dan dukungan teknis akan terbatas, tetapi fitur lain tetap berfungsi normal. Untuk detail cara menonaktifkan fitur ini dan dampaknya, lihat Bagaimana cara menghentikan pengumpulan log layanan?. |
|
Metadata |
Metode berikut didukung untuk menyimpan dan mengelola metadata:
|
|
Root Storage Directory of Cluster |
Parameter ini hanya diperlukan saat Anda memilih layanan OSS-HDFS. Tidak diperlukan jika Anda memilih layanan HDFS. Penting
Bucket yang dibuat dengan mengklik tombol Create OSS-HDFS Bucket di konsol EMR hanya mendukung operasi baca dan tulis melalui EMR. Operasi dari konsol atau API tidak didukung. Saat pertama kali menggunakan layanan OSS-HDFS, Akun Alibaba Cloud Anda (akun utama) harus mengklik here dan mengikuti petunjuk untuk menyelesaikan otorisasi. Jika Anda adalah Pengguna RAM, Akun Alibaba Cloud Anda harus memberi otorisasi kepada Anda untuk mengaktifkan layanan dan memberikan kebijakan AliyunEMRDlsFullAccess serta role AliyunOSSDlsDefaultRole dan AliyunEMRDlsDefaultRole. Untuk informasi selengkapnya, lihat Berikan izin kepada Pengguna RAM. Pilih bucket di wilayah yang sama tempat layanan OSS-HDFS telah diaktifkan, atau klik Create OSS-HDFS Bucket untuk membuat instance OSS-HDFS baru sebagai jalur penyimpanan root untuk kluster. Catatan
|
Skema lainnya
Konfigurasi perangkat keras
|
Parameter |
Deskripsi |
|
Billing Method |
Subscription dipilih secara default. Metode penagihan berikut didukung:
|
|
Zone |
Zona ketersediaan adalah lokasi fisik yang berbeda dalam suatu wilayah, saling terhubung oleh jaringan pribadi berlatensi rendah. Anda biasanya dapat menggunakan zona ketersediaan default. |
|
VPC |
VPC adalah lingkungan jaringan yang terisolasi secara logis di Alibaba Cloud yang memberi Anda kontrol penuh atas konfigurasi jaringan Anda. Pilih VPC yang sudah ada, atau klik Create VPC untuk membuatnya langsung di konsol VPC. Untuk informasi selengkapnya, lihat Buat dan kelola VPC. Catatan
Anda tidak dapat mengubah Alamat IP pribadi setelah kluster dibuat karena Alamat IP pribadi terikat pada Virtual Private Cloud (VPC). |
|
vSwitch |
vSwitch adalah subdivisi jaringan dasar dari VPC yang digunakan untuk menghubungkan berbagai sumber daya cloud. Pilih vSwitch yang sudah ada, atau klik . Create vSwitch untuk membuatnya langsung di konsol VPC. Untuk informasi selengkapnya, lihat Buat dan kelola vSwitch. Ukuran blok CIDR vSwitch menentukan jumlah Alamat IPv4 yang tersedia. Misalnya, blok CIDR /24 menyediakan sekitar 250 alamat IP yang tersedia, blok /20 menyediakan sekitar 4.090, dan blok /17 menyediakan sekitar 32.764. Jika kluster Anda memerlukan banyak node, pilih vSwitch dengan blok CIDR yang lebih besar untuk memastikan cukup alamat IP dapat dialokasikan ke semua node kluster. Anda tidak dapat mengubah blok CIDR vSwitch setelah dibuat. Jika Anda memerlukan rentang alamat IP yang lebih besar, Anda harus membuat vSwitch baru dengan blok CIDR yang lebih besar, lalu membuat kluster baru berdasarkan vSwitch tersebut. Saat membuat vSwitch, konsol akan menampilkan jumlah alamat IP yang tersedia untuk blok CIDR yang dipilih, yang membantu Anda menilai apakah memenuhi kebutuhan ukuran kluster Anda. |
|
Default Security Group |
Grup keamanan adalah firewall virtual yang mengontrol lalu lintas arah masuk dan lalu lintas keluar untuk instans dalam grup tersebut. Untuk informasi selengkapnya, lihat Ikhtisar grup keamanan. Pilih grup keamanan yang sudah ada, atau klik create a new security group. untuk membuatnya di konsol ECS. Untuk informasi selengkapnya, lihat Buat grup keamanan. Penting
Jangan gunakan grup keamanan enterprise yang dibuat di ECS. |
|
Node Group |
Anda dapat memilih tipe instans sesuai kebutuhan Anda. Untuk informasi selengkapnya, lihat Keluarga instans.
|
|
Cluster Scaling |
Anda dapat memilih aturan penskalaan otomatis sesuai kebutuhan:
Catatan
|
Konfigurasi dasar
|
Parameter |
Deskripsi |
|
Cluster Name |
Nama kluster. Nama harus terdiri dari 1 hingga 64 karakter dan hanya boleh berisi karakter Tionghoa, huruf, angka, tanda hubung (-), dan garis bawah (_). |
|
Identity Credentials |
Identity Credentials menyediakan akses aman ke node Master kluster. Untuk instruksi login, lihat Login ke kluster. Jenis kredensial berikut didukung:
|
Konfirmasi pesanan
(Opsional) Save as Cluster Template: Jika Anda memilih Key Pair untuk kredensial logon, Anda dapat mengklik Save as Cluster Template untuk menyimpan konfigurasi kluster saat ini sebagai templat kluster.
-
Pada kotak dialog Save as Cluster Template, masukkan Cluster Template Name dan pilih Cluster Template Resource Group.
Parameter
Deskripsi
Cluster Template Name
Masukkan nama untuk templat kluster guna memudahkan pengelolaan. Nama harus terdiri dari 1 hingga 64 karakter dan hanya boleh berisi karakter Tionghoa, huruf, angka, tanda hubung (-), dan garis bawah (_).
Cluster Template Resource Group
Pilih kelompok sumber daya yang sudah ada untuk mengatur templat Anda.
Jika Anda perlu membuat kelompok sumber daya baru, Anda dapat mengklik Create Resource Group. di bawah ini. Untuk informasi selengkapnya, lihat Buat kelompok sumber daya.
-
Klik OK.
Templat kluster baru ditambahkan ke panel Manage Cluster Templates. Untuk informasi selengkapnya tentang templat kluster, lihat Buat templat kluster.
FAQ
Dokumentasi terkait
-
Untuk pertanyaan terkait pembuatan kluster, lihat FAQ manajemen kluster.
-
Untuk menambahkan layanan ke kluster setelah dibuat, lihat Tambahkan layanan.
-
Untuk informasi tentang cara login ke kluster, lihat Login ke kluster.
-
Untuk informasi tentang cara memilih tipe instans, lihat Ikhtisar instans ECS.
-
Untuk pertanyaan terkait penggunaan berbagai komponen, lihat FAQ.
-
Untuk membuat kluster secara terprogram, lihat CreateCluster.