Cara membuat kluster Dataflow Kafka - E-MapReduce - Alibaba Cloud Documentation Center

Topik ini menjelaskan cara membuat kluster Dataflow Kafka, yaitu jenis kluster E-MapReduce yang mencakup layanan Kafka.

Batasan

Layanan Kafka tidak didukung pada versi E-MapReduce (EMR) 5.18.0 ke atas atau 3.52.0 ke atas. Kami menyarankan Anda menggunakan ApsaraMQ for Kafka atau menginstal Kafka secara manual.

Catatan penggunaan

Sebelum membuat kluster Dataflow Kafka, pilih tipe instans ECS dan jumlah broker berdasarkan perkiraan beban kerja Anda. Karena kebutuhan bervariasi tergantung skenario bisnis, tidak tersedia konfigurasi universal; sesuaikan kluster dengan kebutuhan spesifik Anda. Secara umum, pertimbangkan rekomendasi berikut saat memilih tipe instans:

Untuk broker, pertahankan rasio CPU terhadap memori sebesar 1:4.
Gunakan cloud disk sebagai data disk.
Pertimbangkan keseimbangan antara throughput I/O cloud disk dan bandwidth NIC.

Untuk parameter penerapan, pertimbangkan hal berikut:

Karena Kafka di EMR bergantung pada ZooKeeper, ketersediaan tinggi layanan Kafka juga bergantung padanya. Oleh karena itu, kami menyarankan Anda mengaktifkan ketersediaan tinggi saat membuat kluster. Setelah opsi ini diaktifkan, layanan ZooKeeper tiga node akan diterapkan.
Jika kelompok node master hanya menjalankan ZooKeeper, Anda hanya perlu mengonfigurasi satu data disk untuk kelompok node tersebut.

Untuk rekomendasi penentuan ukuran yang lebih detail, lihat Penilaian resource kluster.

Prosedur

Buka halaman pembuatan kluster.
1. Login ke Konsol E-MapReduce.
2. Opsi: Di bilah navigasi atas, pilih wilayah dan kelompok sumber daya sesuai kebutuhan bisnis Anda.
  - Wilayah: Kluster dibuat di wilayah yang dipilih. Pengaturan ini tidak dapat diubah setelah pembuatan.
  - Kelompok Sumber Daya: Secara default, semua resource di akun Anda ditampilkan.
3. Klik CREATE_CLUSTER.

Konfigurasikan pengaturan kluster.

Pembuatan kluster melibatkan konfigurasi perangkat lunak, perangkat keras, dan pengaturan dasar.

Penting

Setelah kluster dibuat, hanya nama kluster yang dapat diubah. Verifikasi semua konfigurasi dengan cermat sebelum melanjutkan. Untuk informasi lebih lanjut tentang parameter tersebut, lihat Buat kluster.

Konfigurasikan pengaturan perangkat lunak.

Parameter	Contoh	Deskripsi
Region	China (Hangzhou)	Wilayah tempat kluster dibuat. Pengaturan ini tidak dapat diubah setelah pembuatan.
Business Scenario	Real-time Data Streaming	Pilih Real-time Data Streaming.
Product Version	EMR-3.43.1	Setelah Anda memilih versi EMR, Anda dapat melihat versi layanan yang disertakan. Misalnya, EMR-3.43.1 mencakup Kafka 2.12_2.4.1, di mana 2.12 adalah versi Scala dan 2.4.1 adalah versi open-source Kafka.
High Service Availability	On	Opsi ini dimatikan secara default. Penting Mengaktifkan opsi ini akan menerapkan layanan ZooKeeper tiga node pada kelompok node master. Kami menyarankan mengaktifkan ketersediaan tinggi karena layanan Kafka di EMR bergantung pada ZooKeeper untuk ketersediaannya sendiri.
Optional Services	Kafka	Pilih layanan Kafka. Anda juga dapat memilih komponen lain sesuai kebutuhan. Layanan untuk komponen yang dipilih akan otomatis dimulai.
Collect Service Operational Logs	On	Pengaturan ini, yang diaktifkan secara default, mengontrol pengumpulan log untuk semua layanan. Log ini hanya digunakan untuk diagnostik kluster. Setelah kluster dibuat, Anda dapat membuka halaman Basic Information untuk mengubah Collection Status of Service Operational Logs. Penting Jika Anda menonaktifkan pengumpulan log, pemeriksaan kesehatan EMR dan dukungan teknis akan terbatas, tetapi fitur lain tetap berfungsi normal. Untuk detail cara menonaktifkan fitur ini dan dampaknya, lihat Bagaimana cara menghentikan pengumpulan log layanan?.

Konfigurasikan pengaturan perangkat keras.

Parameter	Contoh	Deskripsi
Billing Method	Pay-as-you-go	Metode penagihan default adalah subscription. Metode penagihan berikut didukung: Pay-as-you-go: Metode penagihan pasca-bayar yang menagih Anda per jam berdasarkan resource yang digunakan. Metode ini cocok untuk pengujian jangka pendek atau beban kerja dinamis. Subscription: Metode penagihan prabayar di mana Anda membayar resource di muka. Catatan Kami menyarankan menggunakan opsi Pay-as-you-go untuk pengujian. Setelah pengujian berhasil, buat kluster Subscription baru untuk penggunaan produksi.
Zone	China (Hangzhou) Zone I	Zona adalah lokasi fisik berbeda dalam wilayah yang sama yang saling terhubung melalui jaringan internal. Anda biasanya dapat menggunakan zona default.
VPC	emr_test/vpc-bp1f4epmkvncimpgs****	Secara default, Virtual Private Cloud (VPC) yang sudah ada dipilih. Untuk membuat VPC baru, buka konsol VPC. Untuk informasi lebih lanjut, lihat Buat dan kelola VPC.
vSwitch	vsw_test/vsw-bp1e2f5fhaplp0g6p****	Pilih vSwitch di zona yang ditentukan dari VPC yang dipilih. Jika tidak tersedia vSwitch di zona tersebut, buat satu di konsol VPC. Untuk informasi lebih lanjut, lihat VPCs and vSwitches.
Default Security Group	sg-bp1ddw7sm2risw**/sg-bp1ddw7sm2risw**	Secara default, security group yang sudah ada dipilih. Untuk informasi lebih lanjut tentang security group, lihat Ikhtisar security group. Anda juga dapat mengklik create a new security group. untuk membuat security group di konsol ECS. Untuk informasi lebih lanjut, lihat Buat security group. Penting Security group enterprise yang dibuat di konsol ECS tidak didukung.
Node Group	Konfigurasikan sesuai kebutuhan.	Instance Type: Pilih tipe instans sesuai kebutuhan atau rekomendasi penentuan ukuran. Untuk rekomendasi penentuan ukuran, lihat Penilaian resource kluster. Add to Deployment Set: Jika ketersediaan tinggi diaktifkan, node master secara default ditambahkan ke set penyebaran. Untuk informasi lebih lanjut, lihat Aktifkan set penyebaran. System Disk: Pilih tipe untuk disk sistem. System disk size: Nilainya dapat berkisar antara 80 GiB hingga 500 GiB, tetapi disarankan minimal 120 GiB. Data Disk: Pilih tipe untuk data disk. Catatan Kami menyarankan menggunakan cloud disk. Data disk size: Nilainya dapat berkisar antara 40 GiB hingga 32.768 GiB, tetapi disarankan minimal 80 GiB. Instances: Secara default, tiga instans master dan tiga instans core dibuat. Additional Security Group: Anda dapat mengaitkan hingga dua security group tambahan dengan kelompok node untuk mengontrol akses secara fleksibel antara resource eksternal atau aplikasi yang berbeda. Assign Public Network IP: Menentukan apakah akan mengaitkan alamat IP elastis dengan kluster. Ini dinonaktifkan secara default. Catatan Jika Anda perlu mengakses kluster melalui jaringan publik setelah dibuat, ajukan alamat IP elastis (EIP) di konsol ECS. Untuk informasi lebih lanjut, lihat dokumentasi tentang pengajuan EIP.

Konfigurasikan pengaturan dasar.

Di bagian Basic Information, konfigurasikan parameter berikut.

Penting

Parameter di bagian Advanced Settings tidak didukung. Jangan konfigurasikan parameter tersebut.

Parameter	Contoh	Deskripsi
Cluster Name	Emr-Kafka	Nama harus terdiri dari 1 hingga 64 karakter dan dapat berisi huruf, angka, tanda hubung (-), dan garis bawah (_).
Identity Credentials	Custom password	Key Pair (default): Gunakan pasangan kunci SSH untuk login ke instans Linux. Untuk informasi lebih lanjut tentang cara menggunakan pasangan kunci, lihat Pasangan kunci SSH.
Identity Credentials	Custom password	Password: Tetapkan password untuk login ke instans node master. Password harus terdiri dari 8 hingga 30 karakter dan berisi huruf kapital, huruf kecil, angka, dan karakter khusus. Karakter khusus yang diizinkan adalah: !, @, #, $, %, ^, &, dan *.

Di halaman Confirm, centang kotak E-MapReduce Terms of Service.
Klik create.
Kluster berhasil dibuat ketika Status-nya berubah menjadi Running.

Langkah selanjutnya

Setelah kluster dibuat, Anda dapat memodifikasi parameter default berdasarkan kasus penggunaan Anda untuk memastikan kluster memenuhi kebutuhan produksi. Misalnya:

Tentukan apakah akan mengaktifkan SSL untuk mengenkripsi koneksi jaringan. Untuk informasi lebih lanjut, lihat Gunakan SSL untuk mengenkripsi koneksi Kafka.
Tentukan apakah akan mengaktifkan SASL untuk otentikasi login. Untuk informasi lebih lanjut, lihat Gunakan SASL untuk mengotentikasi layanan Kafka.