Kirim & Pantau Tugas Spark di EMR melalui SSH-E-MapReduce-Alibaba Cloud

Dalam Hadoop, node master kluster bertanggung jawab untuk mengelola seluruh kluster, termasuk pengiriman pekerjaan, pemantauan, dan penghentian. Untuk mengeksekusi pekerjaan pada kluster Hadoop, Anda harus mengirimkan pekerjaan tersebut melalui node master.

Prasyarat

Sebuah kluster telah dibuat di EMR pada ECS. Untuk informasi lebih lanjut, lihat Buat Kluster.
Server lokal Anda terhubung ke node master kluster. Anda dapat mengaktifkan sakelar Jaringan Publik saat membuat kluster atau menyambungkan jaringan publik ke node master di Konsol ECS setelah kluster dibuat. Anda dapat menetapkan alamat IP publik statis atau Alamat IP Elastis ke instance ECS node master. Untuk informasi lebih lanjut, lihat Elastic IP Address.
Port 22 diaktifkan untuk grup keamanan tempat kluster Anda berada.

Prosedur

Masuk ke node master kluster menggunakan SSH. Untuk informasi lebih lanjut, lihat Masuk ke Kluster.
Setelah terhubung ke node menggunakan SSH, jalankan perintah berikut di baris perintah untuk mengirimkan dan menjalankan pekerjaan. Dalam contoh ini, Spark 3.1.1 digunakan, dan perintah berikut digunakan untuk mengirimkan serta menjalankan pekerjaan:
```
spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode client --driver-memory 512m --num-executors 1 --executor-memory 1g --executor-cores 2 /opt/apps/SPARK3/spark-current/examples/jars/spark-examples_2.12-3.1.1.jar 10
```
Catatan
spark-examples_2.12-3.1.1.jar adalah nama paket JAR di kluster Anda. Anda bisa masuk ke kluster dan memeriksa jalur /opt/apps/SPARK3/spark-current/examples/jars.
Lihat catatan eksekusi pekerjaan. Setelah mengirimkan pekerjaan, Anda dapat melihat catatan eksekusi pekerjaan melalui antarmuka web YARN. Berikut ini adalah deskripsi singkatnya:
1. Aktifkan port 8443. Untuk informasi lebih lanjut, lihat Kelola Grup Keamanan.
2. Tambahkan pengguna. Untuk informasi lebih lanjut, lihat Manajemen Pengguna OpenLDAP.
  Untuk mengakses antarmuka web YARN menggunakan akun Knox Anda, Anda harus mendapatkan nama pengguna dan kata sandi akun Knox.
3. Di halaman EMR on ECS, klik Layanan Kluster di baris kluster target.
4. Klik tab Tautan Akses dan Port.
5. Klik tautan publik di baris YARN UI.
  Gunakan pengguna yang telah ditambahkan untuk otentikasi logon dan akses antarmuka web YARN.
6. Di halaman Semua Aplikasi, klik ID pekerjaan target untuk melihat detail pekerjaan tersebut.