Cara mengirim pekerjaan dari node master kluster - E-MapReduce

Di Hadoop, node master mengelola seluruh kluster, termasuk pengiriman, pemantauan, dan penghentian pekerjaan. Untuk menjalankan pekerjaan pada kluster Hadoop, kirimkan pekerjaan tersebut ke node master.

Prasyarat

Anda telah membuat kluster di EMR on ECS. Untuk detailnya, lihat Create a cluster.
Pastikan server lokal Anda dapat terhubung ke node master kluster. Anda dapat mengaktifkan sakelar public network saat membuat kluster. Atau, setelah kluster dibuat, tetapkan alamat IP publik statis atau Elastic IP Address (EIP) ke instans ECS node master di Konsol ECS. Untuk detailnya, lihat Elastic IP Address (EIP).
Port 22 telah dibuka di security group kluster.

Prosedur

Login ke node master kluster melalui SSH. Untuk detailnya, lihat Log on to a cluster.
Setelah terhubung ke node melalui SSH, jalankan perintah berikut untuk mengirim dan menjalankan pekerjaan. Contoh ini berlaku untuk Spark 3.1.1.
```
spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode client --driver-memory 512m --num-executors 1 --executor-memory 1g --executor-cores 2 /opt/apps/SPARK3/spark-current/examples/jars/spark-examples_2.12-3.1.1.jar 10
```
Catatan
spark-examples_2.12-3.1.1.jar adalah file JAR contoh di kluster Anda. Anda dapat Log on to a cluster dan menemukannya di path /opt/apps/SPARK3/spark-current/examples/jars.
Lihat catatan eksekusi pekerjaan. Setelah Anda mengirim pekerjaan, Anda dapat melihat catatan eksekusinya di YARN UI.
1. Buka port 8443. Untuk detailnya, lihat Manage security groups.
2. Tambahkan pengguna. Untuk detailnya, lihat OpenLDAP user management.
  
  Anda memerlukan username dan password Knox untuk mengakses YARN UI.
3. Pada halaman EMR on ECS, klik Cluster Services di baris kluster target.
4. Klik tab Access Links and Ports.
5. Klik tautan publik di baris YARN UI.
  
  Login dengan username dan password Knox Anda.
6. Pada halaman All Applications, klik ID pekerjaan target untuk melihat detail eksekusinya.
  
  Bagian atas halaman menampilkan Cluster Metrics (termasuk Apps Submitted, Apps Running, Containers Running, Memory Used, dan lainnya) serta Cluster Nodes Metrics. Di bawah metrik tersebut, sebuah tabel mencantumkan aplikasi dengan kolom seperti ID, User, Name, Application Type, Queue, StartTime, State, dan FinalStatus. Gunakan kolom State untuk menemukan pekerjaan Anda dalam daftar, lalu klik ID-nya untuk melihat detailnya.