Kirim dan lihat pekerjaan Flink - E-MapReduce

Topik ini menjelaskan cara mengirim pekerjaan Flink dan melihat statusnya di konsol E-MapReduce (EMR).

Informasi latar belakang

Dalam kluster Dataflow, Flink dijalankan di atas YARN. Anda dapat menggunakan SSH untuk masuk ke kluster Dataflow dan menjalankan perintah CLI guna mengirim pekerjaan Flink.

Kluster Dataflow yang dijalankan dalam mode YARN mendukung pengiriman pekerjaan Flink dalam tiga mode: Session, Per-Job Cluster, dan Application.

Mode	Deskripsi	Fitur
Session mode	Dalam mode session, kluster Flink dibuat berdasarkan parameter sumber daya yang Anda tentukan. Semua pekerjaan dikirim ke kluster ini. Kluster tidak dilepas secara otomatis setelah pekerjaan selesai. Sebagai contoh, jika terjadi pengecualian pada suatu pekerjaan yang menyebabkan Task Manager mati, semua pekerjaan lain yang berjalan pada Task Manager tersebut akan gagal. Selain itu, karena hanya ada satu Job Manager dalam sebuah kluster, tekanan pada Job Manager meningkat seiring bertambahnya jumlah pekerjaan.	Keuntungan: Overhead waktu yang disebabkan oleh alokasi sumber daya saat mengirim pekerjaan lebih kecil dibandingkan dengan mode lainnya. Kerugian: Karena semua pekerjaan berjalan dalam kluster yang sama, terjadi persaingan sumber daya dan pekerjaan dapat saling memengaruhi. Berdasarkan fitur-fitur ini, mode ini cocok untuk menerapkan pekerjaan yang memerlukan waktu startup lebih singkat dan memiliki waktu eksekusi yang relatif pendek.
Per-Job Cluster mode	Saat Anda menggunakan mode per-job cluster, YARN memulai kluster Flink baru untuk setiap pekerjaan Flink yang Anda kirim, lalu menjalankan pekerjaan tersebut. Ketika pekerjaan selesai atau dibatalkan, kluster Flink untuk pekerjaan tersebut dilepas.	Keuntungan: Sumber daya diisolasi antar pekerjaan, dan perilaku abnormal pada satu pekerjaan tidak memengaruhi pekerjaan lainnya. Karena setiap pekerjaan memiliki satu Job Manager sendiri, masalah overload Job Manager akibat menjalankan banyak pekerjaan tidak terjadi. Kerugian: Kluster Flink khusus dimulai untuk setiap pekerjaan, sehingga meningkatkan overhead saat memulai pekerjaan. Berdasarkan fitur-fitur ini, mode ini biasanya cocok untuk pekerjaan dengan waktu eksekusi yang lebih lama.
Application mode	Saat Anda menggunakan mode application, YARN memulai kluster Flink baru untuk setiap aplikasi Flink (satu aplikasi dapat berisi satu atau beberapa pekerjaan) yang Anda kirim. Ketika aplikasi selesai atau dibatalkan, kluster Flink untuk aplikasi tersebut dilepas. Perbedaan antara mode ini dan mode per-job adalah bahwa metode `main()` dalam paket JAR aplikasi dieksekusi pada Job Manager di dalam kluster. Jika paket JAR yang dikirim berisi beberapa pekerjaan, semua pekerjaan tersebut dieksekusi dalam kluster yang termasuk dalam aplikasi tersebut.	Keuntungan: Mengurangi beban pada klien saat mengirim pekerjaan. Kerugian: Kluster Flink khusus dimulai untuk setiap aplikasi Flink, sehingga meningkatkan overhead waktu saat memulai aplikasi.

Prasyarat

Kluster Dataflow dalam mode Flink telah dibuat. Untuk informasi selengkapnya, lihat Buat kluster.

Kirim pekerjaan dan lihat status pekerjaan

Catatan

Contoh TopSpeedWindowing dalam Flink digunakan dalam topik ini. TopSpeedWindowing adalah pekerjaan streaming yang berjalan dalam periode waktu yang lama.

Anda dapat memilih salah satu dari mode berikut untuk mengirim pekerjaan dan melihat statusnya sesuai kebutuhan bisnis:

Session mode

Masuk ke node master kluster melalui SSH. Untuk informasi selengkapnya, lihat Masuk ke node master kluster.
Jalankan perintah berikut untuk memulai sesi YARN.
```
yarn-session.sh --detached
```
Setelah perintah berhasil dijalankan, sistem akan mengembalikan ID Aplikasi, misalnya application_1750137174986_0001. Pada bagian berikutnya, <application_XXXX_YY> digunakan untuk merepresentasikan ID tersebut.
Jalankan perintah berikut untuk mengirim pekerjaan.
```
flink run --detached /opt/apps/FLINK/flink-current/examples/streaming/TopSpeedWindowing.jar
```
Setelah pekerjaan dikirim, sistem akan mengembalikan informasi seperti pada keluaran berikut.
Pada keluaran tersebut, 3785db18d371326758d7843dd2a1**** adalah ID pekerjaan. Pada bagian berikutnya, <jobId> digunakan untuk merepresentasikan ID ini.
Jalankan perintah berikut untuk melihat status pekerjaan.
```
flink list -t yarn-session -Dyarn.application.id=<application_XXXX_YY>
```
Sistem akan mengembalikan informasi seperti pada keluaran berikut.
```
------------------ Running/Restarting Jobs -------------------
16.06.2025 18:20:55 : 3785db18d371326758d7843dd2a1**** : CarTopSpeedWindowingExample (RUNNING)
```
Anda juga dapat melihat status pekerjaan melalui antarmuka web UI Flink. Untuk informasi selengkapnya, lihat Lihat status pekerjaan di web UI Flink.

Jalankan perintah berikut untuk menghentikan pekerjaan.

flink cancel -t yarn-session -Dyarn.application.id=<application_XXXX_YY> <jobId>

Per-job cluster mode

Masuk ke node master kluster melalui SSH. Untuk informasi selengkapnya, lihat Masuk ke node master kluster.
Jalankan perintah berikut untuk mengirim pekerjaan.
```
flink run -t yarn-per-job --detached /opt/apps/FLINK/flink-current/examples/streaming/TopSpeedWindowing.jar
```
Setelah pekerjaan dikirim, sistem akan mengembalikan informasi seperti pada keluaran berikut.
Pada keluaran tersebut, application_1750125819948_**** adalah ID Aplikasi. Pada bagian berikutnya, <application_XXXX_YY> digunakan untuk merepresentasikan ID ini. Sementara itu, f5f980ac631192b02548235f1bbe**** adalah ID pekerjaan, yang direpresentasikan oleh <jobId> pada bagian berikutnya.
Jalankan perintah berikut untuk melihat status pekerjaan.
```
flink list -t yarn-per-job -Dyarn.application.id=<application_XXXX_YY>
```
Anda juga dapat melihat status pekerjaan melalui web UI Flink. Untuk informasi selengkapnya, lihat Lihat status pekerjaan di web UI Flink.

Jalankan perintah berikut untuk menghentikan pekerjaan.

flink cancel -t yarn-per-job -Dyarn.application.id=<application_XXXX_YY> <jobId>

Application mode

Masuk ke node master kluster melalui SSH. Untuk informasi selengkapnya, lihat Masuk ke node master kluster.
Jalankan perintah berikut untuk mengirim pekerjaan.
```
flink run-application -t yarn-application /opt/apps/FLINK/flink-current/examples/streaming/TopSpeedWindowing.jar
```
Setelah pekerjaan dikirim, sistem akan mengembalikan informasi seperti pada keluaran berikut.
Pada keluaran tersebut, application_1750125819948_0004 adalah ID aplikasi YARN dari pekerjaan Flink yang dikirim. Pada bagian berikutnya, <application_XXXX_YY> digunakan untuk merepresentasikan ID ini.
Jalankan perintah berikut untuk melihat status pekerjaan.
```
flink list -t yarn-application -Dyarn.application.id=<application_XXXX_YY>
```
Sistem akan mengembalikan informasi seperti pada keluaran berikut. Pada keluaran tersebut, 4db32b5339e6d64de2a1096c4762**** adalah ID pekerjaan, yang direpresentasikan oleh <jobId> pada bagian berikutnya.
```
------------------ Running/Restarting Jobs -------------------
16.06.2025 18:20:55 : 4db32b5339e6d64de2a1096c4762**** : CarTopSpeedWindowingExample (RUNNING)
```
Anda juga dapat melihat status pekerjaan melalui web UI Flink. Untuk informasi selengkapnya, lihat Lihat status pekerjaan di web UI Flink.

Jalankan perintah berikut untuk menghentikan pekerjaan.

flink cancel -t yarn-application -Dyarn.application.id=<application_XXXX_YY> <jobId>

Konfigurasi pekerjaan

Flink memungkinkan Anda mengonfigurasi pekerjaan dengan salah satu metode berikut:

Metode 1: Tetapkan nilai parameter dalam kode pekerjaan. Untuk informasi selengkapnya, lihat Konfigurasi.
Metode 2: Saat menjalankan perintah flink run untuk mengirim pekerjaan, Anda dapat menggunakan argumen -D untuk menentukan nilai parameter pekerjaan. Contoh: flink run-application -t yarn-application -D state.backend=rocksdb....
Metode 3: Tetapkan nilai parameter dalam file /etc/taihao-apps/flink-conf/flink-conf.yaml.

Jika tidak menetapkan nilai parameter menggunakan ketiga metode di atas, nilai default akan digunakan. Untuk informasi selengkapnya, lihat Dokumentasi Apache Flink.

Lihat status pekerjaan di web UI Flink

Akses web UI Flink.
1. Masuk ke Konsol EMR. Di panel navigasi sebelah kiri, klik EMR on ECS.
2. Di panel navigasi sebelah kiri, pilih EMR on ECS.
3. Di bilah navigasi atas, pilih wilayah tempat kluster Anda berada dan pilih kelompok sumber daya sesuai kebutuhan bisnis Anda.
4. Di halaman EMR on ECS, klik Cluster ID kluster target.
5. Klik tab Access Links And Ports.
6. Di halaman Access Links And Ports, klik tautan untuk YARN UI.
  Untuk informasi selengkapnya tentang cara mengakses web UI, lihat Akses web UI komponen open source.
Klik ID Aplikasi.
Klik tautan Tracking URL.
Halaman Apache Flink Dashboard akan muncul. Anda dapat melihat status pekerjaan di halaman ini.

Referensi

Untuk informasi selengkapnya tentang Flink di YARN, lihat Apache Hadoop YARN.