Menggunakan node Streaming Flink JAR - DataWorks - Alibaba Cloud Documentation Center

Gunakan node Streaming Flink JAR untuk menjalankan tugas real-time Flink dari paket JAR. Di DataWorks, pilih resource Flink JAR yang telah diunggah, konfigurasikan kelas titik masuk dan parameter waktu prosesnya, lalu kembangkan dan publikasikan pekerjaan real-time tersebut. Topik ini menjelaskan cara mengembangkan dan mengonfigurasi node Streaming Flink JAR di DataWorks.

Prasyarat

Anda telah melakukan bind terhadap mesin komputasi Flink yang sepenuhnya dikelola di Management Center. Untuk informasi selengkapnya, lihat Bind a fully managed Flink compute engine.
Anda telah mengunggah resource Flink JAR. Untuk informasi selengkapnya, lihat Flink resources and functions.
Anda telah membuat node Streaming Flink JAR. Untuk informasi selengkapnya, lihat Create a node in a workflow.
Anda telah memberikan izin OpenAPI berikut kepada RAM user atau RAM role yang digunakan DataWorks untuk memanggil OpenAPI Realtime Compute for Apache Flink. Izin ini digunakan untuk mengirimkan dan menerapkan tugas node ke kluster Flink.
```
{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["stream:CreateDeployment", "stream:UpdateDeployment", "stream:GetDeployment", "stream:DeleteDeployment"],
      "Resource": ["*"]
    }
  ]
}
```

Batasan

Node ini tidak dapat menjadi bagian dari alur kerja dan harus dikembangkan serta dijalankan sebagai node mandiri.
Hanya kelompok sumber daya Serverless yang didukung. Kelompok sumber daya eksklusif lama untuk penjadwalan tidak didukung.

Langkah 1: Konfigurasi node Streaming Flink JAR

Pada halaman edit node Streaming Flink JAR, konfigurasikan parameter berikut.

Parameter utama

Di panel kiri halaman edit node, konfigurasikan parameter berikut.

Parameter	Deskripsi
JAR file	Wajib diisi. Pilih resource Flink JAR dari Resource Management.
Entry point class	Kelas titik masuk untuk program Anda. Jika paket JAR tidak menentukan kelas utama, masukkan nama lengkap kelas titik masuk tersebut.
Entry point main arguments	Argumen utama untuk pekerjaan, yang diteruskan ke metode main. Mendukung beberapa argumen.
Additional dependencies	Dari daftar drop-down, pilih resource Flink File yang telah diunggah untuk digunakan sebagai file dependensi tambahan. Catatan Jika target penerapan di mesin komputasi Flink adalah kluster Session, file dependensi tambahan tidak berlaku.

Resource Flink

Di panel kanan, pada bagian Real-Time configuration di bawah Flink resource information, konfigurasikan parameter berikut berdasarkan Resource Mode. Untuk informasi selengkapnya, lihat Configure job resources.

Parameter	Deskripsi
Flink cluster	Nama mesin komputasi Flink yang sepenuhnya dikelola yang telah di-bind di Management Center.
Flink engine version	Pilih versi mesin berdasarkan kebutuhan Anda.
Resource Group	Pilih Serverless resource group yang terhubung ke jaringan Flink.
Resource Mode	Untuk informasi selengkapnya, lihat Configure job resources. Basic mode (default): Cocok untuk pemula dan aplikasi sederhana. Mode ini menggunakan konfigurasi default dan pengaturan yang disederhanakan untuk memulai dan menjalankan pekerjaan Flink dengan cepat. Expert mode: Menyediakan opsi konfigurasi lanjutan bagi pengguna berpengalaman, memungkinkan penyetelan detail halus terhadap kinerja dan sumber daya guna memenuhi kebutuhan kompleks atau berkinerja-tinggi.
JobManager CPU	Berdasarkan praktik terbaik Flink, JobManager memerlukan minimal 0,5 core CPU dan memori 2 GiB agar berjalan stabil. Kami merekomendasikan Anda mengonfigurasi 1 core CPU dan memori 4 GiB. Jumlah maksimum core CPU adalah 16.
JobManager memory	Ukuran memori JobManager memengaruhi kinerjanya dalam tugas penjadwalan dan manajemen. Ukuran memori yang direkomendasikan berkisar antara 2 GiB hingga 64 GiB.
TaskManager CPU	Konfigurasi sumber daya CPU TaskManager memengaruhi kemampuan pemrosesan tugasnya. Kami merekomendasikan Anda mengonfigurasi minimal 0,5 core CPU dan memori 2 GiB. Konfigurasi yang direkomendasikan adalah 1 core CPU dan memori 4 GiB. Jumlah maksimum core CPU adalah 16.
TaskManager memory	Konfigurasi memori TaskManager menentukan jumlah data yang dapat diproses dan kinerja keseluruhannya. Ukuran memori minimal harus 2 GiB dan dapat diatur hingga 64 GiB.
Concurrency	Menentukan jumlah tugas yang berjalan secara paralel dalam pekerjaan Flink. Parallelisme yang lebih tinggi dapat meningkatkan throughput dan pemanfaatan sumber daya. Atur nilai ini berdasarkan sumber daya kluster dan karakteristik pekerjaan Anda.
Number of slots per TaskManager	Jumlah slot per TaskManager menentukan berapa banyak tugas yang dapat dijalankan secara paralel. Anda dapat menyesuaikan konfigurasi slot untuk mengoptimalkan pemanfaatan sumber daya dan kemampuan pemrosesan paralel pekerjaan.

(Opsional) Parameter skrip

Di panel navigasi sebelah kanan, pada bagian Real-Time configuration di bawah Script Parameters, klik Add parameters, lalu tentukan Parameter name dan Parameter Value.

(Opsional) Parameter waktu proses Flink

Di panel navigasi sebelah kanan, pada bagian Real-Time configuration di bawah Flink running parameters, konfigurasikan parameter berikut. Untuk informasi selengkapnya, lihat Configure job deployment information.

Parameter	Deskripsi
System Checkpoint Interval	Menentukan interval saat pekerjaan Flink melakukan checkpoint. Interval yang lebih pendek dapat mengurangi waktu pemulihan setelah kegagalan tetapi meningkatkan beban sistem. Jika Anda mengosongkan parameter ini, checkpoint dinonaktifkan.
Minimum time interval between two system checkpoints	Menentukan waktu minimum yang harus ditunggu Flink antara dua checkpoint berturut-turut. Hal ini membantu mencegah masalah kinerja akibat checkpoint yang terlalu sering.
State TTL	Menentukan waktu retensi maksimum untuk data state yang tidak diakses atau diperbarui. Nilai default-nya adalah 36 jam. Penting Nilai default ini berdasarkan praktik terbaik cloud dan berbeda dari nilai default open-source. Nilai default open-source adalah 0, yang berarti informasi state tidak pernah kedaluwarsa.
Others	Digunakan untuk mengonfigurasi parameter waktu proses Flink lainnya, misalnya: `taskmanager.network.memory.max:4g`.

Setelah selesai mengonfigurasi, klik Save.

Langkah 2: Mulai node Streaming Flink JAR

Publikasikan node Streaming Flink JAR.
Anda harus mempublikasikan tugas ke Operation Center sebelum dapat menjalankannya. Ikuti petunjuk di layar untuk mempublikasikan node Streaming Flink JAR yang ingin Anda jalankan. Untuk informasi selengkapnya, lihat Publish nodes/workflows.
Mulai node Streaming Flink JAR.
Setelah tugas dipublikasikan, klik Go to operation and maintenance di bawah Publish to Production. Di Operation Center, buka Node O&M > Real-time Task O&M > Real-time computing tasks. Temukan tugas Anda, lalu klik Start pada kolom Operation untuk menjalankannya dan melihat statusnya.