gunakan node Flink Python batch - DataWorks - Alibaba Cloud Documentation Center

Node Flink Python Batch menjalankan pekerjaan pemrosesan batch Flink dari file Python yang dikirimkan. Di DataWorks, Anda dapat menentukan path file Python dengan memilih resource Flink Python yang telah diunggah atau File Flink. Setelah mengonfigurasi modul entri dan parameter penjadwalan, Anda dapat mengembangkan serta menerbitkan pekerjaan pemrosesan batch skala besar berbasis Python. Topik ini menjelaskan cara mengembangkan dan mengonfigurasi node Flink Python Batch di DataWorks.

Prasyarat

Anda telah melakukan bind terhadap sumber daya komputasi Realtime Compute for Apache Flink di Management Center. Untuk informasi selengkapnya, lihat Bind Fully-managed Flink Compute Resources.
Anda telah mengunggah resource Flink Python. Untuk informasi selengkapnya, lihat Flink Resources and Functions.
Anda telah membuat node Flink Python Batch. Untuk informasi selengkapnya, lihat Create a node for a workflow.
Anda telah memberikan izin OpenAPI berikut kepada RAM user atau RAM role yang digunakan DataWorks untuk memanggil API Realtime Compute for Apache Flink. Untuk informasi selengkapnya, lihat Add permissions. Otorisasi ini memungkinkan DataWorks mengirimkan pekerjaan node tersebut dan menyebarkannya ke kluster Flink.
```
{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["stream:CreateDeployment", "stream:UpdateDeployment", "stream:GetDeployment", "stream:DeleteDeployment"],
      "Resource": ["*"]
    }
  ]
}
```

Batasan

Hanya kelompok sumber daya arsitektur tanpa server (serverless) yang didukung. Kelompok sumber daya eksklusif lama untuk penjadwalan tidak didukung.

Langkah 1: Konfigurasi node Flink Python Batch

Pada halaman edit node Flink Python Batch, konfigurasikan parameter berikut.

Parameter tab Main

Di panel kiri halaman Pengeditan Node, konfigurasikan parameter berikut.

Parameter	Deskripsi
Python file path	Wajib diisi. Dari daftar drop-down, pilih resource Flink Python atau File Flink yang telah Anda unggah ke Resource Management. Resource Flink Python hanya mendukung file `.py`. Untuk menggunakan file `.zip` sebagai entri utama pekerjaan, unggah sebagai File Flink. Jika parameter Entry Module dibiarkan kosong, parameter ini harus diakhiri dengan `.py`.
Entry module	Modul entri program, seperti `example.word_count`. Parameter ini wajib ditentukan jika alamat file Python diakhiri dengan ekstensi `.zip`.
Entry point main arguments	Argumen pekerjaan.
Python libraries	Pilih File Flink yang telah diunggah untuk digunakan sebagai paket Python pihak ketiga. Paket Python pihak ketiga ditambahkan ke `PYTHONPATH` proses worker Python, sehingga dapat langsung diakses dalam fungsi user-defined Python Anda.
Python archives	Pilih File Flink yang telah diunggah untuk digunakan sebagai file arsip. File harus dalam format ZIP, seperti `.zip`, `.jar`, `.whl`, dan `.egg`.
Additional dependency files	Pilih File Flink yang telah diunggah untuk digunakan sebagai file dependensi tambahan.

Konfigurasi penjadwalan

Untuk konfigurasi penjadwalan—termasuk informasi sumber daya Flink, parameter penjadwalan, parameter waktu proses Flink, kebijakan penjadwalan, waktu penjadwalan, dan dependensi penjadwalan—lihat Flink SQL Batch node.

Setelah menyelesaikan konfigurasi, klik Save.

Langkah 2: Jalankan node Flink Python Batch

Anda harus menerbitkan pekerjaan ke O&M sebelum dapat dijalankan. Untuk petunjuknya, lihat Publish a node or a workflow. Setelah diterbitkan, Anda dapat memantau status berjalan instans periodiknya di O&M.