Node streaming Flink Python - DataWorks - Alibaba Cloud Documentation Center

Node streaming Flink Python memungkinkan Anda menjalankan tugas real-time Flink dengan mengirimkan file Python. Di DataWorks, Anda dapat memilih resource Flink Python yang telah diunggah atau File Flink sebagai path file Python. Setelah mengonfigurasi modul entri dan parameter runtime, Anda dapat mengembangkan serta menerbitkan tugas pemrosesan data real-time berbasis Python. Topik ini menjelaskan cara mengembangkan dan mengonfigurasi node streaming Flink Python di DataWorks.

Prasyarat

Anda telah melakukan bind terhadap resource komputasi Realtime Compute for Apache Flink di Management Center. Untuk informasi selengkapnya, lihat Bind a fully-managed Flink compute resource.
Anda telah mengunggah resource Flink Python. Untuk informasi selengkapnya, lihat Flink resources and functions.
Anda telah membuat node streaming Flink Python. Untuk informasi selengkapnya, lihat Create a node for a scheduling workflow.
Izin OpenAPI berikut telah diberikan kepada RAM user atau RAM role yang digunakan oleh DataWorks untuk memanggil OpenAPI Realtime Compute for Apache Flink. Otorisasi ini digunakan untuk mengirimkan dan menyebarkan tugas node ke kluster Flink.
```
{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["stream:CreateDeployment", "stream:UpdateDeployment", "stream:GetDeployment", "stream:DeleteDeployment"],
      "Resource": ["*"]
    }
  ]
}
```

Batasan

Node ini tidak dapat digunakan dalam alur kerja. Anda hanya dapat mengembangkan dan menjalankannya sebagai node independen.
Hanya kelompok sumber daya Serverless yang didukung. Kelompok sumber daya eksklusif lama untuk penjadwalan tidak didukung.

Langkah 1: Konfigurasi node streaming Flink Python

Pada halaman editor node streaming Flink Python, konfigurasikan parameter berikut.

Konfigurasi parameter utama

Di panel kiri halaman editor node, konfigurasikan parameter berikut.

Parameter	Deskripsi
Python file address	Wajib diisi. Dari daftar drop-down, pilih resource Flink Python atau File Flink yang telah diunggah. Resource Flink Python hanya mendukung file `.py`. Jika Anda ingin menggunakan file `.zip` sebagai entri utama pekerjaan, unggah sebagai File Flink. Parameter ini harus diakhiri dengan `.py` jika parameter Entry module kosong.
Entry module	Modul entri program, seperti `example.word_count`. Parameter ini wajib diisi ketika parameter Python file address mengarah ke file `.zip`.
Entry point main arguments	Parameter pekerjaan.
Python libraries	Dari daftar drop-down, pilih File Flink yang telah diunggah untuk digunakan sebagai paket Python pihak ketiga. Paket ini ditambahkan ke PYTHONPATH proses worker Python, sehingga Anda dapat mengaksesnya secara langsung dalam user-defined function Python.
Python archives	Dari daftar drop-down, pilih File Flink yang telah diunggah untuk digunakan sebagai file arsip. Format arsip yang didukung meliputi `.zip`, `.jar`, `.whl`, dan `.egg`.
Additional dependency files	Dari daftar drop-down, pilih File Flink yang telah diunggah untuk digunakan sebagai file dependensi tambahan.

Konfigurasi resource Flink

Konfigurasi resource Flink, termasuk kluster Flink, versi engine, kelompok sumber daya, mode resource, serta parameter Job Manager/Task Manager, sama dengan konfigurasi pada node streaming Flink JAR. Untuk detailnya, lihat petunjuk konfigurasi dalam topik tersebut.

(Opsional) Konfigurasi parameter skrip

Di panel navigasi kanan, buka Real-Time configuration > Script Parameters, klik Add parameters, lalu edit nama dan nilai parameter.

(Opsional) Konfigurasi parameter runtime Flink

Konfigurasi parameter runtime Flink, termasuk interval checkpoint sistem, interval minimum antar checkpoint sistem, TTL data state, dan konfigurasi lainnya, sama dengan konfigurasi pada node streaming Flink JAR. Untuk detailnya, lihat petunjuk konfigurasi dalam topik tersebut.

Setelah menyelesaikan konfigurasi, klik Save untuk menyimpan tugas node.

Langkah 2: Jalankan node streaming Flink Python

Terbitkan node streaming Flink Python.
Tugas harus diterbitkan ke Operations Center sebelum dapat dijalankan. Ikuti petunjuk di layar untuk menerbitkan node streaming Flink Python yang ingin Anda jalankan. Untuk informasi selengkapnya, lihat Publish a node or workflow.
Jalankan node streaming Flink Python.
Setelah tugas diterbitkan, Anda dapat mengklik Go to operation and maintenance di bawah Publish to the production environment. Di Operations Center, navigasikan ke Node O&M > Real-time Task O&M > Real-time computing tasks. Temukan tugas yang ingin Anda jalankan, lalu klik Start pada kolom Operation. Anda kemudian dapat memantau status tugas komputasi real-time tersebut.