PyFlink job cepat - Realtime Compute for Apache Flink - Alibaba Cloud Documentation Center

Topik ini menjelaskan cara menerapkan dan menjalankan pekerjaan PyFlink streaming dan batch, mencakup alur kerja pengembangan di Realtime Compute for Apache Flink.

Prasyarat

Jika Anda menggunakan RAM user atau RAM role untuk mengakses konsol, pastikan identitas tersebut memiliki izin yang diperlukan. Untuk informasi selengkapnya, lihat Permission Management.
Ruang kerja telah dibuat. Untuk informasi selengkapnya, lihat Aktifkan Realtime Compute for Apache Flink.

Langkah 1: Siapkan file kode Python

konsol manajemen Realtime Compute for Apache Flink tidak menyediakan lingkungan pengembangan Python. Kembangkan pekerjaan Anda secara lokal. Untuk informasi selengkapnya tentang debugging pekerjaan dan konektor, lihat Kembangkan pekerjaan PyFlink.

Penting

Pastikan versi Flink untuk pengembangan lokal sesuai dengan versi engine yang Anda pilih di Langkah 3: Terapkan pekerjaan PyFlink. Untuk informasi tentang cara menggunakan dependensi lain, seperti lingkungan virtual Python kustom, paket Python pihak ketiga, paket JAR, dan file data, lihat Gunakan dependensi Python.

Untuk membantu Anda memulai dengan cepat, topik ini menyediakan file Python contoh untuk pekerjaan word count dan file data sampel. Anda dapat mengunduh dan menggunakannya dalam langkah-langkah berikut.

Unduh file pekerjaan Python contoh yang sesuai.
- Pekerjaan streaming: word_count_streaming.py.
- Pekerjaan batch: word_count_batch.py.

Klik Shakespeare untuk mengunduh file data sampel.

Langkah 2: Unggah file Python dan data

Masuk ke Konsol Realtime Compute.
Temukan ruang kerja Flink target dan klik Console pada kolom Actions.
Di panel navigasi sebelah kiri, klik Artifacts.
Klik Upload Artifact untuk mengunggah file Python dan data.

Unggah file Python dan data contoh yang telah Anda unduh di Langkah 1. Untuk informasi selengkapnya tentang jalur penyimpanan file, lihat Artifacts.

Langkah 3: Terapkan pekerjaan PyFlink

Streaming

Pada halaman O&M > Deployments, klik Create Deployment > Python Deployment.

Konfigurasikan parameter penerapan.

Parameter	Deskripsi	Contoh
Deployment mode	Pilih stream mode.	stream mode
Deployment name	Masukkan nama untuk penerapan Python.	flink-streaming-test-python
Engine version	Versi engine Flink untuk penerapan. Kami menyarankan Anda menggunakan versi dengan tag RECOMMENDED atau STABLE untuk keandalan dan performa yang lebih baik. Untuk informasi selengkapnya, lihat Release Notes dan Engine Versions.	vvr-8.0.9-flink-1.17
Python URI	Unduh file contoh word_count_streaming.py. Lalu, klik ikon unggah untuk memilih dan mengunggah file tersebut. Jika file sudah ada di Artifacts, Anda dapat memilihnya langsung tanpa perlu mengunggah ulang.	-
Entry module	Modul titik masuk program. Parameter ini tidak diperlukan jika pekerjaan PyFlink berupa file .py. Jika pekerjaan PyFlink berupa file .zip, Anda harus memasukkan modul entri. Contoh: `word_count`.	Tidak diperlukan
Entry point main arguments	Argumen yang akan diteruskan ke metode utama. Untuk tutorial ini, masukkan jalur penyimpanan file data masukan, Shakespeare.	`--input oss://<Your-OSS-Bucket-Name>/artifacts/namespaces/<Your-Workspace-Name>/Shakespeare` Anda dapat menyalin jalur lengkap file Shakespeare dari halaman Artifacts.
Deployment target	Dari daftar drop-down, pilih queue atau session cluster target. Session cluster tidak disarankan untuk produksi. Untuk informasi selengkapnya, lihat Manage queues dan Create a session cluster. Penting Penerapan pada session cluster tidak mendukung metrik pemantauan, konfigurasi alert, atau Autopilot. Gunakan session cluster hanya untuk pengembangan dan pengujian; jangan gunakan di lingkungan produksi. Untuk informasi selengkapnya, lihat Debug deployments.	default-queue

Untuk informasi selengkapnya tentang parameter konfigurasi lainnya, lihat Deploy a job.

Klik Deploy.

Batch

Pada halaman O&M > Deployments, klik Create Deployment dan pilih Python Deployment.

Konfigurasikan parameter penerapan.

Parameter	Deskripsi	Contoh
Deployment mode	Pilih batch mode.	batch mode
Deployment name	Masukkan nama untuk penerapan Python.	flink-batch-test-python
Engine version	Versi engine Flink untuk penerapan. Kami menyarankan Anda menggunakan versi dengan tag RECOMMENDED atau STABLE untuk keandalan dan performa yang lebih baik. Untuk informasi selengkapnya, lihat Release Notes dan Engine Versions.	vvr-8.0.9-flink-1.17
Python URI	Unduh file contoh word_count_batch.py. Lalu, klik ikon unggah untuk memilih dan mengunggah file tersebut.	-
Entry module	Modul titik masuk program. Parameter ini tidak diperlukan jika pekerjaan PyFlink berupa file .py. Jika pekerjaan PyFlink berupa file .zip, Anda harus memasukkan modul entri. Contoh: `word_count`.	Tidak diperlukan
Entry point main arguments	Argumen yang akan diteruskan ke metode utama. Untuk tutorial ini, masukkan jalur penyimpanan untuk file masukan Shakespeare dan direktori output `python-batch-quickstart-test-output`. Catatan Anda hanya perlu menentukan jalur direktori output. Direktori output harus berada di direktori induk yang sama dengan file masukan. Anda tidak perlu membuat direktori output terlebih dahulu.	`--input oss://<Your-OSS-Bucket-Name>/artifacts/namespaces/<Your-Workspace-Name>/Shakespeare` `--output oss://<Your-OSS-Bucket-Name>/artifacts/namespaces/<Your-Workspace-Name>/python-batch-quickstart-test-output` Anda dapat menyalin jalur lengkap file Shakespeare dari halaman Artifacts.
Deployment target	Dari daftar drop-down, pilih queue atau session cluster target. Session cluster tidak disarankan untuk produksi. Untuk informasi selengkapnya, lihat Manage queues dan Create a session cluster. Penting Penerapan pada session cluster tidak mendukung metrik pemantauan, konfigurasi alert, atau Autopilot. Gunakan session cluster hanya untuk pengembangan dan pengujian; jangan gunakan di lingkungan produksi. Untuk informasi selengkapnya, lihat Debug deployments.	default-queue

Untuk informasi selengkapnya tentang parameter konfigurasi lainnya, lihat Deploy a job.

Klik Deploy.

Langkah 4: Mulai penerapan dan lihat hasilnya

Streaming

Pada halaman O&M > Deployments, temukan penerapan target dan klik Start pada kolom Actions.
Pada kotak dialog Start Job, pilih Initial Mode dan klik Start. Untuk informasi selengkapnya, lihat Start a deployment.

Setelah Anda mengklik Start, status RUNNING atau FINISHED menunjukkan bahwa penerapan berjalan sesuai harapan. Jika Anda menggunakan file contoh dari topik ini, status akhirnya adalah FINISHED.
Setelah status penerapan berubah menjadi RUNNING, lihat hasil penerapan streaming.

Penting
Jika Anda menggunakan file Python contoh dari topik ini, hasilnya akan dihapus saat penerapan streaming memasuki status FINISHED. Oleh karena itu, Anda hanya dapat melihat hasilnya saat penerapan berada dalam status RUNNING.

Dalam file log TaskManager yang diakhiri dengan .out, cari shakespeare untuk menemukan hasil komputasi.

Pada tab Logs, klik tab Running Task Managers. Untuk TaskManager yang relevan, klik sub-tab Log List. Buka file flink.out dan masukkan shakespeare di kotak pencarian di pojok kanan atas untuk menemukan hasil word count, seperti (shakespeare,1).

Batch

Pada halaman O&M > Deployments, temukan penerapan target dan klik Start pada kolom Actions.

Untuk memfilter daftar, pilih Batch Deployment dari daftar drop-down tipe.
Pada kotak dialog Start Job, klik Start. Untuk informasi selengkapnya, lihat Start a deployment.
Setelah status penerapan berubah menjadi FINISHED, lihat hasil penerapan batch.

Masuk ke Konsol OSS. Navigasi ke direktori oss://<Your-OSS-Bucket-Name>/artifacts/namespaces/<Your-Workspace-Name>/python-batch-quickstart-test-output. Klik folder yang dinamai sesuai tanggal dan waktu mulai penerapan, klik file target, lalu klik Download di panel yang muncul.
Penerapan batch menghasilkan file .ext. Setelah mengunduh file tersebut, buka dengan editor teks atau Microsoft Word untuk melihat hasilnya. Output-nya mirip dengan berikut:
```
(As,40)
(At,5)
(Ay,1)
(Be,9)
(By,14)
(Do,4)
(He,7)
(I,,4)
(If,34)
(In,36)
(Is,10)
(It,6)
```

(Opsional) Langkah 5: Hentikan penerapan

Untuk menerapkan perubahan pada pekerjaan (seperti modifikasi kode, pembaruan parameter WITH, atau perubahan versi), Anda harus menerapkan ulang, menghentikan, lalu menjalankannya kembali. Restart juga diperlukan untuk start tanpa status atau untuk menerapkan perubahan konfigurasi non-dinamis. Untuk informasi selengkapnya tentang menghentikan pekerjaan, lihat Stop a job.

Topik terkait

Anda dapat mengonfigurasi resource untuk penerapan sebelum menjalankannya atau memodifikasi resource setelah penerapan berjalan. Dua mode konfigurasi resource didukung: dasar (coarse-grained) dan ahli (fine-grained). Untuk informasi selengkapnya, lihat Configure deployment resources.
Realtime Compute for Apache Flink mendukung pembaruan dinamis terhadap parameter penerapan. Hal ini memungkinkan konfigurasi berlaku lebih cepat dan mengurangi waktu henti layanan yang disebabkan oleh penghentian dan pengaktifan penerapan. Untuk informasi selengkapnya, lihat Dynamic scaling and parameter updates.
Konfigurasikan tingkat log penerapan dan tentukan output berbeda untuk tingkat log yang berbeda. Untuk informasi selengkapnya, lihat Configure Log Output.
Untuk panduan lengkap alur kerja pengembangan SQL, lihat Flink SQL job.
Bangun gudang data real-time dengan Hologres.
Bangun danau data terpadu streaming dengan Paimon dan StarRocks.