Panduan Memulai Cepat untuk Pekerjaan Python Flink - Realtime Compute for Apache Flink

Topik ini menjelaskan cara menerapkan dan menjalankan pekerjaan stream dan batch Python Flink di Realtime Compute for Apache Flink.

Prasyarat

Jika Anda menggunakan pengguna Resource Access Management (RAM) atau peran RAM, pastikan Anda memiliki izin yang diperlukan untuk mengakses konsol Flink. Untuk informasi selengkapnya, lihat Manajemen Izin.
Anda telah membuat ruang kerja Flink. Untuk informasi selengkapnya, lihat Aktifkan Realtime Compute for Apache Flink.

Langkah 1: Siapkan file kode Python

Konsol Realtime Compute for Apache Flink tidak menyediakan lingkungan pengembangan Python. Anda harus mengembangkan pekerjaan secara lokal. Untuk informasi selengkapnya tentang cara men-debug pekerjaan dan menggunakan konektor, lihat Pengembangan Pekerjaan Python.

Penting

Pastikan versi Flink yang digunakan untuk pengembangan lokal sama dengan versi engine yang Anda pilih di Langkah 3: Terapkan Pekerjaan Python. Untuk informasi tentang cara menggunakan dependensi lain dalam pekerjaan Python Anda, seperti lingkungan virtual Python kustom, paket Python pihak ketiga, paket JAR, dan file data, lihat Gunakan Dependensi Python.

Topik ini menyediakan file Python contoh dan file data untuk membantu Anda memulai. Pekerjaan contoh ini menghitung frekuensi kata. Unduh file-file tersebut untuk digunakan pada langkah-langkah berikutnya.

Anda dapat mengunduh pekerjaan uji Python.
- Pekerjaan stream: word_count_streaming.py.
- Pekerjaan batch: word_count_batch.py.

Klik Shakespeare untuk mengunduh file data Shakespeare.

Langkah 2: Unggah file Python dan file data

Masuk ke Konsol Realtime Compute for Apache Flink.
Klik Console di kolom Actions untuk ruang kerja yang dituju.
Di panel navigasi sebelah kiri, klik File Management.
Klik Upload Resource untuk mengunggah file Python dan file data.

Unggah file Python contoh dan file data yang telah Anda unduh di Langkah 1. Untuk informasi selengkapnya tentang jalur penyimpanan file, lihat Manajemen File.

Langkah 3: Terapkan Pekerjaan Python

Pekerjaan stream

Di halaman Job O&M pada Operation Center, klik Deploy Job > Python Job.

Masukkan informasi penerapan.

py_流_zh.jpg

Parameter	Deskripsi	Contoh
Deployment Mode	Pilih Stream.	Stream
Deployment Name	Masukkan nama untuk pekerjaan Python.	flink-streaming-test-python
Engine Version	Versi engine Flink untuk pekerjaan. Gunakan versi dengan tag Recommended atau Stable untuk keandalan dan performa yang lebih baik. Untuk informasi selengkapnya, lihat Catatan rilis dan Versi engine.	vvr-8.0.9-flink-1.17
Python File Path	Klik word_count_streaming.py untuk mengunduh file Python contoh. Lalu, klik ikon di sebelah kanan untuk memilih dan mengunggah file tersebut. Jika file sudah ada di File Management, Anda tidak perlu mengunggahnya lagi. Cukup pilih file tersebut.	-
Entry Module	Kelas entri program. Bidang ini tidak diperlukan jika file pekerjaan Python berupa file .py. Jika file pekerjaan berupa file .zip, masukkan modul entri Anda di sini, misalnya `word_count`.	Tidak diperlukan
Entry Point Main Arguments	Masukkan parameter input. Parameter ini dipanggil dalam metode main. Untuk contoh ini, masukkan jalur penyimpanan file data input `Shakespeare`.	`--input oss://<your-oss-bucket-name>/artifacts/namespaces/<project-name>/Shakespeare` Salin jalur lengkap file Shakespeare dari File Management.
Deployment Target	Dari daftar drop-down, pilih resource queue atau session cluster target (tidak untuk penggunaan produksi). Untuk informasi selengkapnya, lihat Kelola antrian sumber daya dan Buat session cluster. Penting Pekerjaan yang diterapkan ke session cluster tidak mendukung pemantauan dan peringatan (atau kurva data), konfigurasi pemantauan dan peringatan, atau penyetelan otomatis. Jangan gunakan session cluster di lingkungan produksi. Session cluster dapat digunakan untuk pengembangan dan pengujian. Untuk informasi selengkapnya, lihat Debugging pekerjaan.	default-queue

Untuk informasi selengkapnya tentang parameter konfigurasi, lihat Terapkan pekerjaan.

Klik Deploy.

Pekerjaan batch

Di halaman Job O&M pada Operation Center, klik Deploy Job lalu pilih Python Job.

Masukkan informasi penerapan.

py_批_zh.jpg

Parameter	Deskripsi	Contoh
Deployment Mode	Pilih Batch.	Batch
Deployment Name	Masukkan nama untuk pekerjaan Python.	flink-batch-test-python
Engine Version	Versi engine Flink untuk pekerjaan. Gunakan versi dengan tag Recommended atau Stable untuk keandalan dan performa yang lebih baik. Untuk informasi selengkapnya, lihat Catatan rilis dan Versi engine.	vvr-8.0.9-flink-1.17
Python File Path	Klik word_count_batch.py untuk mengunduh file Python contoh. Lalu, klik ikon di sebelah kanan untuk memilih dan mengunggah file tersebut.	-
Entry Module	Kelas yang berfungsi sebagai titik masuk program. Bidang ini tidak diperlukan jika file pekerjaan Python berupa file .py. Jika file pekerjaan berupa file .zip, masukkan modul entri Anda di sini, misalnya `word_count`.	Tidak diperlukan
Entry Point Main Arguments	Masukkan parameter input. Parameter ini dipanggil dalam metode main. Dalam topik ini, masukkan jalur ke file data input Shakespeare dan jalur ke direktori output data batch-quickstart-test-output. Catatan Anda hanya perlu menentukan nama direktori output. Anda tidak perlu membuat direktori output di layanan penyimpanan terlebih dahulu. Direktori induk dari direktori output harus sama dengan direktori induk file input.	`--input oss://<your attached OSS Bucket name>/artifacts/namespaces/<project name>/Shakespeare` `--output oss://<your attached OSS Bucket name>/artifacts/namespaces/<project name>/python-batch-quickstart-test-output` Anda dapat menyalin jalur lengkap file Shakespeare dari File Management.
Deployment Target	Dari daftar drop-down, pilih resource queue atau session cluster target (tidak untuk penggunaan produksi). Untuk informasi selengkapnya, lihat Kelola antrian sumber daya dan Buat session cluster. Penting Pekerjaan yang diterapkan ke session cluster tidak mendukung pemantauan dan peringatan, konfigurasi pemantauan dan peringatan, atau penyetelan otomatis. Jangan gunakan session cluster di lingkungan produksi. Session cluster dapat digunakan untuk pengembangan dan pengujian. Untuk informasi selengkapnya, lihat Debugging pekerjaan.	default-queue

Untuk informasi selengkapnya tentang parameter konfigurasi, lihat Terapkan pekerjaan.

Klik Deploy.

Langkah 4: Jalankan Pekerjaan Python dan Lihat Hasil Komputasi Flink

Pekerjaan stream

Di halaman Operation Center > Job O&M, klik Start di kolom Actions untuk pekerjaan yang dituju.
Pilih Stateless Start lalu klik Start. Untuk informasi selengkapnya tentang cara menjalankan pekerjaan, lihat Jalankan pekerjaan.

Setelah Anda menjalankan pekerjaan, statusnya berubah menjadi Running atau Finished. Hal ini menunjukkan bahwa pekerjaan berjalan sesuai harapan. Untuk pekerjaan Python contoh dalam topik ini, status akhir pekerjaan adalah Finished.
Setelah status pekerjaan berubah menjadi Running, Anda dapat melihat hasil komputasi dari pekerjaan stream contoh.

Penting
Untuk pekerjaan Python contoh dalam topik ini, hasil pekerjaan dihapus saat status pekerjaan stream berubah menjadi Finished. Oleh karena itu, Anda hanya dapat melihat hasil komputasi saat status pekerjaan adalah Running.

Di Pengelola Tugas (TaskManager), cari `shakespeare` di file log yang berakhiran dengan .out untuk melihat hasil komputasi Flink.

Pekerjaan batch

Di halaman Operation Center > Job O&M, temukan pekerjaan yang dituju lalu klik Start.
Di kotak dialog Start Job, klik Start. Untuk informasi selengkapnya tentang cara menjalankan pekerjaan, lihat Jalankan pekerjaan.
Setelah status pekerjaan berubah menjadi Finished, Anda dapat melihat hasil komputasi dari pekerjaan batch contoh.

Masuk ke Konsol OSS. Di folder oss://<your OSS Bucket name>/artifacts/namespaces/<project name>/python-batch-quickstart-test-output, klik folder yang dinamai dengan tanggal dan waktu mulai pekerjaan. Lalu, klik nama file objek dan klik Download di panel yang muncul.

Hasil pekerjaan batch berupa file .ext. Setelah Anda mengunduh file tersebut, Anda dapat membukanya dengan editor teks atau Microsoft Office Word untuk melihat hasilnya. Gambar berikut menunjukkan contoh hasil komputasi.

(Opsional) Langkah 5: Hentikan Pekerjaan

Jika Anda mengubah pekerjaan dan ingin perubahan tersebut berlaku, Anda harus menerapkan ulang pekerjaan tersebut, lalu menghentikan dan menjalankannya kembali. Contoh perubahan tersebut termasuk mengubah kode, menambah atau menghapus parameter WITH, atau mengubah versi pekerjaan. Anda juga perlu menghentikan dan menjalankan ulang pekerjaan jika pekerjaan tidak dapat menggunakan kembali state, jika Anda ingin menjalankan pekerjaan baru, atau jika Anda memperbarui parameter yang tidak berlaku secara dinamis. Untuk informasi selengkapnya tentang cara menghentikan pekerjaan, lihat Hentikan pekerjaan.

Referensi

Anda dapat mengonfigurasi resource pekerjaan sebelum menjalankannya atau mengubahnya setelah pekerjaan berjalan. Dua mode alokasi sumber daya didukung: mode dasar (coarse-grained) dan mode ahli (fine-grained). Untuk informasi selengkapnya, lihat Konfigurasikan resource pekerjaan.
Realtime Compute for Apache Flink mendukung pembaruan dinamis parameter pekerjaan Flink. Fitur ini memungkinkan konfigurasi parameter berlaku lebih cepat dan mengurangi gangguan bisnis karena Anda tidak perlu menghentikan dan menjalankan ulang pekerjaan. Untuk informasi selengkapnya, lihat Scaling dan pembaruan parameter dinamis.
Anda dapat mengonfigurasi tingkat log pekerjaan dan menentukan output terpisah untuk tingkat log yang berbeda. Untuk informasi selengkapnya, lihat Konfigurasikan output log pekerjaan.
Untuk contoh lengkap proses pengembangan pekerjaan SQL, lihat Panduan Memulai Cepat untuk Pekerjaan Flink SQL.
Bangun gudang data real-time dengan Hologres.
Bangun danau data terpadu streaming dengan Paimon dan StarRocks.