Panduan Cepat Mulai untuk pekerjaan Flink JAR - Realtime Compute for Apache Flink

Topik ini menjelaskan cara membuat, menerapkan, dan menjalankan pekerjaan stream dan batch Flink JAR serta membantu Anda memahami alur kerja pekerjaan JAR di Realtime Compute for Apache Flink.

Prasyarat

Jika Anda menggunakan pengguna Resource Access Management (RAM) atau Peran RAM untuk mengakses konsol Flink, pastikan Anda memiliki izin yang diperlukan. Untuk informasi selengkapnya, lihat Manajemen izin.
Ruang kerja Flink telah dibuat. Untuk informasi selengkapnya, lihat Aktifkan Realtime Compute for Apache Flink.

Langkah 1: Kembangkan paket JAR

Konsol Realtime Compute for Apache Flink tidak menyediakan lingkungan pengembangan untuk paket JAR. Anda harus mengembangkan, mengompilasi, dan memaketkan kode di lingkungan lokal. Untuk informasi selengkapnya tentang cara mengonfigurasi dependensi lingkungan, menggunakan konektor, dan membaca file dependensi tambahan dari Object Storage Service (OSS), lihat Kembangkan pekerjaan JAR.

Penting

Pastikan versi Flink yang digunakan untuk pengembangan lokal sama dengan versi engine yang Anda pilih di Langkah 3: Terapkan pekerjaan JAR. Perhatikan juga cakupan paket dependensi.

Untuk membantu Anda segera memulai pekerjaan Flink JAR, topik ini menyediakan paket JAR uji dan file data yang menghitung frekuensi kata. Anda dapat mengunduhnya untuk digunakan dalam langkah-langkah berikut.

Klik FlinkQuickStart-1.0-SNAPSHOT.jar untuk mengunduh paket JAR uji.

Jika Anda ingin melihat kode sumbernya, klik FlinkQuickStart.zip untuk mengunduh dan mengompilasinya.
Klik Shakespeare untuk mengunduh file data Shakespeare.

Langkah 2: Unggah paket JAR uji dan file data

Login ke Konsol Realtime Compute for Apache Flink.
Klik Console di kolom Actions untuk ruang kerja target.
Di panel navigasi sebelah kiri, klik File Management.
Klik Upload Resource untuk mengunggah paket JAR dan file data guna penerapan.

Topik ini menggunakan file FlinkQuickStart-1.0-SNAPSHOT.jar dan Shakespeare yang telah Anda unduh di Langkah 1. Untuk informasi selengkapnya tentang jalur penyimpanan file, lihat Manajemen file.

Langkah 3: Terapkan pekerjaan JAR

Pekerjaan Streaming

Di halaman Job O&M > Operation Center, klik Deploy Job dan pilih JAR Job.

Masukkan informasi penerapan.

部署jar.jpg

Parameter	Deskripsi	Contoh
Deployment Mode	Pilih Stream.	Stream
Deployment Name	Masukkan nama untuk pekerjaan JAR.	flink-streaming-test-jar
Engine Version	Versi engine Flink untuk pekerjaan. Gunakan versi dengan tag Recommended atau Stable. Versi ini menawarkan keandalan dan performa lebih tinggi. Untuk informasi selengkapnya, lihat Catatan rilis dan Versi engine.	vvr-8.0.9-flink-1.17
JAR URI	Pilih file FlinkQuickStart-1.0-SNAPSHOT.jar yang telah Anda unggah ke Resource Management di Langkah 2. Anda juga dapat mengklik ikon di sebelah kanan untuk memilih dan mengunggah paket JAR Anda sendiri. Jika file sudah ada di File Management, Anda tidak perlu mengunggahnya lagi. Cukup pilih file target. Catatan Ververica Runtime (VVR) 8.0.6 dan versi setelahnya hanya mendukung akses ke bucket yang disambungkan saat Anda mengaktifkan ruang kerja Flink. Akses ke bucket lain tidak didukung.	-
Entry Point Class	Kelas titik masuk program. Jika paket JAR Anda tidak menentukan kelas utama, masukkan path lengkap kelas titik masuk Anda. Paket JAR uji yang disediakan dalam topik ini berisi kode untuk pekerjaan stream maupun batch. Oleh karena itu, Anda harus menentukan titik masuk untuk pekerjaan stream di sini.	org.example.WordCountStreaming
Entry Point Main Arguments	Masukkan parameter input. Parameter ini dipanggil dalam metode main. Untuk contoh ini, masukkan path penyimpanan file data input, Shakespeare.	`--input oss://<nama-bucket-OSS-yang-anda-sambungkan>/artifacts/namespaces/<nama-proyek>/Shakespeare` Anda dapat menyalin path lengkap file Shakespeare dari File Management.
Deployment Target	Dari daftar drop-down, pilih resource queue atau session cluster target (tidak untuk lingkungan produksi). Untuk informasi selengkapnya, lihat Kelola antrian sumber daya dan Langkah 1: Buat session cluster. Penting Pekerjaan yang diterapkan ke session cluster tidak mendukung penampilan atau konfigurasi pemantauan dan peringatan, atau pengaktifan auto-tuning. Jangan gunakan session cluster di lingkungan produksi. Session cluster dapat digunakan sebagai lingkungan pengembangan dan pengujian. Untuk informasi selengkapnya, lihat Debug pekerjaan.	default-queue

Untuk informasi selengkapnya tentang parameter lainnya, lihat Terapkan pekerjaan.

Klik Deploy.

Pekerjaan batch

Di halaman Job O&M > Operation Center, klik Deploy Job dan pilih JAR Job.

Masukkan informasi penerapan.

部署jar_批_ch.jpg

Parameter	Deskripsi	Contoh
Deployment Mode	Pilih Batch.	Batch
Deployment Name	Masukkan nama untuk pekerjaan JAR.	flink-batch-test-jar
Engine Version	Versi engine Flink untuk pekerjaan. Gunakan versi dengan tag Recommended atau Stable. Versi ini menawarkan keandalan dan performa lebih tinggi. Untuk informasi selengkapnya, lihat Catatan rilis dan Versi engine.	vvr-8.0.9-flink-1.17
JAR URI	Pilih file FlinkQuickStart-1.0-SNAPSHOT.jar yang telah Anda unggah ke Resource Management di Langkah 2. Anda juga dapat mengklik ikon di sebelah kanan untuk memilih dan mengunggah paket JAR Anda sendiri.	-
Entry Point Class	Kelas titik masuk program. Jika paket JAR Anda tidak menentukan kelas utama, masukkan path lengkap entry point class Anda. Paket JAR uji yang disediakan dalam topik ini berisi kode untuk pekerjaan stream maupun batch. Oleh karena itu, Anda harus menentukan titik masuk untuk pekerjaan batch di sini.	org.example.WordCountBatch
Entry Point Main Arguments	Masukkan parameter input. Parameter ini dipanggil dalam metode main. Untuk contoh ini, masukkan path penyimpanan untuk file data input, Shakespeare, dan file data output, batch-quickstart-test-output.txt. Catatan Anda hanya perlu menentukan path lengkap dan nama file output. Anda tidak perlu membuat file output di layanan penyimpanan terlebih dahulu. Path direktori file output harus sama dengan file input.	`--input oss://<nama bucket OSS yang Anda sambungkan>/artifacts/namespaces/<nama proyek>/Shakespeare` `--output oss://<nama bucket OSS yang Anda sambungkan>/artifacts/namespaces/<nama proyek>/batch-quickstart-test-output.txt` Anda dapat menyalin path lengkap file Shakespeare langsung di File Management.
Deployment Target	Dari daftar drop-down, pilih resource queue atau session cluster target (tidak untuk lingkungan produksi). Untuk informasi selengkapnya, lihat Kelola antrian sumber daya dan Langkah 1: Buat session cluster. Penting Pekerjaan yang diterapkan ke session cluster tidak mendukung penampilan atau konfigurasi pemantauan dan peringatan, atau pengaktifan auto-tuning. Jangan gunakan session cluster di lingkungan produksi. Session cluster dapat digunakan sebagai lingkungan pengembangan dan pengujian. Untuk informasi selengkapnya, lihat Debug pekerjaan.	default-queue

Untuk informasi selengkapnya tentang parameter lainnya, lihat Terapkan pekerjaan.

Klik Deploy.

Langkah 4: Jalankan pekerjaan dan lihat hasilnya

Pekerjaan stream

Di halaman Job O&M > Operation Center, temukan pekerjaan target dan klik Start di kolom Actions.
Pilih Stateless Start dan klik Start. Untuk informasi selengkapnya tentang cara menjalankan pekerjaan, lihat Jalankan pekerjaan.
Setelah status pekerjaan berubah menjadi Running, Anda dapat melihat hasil pekerjaan stream.

Di file log TaskManager yang berakhiran .out, Anda dapat mencari "shakespeare" untuk melihat hasil komputasi Flink.

Pekerjaan batch

Di halaman Job O&M > Operation Center, klik Start untuk pekerjaan target.
Di kotak dialog Start Job, klik Start. Untuk informasi selengkapnya tentang cara menjalankan pekerjaan, lihat Jalankan pekerjaan.
Setelah status pekerjaan berubah menjadi Finished, Anda dapat melihat hasil pekerjaan batch.

Login ke Konsol OSS. Anda dapat melihat file tersebut di path oss://<Nama Bucket OSS yang Anda sambungkan>/artifacts/namespaces/<Nama Proyek>/batch-quickstart-test-output.txt.

Catatan

Log TaskManager.out dapat menampilkan hingga 2.000 catatan. Karena batasan ini, jumlah catatan yang dihasilkan berbeda antara pekerjaan stream dan pekerjaan batch. Untuk informasi selengkapnya mengenai batasan ini, lihat Print.

(Opsional) Langkah 5: Hentikan pekerjaan

Jika Anda memodifikasi pekerjaan dan ingin menerapkan perubahan tersebut, Anda harus menerapkan ulang pekerjaan, lalu menghentikan dan menjalankannya kembali. Contoh modifikasi mencakup perubahan kode, penambahan atau penghapusan parameter WITH, serta pembaruan versi pekerjaan. Anda juga perlu menghentikan dan menjalankan ulang pekerjaan jika pekerjaan tidak dapat menggunakan kembali state, jika Anda ingin menjalankan pekerjaan baru, atau jika Anda memperbarui parameter yang tidak berlaku secara dinamis. Untuk informasi selengkapnya tentang cara menghentikan pekerjaan, lihat Hentikan pekerjaan.

Referensi

Anda dapat mengonfigurasi resource pekerjaan sebelum menjalankannya atau memodifikasinya setelah pekerjaan online. Dua mode alokasi sumber daya didukung: Basic (coarse-grained) dan Expert (fine-grained). Untuk informasi selengkapnya, lihat Konfigurasi resource pekerjaan.
Anda dapat memperbarui parameter pekerjaan Flink secara dinamis, sehingga perubahan konfigurasi berlaku lebih cepat dan mengurangi gangguan bisnis akibat penghentian serta restart pekerjaan. Untuk informasi selengkapnya, lihat Scaling dan pembaruan parameter dinamis.
Anda dapat mengonfigurasi tingkat log pekerjaan dan menentukan output terpisah untuk setiap tingkat log. Untuk informasi selengkapnya, lihat Konfigurasi output log pekerjaan.
Anda dapat mengikuti contoh sederhana untuk mempelajari alur pengembangan lengkap pekerjaan SQL secara langsung. Untuk informasi selengkapnya, lihat Panduan Cepat Mulai untuk pekerjaan Flink SQL.
Untuk informasi tentang cara membangun gudang data real-time dengan Hologres, lihat Bangun gudang data real-time dengan Hologres.
Untuk informasi tentang cara membangun danau data terpadu streaming dengan Paimon dan StarRocks, lihat Bangun danau data terpadu streaming dengan Paimon dan StarRocks.