Panduan cepat mulai Flink JAR - Realtime Compute for Apache Flink

Panduan ini menjelaskan cara membuat, menerapkan, dan menjalankan pekerjaan Flink JAR streaming dan batch untuk mendemonstrasikan alur kerja di Realtime Compute for Apache Flink.

Prasyarat

Jika Anda menggunakan pengguna RAM atau peran RAM, pastikan Anda memiliki izin yang diperlukan untuk konsol Flink. Untuk informasi selengkapnya, lihat Manajemen izin.
Anda telah membuat ruang kerja Flink. Untuk informasi selengkapnya, lihat Aktifkan Realtime Compute for Apache Flink.

Langkah 1: Kembangkan paket JAR

Development Console Realtime Compute for Apache Flink tidak menyediakan integrated development environment (IDE) untuk paket JAR. Anda harus mengembangkan, mengompilasi, dan memaketkan pekerjaan secara lokal. Untuk informasi lebih lanjut tentang cara mengonfigurasi dependensi, menggunakan konektor, dan membaca file dependensi dari Object Storage Service (OSS), lihat Kembangkan pekerjaan Flink JAR.

Penting

Pastikan versi Flink yang digunakan untuk pengembangan lokal sesuai dengan versi engine yang Anda pilih di Langkah 3: Terapkan pekerjaan JAR. Perhatikan juga cakupan paket dependensi.

Untuk membantu Anda memulai dengan cepat pekerjaan Flink JAR, panduan ini menyediakan contoh paket JAR penghitung kata dan file data. Anda dapat mengunduh file-file tersebut untuk menyelesaikan langkah-langkah berikut.

Klik FlinkQuickStart-1.0-SNAPSHOT.jar untuk mengunduh paket JAR uji coba.

Jika Anda tertarik pada kode sumbernya, klik FlinkQuickStart.zip untuk mengunduh dan mengompilasinya.
Klik Shakespeare untuk mengunduh file data.

Langkah 2: Unggah paket JAR dan file data

Masuk ke Konsol Realtime Compute.
Temukan ruang kerja Flink yang dituju dan klik Console pada kolom Actions.
Di panel navigasi sebelah kiri, klik Artifacts.
Klik Upload Artifact untuk mengunggah paket JAR dan file data.

Dalam tutorial ini, unggah file FlinkQuickStart-1.0-SNAPSHOT.jar dan Shakespeare yang telah Anda unduh di Langkah 1. Untuk informasi selengkapnya tentang jalur penyimpanan file, lihat Artifacts.

Langkah 3: Terapkan pekerjaan JAR

Pekerjaan streaming

Di halaman O&M > Deployments, klik Create Deployment dan pilih JAR Deployment.

Konfigurasikan parameter penerapan.

Parameter	Deskripsi	Contoh
Deployment mode	Pilih Stream Mode sebagai mode penyebaran.	Stream Mode
Deployment name	Masukkan nama untuk pekerjaan JAR.	flink-streaming-test-jar
Engine version	Versi engine Flink untuk pekerjaan. Kami menyarankan Anda menggunakan versi dengan tag RECOMMENDED atau STABLE untuk keandalan dan performa yang lebih baik. Untuk informasi selengkapnya, lihat Catatan rilis dan Versi engine.	vvr-8.0.9-flink-1.17
JAR URI	Pilih file FlinkQuickStart-1.0-SNAPSHOT.jar yang telah Anda unggah di Langkah 2. Anda juga dapat mengklik ikon untuk mengunggah paket JAR Anda sendiri. Jika file sudah ada di halaman Artifacts, Anda dapat memilihnya langsung. Catatan Engine Realtime Compute for Apache Flink VVR 8.0.6 dan yang lebih baru hanya dapat mengakses bucket yang terikat ke ruang kerja.	-
Entry point class	Titik masuk program. Jika paket JAR tidak menentukan kelas utama, Anda harus memasukkan nama kelas lengkapnya. Paket JAR uji coba yang disediakan dalam dokumen ini berisi kode untuk pekerjaan streaming dan pekerjaan batch. Oleh karena itu, Anda harus menentukan titik masuk untuk pekerjaan streaming.	org.example.WordCountStreaming
Entry point main arguments	Argumen yang akan diteruskan ke metode main. Untuk tutorial ini, masukkan jalur penyimpanan file data masukan `Shakespeare`.	`--input oss://<Your-OSS-Bucket-Name>/artifacts/namespaces/<Your-Namespace>/Shakespeare` Anda dapat menyalin jalur lengkap file Shakespeare dari halaman Artifacts .
Deployment target	Dari daftar drop-down, pilih resource queue atau session cluster yang dituju. Untuk informasi selengkapnya, lihat Kelola antrian sumber daya dan Langkah 1: Buat session cluster. Penting Pekerjaan yang diterapkan ke session cluster tidak mendukung pemantauan alert, konfigurasi alert, atau auto tuning. Jangan gunakan session cluster di lingkungan produksi. Session cluster ditujukan untuk pengembangan dan pengujian. Untuk informasi selengkapnya, lihat Debug pekerjaan.	default-queue

Untuk informasi selengkapnya tentang parameter konfigurasi, lihat Terapkan pekerjaan.

Klik Deploy.

Pekerjaan batch

Di halaman O&M > Deployments, klik Create Deployment dan pilih JAR Deployment.

Konfigurasikan parameter penerapan.

Parameter	Deskripsi	Contoh
Deployment mode	Pilih Batch Mode sebagai mode penyebaran.	Batch Mode
Deployment name	Masukkan nama untuk pekerjaan JAR.	flink-batch-test-jar
Engine version	Versi engine Flink untuk pekerjaan. Kami menyarankan Anda menggunakan versi dengan tag RECOMMENDED atau STABLE untuk keandalan dan performa yang lebih baik. Untuk informasi selengkapnya, lihat Catatan rilis dan Versi engine.	vvr-8.0.9-flink-1.17
JAR URI	Pilih file FlinkQuickStart-1.0-SNAPSHOT.jar yang telah Anda unggah di Langkah 2. Anda juga dapat mengklik ikon untuk mengunggah paket JAR Anda sendiri.	-
Entry point class	Kelas titik masuk program. Jika paket JAR Anda tidak menentukan kelas utama, masukkan nama lengkap Endpoint Class di sini. Paket JAR uji coba yang disediakan dalam dokumen ini berisi kode untuk pekerjaan streaming dan pekerjaan batch. Oleh karena itu, Anda harus menentukan titik masuk untuk pekerjaan batch.	org.example.WordCountBatch
Entry point main arguments	Argumen yang akan diteruskan ke metode main. Untuk tutorial ini, masukkan jalur penyimpanan untuk file data masukan `Shakespeare` dan file data keluaran `batch-quickstart-test-output.txt`. Catatan Tentukan jalur lengkap untuk file keluaran. Sistem akan membuat file ini secara otomatis. Dalam tutorial ini, jalur keluaran menempatkan file di direktori yang sama dengan file masukan.	`--input oss://<Your-OSS-Bucket-Name>/artifacts/namespaces/<Your-Namespace>/Shakespeare` `--output oss://<Your-OSS-Bucket-Name>/artifacts/namespaces/<Your-Namespace>/batch-quickstart-test-output.txt` Anda dapat menyalin jalur lengkap file Shakespeare dari halaman Artifacts.
Deployment target	Dari daftar drop-down, pilih resource queue atau session cluster yang dituju. Untuk informasi selengkapnya, lihat Kelola antrian sumber daya dan Langkah 1: Buat session cluster. Penting Pekerjaan yang diterapkan ke session cluster tidak mendukung pemantauan alert, konfigurasi alert, atau auto tuning. Jangan gunakan session cluster di lingkungan produksi. Session cluster ditujukan untuk pengembangan dan pengujian. Untuk informasi selengkapnya, lihat Debug pekerjaan.	default-queue

Untuk informasi selengkapnya tentang parameter konfigurasi, lihat Terapkan pekerjaan.

Klik Deploy.

Langkah 4: Jalankan pekerjaan dan lihat hasilnya

Pekerjaan streaming

Di halaman O&M > Deployments, temukan pekerjaan yang dituju dan klik Start pada kolom Actions.
Pilih Stateless Start dan klik Start. Untuk informasi selengkapnya tentang cara menjalankan pekerjaan, lihat Jalankan pekerjaan.
Setelah status pekerjaan berubah menjadi RUNNING, lihat hasil pekerjaan streaming.

Di file log TaskManager yang diakhiri dengan .out, cari shakespeare untuk melihat hasil Flink.

Untuk menemukan file log, buka tab Logs, pilih TaskManager yang sedang berjalan di bawah Running Task Managers, lalu klik tab Log List. Buka file flink.out dan cari shakespeare untuk menemukan hasilnya, seperti (shakespeare,1).

Pekerjaan batch

Di halaman O&M > Deployments, temukan pekerjaan yang dituju dan klik Start pada kolom Actions.
Di kotak dialog Start Job, klik Start. Untuk informasi selengkapnya tentang cara memulai Pekerjaan, lihat Memulai pekerjaan.
Setelah status pekerjaan berubah menjadi FINISHED, lihat hasil pekerjaan batch.

Masuk ke Konsol OSS dan lihat hasilnya di file oss://<Your-OSS-Bucket-Name>/artifacts/namespaces/<Your-Namespace>/batch-quickstart-test-output.txt.

Berikut adalah contoh hasil dari file batch-quickstart-test-output.txt.
```
a 164
abhor 2
abide 2
able 1
about 1
above 4
absence 5
absent 4
abundance 4
abundant 1
abuse 3
abused 1
abuses 1
abysm 1
accents 1
acceptable 1
acceptance 1
```

Catatan

Jumlah entri hasil untuk pekerjaan streaming dan pekerjaan batch mungkin berbeda karena log TaskManager.out hanya menampilkan maksimal 2.000 entri. Untuk informasi selengkapnya tentang batasan ini, lihat Print.

(Opsional) Langkah 5: Hentikan pekerjaan

Untuk menerapkan perubahan pada pekerjaan (seperti modifikasi kode, pembaruan parameter WITH, atau perubahan versi), Anda harus menerapkan ulang, menghentikan, lalu menjalankannya kembali. Restart juga diperlukan untuk stateless start atau untuk menerapkan perubahan konfigurasi non-dinamis. Untuk informasi selengkapnya tentang cara menghentikan pekerjaan, lihat Hentikan pekerjaan.

Dokumen terkait

Anda dapat mengonfigurasi resource pekerjaan sebelum menjalankannya atau memodifikasi resource setelah pekerjaan berjalan. Mode resource Basic (coarse-grained) dan Expert (fine-grained) didukung. Untuk informasi selengkapnya, lihat Konfigurasikan resource pekerjaan.
Pelajari cara memperbarui parameter dan resource pekerjaan secara dinamis untuk menerapkan perubahan lebih cepat dan mengurangi gangguan akibat restart pekerjaan. Untuk informasi selengkapnya, lihat Scaling dinamis dan pembaruan parameter.
Konfigurasikan tingkat log dan tentukan output terpisah untuk tingkat yang berbeda. Untuk informasi selengkapnya, lihat Konfigurasikan output log pekerjaan.
Ikuti contoh sederhana untuk mempelajari alur kerja pengembangan lengkap untuk pekerjaan Flink SQL. Untuk informasi selengkapnya, lihat Pekerjaan Flink SQL.
Bangun gudang data real-time dengan Hologres.
Bangun streaming lakehouse menggunakan Paimon dan StarRocks.