Memulai dengan Penyebaran JAR - Realtime Compute for Apache Flink

Topik ini menjelaskan cara membuat dan memulai penyebaran streaming JAR serta penyebaran batch JAR di konsol pengembangan Realtime Compute for Apache Flink.

Prasyarat

Pengguna RAM atau Peran RAM harus memiliki izin yang diperlukan. Prasyarat ini harus dipenuhi jika Anda ingin menggunakan Pengguna RAM atau Peran RAM untuk mengakses konsol pengembangan Realtime Compute for Apache Flink. Untuk informasi lebih lanjut, lihat Manajemen Izin.
Sebuah workspace Realtime Compute for Apache Flink telah dibuat. Untuk informasi lebih lanjut, lihat Aktifkan Realtime Compute for Apache Flink.

Langkah 1: Mengembangkan paket JAR

Paket JAR tidak dapat dikembangkan di konsol manajemen Realtime Compute for Apache Flink. Oleh karena itu, Anda harus mengembangkan, mengompilasi, dan mengemas file JAR di lingkungan lokal. Untuk informasi lebih lanjut tentang konfigurasi dependensi lingkungan, penggunaan konektor, dan membaca data dari file dependensi tambahan yang disimpan di Object Storage Service (OSS), lihat Mengembangkan Draf JAR.

null

Versi Flink yang digunakan saat mengembangkan paket JAR harus sesuai dengan versi Flink pada mesin yang dipilih di Langkah 3: Membuat Penyebaran JAR. Perhatikan ruang lingkup paket dependensi.

Untuk membantu Anda memulai dengan cepat penyebaran streaming JAR dan penyebaran batch JAR di konsol pengembangan Realtime Compute for Apache Flink, paket JAR uji dan file data masukan disediakan untuk operasi selanjutnya. Paket JAR uji ini digunakan untuk menghitung jumlah kemunculan kata dalam file data masukan.

Unduh paket JAR uji FlinkQuickStart-1.0-SNAPSHOT.jar.
Jika Anda ingin menganalisis kode sumber, unduh paket FlinkQuickStart.zip dan kompilasi kode tersebut.
Unduh file data masukan Shakespeare.

Langkah 2: Unggah paket JAR uji dan file data masukan

Masuk ke konsol manajemen Realtime Compute for Apache Flink.
Temukan workspace target dan klik Console di kolom Actions.
Di panel navigasi kiri konsol pengembangan Realtime Compute for Apache Flink, klik Artifacts.
Di pojok kiri atas halaman Artifacts, klik Upload Artifact dan unggah paket JAR uji serta file data masukan.
Dalam topik ini, paket JAR uji FlinkQuickStart-1.0-SNAPSHOT.jar dan file data masukan Shakespeare yang diunduh di Langkah 1 diunggah. Untuk informasi lebih lanjut tentang direktori file, lihat Kelola Artifacts.

Langkah 3: Membuat penyebaran JAR

Penyebaran Streaming

Di panel navigasi kiri konsol pengembangan Realtime Compute for Apache Flink, pilih O&M > Deployments. Di pojok kiri atas halaman Penyebaran, pilih Create Deployment > JAR Deployment.

Di kotak dialog Buat Penyebaran JAR, konfigurasikan parameter. Tabel berikut menjelaskan parameter.

部署jar.jpg

Parameter	Deskripsi	Contoh
Deployment Mode	Mode yang ingin Anda gunakan untuk menyebar JAR. Pilih Mode Stream.	Mode Stream
Deployment Name	Nama penyebaran JAR.	flink-streaming-test-jar
Engine Version	Versi mesin yang digunakan oleh penyebaran saat ini. Kami merekomendasikan Anda menggunakan versi mesin yang memiliki label RECOMMENDED atau STABLE. Versi dengan label tersebut memberikan keandalan dan performa yang lebih tinggi. Untuk informasi lebih lanjut, lihat Catatan rilis dan Versi mesin.	vvr-8.0.9-flink-1.17
JAR URI	Paket JAR. Anda dapat menggunakan paket JAR uji FlinkQuickStart-1.0-SNAPSHOT.jar yang Anda unggah di Langkah 2 atau klik ikon di sebelah kanan bidang URI JAR untuk memilih dan mengunggah paket JAR uji Anda. null Realtime Compute for Apache Flink yang menggunakan Ververica Runtime (VVR) 8.0.6 atau lebih baru hanya memperbolehkan Anda mengakses Bucket OSS yang terkait dengan workspace Realtime Compute for Apache Flink saat Anda mengaktifkan workspace. Bucket OSS lainnya tidak didukung.	-
Entry Point Class	Kelas titik masuk aplikasi JAR. Jika Anda tidak menentukan kelas utama untuk paket JAR, masukkan direktori standar di bidang Kelas Titik Masuk. Dalam contoh ini, paket JAR uji berisi kode penyebaran streaming dan kode penyebaran batch. Oleh karena itu, Anda harus mengonfigurasi parameter ini untuk menentukan titik masuk program untuk penyebaran streaming.	org.example.WordCountStreaming
Entry Point Main Arguments	Parameter yang ingin Anda panggil di metode utama. Dalam contoh ini, masukkan direktori tempat file data masukan Shakespeare disimpan.	`--input oss://<Nama Bucket OSS yang terkait>/artifacts/namespaces/<Nama ruang kerja>/Shakespeare` Anda dapat pergi ke halaman Artifacts dan klik nama file data masukan Shakespeare untuk menyalin direktori lengkap.
Deployment Target	Destinasi di mana penyebaran dilakukan. Pilih queue atau session cluster yang diinginkan dari daftar drop-down. Kami merekomendasikan agar Anda tidak menggunakan kluster sesi di lingkungan produksi. Untuk informasi lebih lanjut, lihat Kelola antrian dan Langkah 1: Buat kluster sesi. null Metrik pemantauan penyebaran yang diterapkan di kluster sesi tidak dapat ditampilkan. Kluster sesi tidak mendukung fitur pemantauan dan peringatan serta fitur Autopilot. Kluster sesi cocok untuk lingkungan pengembangan dan pengujian. Kami merekomendasikan agar Anda tidak menggunakan kluster sesi di lingkungan produksi. Untuk informasi lebih lanjut, lihat Debug penyebaran.	default-queue

Untuk informasi lebih lanjut tentang parameter penyebaran lainnya, lihat Buat Penyebaran.

Klik Deploy.

Penyebaran Batch

Di panel navigasi kiri konsol pengembangan Realtime Compute for Apache Flink, pilih O&M > Deployments. Di pojok kiri atas halaman Penyebaran, pilih Create Deployment > JAR Deployment.

Di kotak dialog Buat Penyebaran JAR, konfigurasikan parameter. Tabel berikut menjelaskan parameter.

部署jar_批_ch.jpg

Parameter	Deskripsi	Contoh
Deployment Mode	Mode yang ingin Anda gunakan untuk menyebar JAR. Pilih Mode Batch.	Mode Batch
Deployment Name	Nama penyebaran JAR.	flink-batch-test-jar
Engine Version	Versi mesin yang digunakan oleh penyebaran saat ini. Kami merekomendasikan Anda menggunakan versi mesin yang memiliki label RECOMMENDED atau STABLE. Versi dengan label tersebut memberikan keandalan dan performa yang lebih tinggi. Untuk informasi lebih lanjut, lihat Catatan rilis dan Versi mesin.	vvr-8.0.9-flink-1.17
JAR URI	Paket JAR. Anda dapat menggunakan paket JAR uji FlinkQuickStart-1.0-SNAPSHOT.jar yang Anda unggah di Langkah 2 atau klik ikon di sebelah kanan bidang URI JAR untuk memilih dan mengunggah paket JAR uji Anda.	-
Entry Point Class	Kelas titik masuk program. Jika Anda tidak menentukan kelas utama untuk paket JAR, masukkan direktori standar di bidang Entry Point Class. Dalam contoh ini, paket JAR uji berisi kode penyebaran streaming dan kode penyebaran batch. Oleh karena itu, Anda harus mengonfigurasi parameter ini untuk menentukan titik masuk program untuk penyebaran batch.	org.example.WordCountBatch
Entry Point Main Arguments	Parameter yang ingin Anda panggil di metode utama. Dalam contoh ini, masukkan direktori tempat file data masukan Shakespeare dan file data keluaran batch-quickstart-test-output.txt disimpan. null Anda hanya perlu menentukan direktori file data keluaran. Anda tidak perlu membuat file data keluaran di direktori yang ditentukan sebelumnya. Direktori file data keluaran harus sama dengan direktori file data masukan.	`--input oss://<Nama Bucket OSS yang terkait>/artifacts/namespaces/<Nama ruang kerja>/Shakespeare` `--output oss://<Nama Bucket OSS yang terkait>/artifacts/namespaces/<Nama ruang kerja>/batch-quickstart-test-output.txt` Anda dapat pergi ke halaman Artifacts dan klik nama file data masukan Shakespeare untuk menyalin direktori lengkap.
Deployment Target	Destinasi di mana penyebaran dilakukan. Pilih queue atau session cluster yang diinginkan dari daftar drop-down. Kami merekomendasikan agar Anda tidak menggunakan kluster sesi di lingkungan produksi. Untuk informasi lebih lanjut, lihat Kelola antrian dan Langkah 1: Buat kluster sesi. null Metrik pemantauan penyebaran yang diterapkan di kluster sesi tidak dapat ditampilkan. Kluster sesi tidak mendukung fitur pemantauan dan peringatan serta fitur Autopilot. Kluster sesi cocok untuk lingkungan pengembangan dan pengujian. Kami merekomendasikan agar Anda tidak menggunakan kluster sesi di lingkungan produksi. Untuk informasi lebih lanjut, lihat Debug penyebaran.	default-queue

Untuk informasi lebih lanjut tentang parameter penyebaran lainnya, lihat Buat Penyebaran.

Klik Deploy.

Langkah 4: Mulai penyebaran dan lihat hasil komputasi

Penyebaran Streaming

Di panel navigasi kiri konsol pengembangan Realtime Compute for Apache Flink, pilih O&M > Deployments. Di halaman Penyebaran, temukan penyebaran yang diinginkan dan klik Start di kolom Actions.
Di panel Mulai Job, pilih Initial Mode dan klik Start. Untuk informasi lebih lanjut tentang cara memulai penyebaran, lihat Mulai Penyebaran.
Setelah penyebaran mencapai status RUNNING, lihat hasil komputasi dari penyebaran streaming.
Di halaman Penyebaran, klik nama penyebaran yang diinginkan. Di halaman yang muncul, klik Logs. Di tab Running Task Managers, klik nilai di kolom Path, ID. Di halaman yang muncul, klik tab Log List. Temukan file log yang namanya berakhiran .out di kolom Log Name dan klik nama file log tersebut. Lalu, cari kata kunci shakespeare di file log untuk melihat hasil komputasi.

Penyebaran Batch

Di panel navigasi kiri konsol pengembangan Realtime Compute for Apache Flink, pilih O&M > Deployments. Di halaman Penyebaran, temukan penyebaran yang diinginkan dan klik Start di kolom Tindakan.
Di panel Start Job, klik Start. Untuk informasi lebih lanjut tentang cara memulai penyebaran, lihat Mulai Penyebaran.
Setelah penyebaran mencapai status FINISHED, lihat hasil komputasi dari penyebaran batch.
Masuk ke Konsol OSS dan lihat hasil komputasi di direktori oss://<Nama Bucket OSS yang terkait>/artifacts/namespaces/<Nama ruang kerja>/batch-quickstart-test-output.txt.

null

File log Taskmanager.out berisi maksimum 2.000 catatan data. Oleh karena itu, jumlah catatan data dalam hasil komputasi penyebaran streaming berbeda dengan jumlah catatan data dalam hasil komputasi penyebaran batch. Untuk informasi lebih lanjut tentang batasan jumlah catatan data yang terkandung dalam file log Taskmanager.out, lihat Konektor Cetak.

Langkah 5: (Opsional) Batalkan penyebaran

Dalam dua keadaan, Anda mungkin perlu membatalkan penyebaran. Setelah memodifikasi draf penyebaran—seperti kode SQL, opsi konektor dalam klausa WITH, atau versi mesin—Anda harus menyebar draf yang telah diperbarui, membatalkan penyebaran yang sedang berjalan, dan kemudian memulai ulang penyebaran agar perubahan berlaku. Jika penyebaran gagal dan tidak dapat menggunakan data status untuk pulih atau Anda ingin memperbarui pengaturan parameter yang tidak berlaku secara dinamis, Anda harus membatalkan dan kemudian memulai penyebaran. Untuk informasi lebih lanjut, lihat Batalkan Penyebaran.

Referensi

Anda dapat mengonfigurasi sumber daya untuk penyebaran sebelum memulai penyebaran. Anda juga dapat memodifikasi konfigurasi sumber daya penyebaran setelah Anda mempublikasikan draf untuk penyebaran. Realtime Compute for Apache Flink menyediakan mode konfigurasi sumber daya berikut: mode dasar (kasar) dan mode ahli (halus). Untuk informasi lebih lanjut, lihat Konfigurasikan Sumber Daya untuk Penyebaran.
Anda dapat memperbarui konfigurasi parameter Realtime Compute for Apache Flink secara dinamis. Ini membuat konfigurasi parameter berlaku lebih cepat dan membantu mengurangi waktu gangguan layanan yang disebabkan oleh startup dan pembatalan penyebaran. Untuk informasi lebih lanjut, lihat Perbarui Konfigurasi Parameter Secara Dinamis untuk Penskalaan Dinamis.
Anda dapat mengonfigurasi parameter untuk mengekspor log penyebaran ke penyimpanan eksternal dan menentukan tingkat log yang ingin Anda ekspor. Untuk informasi lebih lanjut, lihat Konfigurasikan Parameter untuk Mengekspor Log Penyebaran.
Untuk informasi lebih lanjut tentang cara membuat penyebaran SQL untuk Realtime Compute for Apache Flink, lihat Memulai dengan Penyebaran SQL.
Anda dapat membangun gudang data real-time dengan menggunakan Realtime Compute for Apache Flink dan Hologres. Untuk informasi lebih lanjut, lihat Bangun Gudang Data Real-Time dengan Menggunakan Realtime Compute for Apache Flink dan Hologres.
Anda dapat membangun lakehouse aliran data berbasis OpenLake dengan menggunakan Realtime Compute for Apache Flink. Untuk informasi lebih lanjut, lihat Bangun Lakehouse Aliran Data Berbasis OpenLake dengan Menggunakan Realtime Compute for Apache Flink.