Memulai dengan deploy Python - Realtime Compute for Apache Flink

Topik ini menjelaskan cara membuat dan memulai deploy streaming Python serta deploy batch Python di konsol pengembangan Realtime Compute for Apache Flink.

Prasyarat

Pengguna RAM atau Peran RAM harus memiliki izin yang diperlukan. Prasyarat ini wajib dipenuhi jika Anda ingin menggunakan Pengguna RAM atau Peran RAM untuk mengakses konsol pengembangan Realtime Compute for Apache Flink. Untuk informasi lebih lanjut, lihat Manajemen Izin.
Sebuah workspace Realtime Compute for Apache Flink telah dibuat. Untuk informasi lebih lanjut, lihat Aktifkan Realtime Compute for Apache Flink.

Langkah 1: Siapkan file kode Python

Paket Python tidak dapat dikembangkan di konsol manajemen Realtime Compute for Apache Flink. Oleh karena itu, Anda harus mengembangkan file Python di lingkungan lokal. Untuk informasi lebih lanjut tentang cara men-debug deploy dan menggunakan konektor, lihat Kembangkan draft API Python.

null

Versi Flink yang digunakan saat mengembangkan paket Python harus sama dengan versi Flink di mesin yang dipilih di Langkah 3: Buat deploy Python. Anda dapat menggunakan dependensi dalam deploy Python, termasuk lingkungan virtual Python kustom, paket pihak ketiga Python, paket JAR, dan file data. Untuk informasi lebih lanjut, lihat Gunakan dependensi Python.

Untuk membantu Anda dengan cepat melakukan berbagai operasi pada deploy Python di konsol pengembangan Realtime Compute for Apache Flink, file Python uji dan file data input disediakan untuk operasi selanjutnya. File Python uji ini digunakan untuk menghitung jumlah kemunculan kata dalam file data input.

Unduh file Python uji sesuai jenis deploy Anda.
- Unduh file Python uji untuk deploy streaming: word_count_streaming.py.
- Unduh file Python uji untuk deploy batch: word_count_batch.py.

Unduh file data input Shakespeare.

Langkah 2: Unggah file Python uji dan file data input

Masuk ke konsol manajemen Realtime Compute for Apache Flink.
Temukan workspace target dan klik Console di kolom Actions.
Di panel navigasi kiri konsol pengembangan Realtime Compute for Apache Flink, klik Artifacts.
Di pojok kiri atas halaman Artifacts, klik Upload Artifact dan pilih file Python uji serta file data.
Dalam topik ini, file Python uji dan file data input yang diunduh di Langkah 1 diunggah. Untuk informasi lebih lanjut tentang direktori file, lihat Kelola artifacts.

Langkah 3: Buat deploy Python

Deploy streaming

Di panel navigasi kiri konsol pengembangan Realtime Compute for Apache Flink, pilih O&M > Deployments. Di pojok kiri atas halaman Deployments, pilih Create Deployment > Python Deployment.

Di kotak dialog Buat Deploy Python, konfigurasikan parameter. Tabel berikut menjelaskan parameter tersebut.

py_流_zh.jpg

Parameter	Deskripsi	Contoh
Deployment Mode	Mode yang ingin Anda gunakan untuk menerapkan deploy Python. Pilih Mode Stream.	Mode Stream
Deployment Name	Nama dari deploy Python.	flink-streaming-test-python
Engine Version	Versi engine yang digunakan oleh deploy saat ini. Kami merekomendasikan Anda menggunakan versi engine yang memiliki label RECOMMENDED atau STABLE. Versi dengan label tersebut memberikan keandalan dan performa yang lebih tinggi. Untuk informasi lebih lanjut, lihat Catatan rilis dan Versi engine.	vvr-8.0.9-flink-1.17
Python Uri	File Python. Unduh file Python uji word_count_streaming.py dan klik ikon di sebelah kanan bidang Python Uri untuk memilih dan mengunggah file Python uji. Anda juga dapat memilih file Python di artifacts.	-
Entry Module	Kelas titik masuk program Python. Jika file yang Anda unggah adalah file .py, Anda tidak perlu mengonfigurasi parameter ini. Jika file yang Anda unggah adalah file .zip, Anda harus mengonfigurasi parameter ini. Sebagai contoh, Anda dapat mengatur parameter Modul Entri menjadi word_count.	Tidak diperlukan
Entry Point Main Arguments	Parameter yang ingin Anda panggil di metode utama. Dalam contoh ini, masukkan direktori tempat file data input Shakespeare disimpan.	`--input oss://<Nama Bucket OSS terkait>/artifacts/namespaces/<Nama Ruang Kerja>/Shakespeare` Anda dapat pergi ke halaman Artifacts dan klik nama file data input Shakespeare untuk menyalin direktori lengkap.
Deployment Target	Destinasi di mana deployment diterapkan. Pilih queue atau session cluster yang ingin Anda gunakan dari daftar drop-down. Kami merekomendasikan agar Anda tidak menggunakan session cluster di lingkungan produksi. Untuk informasi lebih lanjut, lihat Kelola antrian dan Langkah 1: Buat session cluster. null Metrik pemantauan deployment yang diterapkan di session cluster tidak dapat ditampilkan. Session cluster tidak mendukung fitur pemantauan dan peringatan serta fitur Autopilot. Session cluster cocok untuk lingkungan pengembangan dan pengujian. Kami merekomendasikan agar Anda tidak menggunakan session cluster di lingkungan produksi. Untuk informasi lebih lanjut, lihat Debug deployment.	default-queue

Untuk informasi lebih lanjut tentang parameter deployment lainnya, lihat Buat deployment.

Klik Deploy.

Deploy batch

Di panel navigasi kiri konsol pengembangan Realtime Compute for Apache Flink, pilih O&M > Deployments. Di pojok kiri atas halaman Deployments, pilih Create Deployment > Python Deployment.

Di kotak dialog Buat Deploy Python, konfigurasikan parameter. Tabel berikut menjelaskan parameter tersebut.

py_批_zh.jpg

Parameter	Deskripsi	Contoh
Deployment Mode	Mode yang ingin Anda gunakan untuk menerapkan deploy Python. Pilih Mode Batch.	Mode Batch
Deployment Name	Nama dari deployment.	flink-batch-test-python
Engine Version	Versi engine yang digunakan oleh deployment saat ini. Kami merekomendasikan Anda menggunakan versi engine yang memiliki label RECOMMENDED atau STABLE. Versi dengan label tersebut memberikan keandalan dan performa yang lebih tinggi. Untuk informasi lebih lanjut, lihat Catatan rilis dan Versi engine.	vvr-8.0.9-flink-1.17
Python Uri	File Python. Unduh file Python uji word_count_batch.py dan klik ikon di sebelah kanan bidang Python Uri untuk memilih dan mengunggah file Python uji.	-
Entry Module	Kelas titik masuk program Python. Jika file yang Anda unggah adalah file .py, Anda tidak perlu mengonfigurasi parameter ini. Jika file yang Anda unggah adalah file .zip, Anda harus mengonfigurasi parameter ini. Sebagai contoh, Anda dapat mengatur parameter Modul Entri menjadi word_count.	Tidak diperlukan
Entry Point Main Arguments	Parameter yang ingin Anda panggil di metode utama. Dalam contoh ini, masukkan direktori tempat file data input Shakespeare dan file data output batch-quickstart-test-output disimpan. null Anda hanya perlu menentukan direktori file data output. Anda tidak perlu membuat file data output di direktori yang ditentukan sebelumnya. Direktori induk file data output sama dengan direktori file data input.	`--input oss://<Nama Bucket OSS terkait>/artifacts/namespaces/<Nama Ruang Kerja>/Shakespeare` `--output oss://<Nama Bucket OSS terkait>/artifacts/namespaces/<Nama Ruang Kerja>/python-batch-quickstart-test-output` Anda dapat pergi ke halaman Artifacts dan klik nama file data input Shakespeare untuk menyalin direktori lengkap.
Deployment Target	Destinasi di mana deployment diterapkan. Pilih queue atau session cluster yang ingin Anda gunakan dari daftar drop-down. Kami merekomendasikan agar Anda tidak menggunakan session cluster di lingkungan produksi. Untuk informasi lebih lanjut, lihat Kelola antrian dan Langkah 1: Buat session cluster. null Metrik pemantauan deployment yang diterapkan di session cluster tidak dapat ditampilkan. Session cluster tidak mendukung fitur pemantauan dan peringatan serta fitur Autopilot. Session cluster cocok untuk lingkungan pengembangan dan pengujian. Kami merekomendasikan agar Anda tidak menggunakan session cluster di lingkungan produksi. Untuk informasi lebih lanjut, lihat Debug deployment.	default-queue

Untuk informasi lebih lanjut tentang parameter deployment lainnya, lihat Buat deployment.

Klik Deploy.

Langkah 4: Mulai deployment dan lihat hasil komputasi

Deployment streaming

Di panel navigasi kiri konsol pengembangan Realtime Compute for Apache Flink, pilih O&M > Deployments. Di halaman Deployments, temukan deployment yang diinginkan dan klik Start di kolom Actions.
Di panel Mulai Job, pilih Initial Mode dan klik Start. Untuk informasi lebih lanjut tentang cara memulai deployment, lihat Mulai deployment.
Setelah Anda mengklik Mulai, deployment masuk ke status RUNNING atau FINISHED. Ini menunjukkan bahwa deployment berjalan sesuai harapan. Jika Anda mengunggah file Python uji untuk membuat deployment, deployment akan berada dalam status FINISHED.
Setelah deployment masuk ke status RUNNING, lihat hasil komputasi dari deployment streaming.
null
Jika Anda mengunggah file Python uji untuk membuat deployment, hasil komputasi dari deployment streaming dihapus ketika deployment streaming masuk ke status FINISHED. Anda hanya dapat melihat hasil komputasi dari deployment streaming ketika deployment streaming berada dalam status RUNNING.
Di halaman Deployments, temukan deployment yang diinginkan dan klik nama deployment tersebut. Di halaman yang muncul, klik Logs. Di tab Running Task Managers, klik nilai di kolom Path, ID. Di halaman yang muncul, klik tab Log List. Temukan file log yang namanya diakhiri dengan .out di kolom Log Name dan klik nama file log tersebut. Kemudian, cari kata kunci shakespeare di file log untuk melihat hasil komputasi.

Deployment batch

Di panel navigasi kiri konsol pengembangan Realtime Compute for Apache Flink, pilih O&M > Deployments. Di halaman Deployments, temukan deployment yang diinginkan dan klik Start di kolom Tindakan.
Di panel Start Job, klik Start. Untuk informasi lebih lanjut tentang cara memulai deployment, lihat Mulai deployment.
Setelah deployment masuk ke status FINISHED, lihat hasil komputasi dari deployment batch.
Masuk ke Konsol OSS dan lihat hasil komputasi di direktori oss://<Nama Bucket OSS terkait>/artifacts/namespaces/<Nama Ruang Kerja>/batch-quickstart-test-output. Klik folder dengan nama tanggal dan waktu mulai deployment dan klik file yang ingin Anda kelola. Di panel yang muncul, klik Download.
Hasil komputasi dari deployment batch adalah file .ext. Setelah Anda mengunduh file data output, Anda dapat menggunakan Notepad atau Microsoft Office Word untuk membuka file tersebut. Gambar berikut menunjukkan hasil komputasi.

Langkah 5: (Opsional) Batalkan deployment

Dalam dua keadaan, Anda mungkin perlu membatalkan deployment. Setelah memodifikasi draft deployment—seperti kode SQL, opsi konektor dalam klausa WITH, atau versi engine—Anda harus menerapkan draft yang telah diperbarui, membatalkan deployment yang sedang berjalan, dan kemudian memulai ulang deployment agar perubahan berlaku. Jika deployment gagal dan tidak dapat menggunakan data state untuk pulih atau Anda ingin memperbarui pengaturan parameter yang tidak berlaku secara dinamis, Anda harus membatalkan dan kemudian memulai deployment. Untuk informasi lebih lanjut, lihat Batalkan deployment.

Referensi

Anda dapat mengonfigurasi sumber daya untuk deployment sebelum memulai deployment. Anda juga dapat memodifikasi konfigurasi sumber daya deployment setelah Anda mempublikasikan draft untuk deployment. Realtime Compute for Apache Flink menyediakan mode konfigurasi sumber daya berikut: mode dasar (kasar) dan mode ahli (halus). Untuk informasi lebih lanjut, lihat Konfigurasikan sumber daya untuk deployment.
Anda dapat memperbarui konfigurasi parameter Realtime Compute for Apache Flink deployment secara dinamis. Hal ini membuat konfigurasi parameter berlaku lebih cepat dan membantu mengurangi waktu gangguan layanan yang disebabkan oleh startup dan pembatalan deployment. Untuk informasi lebih lanjut, lihat Perbarui konfigurasi parameter secara dinamis untuk penskalaan dinamis.
Anda dapat mengonfigurasi parameter untuk mengekspor log deployment ke penyimpanan eksternal dan menentukan level log yang ingin Anda ekspor. Untuk informasi lebih lanjut, lihat Konfigurasikan parameter untuk mengekspor log deployment.
Untuk informasi lebih lanjut tentang cara membuat deployment SQL untuk Realtime Compute for Apache Flink, lihat Memulai dengan deployment SQL.
Anda dapat membangun gudang data real-time menggunakan Realtime Compute for Apache Flink dan Hologres. Untuk informasi lebih lanjut, lihat Bangun gudang data real-time menggunakan Realtime Compute for Apache Flink dan Hologres.
Anda dapat membangun lakehouse aliran data berbasis OpenLake menggunakan Realtime Compute for Apache Flink. Untuk informasi lebih lanjut, lihat Bangun lakehouse aliran data berbasis OpenLake menggunakan Realtime Compute for Apache Flink.