Konfigurasikan parameter Flink - Realtime Compute for Apache Flink

Sebelum memulai pekerjaan, Anda harus mengonfigurasi penerapannya. Topik ini menjelaskan cara mengonfigurasi penerapan pekerjaan.

Prasyarat

Berikan izin yang diperlukan kepada Akun Alibaba Cloud atau pengguna Resource Access Management (RAM) yang digunakan untuk mengakses proyek dan mengonfigurasi sumber daya pekerjaan. Untuk informasi selengkapnya, lihat Berikan izin di Konsol pengembangan.
Pekerjaan telah diterapkan. Untuk informasi selengkapnya, lihat Terapkan pekerjaan.

Prosedur

Masuk ke Konsol Realtime Compute for Apache Flink.
Temukan ruang kerja target dan klik Console di kolom Actions.
Pada halaman Operation Center > Job O&M, klik nama pekerjaan tersebut.
Pada tab Deployment Details, klik Edit di sebelah kanan bagian target.
Catatan
Untuk mengedit konfigurasi dasar pekerjaan SQL, kembali ke halaman Data Studio > ETL untuk mengedit draf pekerjaan dan menerapkannya kembali. Setelah mengklik Edit di sebelah kanan bagian Basic Configuration, klik OK pada kotak dialog yang muncul.
Ubah informasi penerapan pekerjaan.
Anda dapat mengubah informasi penerapan pada bagian-bagian berikut:
Klik Save.

Konfigurasi dasar

Job type	Description
SQL job	Berisi kode SQL dan informasi untuk Engine Version, Additional Dependencies, Description, dan Job Tags. Untuk informasi selengkapnya mengenai parameter-parameter tersebut, lihat Job development map. Catatan Setelah Anda mengklik Edit di sebelah kanan bagian Basic Configuration, Anda harus kembali ke halaman pengembangan SQL untuk mengedit draf pekerjaan dan menerapkannya kembali. Untuk melanjutkan pengeditan, klik OK.
JAR job	Berisi Engine Version, JAR Uri, Entry Point Class, Entry Point Main Arguments, Additional Dependencies, Description, Kerberos Cluster, dan Job Tags. Untuk informasi selengkapnya mengenai parameter-parameter tersebut, lihat Deploy a job.
Python job	Berisi Engine Version, Python Uri, Entry Module, Entry Point Main Arguments, Python Libraries, Python Archives, Additional Dependencies, Description, Kerberos Cluster, dan Job Tags. Untuk informasi selengkapnya mengenai parameter-parameter tersebut, lihat Deploy a job.

Konfigurasi parameter runtime

Parameter	Description
System checkpoint interval	Interval periodik saat checkpoint sistem dilakukan. Jika parameter ini dikosongkan, checkpoint sistem dinonaktifkan.
System checkpoint timeout	Nilai default adalah 10 menit. Jika checkpoint sistem tidak berhasil dibuat dalam periode timeout yang ditentukan, checkpoint tersebut gagal.
Minimum interval between system checkpoints	Interval minimum antara dua checkpoint sistem. Jika tingkat paralelisme maksimum untuk checkpoint sistem adalah 1, pengaturan ini memastikan jeda waktu minimum antara dua checkpoint berturut-turut.
State data TTL	Waktu hidup (TTL) informasi state, dalam satuan jam. Nilai default adalah 36 jam. Artinya, informasi state pekerjaan secara otomatis kedaluwarsa dan dihapus setelah 36 jam. Penting Nilai default ini didasarkan pada praktik terbaik Alibaba Cloud dan berbeda dari nilai default open source. Nilai default open source adalah 0, yang berarti informasi state tidak pernah kedaluwarsa. Saat data pertama kali masuk ke sistem dan diproses, data tersebut disimpan dalam memori state. Ketika data baru dengan primary key yang sama tiba, sistem menggunakan data state yang tersimpan untuk komputasi dan memperbarui waktu aksesnya. Proses ini merupakan inti dari komputasi real-time karena bergantung pada aliran data yang berkelanjutan. Jika data tidak diakses lagi dalam rentang waktu TTL yang dikonfigurasi, sistem menganggapnya telah kedaluwarsa dan menghapusnya dari penyimpanan state. Mengatur nilai TTL yang tepat menjaga akurasi komputasi dan membersihkan data lama secara tepat waktu. Hal ini mengurangi penggunaan memori state, meringankan beban memori sistem, serta meningkatkan efisiensi komputasi dan stabilitas sistem.
Flink restart policy	Perilaku restart pekerjaan Flink ditentukan oleh dua kebijakan: kebijakan restart tingkat pekerjaan dan kebijakan pemulihan kesalahan tingkat task. Kebijakan restart tingkat pekerjaan Flink menentukan apakah akan merestart pekerjaan berdasarkan apakah checkpointing diaktifkan hanya jika kebijakan restart tingkat pekerjaan tidak dikonfigurasi. Jika checkpointing diaktifkan, Flink merestart pekerjaan menggunakan kebijakan Fixed Delay. Jika checkpointing dinonaktifkan, Flink tidak merestart pekerjaan. Konfigurasi eksplisit kebijakan restart tingkat pekerjaan No Restarts: Pekerjaan tidak direstart setelah mengalami kegagalan. Fixed Delay (default): Setelah kegagalan, pekerjaan mencoba merestart dengan interval tetap. Anda harus menetapkan jumlah maksimum upaya restart dan penundaan antar upaya. Failure Rate: Merestart pekerjaan berdasarkan laju kegagalan. Anda harus menetapkan interval laju kegagalan, jumlah maksimum kegagalan dalam interval tersebut, dan penundaan antar upaya restart. Kebijakan pemulihan kesalahan tingkat task Kebijakan ini mengontrol cara merestart task setelah gagal. Konfigurasikan kebijakan ini menggunakan parameter `jobmanager.execution.failover-strategy`. Opsi yang tersedia sebagai berikut: full: Merestart seluruh pekerjaan. Jika ada task yang gagal, semua task direstart. region (default): Hanya merestart himpunan minimum task yang diperlukan. Task-task tersebut membentuk sebuah pipelined region. Untuk informasi selengkapnya, lihat Restart Strategies. Catatan Sebuah pekerjaan berisi dua pipeline source-to-sink yang tidak saling terhubung. Jika sebuah task pada salah satu pipeline gagal dan kebijakan pemulihan kesalahan region digunakan, Flink hanya merestart pipeline yang mengalami kegagalan tersebut. Pipeline lainnya terus berjalan tanpa terpengaruh. Hal ini dapat menyebabkan waktu mulai kedua pipeline berbeda, yang merupakan kondisi normal.
Other configurations	Atur konfigurasi Flink lainnya di sini. Contohnya, `akka.ask.timeout: 10` atau `jobmanager.execution.failover-strategy: full`. Catatan Anda tidak dapat menggunakan parameter yang terkait dengan `env.java.opts`, seperti `-XX:+UseG1GC`, untuk mengubah jenis garbage collection (GC). Jika Anda memiliki kebutuhan khusus, kirimkan tiket untuk mendapatkan dukungan teknis.

Konfigurasi log

Parameter	Description
Log archiving	Log archiving diaktifkan secara default. Setelah Anda mengaktifkan log archiving, Anda dapat melihat log instans pekerjaan historis di halaman log pekerjaan. Untuk informasi selengkapnya, lihat View logs of historical job instances. Catatan Pada versi VVR 3.x, hanya VVR 3.0.7 dan yang lebih baru yang mendukung fitur log archiving. Pada versi VVR 4.x, hanya VVR 4.0.11 dan yang lebih baru yang mendukung fitur log archiving.
Archived log validity period	Periode validitas default untuk log yang diarsipkan adalah 7 hari.
Root log level	Tingkat log tercantum di bawah ini dalam urutan tingkat keparahan yang meningkat: TRACE: Informasi yang lebih rinci daripada DEBUG. DEBUG: Informasi mengenai status sistem saat berjalan. INFO: Informasi penting atau menarik. WARN: Informasi mengenai potensi error sistem. ERROR: Informasi mengenai error dan exception sistem.
Class log level	Masukkan nama logger dan tingkat log.
Log template	Anda dapat memilih templat sistem default atau templat kustom. Jika memilih templat kustom, Anda dapat mengarahkan output log ke layanan penyimpanan lainnya. Untuk informasi selengkapnya, lihat Configure job log output.

Referensi

Anda dapat mengatur TTL untuk operator guna mengontrol ukuran state tiap operator secara lebih presisi dan menghemat sumber daya untuk pekerjaan dengan state besar. Untuk informasi selengkapnya, lihat Operator state lifecycle (State TTL) hints.
Topik ini menjelaskan cara mengonfigurasi log untuk satu pekerjaan. Untuk mengonfigurasi log bagi semua pekerjaan dalam proyek, lihat Configure log output channels for all jobs in a project.