Anda dapat mengonfigurasi resource untuk suatu pekerjaan sebelum dimulai atau mengubahnya setelah dipublikasikan. Tersedia dua mode resource: mode dasar (coarse-grained) dan mode ahli (fine-grained). Topik ini menjelaskan cara mengonfigurasi resource pekerjaan serta menyediakan informasi parameter untuk kedua mode tersebut.
Peringatan
Setelah Anda mengonfigurasi resource, Anda harus me-restart pekerjaan agar perubahan berlaku.
Prosedur
Buka halaman konfigurasi resource.
Masuk ke Konsol Realtime Compute for Apache Flink.
Pada kolom Actions untuk ruang kerja yang dituju, klik Console.
Pada halaman , klik nama pekerjaan yang dituju.
Pada tab Deployment Details, di bagian Resource Configuration, klik Edit di pojok kanan atas.
Ubah pengaturan resource pekerjaan.
Tersedia dua mode konfigurasi resource: mode dasar (coarse-grained) dan mode ahli (fine-grained).
Resource Mode
Deskripsi
Deskripsi parameter
Mode Dasar
Basic mode adalah metode alokasi resource statis. Anda hanya perlu menentukan total resource (CPU dan memori JVM total) yang diperlukan untuk menjalankan setiap TaskManager. Sistem akan mendistribusikan semua resource secara merata berdasarkan jumlah slot per TaskManager (konfigurasi Flink taskmanager.numberOfTaskSlots). Untuk sebagian besar pekerjaan simple, mode coarse-grained sudah cukup.
Mode Ahli
Expert mode adalah metode alokasi resource dinamis. Anda dapat mengonfigurasi resource yang dibutuhkan untuk setiap slot sharing group (SSG). Flink menghitung spesifikasi resource yang diperlukan untuk setiap slot dan secara dinamis mengajukan permintaan TaskManager serta slot yang sesuai dari kolam sumber daya yang tersedia. Untuk pekerjaan kompleks, mode coarse-grained dapat menyebabkan pemanfaatan resource rendah. Oleh karena itu, diperlukan mode fine-grained untuk mengontrol resource setiap operator secara tepat, sehingga meningkatkan pemanfaatan resource dan memenuhi kebutuhan throughput pekerjaan.
CatatanHanya pekerjaan SQL yang mendukung expert mode.
Untuk informasi lebih lanjut tentang konsep seperti TaskManager (TM), JobManager (JM), Task, atau Slot, lihat Apache Flink Architecture.
Klik Save.
Restart pekerjaan.
Anda harus me-restart pekerjaan agar perubahan konfigurasi resource berlaku.
Mode Dasar (granular kasar)
Item konfigurasi | Deskripsi |
Concurrency | Konkurensi global pekerjaan. |
CPU Manajer Pekerjaan | Sesuai praktik terbaik Flink, satu JM memerlukan minimal 0,5 core dan memori 2 GiB untuk memastikan operasi pekerjaan yang stabil. Kami merekomendasikan Anda mengonfigurasi 1 core dan 4 GiB. Nilai maksimum adalah 16 core. |
Memori JobManager | Unit: GiB. Nilai minimum adalah 2 GiB, dan nilai maksimum adalah 64 GiB. |
CPU Pengelola Tugas | Sesuai praktik terbaik Flink, satu TM memerlukan minimal 0,5 core dan memori 2 GiB untuk memastikan operasi pekerjaan yang stabil. Kami merekomendasikan Anda mengonfigurasi 1 core dan 4 GiB. Nilai maksimum adalah 16 core. |
Memori TaskManager | Unit: GiB. Nilai minimum adalah 2 GiB, dan nilai maksimum adalah 64 GiB. |
Slots per TaskManager | Masukkan jumlah slot untuk TM. |
Anda dapat menggunakan rumus berikut untuk perhitungan:
Jumlah CU yang dikonfigurasi untuk pekerjaan = MAX(Total CPU JM dan TM, Total memori JM dan TM / 4)
Jumlah aktual TM (jika CPU atau memori TM yang dikonfigurasi kurang dari atau sama dengan maksimum default) = Konkurensi yang dikonfigurasi / Slot per TaskManager yang dikonfigurasi
Jumlah aktual TM (jika CPU atau memori TM yang dikonfigurasi melebihi maksimum default) = MAX(⌈Total CPU TM / 16 core⌉, ⌈Total memori TM / 64 GiB⌉)
Total CPU TM = Konkurensi yang dikonfigurasi / Slot per TaskManager yang dikonfigurasi × CPU per TM yang dikonfigurasi
Total memori TM = Konkurensi yang dikonfigurasi / Slot per TaskManager yang dikonfigurasi × Memori per TM yang dikonfigurasi
Maksimum default CPU per TM adalah 16 core.
Maksimum default memori per TM adalah 64 GiB.
Jumlah aktual slot yang dapat dialokasikan per TM = ⌈Konkurensi yang dikonfigurasi / Jumlah aktual TM⌉
Rasio yang dihitung dibulatkan ke atas ke bilangan bulat terdekat.
Secara default, Anda tidak dapat mengatur nilai yang melebihi batas maksimum. Untuk mengatur nilai yang lebih besar dari batas maksimum default untuk memori dan CPU TM, ajukan tiket.
Anda juga dapat mengatur parameter numberOfTaskSlots di bidang Other Configurations pada bagian Runtime Parameter Configuration di tab Deployment Details. Parameter ini setara dengan pengaturan UI Slots per TaskManager, tetapi memiliki prioritas lebih tinggi.
Sebagai contoh, jika Anda mengatur Concurrency menjadi 12 dan Slots per TaskManager menjadi 4, konfigurasinya ditampilkan pada gambar berikut.
Di Konsol pengembangan Flink, Anda akan melihat bahwa jumlah aktual TM adalah 3 dan jumlah slot per TaskManager adalah 4.
Proses perhitungan jumlah aktual TM dan slot per TaskManager adalah sebagai berikut:
Jumlah aktual TM = ⌈Konkurensi yang dikonfigurasi / Slot per TaskManager yang dikonfigurasi⌉ = ⌈12 / 4⌉ = 3
Jumlah aktual slot per TaskManager = ⌈Konkurensi / Jumlah aktual TM⌉ = ⌈12 / 3⌉ = 4
Mode Ahli (granular halus)
Hanya pekerjaan SQL yang mendukung mode ahli.
Setelah pekerjaan diterapkan, jika Anda mengubah kode SQL atau konfigurasi resource, Anda harus membuat ulang graf paket sumber daya agar pekerjaan dapat dimulai dengan benar.
Konfigurasikan sumber daya dasar
Item konfigurasi | Deskripsi |
CPU JobManager | Sesuai praktik terbaik Flink, satu JM memerlukan minimal 0,25 core dan memori 1 GiB untuk memastikan operasi pekerjaan yang stabil. Nilai maksimum adalah 16 core. |
Memori JobManager | Unit: GiB. Contohnya, 4 GiB. Nilai minimum adalah 1 GiB, dan nilai maksimum adalah 64 GiB. |
Slots per TaskManager | Tidak ada. |
Konfigurasikan sumber daya slot
Pada Expert Mode, klik Get Plan Now untuk melihat graf paket sumber daya.
Klik ikon
pada kotak SLOT.
Ubah informasi konfigurasi slot.
Konkurensi yang diatur di sini adalah konkurensi seragam untuk semua operator dalam slot sharing group ini. Setelah Anda menyelesaikan pengaturan, sistem secara otomatis melakukan operasi berikut:
Sistem secara otomatis mengatur konkurensi yang sama untuk semua operator dalam slot sharing group ini.
Sistem secara otomatis menghasilkan memori yang diperlukan untuk backend status, Python, dan operator berdasarkan logika komputasi pekerjaan. Anda tidak perlu mengonfigurasi ini secara manual.
Kami merekomendasikan agar konkurensi node Source sebanding dengan jumlah partisi. Artinya, jumlah partisi harus habis dibagi oleh konkurensi. Misalnya, jika topik Kafka memiliki 16 partisi, kami merekomendasikan mengatur konkurensi menjadi 16, 8, atau 4 untuk menghindari kesenjangan data. Selain itu, jangan mengatur konkurensi node Source terlalu rendah. Konkurensi rendah dapat menyebabkan satu Source membaca data berlebihan, yang dapat menimbulkan bottleneck input dan memengaruhi throughput pekerjaan.
Kami merekomendasikan Anda mengonfigurasi konkurensi untuk node selain node Source sesuai kebutuhan. Untuk node dengan trafik tinggi, atur konkurensi lebih tinggi. Untuk node dengan trafik rendah, atur konkurensi lebih rendah.
Kami merekomendasikan Anda menyesuaikan ukuran Heap Memory dan Off-heap Memory hanya ketika terdapat pengecualian atau kebutuhan yang jelas, seperti error kehabisan memori (OOM) atau Pengumpulan sampah (GC) parah. Hal ini karena menyesuaikan ukuran memori ini tidak secara signifikan mengubah throughput pekerjaan selama operasi normal.
CatatanKlik OK.
Konfigurasikan sumber daya operator
Secara default, semua operator ditempatkan dalam satu slot sharing group, sehingga Anda tidak dapat mengubah konfigurasi resource untuk masing-masing operator. Untuk mengatur resource untuk operator individual, aktifkan Multiple SSG Mode. Mode ini memberikan slot khusus untuk setiap operator, memungkinkan Anda mengonfigurasi resource-nya secara individual. Langkah-langkah untuk mengatur resource operator adalah sebagai berikut:
Pada tab Deployment Details untuk pekerjaan, di bagian Resource Configuration, klik Edit dan atur Resource Mode ke Expert Mode.
(Opsional) Jika tidak tersedia paket sumber daya, Anda dapat mengklik Get Plan Now.
Nyalakan sakelar Multiple SSG Mode. Lalu, klik Regenerate.
Operator dalam grup berbagi kini dipisahkan menjadi slot individual.
Klik ikon
pada kotak SLOT yang sesuai dengan operator target, lalu ubah resource operator tersebut.
Klik OK.
Konfigurasikan konkurensi operator, strategi chaining, dan TTL
Hanya mesin komputasi waktu nyata Ververica Runtime (VVR) versi 8.0.7 dan yang lebih baru yang mendukung konfigurasi TTL operator.
Anda dapat mengonfigurasi konkurensi, strategi chaining, dan Waktu hidup (TTL) status untuk satu operator.
Klik ikon
pada kotak VERTEX target untuk memperluas vertex tersebut.
CatatanAnda dapat mengklik ikon
pada VERTEX target untuk mengatur konkurensi semua operator di bawah vertex tersebut dalam satu operasi.Klik ikon
operator tersebut.
Konfigurasikan resource operator.
Berikut ini penjelasan parameter:
Parameter
Deskripsi
Concurrency
Konkurensi operator yang bersangkutan.
Strategi Chaining
Chain adalah rantai komputasi logis yang dibentuk dengan menghubungkan beberapa operator. Chain dapat meningkatkan efisiensi dan performa eksekusi pekerjaan, serta mengurangi overhead transmisi data dan serialisasi antar operator. Namun, terkadang Anda perlu memutus chain untuk mengontrol alur eksekusi dan performa pekerjaan dengan lebih baik. Strategi berikut didukung:
ALWAYS (default): Operator selalu dapat dirantai dengan operator hulu dan hilir.
HEAD: Operator saat ini bertindak sebagai kepala rantai. Hanya memutus rantai dengan operator hulu. Node hilir tetap dirantai dengan operator saat ini.
NEVER: Operator saat ini tidak dirantai dengan operator hulu maupun hilir mana pun.
Operator State Time-to-Live (TTL) Settings
Anda dapat mengatur waktu kedaluwarsa dalam satuan detik, menit, jam, atau hari. Default-nya adalah waktu kedaluwarsa pekerjaan. Untuk pekerjaan tanpa waktu kedaluwarsa yang dikonfigurasi, default-nya adalah 1,5 hari. Untuk informasi lebih lanjut tentang konfigurasi waktu kedaluwarsa pekerjaan, lihat Runtime parameter configuration.
CatatanHanya didukung di mesin komputasi waktu nyata VVR versi 8.0.7 dan yang lebih baru.
Hanya operator stateful yang mendukung konfigurasi TTL.
Klik OK.
Referensi
Untuk informasi tentang teknik optimasi resource, lihat High-performance Flink SQL optimization techniques.
Jika Anda tidak ingin menyesuaikan resource secara manual, Anda dapat menggunakan penyetelan otomatis. Sistem akan secara otomatis menyesuaikan resource. Untuk informasi lebih lanjut, lihat Configure automatic tuning.
Untuk informasi lebih lanjut tentang konfigurasi dasar, konfigurasi parameter waktu proses, dan konfigurasi log pekerjaan, lihat Configure job deployment information.
Anda dapat menggunakan layanan diagnosis cerdas pekerjaan Flink Advisor untuk memantau kesehatan pekerjaan Anda. Untuk informasi lebih lanjut, lihat Job intelligent diagnosis.