Realtime Compute for Apache Flink:Konfigurasikan sumber daya pekerjaan

Anda dapat menggunakan rumus berikut untuk menghitung kebutuhan sumber daya:

• Jumlah CU = MAX(Total CPU untuk JobManager dan TaskManager, Total memori untuk JobManager dan TaskManager / 4)

• Jumlah aktual Pengelola Tugas = ceil(Paralelisme / Slot per Pengelola Tugas)

• Slot aktual per TaskManager = Parallelisme / Jumlah aktual TaskManager

Sebagai contoh, asumsikan Anda mengatur parallelisme menjadi 12 dan slot per TaskManager menjadi 4.

Dalam contoh ini, Job Manager CPU adalah 2 core, JobManager Memory adalah 4 GiB, Task Manager CPU adalah 2 core, dan TaskManager Memory adalah 4 GiB.

Di Konsol Realtime Compute for Apache Flink, jumlah aktual TaskManager adalah 3, dan setiap TaskManager memiliki 4 slot.

Jumlah aktual TaskManager dan slot per TaskManager dihitung sebagai berikut:

1. Jumlah aktual TaskManager = ceil(Parallelisme yang dikonfigurasi / Slot per TaskManager yang dikonfigurasi) = ceil(12 / 4) = 3.

2. Slot aktual per TaskManager = Parallelisme / Jumlah aktual TaskManager = 12 / 3 = 4.

Konfigurasikan sumber daya dasar

Konfigurasikan sumber daya slot

1. Dalam Expert, klik Get Plan Now untuk mengambil graf paket sumber daya.

2. Klik ikon Edit pada kotak slot. Graf paket sumber daya yang dihasilkan menampilkan beberapa kotak slot, masing-masing berisi informasi operator VERTEX dan nilai PARALLELISM.

3. Modifikasi konfigurasi slot. Di kotak dialog, Anda dapat mengonfigurasi parameter CPU, Heap Memory, Off-Heap Memory, dan parallelism.

   Parallelisme yang Anda atur di sini berlaku untuk semua operator dalam Slot Sharing Group ini. Setelah Anda menyimpan konfigurasi, sistem secara otomatis:

   • Menetapkan parallelisme yang sama untuk semua operator dalam Slot Sharing Group ini.

   • Mengalokasikan memori yang diperlukan untuk backend status, Python, dan operator berdasarkan logika komputasi pekerjaan. Alokasi ini bersifat otomatis.

   Catatan

   • Untuk node Source, kami merekomendasikan mengatur parallelisme yang proporsional dengan jumlah partisinya. Dengan kata lain, parallelisme harus merupakan pembagi dari jumlah partisi. Misalnya, jika topik Kafka memiliki 16 partisi, atur parallelisme menjadi 16, 8, atau 4 untuk menghindari kesenjangan data.

   • Mengatur parallelisme node Source terlalu rendah dapat menyebabkan bottleneck, karena satu Source mungkin membaca terlalu banyak data dan mengurangi throughput pekerjaan.

   • Untuk node lainnya, atur parallelisme sesuai dengan trafik datanya, dengan memberikan parallelisme lebih tinggi pada node yang memiliki trafik lebih besar.

   Catatan

   Dalam mode ahli, kotak dialog konfigurasi slot menampilkan CPU, Heap Memory, dan Off-Heap Memory untuk dikonfigurasi secara manual. Komponen memori lainnya — termasuk JVM Overhead, buffer jaringan, dan memori framework — dialokasikan secara otomatis oleh sistem sesuai proporsi defaultnya. Komponen-komponen ini telah dialokasikan sebelum TaskManager dimulai dan tidak disesuaikan secara dinamis selama eksekusi pekerjaan.

   Jika Anda mengalami error memori tidak mencukupi yang disebabkan oleh komponen yang dialokasikan secara otomatis ini, konfigurasikan parameter berikut pada bidang Other Configurations di bawah Running Parameters Configuration:

   • taskmanager.memory.jvm-overhead.fraction: Ukuran JVM Overhead sebagai pecahan dari total memori TaskManager. Default: 0.1 (10%).

   • taskmanager.memory.jvm-overhead.max: Ukuran maksimum JVM Overhead.

   • taskmanager.memory.jvm-overhead.min: Ukuran minimum JVM Overhead.

4. Klik OK.

Konfigurasikan sumber daya operator

Secara default, semua operator berbagi satu Slot Sharing Group, sehingga Anda tidak dapat mengonfigurasi sumber dayanya secara individual. Untuk mengonfigurasi sumber daya operator tertentu, aktifkan Multiple SSG. Ini akan memberikan slot independen untuk setiap operator, sehingga Anda dapat mengonfigurasi sumber dayanya pada slot tersebut.

1. Pada tab Configuration, klik Edit di bagian Resources, lalu atur Mode menjadi Expert.

2. (Opsional) Jika tidak ada paket sumber daya yang ditampilkan, klik Get Plan Now.

   Secara default, graf paket sumber daya yang dihasilkan menunjukkan semua operator dalam satu kotak slot.

3. Nyalakan sakelar Multiple SSG lalu klik Re-fetch.

   Tindakan ini memisahkan operator dalam grup berbagi menjadi slot individual.

4. Klik ikon Edit pada kotak slot yang sesuai dengan operator target, lalu modifikasi sumber daya operator tersebut.

   Di kotak dialog Modify slot, Anda dapat mengonfigurasi parameter CPU, Heap Memory, Off-Heap Memory, dan parallelism.

5. Klik OK.

Parallelisme operator, strategi chaining, dan Pengaturan Waktu Kedaluwarsa Status

Anda dapat mengonfigurasi parallelisme, strategi chaining, dan State Expiration Time Settings untuk operator individual.

1. Klik ikon Expand pada kotak VERTEX target.

   Setelah diperluas, kotak VERTEX menampilkan setiap node operator, nilai PARALLELISM-nya, dan ikon Edit di samping setiap operator.

   Catatan

   Anda dapat mengklik ikon Edit pada VERTEX untuk mengatur parallelisme semua operator dalam VERTEX tersebut secara batch.

2. Klik ikon Edit untuk operator tersebut.

3. Konfigurasikan sumber daya operator.

   Tabel berikut menjelaskan parameter-parameter tersebut.

   Parameter	Deskripsi
   Parallelism	Parallelisme untuk operator tersebut.
   Chaining strategy	Chaining menghubungkan beberapa operator menjadi satu task, meningkatkan performa dengan mengurangi overhead transfer dan serialisasi data. Namun, Anda dapat memutus rantai untuk mendapatkan kendali lebih detail atas alur eksekusi. Strategi berikut tersedia: ALWAYS (Default): Operator selalu dapat dirantai dengan operator upstream dan downstream. HEAD: Operator saat ini bertindak sebagai kepala rantai. Tidak dirantai dengan operator upstream tetapi tetap dirantai dengan operator downstream. NEVER: Operator saat ini tidak dirantai dengan operator upstream maupun downstream.
   State Expiration Time Settings	Anda dapat mengatur waktu kedaluwarsa dalam satuan detik, menit, jam, atau hari. Secara default, operator mewarisi waktu kedaluwarsa status pekerjaan, yang default-nya adalah 1,5 hari. Untuk mengonfigurasi waktu kedaluwarsa tingkat pekerjaan, lihat Konfigurasi parameter running. Catatan Fitur ini hanya didukung pada Ververica Runtime (VVR) versi 8.0.7 dan yang lebih baru. Konfigurasi TTL hanya didukung untuk operator stateful. Kedaluwarsa status adalah mekanisme pembersihan perkiraan. Sistem tidak menjamin bahwa status yang kedaluwarsa langsung dihapus setelah TTL berakhir. Waktu pembersihan aktual bergantung pada pola akses status latar belakang dan kebijakan pembersihan.

4. Klik OK.

Apakah mengatur parallelism sama dengan mengonsumsi jumlah CU yang sama?

Tidak. Parallelism mengacu pada jumlah task konkuren yang berjalan dalam suatu pekerjaan. CU (Compute Unit) adalah unit penagihan dan sumber daya yang digunakan oleh Realtime Compute for Apache Flink. Keduanya tidak memiliki hubungan 1:1.

Total konsumsi CU dihitung dengan rumus berikut:

Total konsumsi CU = Parallelism × CU per task

CU yang dikonsumsi setiap task ditentukan oleh spesifikasi sumber daya per slot yang dikonfigurasi untuk pekerjaan. Meningkatkan parallelisme meningkatkan total konsumsi CU, tetapi peningkatannya proporsional terhadap spesifikasi CU per task, bukan rasio sederhana 1:1.

Mengapa SET 'parallelism.default' tidak berlaku pada pekerjaan SQL?

Menggunakan SET 'parallelism.default' = 'N'; secara langsung dalam pernyataan pekerjaan SQL tidak efektif di Realtime Compute for Apache Flink. Untuk mengonfigurasi parallelisme, gunakan salah satu metode berikut:

1. Atur parallelisme dalam klausa WITH pernyataan SQL yang relevan.

2. Modifikasi parallelisme di antarmuka pengeditan konfigurasi sumber daya pada halaman O&M > Deployments.

Apa yang harus saya lakukan ketika Print Sink atau operator Join menyebabkan sumber daya tidak mencukupi atau performa buruk?

Tindakan yang tepat bergantung pada gejala spesifiknya:

• Print Sink menyebabkan kekurangan sumber daya TaskManager — Masalah ini tidak dapat diselesaikan hanya dengan penyetelan parameter. Evaluasi kebutuhan sumber daya Anda berdasarkan volume data aktual, verifikasi bahwa tipe field tabel sumber telah didefinisikan dengan benar (misalnya, gunakan BIGINT alih-alih STRING jika sesuai), dan alokasikan sumber daya TaskManager yang cukup untuk mendukung overhead debugging Print Sink.

• Performa Join buruk meskipun pemanfaatan memori rendah — Tingkatkan jumlah CU. Namun, jika akar penyebabnya adalah kesenjangan data, menambahkan lebih banyak sumber daya mungkin tidak menyelesaikan masalah. Selesaikan masalah kesenjangan data terlebih dahulu, lalu evaluasi apakah sumber daya tambahan diperlukan.

• Pekerjaan sering restart dengan latensi end-to-end tinggi — Jika pekerjaan berada dalam fase sinkronisasi status penuh setelah restart tanpa status, coba atur jumlah slot menjadi 1, konfigurasi parallelisme yang sesuai secara terpisah, dan gunakan spesifikasi TaskManager 1-core 4 GiB dengan konkurensi moderat (misalnya, 10) untuk menguji dan mengoptimalkan performa.