Realtime Compute for Apache Flink:Konfigurasikan resource pekerjaan

Anda dapat menggunakan rumus berikut untuk menghitung kebutuhan resource:

• Jumlah CU = MAX(Total CPU untuk JobManager dan TaskManager, Total memori untuk JobManager dan TaskManager / 4)

• Jumlah aktual Pengelola Tugas = ceil(Paralelisme / Slot per Pengelola Tugas)

• Slot aktual per TaskManager = Parallelisme / Jumlah aktual TaskManager

Sebagai contoh, asumsikan Anda mengatur parallelisme menjadi 12 dan slots per TaskManager menjadi 4.

Pada contoh ini, JobManager CPU adalah 2 core, JobManager Memory adalah 4 GiB, TaskManager CPU adalah 2 core, dan TaskManager Memory adalah 4 GiB.

Pada Konsol Realtime Compute for Apache Flink, jumlah aktual TaskManager adalah 3, dan setiap TaskManager memiliki 4 slot.

Jumlah aktual TaskManager dan slot per TaskManager dihitung sebagai berikut:

1. Jumlah aktual TaskManager = ceil(Parallelisme yang dikonfigurasi / Slots per TaskManager yang dikonfigurasi) = ceil(12 / 4) = 3.

2. Slot aktual per TaskManager = Parallelisme / Jumlah aktual TaskManager = 12 / 3 = 4.

Konfigurasikan resource dasar

Konfigurasikan sumber daya slot

1. Pada expert mode, klik Get Plan Now untuk mengambil graf paket sumber daya.

2. Klik ikon Edit pada kotak slot. Graf paket sumber daya yang dihasilkan menampilkan beberapa kotak slot, masing-masing berisi informasi operator VERTEX dan nilai PARALLELISM.

3. Modifikasi konfigurasi slot. Pada kotak dialog, Anda dapat mengonfigurasi parameter CPU, heap memory, off-heap memory, dan parallelism.

   Parallelisme yang Anda atur di sini berlaku untuk semua operator dalam Slot Sharing Group ini. Setelah menyimpan konfigurasi, sistem secara otomatis:

   • Menetapkan parallelisme yang sama untuk semua operator dalam Slot Sharing Group ini.

   • Mengalokasikan memori yang diperlukan untuk backend status, Python, dan operator berdasarkan logika komputasi pekerjaan. Alokasi ini bersifat otomatis.

   Catatan

   • Untuk node Source, kami merekomendasikan menetapkan parallelisme yang proporsional dengan jumlah partisinya. Dengan kata lain, parallelisme harus merupakan pembagi dari jumlah partisi. Misalnya, jika topik Kafka memiliki 16 partisi, atur parallelisme menjadi 16, 8, atau 4 untuk menghindari kesenjangan data.

   • Menetapkan parallelisme node Source terlalu rendah dapat menyebabkan bottleneck, karena satu Source mungkin membaca terlalu banyak data dan mengurangi throughput pekerjaan.

   • Untuk node lainnya, atur parallelisme sesuai dengan traffic datanya, dengan memberikan parallelisme lebih tinggi pada node yang memiliki traffic lebih besar.

4. Klik OK.

Konfigurasikan resource operator

Secara default, semua operator berbagi satu Slot Sharing Group, sehingga Anda tidak dapat mengonfigurasi resource-nya secara individual. Untuk mengonfigurasi resource operator tertentu, aktifkan Multiple SSG mode. Mode ini memberikan slot independen untuk setiap operator, sehingga Anda dapat mengonfigurasi resource-nya pada slot tersebut.

1. Pada tab Configuration, klik Edit pada bagian Resources, lalu atur Resource mode menjadi expert mode.

2. (Opsional) Jika tidak ada paket sumber daya yang ditampilkan, klik Get Plan Now.

   Secara default, graf paket sumber daya yang dihasilkan menampilkan semua operator dalam satu kotak slot.

3. Nyalakan sakelar Multiple SSG mode, lalu klik Re-fetch.

   Tindakan ini memisahkan operator dalam grup berbagi menjadi slot-slot individual.

4. Klik ikon Edit pada kotak slot yang sesuai dengan operator yang dituju, lalu modifikasi resource operator tersebut.

   Pada kotak dialog Modify slot, Anda dapat mengonfigurasi parameter CPU, heap memory, off-heap memory, dan parallelism.

5. Klik OK.

Parallelisme operator, strategi chaining, dan State TTL

Anda dapat mengonfigurasi parallelisme, strategi chaining, dan State TTL untuk masing-masing operator.

1. Klik ikon Expand pada kotak VERTEX yang dituju.

   Setelah diperluas, kotak VERTEX menampilkan setiap node operator, nilai PARALLELISM-nya, dan ikon Edit di samping setiap operator.

   Catatan

   Anda dapat mengklik ikon Edit pada VERTEX untuk mengatur parallelisme semua operator dalam VERTEX tersebut secara batch.

2. Klik ikon Edit untuk operator tersebut.

3. Konfigurasikan resource operator.

   Tabel berikut menjelaskan parameter-parameter tersebut.

   Parameter	Description
   Parallelism	Parallelisme untuk operator tersebut.
   Chaining strategy	Chaining menghubungkan beberapa operator menjadi satu task, meningkatkan performa dengan mengurangi overhead transfer data dan serialisasi. Namun, Anda dapat memutus rantai untuk mendapatkan kontrol lebih detail atas alur eksekusi. Strategi berikut tersedia: ALWAYS (Default): Operator selalu dapat dirantai dengan operator hulu dan hilir. HEAD: Operator saat ini bertindak sebagai kepala rantai. Tidak dirantai dengan operator hulu, tetapi tetap dirantai dengan operator hilir. NEVER: Operator saat ini tidak dirantai dengan operator hulu maupun hilir.
   State TTL	Anda dapat mengatur waktu kedaluwarsa dalam satuan detik, menit, jam, atau hari. Secara default, operator mewarisi waktu kedaluwarsa status tingkat pekerjaan, yang secara default adalah 1,5 hari. Untuk mengonfigurasi waktu kedaluwarsa tingkat pekerjaan, lihat Configure running parameters. Catatan Fitur ini hanya didukung pada Ververica Runtime (VVR) 8.0.7 dan yang lebih baru. Konfigurasi TTL hanya didukung untuk operator stateful. Kedaluwarsa status merupakan mekanisme pembersihan perkiraan. Sistem tidak menjamin bahwa status yang kedaluwarsa langsung dihapus setelah TTL berakhir. Waktu pembersihan aktual bergantung pada pola akses status latar belakang dan kebijakan pembersihan.

4. Klik OK.