Anda dapat mengonfigurasi sumber daya sebelum memulai penerapan atau memodifikasinya setelah menerbitkan draf. Realtime Compute for Apache Flink mendukung dua mode konfigurasi: mode dasar (granular kasar) dan mode ahli (granular halus). Topik ini menjelaskan cara mengonfigurasi parameter sumber daya dalam kedua mode tersebut.
Peringatan
Setelah mengonfigurasi sumber daya, Anda harus memulai ulang penerapan agar perubahan berlaku.
Prosedur
Buka halaman konfigurasi sumber daya untuk penerapan.
Masuk ke Konsol Manajemen Realtime Compute for Apache Flink.
Temukan ruang kerja yang ingin dikelola dan klik Console di kolom Actions.
Di panel navigasi kiri Konsol Pengembangan Realtime Compute for Apache Flink, pilih . Di halaman Penerapan, temukan penerapan yang diinginkan dan klik nama penerapan tersebut.
Pada tab Configuration, klik Edit di pojok kanan atas bagian Resources.
Ubah parameter sumber daya.
Dua mode konfigurasi tersedia: mode dasar (granular kasar) dan mode ahli (granular halus). Tabel berikut menjelaskan mode konfigurasi tersebut.
Mode konfigurasi sumber daya
Deskripsi
Konfigurasi parameter
Mode Dasar
Mode dasar (granular kasar) adalah metode alokasi sumber daya statis. Dalam mode ini, Anda hanya perlu menentukan jumlah total sumber daya yang diperlukan untuk memulai setiap TaskManager. Sumber daya tersebut mencakup inti CPU dan memori Java Virtual Machine (JVM). Realtime Compute for Apache Flink secara merata mengalokasikan sumber daya berdasarkan jumlah slot dari setiap TaskManager. Jumlah slot ditentukan oleh parameter flink conf taskmanager.numberOfTaskSlots. Untuk sebagian besar penerapan sederhana, mode dasar dapat memenuhi kebutuhan bisnis Anda.
Mode Ahli
Mode ahli (granular halus) adalah metode alokasi sumber daya dinamis. Dalam mode ini, Anda dapat mengonfigurasi sumber daya yang diperlukan oleh setiap grup berbagi slot (SSG). Dengan cara ini, Realtime Compute for Apache Flink menghitung jumlah sumber daya yang diperlukan oleh setiap slot, lalu secara dinamis mengalokasikan sumber daya untuk slot yang digunakan untuk TaskManagers dari kumpulan sumber daya yang tersedia. Untuk penerapan yang rumit, mode dasar dapat menyebabkan rendahnya pemanfaatan sumber daya. Oleh karena itu, Anda perlu menggunakan mode ahli untuk mengonfigurasi sumber daya untuk setiap operator. Dengan cara ini, pemanfaatan sumber daya meningkat, dan throughput penerapan dapat dicapai sesuai dengan kebutuhan bisnis Anda.
nullHanya penerapan SQL yang dapat dikonfigurasi dalam mode ahli.
Untuk informasi lebih lanjut tentang TaskManagers, JobManagers, tugas, dan slot, lihat Arsitektur Apache Flink.
Di pojok kanan atas bagian Sumber Daya, klik Save.
Mulai ulang penerapan.
Setelah mengonfigurasi sumber daya, Anda harus memulai ulang penerapan agar perubahan berlaku.
Mode Dasar (granular kasar)
Parameter | Deskripsi |
Paralelisme | Paralelisme global dari penerapan. |
CPU JobManager | Praktik terbaik dari Realtime Compute for Apache Flink menunjukkan bahwa JobManager memerlukan setidaknya 0,5 inti CPU dan 2 GiB memori untuk memastikan operasi stabil penerapan. Kami merekomendasikan Anda mengonfigurasi 1 inti CPU dan 4 GiB memori untuk setiap TaskManager. Anda dapat mengonfigurasi maksimal 16 inti CPU. |
Memori JobManager | Satuan: GiB. Nilai minimum: 2 GiB. Nilai maksimum: 64 GiB. |
CPU TaskManager | Praktik terbaik dari Realtime Compute for Apache Flink menunjukkan bahwa TaskManager memerlukan setidaknya 0,5 inti CPU dan 2 GiB memori untuk memastikan operasi stabil penerapan. Kami merekomendasikan Anda mengonfigurasi 1 inti CPU dan 4 GiB memori untuk setiap TaskManager. Anda dapat mengonfigurasi maksimal 16 inti CPU. |
Memori TaskManager | Satuan: GiB. Nilai minimum: 2 GiB. Nilai maksimum: 64 GiB. |
Slot TaskManager | Jumlah slot untuk setiap TaskManager. |
Gunakan rumus berikut saat mengonfigurasi sumber daya:
Jumlah CU untuk penerapan = MAKS(Total inti CPU dari JobManager dan TaskManagers, Total ukuran memori JobManager dan TaskManagers/4).
Jumlah sebenarnya dari TaskManagers = Nilai Paralelisme/Nilai Slot TaskManager. Rumus ini digunakan jika jumlah total inti CPU atau ukuran memori setiap TaskManager tidak melebihi nilai maksimum default.
Jumlah sebenarnya dari TaskManagers = MAKS(⌈Total inti CPU/16⌉, ⌈Total ukuran memori/64⌉). Rumus ini digunakan jika jumlah total inti CPU atau ukuran memori melebihi nilai maksimum default.
Total inti CPU setiap TaskManager = Nilai Paralelisme/Nilai Slot TaskManager × Nilai CPU TaskManager.
Total ukuran memori setiap TaskManager = Nilai Paralelisme/Nilai Slot TaskManager × Nilai Memori TaskManager.
Jumlah maksimum default inti CPU setiap TaskManager adalah 16.
Ukuran memori maksimum default setiap TaskManager adalah 64 GiB.
Jumlah slot yang dialokasikan untuk setiap TaskManager = ⌈Nilai Paralelisme/Jumlah sebenarnya dari TaskManagers⌉.
Rasio yang dihitung dibulatkan ke bilangan bulat terdekat.
Secara default, Anda tidak dapat menentukan nilai lebih besar dari nilai maksimum untuk parameter di bagian Sumber Daya. Untuk meningkatkan batas maksimum default untuk ukuran memori dan inti CPU setiap TaskManager, submit a ticket.
Anda juga dapat mengonfigurasi parameter Other Configuration di bagian Parameters pada tab Konfigurasi halaman Deployments. Parameter ini memiliki prioritas lebih tinggi daripada parameter TaskManager Slots di bagian Sumber Daya.
Sebagai contoh, atur Paralelisme menjadi 12 dan Slot TaskManager menjadi 4. Gambar berikut menunjukkan konfigurasi untuk contoh ini.
Di Konsol Pengembangan Realtime Compute for Apache Flink, jumlah sebenarnya dari TaskManagers adalah 3 dan jumlah slot untuk setiap TaskManager adalah 4.
Rumus berikut digunakan untuk menghitung jumlah sebenarnya dari TaskManagers dan slot:
Jumlah sebenarnya dari TaskManagers = [Nilai Paralelisme/Nilai Slot TaskManager] = [12/4] = 3.
Jumlah slot untuk setiap TaskManager = ⌈Nilai Paralelisme/Jumlah sebenarnya dari TaskManagers⌉ = ⌈12/3⌉ = 4.
Mode Ahli (granular halus)
Hanya penerapan SQL yang dapat dikonfigurasi dalam mode ahli.
Jika Anda memodifikasi kode SQL atau konfigurasi sumber daya setelah penerapan SQL diterapkan, buat ulang rencana konfigurasi sumber daya untuk memastikan penerapan dimulai sesuai harapan.
Konfigurasikan sumber daya dasar
Parameter | Deskripsi |
CPU JobManager | Praktik terbaik dari Realtime Compute for Apache Flink menunjukkan bahwa JobManager dari penerapan memerlukan setidaknya 0,25 inti CPU dan 1 GiB memori untuk memastikan operasi stabil penerapan. Anda dapat mengonfigurasi maksimal 16 inti CPU. |
Memori JobManager | Satuan: GiB. Contoh: 4 GiB. Nilai minimum: 1 GiB. Nilai maksimum: 64 GiB. |
Slot TaskManager | Tidak tersedia. |
Konfigurasikan sumber daya slot
Di expert mode, klik Get Plan Now di bagian Sumber Daya dan konfigurasikan rencana sumber daya.
Di pojok kanan atas kotak SLOT, klik ikon
.
Ubah konfigurasi slot.
Parameter Paralelisme yang dikonfigurasikan di kotak dialog Modifikasi SLOT(default) adalah paralelisme semua operator dalam SSG. Setelah mengonfigurasi parameter Paralelisme, sistem secara otomatis melakukan operasi berikut:
Sistem menerapkan paralelisme ke semua operator dalam SSG.
Sistem menghitung ukuran memori yang diperlukan oleh backend status, Python, dan operator berdasarkan logika komputasi penerapan.
Pastikan jumlah partisi dapat dibagi oleh paralelisme penerapan untuk node sumber tanpa menyisakan sisa. Sebagai contoh, jika kluster Kafka memiliki 16 partisi, atur parameter Paralelisme menjadi 16, 8, atau 4 untuk mencegah skew data. Hindari pengaturan nilai Paralelisme yang terlalu kecil untuk mencegah bottleneck input data.
Konfigurasikan paralelisme penerapan berdasarkan jumlah data. Gunakan nilai besar untuk node dengan jumlah data besar dan nilai kecil untuk node dengan jumlah data kecil.
Sesuaikan ukuran memori heap dan off-heap hanya jika terjadi pengecualian atau throughput rendah, seperti kesalahan out of memory (OOM) atau masalah garbage collection yang parah.
nullKlik OK.
Konfigurasikan sumber daya operator
Secara default, semua operator ditempatkan dalam satu SSG. Anda tidak dapat memodifikasi konfigurasi sumber daya setiap operator secara terpisah. Untuk mengonfigurasi sumber daya untuk operator individual, aktifkan mode Multiple SSG agar setiap operator memiliki slot independen.
Di pojok kanan atas bagian Resources pada tab Configuration, klik Edit dan atur Mode menjadi Expert.
(Opsional) Jika tidak ada rencana sumber daya yang tersedia, klik Get Plan Now.
Aktifkan Multiple SSG dan klik Re-fetch.
Setiap operator dalam SSG diberi slotnya sendiri.
Klik ikon
di kotak SLOT operator yang diinginkan untuk memodifikasi konfigurasi sumber daya operator tersebut.
Klik OK.
Konfigurasikan paralelisme, strategi chaining, dan TTL operator
Hanya Realtime Compute for Apache Flink yang menggunakan Ververica Runtime (VVR) 8.0.7 atau versi lebih baru yang mendukung konfigurasi time to live (TTL) untuk operator.
Anda dapat mengonfigurasi paralelisme, strategi chaining, dan TTL untuk operator tunggal.
Klik ikon
untuk menampilkan detail vertex di kotak VERTEX.
nullAnda dapat mengklik ikon
di kotak VERTEX dan mengonfigurasi parameter Paralelisme untuk semua operator di vertex sekaligus.Klik ikon
dari operator.
Konfigurasikan sumber daya operator.
Tabel berikut menjelaskan parameter.
Parameter
Deskripsi
Paralelisme
Paralelisme operator.
Strategi Chaining
Chain adalah rantai komputasi logis yang terbentuk oleh beberapa operator. Chain dapat membantu meningkatkan efisiensi eksekusi dan kinerja penerapan serta mengurangi overhead transmisi data dan serialisasi antar operator. Dalam skenario tertentu, Anda mungkin perlu memutus chain untuk mengontrol aliran eksekusi penerapan dan meningkatkan kinerja penerapan secara efisien. Strategi chaining berikut didukung:
ALWAYS: Operator selalu dapat dirantai bersama dengan operator hulu dan hilir. Ini adalah nilai default.
HEAD: Operator berfungsi sebagai node kepala dari chain. Operator hulu diputus dari chain. Operator hilir dirantai dengan operator saat ini.
NEVER: Operator tidak dapat dirantai dengan operator hulu dan hilir.
Pengaturan Waktu Kedaluwarsa Status
Anda dapat mengonfigurasi waktu hidup (TTL) dalam detik, menit, jam, atau hari. Nilai default parameter ini adalah waktu kedaluwarsa penerapan. Jika Anda tidak menentukan waktu kedaluwarsa untuk penerapan, secara otomatis digunakan 1,5 hari. Untuk informasi lebih lanjut tentang cara menentukan waktu kedaluwarsa untuk penerapan, lihat bagian "Parameter" dari topik Konfigurasikan penerapan.
nullHanya Realtime Compute for Apache Flink yang menggunakan VVR 8.0.7 atau versi lebih baru yang mendukung parameter ini.
Hanya operator stateful yang mendukung konfigurasi TTL.
Klik OK.
Referensi
Untuk informasi lebih lanjut tentang optimasi konfigurasi sumber daya, lihat Optimalkan Flink SQL.
Untuk mengaktifkan penyetelan otomatis sumber daya, lihat Konfigurasikan Penyetelan Otomatis.
Untuk memodifikasi konfigurasi penerapan di bagian Dasar, Parameter, dan Logging, lihat Konfigurasikan Penerapan.
Untuk menggunakan fitur diagnostik penerapan cerdas yang disediakan oleh Flink Advisor, lihat Lakukan Diagnostik Penerapan Cerdas.