Realtime Compute for Apache Flink:Operator profiling (pratinjau publik)

Latar Belakang

Saat mengelola penerapan Flink, Anda mungkin menemui hasil yang tidak sesuai ekspektasi—masalah umum yang dikenal sebagai isu kebenaran data. Penyebab isu kebenaran data bersifat kompleks dan sulit dilokalisasi. Metode troubleshooting umum adalah mendekonstruksi logika penerapan SQL dan menggunakan konektor Print untuk mencetak hasil setiap langkah. Namun, proses ini memakan waktu lama. Anda juga mungkin gagal mengidentifikasi akar permasalahan karena perbedaan antara data pengujian, data produksi, atau state. Akibatnya, penyelesaian isu tersebut sering kali membutuhkan waktu panjang dan melibatkan beberapa siklus berhenti-mulai. Realtime Compute for Apache Flink menyediakan fitur Operator profiling untuk mengatasi tantangan ini. Fitur ini memungkinkan Anda memeriksa input dan output operator yang dipilih tanpa mengubah penerapan, sehingga membantu Anda melakukan troubleshooting isu kebenaran data secara lebih efisien.

Batasan

• Fitur ini hanya mendukung penerapan SQL yang sedang berjalan.

• Hanya penerapan yang menggunakan Ververica Runtime (VVR) versi 8.0.4 atau lebih baru yang didukung.

• Penerapan yang menggunakan pernyataan CREATE TABLE AS ... (CTAS) atau CREATE DATABASE AS ... (CDAS) tidak didukung.

• Penerapan dalam session cluster tidak didukung.

• Anda tidak dapat memulai sesi profiling baru hingga sesi saat ini berhenti.

Prosedur

1. Masuk ke Konsol Realtime Compute for Apache Flink dan klik Console di kolom Actions untuk ruang kerja target.

2. Di panel navigasi sebelah kiri, pilih O&M > Deployments.

3. Klik nama penerapan target, lalu klik tab Status.

4. Aktifkan Operator profiling.

   1. Nyalakan sakelar Operators Observing.

      Bagian Operators Observing muncul di bagian bawah halaman. Bagian ini menampilkan Observing status (misalnya "Sampling complete") dan daftar operator. Daftar tersebut mencakup kolom Name, Status, Bytes received, Records received, Bytes sent, dan Tasks.

   2. Pilih satu atau beberapa operator untuk diprofilkan.

      Di bagian Operators Observing di bagian bawah halaman, nyalakan sakelar Expand. Pesan seperti 1 operator selected akan muncul untuk mengonfirmasi jumlah operator yang dipilih. Atur Max sampling duration, lalu klik Start. Hasil profiling tersedia di file log inspect-taskmanager_0.out pada halaman TaskManager Log List.

   3. Atur Max Sampling Duration.

      Tetapkan durasi antara 1 hingga 30 menit. Perhatikan bahwa pengambilan sampel mungkin berhenti lebih awal jika batas penyimpanan tercapai sebelum durasi habis.

   4. Klik Start. Observing status berubah menjadi Sampling.

      Catatan

      Anda tidak dapat memulai sesi profiling baru hingga sesi saat ini berhenti.

      Setelah profiling dimulai, notifikasi di bagian bawah panel menunjukkan bahwa Anda dapat melihat hasilnya di file log, seperti inspect-taskmanager_0.out, pada halaman TaskManager Log List. Untuk menghentikan pengambilan sampel, klik Stop.

5. Lihat hasil profiling.

   Klik TaskManager Log List pada prompt untuk membuka halaman log waktu proses dan melihat log dengan Log name inspect-taskmanager_0.out.

   Salin nama operator dari DAG di tab Status, lalu cari di file log untuk melihat output operator tertentu.

   Setiap baris dalam log merupakan catatan JSON yang berisi bidang seperti op_name (nama operator) dan source (arah data). Nilai OUT menunjukkan data arah keluar, sedangkan IN menunjukkan data arah masuk. Sebagai contoh, operator source hanya menghasilkan output, sehingga catatannya memiliki nilai source sebesar OUT. Operator sink hanya mengonsumsi input, sehingga catatannya memiliki nilai source sebesar IN. Di filter di pojok kanan atas halaman log, Anda dapat memasukkan nama operator, seperti Sink: blackhole_sink, untuk memfilter log. Nama operator yang cocok akan disorot.

Cara profiling berhenti

• Profiling berhenti secara otomatis jika JobManager (JM) atau TaskManager (TM) mengalami failover.

• Pengambilan sampel berhenti lebih awal jika batas penyimpanan maksimum tercapai.

• Pengambilan sampel berhenti ketika durasi pengambilan sampel yang dikonfigurasi telah tercapai.

• Anda juga dapat menghentikan profiling secara manual.

FAQ

SET 'sql-gateway.exec-plan.enabled' = 'false';

Referensi

• Apa arti warna legenda di kolom Status Durations subtask vertex?

• Data ditulis sesuai ekspektasi (misalnya, Kafka menerima data dari Flink), tetapi ikhtisar status penerapan di Flink menunjukkan bahwa tidak ada data yang diproses. Apa yang dapat saya lakukan?