Realtime Compute for Apache Flink:Operator profiling (pratinjau publik)

Informasi latar belakang

Selama operasi dan maintenance (O&M) Pekerjaan Flink, output yang dihasilkan mungkin tidak sesuai ekspektasi—suatu kondisi yang dikenal sebagai masalah kebenaran data. Penyebab masalah ini kompleks dan sulit diidentifikasi. Solusi umum melibatkan pemecahan logika Pekerjaan SQL secara bertahap, mencetak hasil setiap langkah menggunakan konektor Print, lalu menganalisis data untuk menemukan akar penyebabnya. Namun, proses ini memakan waktu lama dan sering kali gagal mengidentifikasi akar masalah karena ketidaksesuaian antara data pengujian, data online, atau state. Akibatnya, penyelesaian masalah ini biasanya memerlukan banyak waktu serta berulang kali menghentikan dan menjalankan ulang Pekerjaan. Realtime Compute for Apache Flink menyediakan fitur operator profiling yang memungkinkan Anda memeriksa input dan output Operator tertentu tanpa mengubah Pekerjaan tersebut, sehingga mempercepat troubleshooting masalah kebenaran data.

Batasan

• Hanya mendukung Pekerjaan SQL yang sedang Berjalan.

• Hanya mendukung Pekerjaan yang menggunakan Ververica Runtime (VVR) versi 8.0.4 atau lebih baru.

• Tidak mendukung Pekerjaan yang menggunakan pernyataan CREATE TABLE AS (CTAS) atau CREATE DATABASE AS (CDAS).

• Tidak mendukung Pekerjaan yang dideploy ke session cluster.

• Anda tidak dapat memulai operasi profiling baru sebelum operasi sebelumnya berhenti.

Prosedur

1. Masuk ke Konsol Realtime Compute for Apache Flink. Di kolom Operation ruang kerja target, klik Console.

2. Di panel navigasi sebelah kiri, pilih Operation Center > Jobs.

3. Klik nama Pekerjaan target, lalu klik tab Overview.

4. Aktifkan operator profiling.

   1. Nyalakan sakelar Operator Profiling.

      

   2. Pilih satu atau beberapa Operator untuk diprofil.

      

   3. Tetapkan durasi maksimum pengambilan sampel.

      Anda dapat menetapkan durasi pengambilan sampel antara 1 hingga 30 menit. Jika batas penyimpanan tercapai selama pengambilan sampel, proses akan berhenti lebih awal.

   4. Klik Start Profiling. Profiling Status berubah menjadi Sampling.

      Catatan

      Anda tidak dapat memulai operasi profiling baru sebelum operasi sebelumnya berhenti.

      

5. Lihat hasil profiling.

   Klik TM Log List pada prompt untuk menuju halaman log operasional. Lihat log dengan Log Name inspect-taskmanager_0.out.

   

   Hasil ditampilkan seperti pada gambar berikut. Anda dapat menyalin nama Operator dari directed acyclic graph (DAG) di tab Overview, lalu mencari output Operator tersebut di halaman log.

   

Probe Stop Mode

• Profiling berhenti secara otomatis setelah terjadi failover pada JobManager (JM) atau TaskManager (TM).

• Pengambilan sampel berhenti lebih awal jika batas penyimpanan tercapai.

• Profiling berhenti ketika durasi pengambilan sampel yang ditentukan telah tercapai.

• Anda dapat menghentikan profiling secara manual.

Referensi

• Untuk informasi lebih lanjut, lihat Makna warna Durasi Status subtask vertex di tab Overview.

• Untuk informasi lebih lanjut, lihat Apa yang harus saya lakukan jika data ditulis dengan benar (misalnya, Kafka menerima data dari Flink), tetapi ikhtisar Pekerjaan Flink menunjukkan nol data?.