Realtime Compute for Apache Flink：Profil Operator (pratinjau publik)

Informasi latar belakang

Saat melakukan operasi & pemeliharaan pada penyebaran Flink yang sepenuhnya dikelola, hasilnya mungkin tidak sesuai dengan harapan Anda, yang dianggap sebagai masalah keakuratan data. Penyebab masalah keakuratan data kompleks dan sulit diidentifikasi. Dalam banyak kasus, Anda dapat secara logis membongkar penyebaran SQL, mencetak hasil setiap langkah menggunakan konektor Print, lalu menganalisis hasil untuk mengidentifikasi kemungkinan penyebabnya. Proses ini memakan waktu, dan Anda mungkin gagal mengidentifikasi penyebabnya karena perbedaan antara data uji dan data online atau inkonsistensi antara data status. Oleh karena itu, menyelesaikan masalah keakuratan data memerlukan waktu yang lama, dan Anda harus membatalkan dan memulai kembali penyebaran beberapa kali. Untuk menyelesaikan masalah keakuratan data, Realtime Compute for Apache Flink menyediakan fitur profil operator. Fitur ini memungkinkan Anda melihat input dan output operator tertentu tanpa perlu memodifikasi penyebaran, membantu Anda menangani masalah keakuratan data secara efisien.

Batasan

• Hanya penyebaran SQL yang sedang berjalan yang mendukung fitur profil operator.

• Hanya penyebaran yang menggunakan Ververica Runtime (VVR) versi 8.0.4 atau lebih baru yang mendukung fitur profil operator.

• Penyebaran yang menjalankan pernyataan CREATE TABLE AS atau CREATE DATABASE AS tidak mendukung fitur profil operator.

• Penyebaran yang diterapkan dalam kluster sesi tidak mendukung fitur profil operator.

• Anda hanya dapat melakukan profil operator lagi jika operasi profil operator sebelumnya sudah selesai.

Prosedur

1. Masuk ke Konsol Realtime Compute for Apache Flink. Pada tab Fully Managed Flink, temukan ruang kerja yang ingin Anda kelola dan klik Console di kolom Actions.

2. Di panel navigasi di sebelah kiri, klik O&M > Deployments.

3. Di halaman Deployments, temukan penyebaran yang diinginkan dan klik nama penyebaran tersebut. Di halaman detail penyebaran, klik tab Status.

4. Aktifkan fitur profil operator.

   1. Nyalakan Operators Observing.

      

   2. Pilih satu atau lebih operator yang ingin Anda deteksi.

      

   3. Konfigurasikan parameter Max Sampling Duration.

      Anda dapat mengatur parameter Max Sampling Duration ke nilai yang berkisar antara 1 menit hingga 30 menit. Jika penyimpanan maksimum tercapai selama proses pengambilan sampel, pengambilan sampel akan dihentikan.

   4. Klik Start. Nilai parameter Observing Status berubah menjadi Sampling.

      Catatan

      Anda hanya dapat melakukan profil operator lagi jika operasi profil operator sebelumnya sudah selesai.

      

5. Lihat hasil profil operator.

   Anda dapat mengklik TaskManager Log List Page untuk pergi ke tab Running Task Managers dan melihat log yang memiliki Log Name inspect-taskmanager_0.out.

   

   Gambar berikut menunjukkan hasilnya. Anda dapat menyalin nama operator dalam grafik asiklik terarah (DAG) pada tab Status dan mencari output operator berdasarkan nama operator pada tab Logs.

   

Penghentian profil operator

• Profil operator untuk penyebaran secara otomatis berhenti jika terjadi failover JobManager atau TaskManager.

• Pengambilan sampel dihentikan jika penyimpanan maksimum tercapai.

• Profil operator berhenti ketika waktu pengambilan sampel tercapai.

• Anda dapat secara manual menghentikan profil operator.

Referensi

• Apa arti warna berbeda untuk legenda di kolom Status Durations pada tab Subtask Metrics?

• Apa yang harus saya lakukan jika Kafka dapat menerima data yang ditulis dari Realtime Compute for Apache Flink tetapi nilai di kolom Records Received pada tab Status penyebaran terkait adalah 0?