全部产品
Search

搜索本产品

    Realtime Compute for Apache Flink：Metrik

    文档中心

    Realtime Compute for Apache Flink：Metrik

    更新时间：Jun 19, 2025

    Topik ini menjelaskan metrik yang didukung oleh Flink yang sepenuhnya dikelola.

    Catatan Penggunaan

    • Metrik yang dilaporkan oleh sumber hanya mencerminkan situasi saat ini dari sumber dan tidak dapat digunakan untuk mengidentifikasi penyebab akar dari suatu masalah. Anda perlu menggunakan metrik atau alat tambahan untuk mengidentifikasi penyebab akar dari suatu masalah. Tabel berikut menjelaskan metrik dalam skenario tertentu.

      Skenario

      Deskripsi

      Operator dalam penyebaran memiliki tekanan balik.

      Fitur deteksi tekanan balik yang disediakan oleh UI Flink, bukan metrik, adalah metode langsung untuk mendeteksi tekanan balik. Jika tekanan balik ada, laju pengiriman data dari sumber ke operator hilir menurun. Dalam kasus ini, nilai metrik sourceIdleTime mungkin meningkat secara berkala dan nilai metrik currentFetchEventTimeLag dan currentEmitEventTimeLag mungkin terus meningkat. Dalam kasus ekstrem, seperti ketika operator macet, nilai metrik sourceIdleTime terus meningkat.

      Sumber memiliki hambatan kinerja.

      Jika hanya throughput sumber yang tidak memadai, tidak ada tekanan balik yang dapat dideteksi dalam penyebaran Anda. Metrik sourceIdleTime tetap pada nilai kecil karena sumber terus berjalan. Nilai metrik currentFetchEventTimeLag dan currentEmitEventTimeLag besar dan mendekati satu sama lain.

      Kemiringan data terjadi di hulu, atau partisi kosong.

      Jika kemiringan data terjadi atau partisi kosong, satu atau lebih sumber menganggur. Dalam kasus ini, nilai metrik sourceIdleTime untuk sumber-sumber tersebut besar.

    • Jika latensi penyebaran tinggi, Anda dapat menggunakan metrik yang dijelaskan dalam tabel berikut untuk menganalisis kemampuan pemrosesan data Flink yang sepenuhnya dikelola dan retensi data dalam sistem eksternal.

      Metrik

      Deskripsi

      sourceIdleTime

      Menunjukkan apakah sumber sedang menganggur. Jika nilai metrik ini besar, data Anda dihasilkan dalam sistem eksternal dengan laju rendah.

      currentFetchEventTimeLag dan currentEmitEventTimeLag

      Menunjukkan latensi ketika Flink yang sepenuhnya dikelola memproses data. Anda dapat menganalisis kemampuan pemrosesan data sumber berdasarkan perbedaan antara nilai kedua metrik. Perbedaan tersebut menunjukkan durasi data disimpan dalam sumber.

      • Jika perbedaan antara nilai kedua metrik kecil, sumber tidak menarik data dari sistem eksternal secara efisien karena masalah terkait I/O jaringan atau paralelisme.

      • Jika perbedaan antara nilai kedua metrik besar, sumber tidak memproses data secara efisien karena masalah terkait penguraian data, paralelisme, atau tekanan balik.

      pendingRecords

      Menunjukkan jumlah data yang disimpan dalam sistem eksternal.

    Ikhtisar

    Metrik

    Definisi

    Deskripsi

    Satuan

    Konektor yang Didukung

    Num of Restarts

    Jumlah kali penyebaran dimulai ulang ketika terjadi failover penyebaran.

    Metrik ini menunjukkan jumlah kali penyebaran dimulai ulang ketika terjadi failover penyebaran. Jumlah kali penyebaran dimulai ulang ketika terjadi failover JobManager tidak termasuk. Metrik ini digunakan untuk memeriksa ketersediaan dan status penyebaran.

    Hitungan

    Tidak Ada

    current Emit Event Time Lag

    Latensi pemrosesan.

    Jika nilai metrik ini besar, latensi data mungkin terjadi dalam penyebaran ketika sistem menarik atau memproses data.

    Milidetik

    • Kafka

    • ApsaraMQ for RocketMQ

    • Layanan Log Sederhana

    • DataHub

    • Postgres Change Data Capture (CDC)

    • Hologres (Tabel sumber binlog Hologres)

    current Fetch Event Time Lag

    Latensi transmisi.

    Jika nilai metrik ini besar, latensi data mungkin terjadi dalam penyebaran ketika sistem menarik data. Dalam hal ini, Anda harus memeriksa informasi tentang I/O jaringan atau sumber. Anda dapat menganalisis kemampuan pemrosesan data sumber berdasarkan perbedaan antara nilai metrik ini dan metrik currentEmitEventTimeLag. Perbedaan antara nilai kedua metrik menunjukkan durasi data disimpan dalam sumber. Mekanisme pemrosesan bervariasi berdasarkan apakah miniBatch diaktifkan:

    • Jika perbedaan antara nilai kedua metrik kecil, sumber tidak menarik data dari sistem eksternal secara efisien karena masalah terkait I/O jaringan atau paralelisme.

    • Jika perbedaan antara nilai kedua metrik besar, kemampuan pemrosesan penyebaran tidak mencukupi. Hal ini menyebabkan retensi data dalam sumber. Untuk menyelesaikan masalah ini, lakukan langkah-langkah berikut: Pada halaman Penyebaran, temukan penyebaran yang ingin Anda kelola dan klik namanya. Di panel detail penyebaran, klik tab Status. Pada tab Status, klik nilai di kolom Nama. Pada halaman yang muncul, klik tab BackPressure untuk menemukan topologi Vertex yang menyebabkan masalah. Kemudian, pada tab Tekanan Balik, klik Dump di kolom Thread Dump untuk pergi ke tab Thread Dump untuk menganalisis tumpukan yang memiliki hambatan kinerja.

    Milidetik

    • Kafka

    • ApsaraMQ for RocketMQ

    • Layanan Log Sederhana

    • DataHub

    • Postgres CDC

    • Hologres (Tabel sumber binlog Hologres)

    numRecordsIn

    Jumlah total catatan data input dari semua operator.

    Jika nilai metrik ini tidak bertambah untuk waktu yang lama untuk operator, data mungkin hilang dari sumber. Dalam hal ini, Anda harus memeriksa data sumber.

    Hitungan

    Semua konektor bawaan

    numRecordsOut

    Jumlah total catatan data output.

    Jika nilai metrik ini tidak bertambah untuk waktu yang lama untuk operator, kesalahan mungkin terjadi dalam logika kode penyebaran dan data hilang. Dalam hal ini, Anda harus memeriksa logika kode penyebaran.

    Hitungan

    Semua konektor bawaan

    numRecordsInofSource

    Jumlah total catatan data yang mengalir ke operator sumber di setiap operator.

    Metrik ini digunakan untuk memeriksa jumlah catatan data yang mengalir ke sumber.

    Hitungan

    • Kafka

    • MaxCompute

    • MaxCompute Inkremental

    • ApsaraMQ for RocketMQ

    • Layanan Log Sederhana

    • DataHub

    • ElasticSearch

    • Hologres

    numRecordsOutOfSink

    Jumlah total catatan data output dalam sink.

    Metrik ini digunakan untuk memeriksa jumlah catatan data yang diekspor oleh sumber.

    Hitungan

    • Kafka

    • Layanan Log Sederhana

    • DataHub

    • Hologres

    • ApsaraDB for HBase

    • Tablestore

    • ApsaraDB for Redis

    numRecordsInPerSecond

    Jumlah catatan data input per detik untuk semua aliran data.

    Metrik ini digunakan untuk memantau kecepatan pemrosesan aliran data secara keseluruhan. Misalnya, Anda dapat menggunakan nilai metrik numRecordsInPerSecond untuk memeriksa apakah kecepatan pemrosesan aliran data secara keseluruhan memenuhi persyaratan yang diharapkan dan bagaimana kinerja penyebaran berubah di bawah beban data input yang berbeda.

    Catatan data/detik

    Semua konektor bawaan

    numRecordsOutPerSecond

    Jumlah catatan data output per detik untuk semua aliran data.

    Metrik ini digunakan untuk memantau jumlah catatan data output per detik untuk semua aliran data. Metrik ini juga digunakan untuk memantau kecepatan output aliran data secara keseluruhan.

    Misalnya, Anda dapat menggunakan nilai metrik numRecordsOutPerSecond untuk memeriksa apakah kecepatan output aliran data secara keseluruhan memenuhi persyaratan yang diharapkan dan bagaimana kinerja penyebaran berubah di bawah beban data output yang berbeda.

    Catatan Data/S

    Semua konektor

    numRecordsInOfSourcePerSecond (IN RPS)

    Jumlah catatan data input per detik dalam sumber.

    Metrik ini digunakan untuk memantau jumlah catatan data input per detik dalam sumber dan memantau kecepatan pembuatan catatan data dalam sumber. Misalnya, jumlah catatan data yang dapat dibuat bervariasi berdasarkan jenis sumber data. Anda dapat menggunakan nilai metrik numRecordsInOfSourcePerSecond untuk memeriksa kecepatan pembuatan catatan data dalam sumber dan menyesuaikan aliran data untuk meningkatkan kinerja. Metrik ini juga digunakan untuk pemantauan dan peringatan.

    Jika nilai metrik ini 0, data mungkin hilang dari sumber. Dalam hal ini, Anda harus memeriksa apakah output data diblokir karena data sumber tidak dikonsumsi.

    Catatan Data/S

    • Kafka

    • MaxCompute

    • MaxCompute Inkremental

    • ApsaraMQ for RocketMQ

    • Layanan Log Sederhana

    • DataHub

    • ElasticSearch

    • Hologres

    numRecordsOutOfSinkPerSecond (OUT RPS)

    Jumlah catatan data output per detik dalam sink.

    Metrik ini digunakan untuk memantau jumlah catatan data output per detik dalam sink dan memantau kecepatan ekspor catatan data dari sink. Misalnya, jumlah catatan data yang dapat diekspor bervariasi berdasarkan jenis sink.

    Anda dapat menggunakan nilai metrik numRecordsOutOfSinkPerSecond untuk memeriksa kecepatan ekspor catatan data dari sink dan menyesuaikan aliran data untuk meningkatkan kinerja. Metrik ini juga digunakan untuk pemantauan dan peringatan. Jika nilai metrik ini 0, semua data difilter karena cacat dalam logika kode penyebaran. Dalam hal ini, Anda harus memeriksa logika kode penyebaran.

    Catatan data/detik

    • Kafka

    • MaxCompute

    • MaxCompute Inkremental

    • Layanan Log Sederhana

    • DataHub

    • Hologres

    • ApsaraDB for HBase

    • Tablestore

    • ApsaraDB for Redis

    pendingRecords

    Jumlah catatan data yang belum dibaca oleh sumber.

    Metrik ini digunakan untuk memeriksa jumlah catatan data yang belum ditarik oleh sumber dari sistem eksternal.

    Hitungan

    • Kafka

    • ElasticSearch

    sourceIdleTime

    Durasi data tidak diproses dalam sumber.

    Metrik ini menentukan apakah sumber sedang menganggur. Jika nilai metrik ini besar, data Anda dihasilkan dengan laju rendah dalam sistem eksternal.

    Milidetik

    • Kafka

    • ApsaraMQ for RocketMQ

    • Postgres CDC

    • Hologres (Tabel sumber binlog Hologres)

    Checkpoint

    Metrik

    Definisi

    Deskripsi

    Satuan

    Num of Checkpoints

    Jumlah checkpoint.

    Metrik ini digunakan untuk mendapatkan gambaran checkpoint dan mengonfigurasi peringatan untuk checkpoint.

    Hitungan

    lastCheckpointDuration

    Durasi penggunaan checkpoint terakhir.

    Jika checkpoint digunakan untuk waktu yang lama atau habis waktu, penyebab yang mungkin adalah ruang penyimpanan yang ditempati oleh data state terlalu besar, terjadi kesalahan jaringan sementara, barrier tidak selaras, atau tekanan balik data ada.

    Milidetik

    lastCheckpointSize

    Ukuran checkpoint terakhir.

    Metrik ini digunakan untuk melihat ukuran checkpoint terakhir yang diunggah. Anda dapat menganalisis kinerja checkpoint ketika masalah bottleneck terjadi untuk checkpoint berdasarkan nilai metrik ini.

    Byte

    State

    null

    Untuk menggunakan metrik yang terkait dengan latensi akses state, Anda harus menentukan metrik tersebut. Anda harus mengatur parameter state.backend.latency-track.keyed-state-enabled menjadi true untuk mengaktifkan metrik di bagian Konfigurasi Tambahan tab Lanjutan pada halaman Draft Editor di konsol Flink yang sepenuhnya dikelola. Setelah Anda mengaktifkan metrik yang terkait dengan latensi akses state, kinerja penyebaran mungkin terpengaruh ketika penyebaran sedang berjalan.

    Metrik

    Definisi

    Deskripsi

    Satuan

    Versi yang Didukung

    State Clear Latency

    Latensi maksimum dalam pembersihan data state.

    Anda dapat melihat kinerja pembersihan data state.

    Nanodetik

    Hanya Realtime Compute for Apache Flink yang menggunakan Ververica Runtime (VVR) 4.0.0 atau lebih baru yang mendukung metrik ini.

    Value State Latency

    Latensi maksimum dalam akses ValueState tunggal.

    Anda dapat melihat kinerja akses ValueState.

    Nanodetik

    Aggregating State Latency

    Latensi maksimum dalam akses AggregatingState tunggal.

    Anda dapat melihat kinerja akses AggregatingState.

    Nanodetik

    Reducing State Latency

    Latensi maksimum dalam akses ReducingState tunggal.

    Anda dapat melihat kinerja akses ReducingState.

    Nanodetik

    Map State Latency

    Latensi maksimum dalam akses MapState tunggal.

    Anda dapat melihat kinerja akses MapState.

    Nanodetik

    List State Latency

    Latensi maksimum dalam akses ListState tunggal.

    Anda dapat melihat kinerja akses ListState.

    Nanodetik

    Sorted Map State Latency

    Latensi maksimum dalam akses SortedMapState tunggal.

    Anda dapat melihat kinerja akses SortedMapState.

    Nanodetik

    State Size

    Ukuran data state.

    Metrik ini membantu Anda melakukan operasi berikut:

    • Mengidentifikasi node secara langsung atau sebelumnya di mana kemacetan data state mungkin terjadi.

    • Memeriksa apakah time to live (TTL) dari data state berlaku.

    Bytes

    Hanya Realtime Compute for Apache Flink yang menggunakan VVR 4.0.12 atau lebih baru yang mendukung metrik ini.

    State File Size

    Ukuran file data state.

    Metrik ini membantu Anda melakukan operasi berikut:

    • Memeriksa ukuran file data state di disk lokal. Anda dapat mengambil tindakan sebelumnya jika ukurannya besar.

    • Menentukan apakah data state terlalu besar jika ruang disk lokal tidak mencukupi.

    Byte

    Hanya Realtime Compute for Apache Flink yang menggunakan VVR 4.0.13 atau lebih baru yang mendukung metrik ini.

    I/O

    Metrik

    Definisi

    Deskripsi

    Satuan

    Konektor yang Didukung

    numBytesIn

    Jumlah total byte input.

    Metrik ini digunakan untuk memeriksa ukuran catatan data input sumber. Ini dapat membantu Anda mengamati throughput penyebaran.

    Byte

    • Kafka

    • MaxCompute

    • MaxCompute Inkremental

    • ApsaraMQ for RocketMQ

    numBytesInPerSecond

    Jumlah total byte input per detik.

    Metrik ini digunakan untuk memeriksa laju aliran data ke sumber. Ini dapat membantu Anda mengamati throughput penyebaran.

    Byte/detik

    • Kafka

    • MaxCompute

    • MaxCompute Inkremental

    • ApsaraMQ for RocketMQ

    numBytesOut

    Jumlah total byte output.

    Metrik ini digunakan untuk memeriksa ukuran catatan data output sumber. Ini dapat membantu Anda mengamati throughput penyebaran.

    Byte

    • Kafka

    • ApsaraMQ for RocketMQ

    • DataHub

    • ApsaraDB for HBase

    numBytesOutPerSecond

    Jumlah total byte output per detik.

    Metrik ini digunakan untuk memeriksa laju ekspor data oleh sumber. Ini dapat membantu Anda mengamati throughput penyebaran.

    Byte/detik

    • Kafka

    • ApsaraMQ for RocketMQ

    • DataHub

    • ApsaraDB for HBase

    Task numRecords I/O

    Jumlah total catatan data yang mengalir ke setiap sub-tugas dan catatan data yang diekspor oleh setiap sub-tugas.

    Metrik ini digunakan untuk memeriksa apakah bottleneck I/O ada dalam penyebaran.

    Hitungan

    • Kafka

    • MaxCompute

    • MaxCompute Inkremental

    • Layanan Log Sederhana

    • DataHub

    • ElasticSearch

    • Hologres

    • ApsaraDB for HBase

    • Tablestore

    • ApsaraDB for Redis

    Task numRecords I/O PerSecond

    Jumlah total catatan data yang mengalir ke setiap sub-tugas dan catatan data yang diekspor oleh setiap sub-tugas per detik.

    Metrik ini digunakan untuk memeriksa apakah bottleneck I/O ada dalam penyebaran dan menentukan tingkat keparahan bottleneck I/O berdasarkan laju input dan output setiap sub-tugas.

    Catatan Data/S

    • Kafka

    • MaxCompute

    • MaxCompute Inkremental

    • Layanan Log Sederhana

    • DataHub

    • ElasticSearch

    • Hologres

    • ApsaraDB for HBase

    • Tablestore

    • ApsaraDB for Redis

    currentSendTime

    Durasi yang diperlukan oleh setiap sub-tugas untuk mengekspor catatan data terakhir ke sink.

    Jika nilai metrik ini kecil, catatan data diekspor oleh setiap sub-tugas ke sink dengan laju yang sangat lambat.

    Milidetik

    • Kafka

    • MaxCompute

    • MaxCompute Inkremental

    • ApsaraMQ for RocketMQ

    • Layanan Log Sederhana

    • DataHub

    • Hologres

      null

      Ketika Anda menulis data ke Hologres dalam mode remote procedure call (RPC) atau menggunakan driver Java Database Connectivity (JDBC), konektor Hologres mendukung metrik ini. Ketika Anda menulis data ke Hologres dalam mode BHClient, konektor Hologres tidak mendukung metrik ini.

    • ApsaraDB for HBase

    • Tablestore

    • ApsaraDB for Redis

    Watermark

    Metrik

    Definisi

    Deskripsi

    Satuan

    Konektor yang Didukung

    Task InputWatermark

    Waktu ketika setiap tugas menerima watermark terbaru.

    Metrik ini digunakan untuk memeriksa latensi penerimaan data oleh TaskManagers.

    Tidak Ada

    Tidak Ada

    watermarkLag

    Latensi watermark.

    Metrik ini digunakan untuk menentukan latensi sub-tugas.

    Milidetik

    • Kafka

    • ApsaraMQ for RocketMQ

    • Layanan Log Sederhana

    • DataHub

    • Hologres (Tabel sumber binlog Hologres)

    CPU

    Metrik

    Definisi

    Deskripsi

    Satuan

    JM CPU Usage

    Pemanfaatan CPU JobManager.

    Metrik ini menunjukkan pemanfaatan irisan waktu CPU yang ditempati oleh Flink yang sepenuhnya dikelola. Jika nilai parameter ini 100%, satu inti CPU digunakan. Jika nilai parameter ini 400%, empat inti CPU digunakan. Jika nilai metrik ini lebih dari 100% untuk waktu yang lama, CPU JobManager sibuk. Jika beban CPU tinggi tetapi pemanfaatan CPU rendah, sejumlah besar proses yang berada dalam keadaan tidur tak terputus mungkin berjalan karena operasi baca dan tulis yang sering.

    null

    Hanya Realtime Compute for Apache Flink yang menggunakan VVR 6.0.6 atau lebih baru yang mendukung metrik ini.

    Tidak Ada

    TM CPU Usage

    Pemanfaatan CPU TaskManager.

    Metrik ini menunjukkan pemanfaatan irisan waktu CPU yang ditempati oleh Flink yang sepenuhnya dikelola. Jika nilai parameter ini 100%, satu inti CPU digunakan. Jika nilai parameter ini 400%, empat inti CPU digunakan. Jika nilai metrik ini lebih dari 100% untuk waktu yang lama, CPU TaskManager sibuk. Jika beban CPU tinggi tetapi pemanfaatan CPU rendah, sejumlah besar proses yang berada dalam keadaan tidur tak terputus mungkin berjalan karena operasi baca dan tulis yang sering.

    Tidak Ada

    Memory

    Metrik

    Definisi

    Deskripsi

    Satuan

    JM Heap Memory

    Memori heap JobManager.

    Metrik ini digunakan untuk memeriksa perubahan memori heap JobManager.

    Byte

    JM NonHeap Memory

    Memori non-heap JobManager.

    Metrik ini digunakan untuk memeriksa perubahan memori non-heap JobManager.

    Byte

    TM Heap Memory

    Memori heap TaskManager.

    Metrik ini digunakan untuk memeriksa perubahan memori heap TaskManager.

    Byte

    TM nonHeap Memory

    Memori non-heap TaskManager.

    Metrik ini digunakan untuk memeriksa perubahan memori non-heap TaskManager.

    Byte

    TM Mem (RSS)

    Memori seluruh proses menggunakan Linux.

    Metrik ini digunakan untuk memeriksa perubahan memori proses.

    Byte

    JVM

    Metrik

    Definisi

    Deskripsi

    Satuan

    JM Threads

    Jumlah thread JobManager.

    Sejumlah besar thread JobManager menempati ruang memori yang berlebihan. Hal ini mengurangi stabilitas penyebaran.

    Hitungan

    TM Threads

    Jumlah thread TaskManager.

    Sejumlah besar thread TaskManager menempati ruang memori yang berlebihan. Hal ini mengurangi stabilitas penyebaran.

    Hitungan

    JM GC Count

    Jumlah kali pengumpulan sampah (GC) JobManager terjadi.

    Jika GC JobManager terjadi berkali-kali, ruang memori yang berlebihan ditempati. Hal ini mempengaruhi kinerja penyebaran. Metrik ini digunakan untuk mendiagnosis penyebaran dan menangani kesalahan penyebaran.

    Hitungan

    JM GC Time

    Durasi setiap GC JobManager.

    Jika setiap GC berlangsung lama, ruang memori yang berlebihan ditempati. Hal ini mempengaruhi kinerja penyebaran. Metrik ini digunakan untuk mendiagnosis penyebaran dan menangani kesalahan penyebaran.

    Milidetik

    TM GC Count

    Jumlah kali GC TaskManager terjadi.

    Jika GC TaskManager terjadi berkali-kali, ruang memori yang berlebihan ditempati. Hal ini mempengaruhi kinerja penyebaran. Metrik ini digunakan untuk mendiagnosis penyebaran dan menangani kesalahan penyebaran.

    Hitungan

    TM GC Time

    Durasi setiap GC TaskManager.

    Jika setiap GC berlangsung lama, ruang memori yang berlebihan ditempati. Hal ini mempengaruhi kinerja penyebaran. Metrik ini digunakan untuk mendiagnosis penyebaran dan menangani kesalahan penyebaran.

    Milidetik

    JM ClassLoader

    Jumlah total kelas yang dimuat atau dibongkar setelah Java Virtual Machine (JVM) tempat JobManager berada dibuat.

    Setelah JVM tempat JobManager berada dibuat, jika jumlah total kelas yang dimuat atau dibongkar terlalu besar, ruang memori yang berlebihan ditempati. Hal ini mempengaruhi kinerja penyebaran.

    Tidak Ada

    TM ClassLoader

    Jumlah total kelas yang dimuat atau dibongkar setelah JVM tempat TaskManager berada dibuat.

    Setelah JVM tempat TaskManager berada dibuat, jika jumlah total kelas yang dimuat atau dibongkar terlalu besar, ruang memori yang berlebihan ditempati. Hal ini mempengaruhi kinerja penyebaran.

    Tidak Ada

    MySQL connector

    Metrik

    Definisi

    Satuan

    Skenario

    Versi yang Didukung

    isSnapshotting

    Menentukan apakah pekerjaan berada dalam fase snapshot. Nilai 1 menentukan bahwa pekerjaan berada dalam fase snapshot.

    Tidak Ada

    Metrik ini menunjukkan fase pemrosesan pekerjaan.

    Hanya Realtime Compute for Apache Flink yang menggunakan VVR 8.0.9 atau lebih baru yang mendukung parameter ini.

    isBinlogReading

    Menentukan apakah pekerjaan beradadalam fase inkremental. Nilai 1 menentukan bahwa pekerjaan berada dalam fase inkremental.

    Tidak Ada

    Metrik ini menunjukkan fase pemrosesan pekerjaan.

    Num of remaining tables

    Jumlah tabel yang menunggu untuk diproses dalam fase snapshot.

    Hitungan

    Metrik ini mengukur jumlah tabel yang belum diproses.

    Num of snapshotted tables

    Jumlah tabel yang telah diproses dalam fase snapshot.

    Hitungan

    Metrik ini mengukur jumlah tabel yang telah diproses.

    Num of remaining SnapshotSplits

    Jumlah shard yang menunggu untuk diproses dalam fase snapshot.

    Hitungan

    Metrik ini mengukur jumlah shard yang belum diproses.

    Num of processed SnapshotSplits

    Jumlah shard yang telah diproses dalam fase snapshot.

    Hitungan

    Metrik ini mengukur jumlah shard yang telah diproses.

    currentFetchEventTimeLag

    Perbedaan antara waktu data dihasilkan dan waktu data dibaca dari database.

    Milidetik

    Metrik ini menunjukkan latensi membaca log biner dari database.

    currentReadTimestampMs

    Timestamp catatan data terbaru yang dibaca.

    Milidetik

    Metrik ini menunjukkan timestamp catatan data terbaru yang dibaca.

    numRecordsIn

    Jumlah catatan data yang dibaca.

    Hitungan

    Metrik ini mengukur jumlah total catatan data yang telah diproses.

    numSnapshotRecords

    Jumlah catatan data yang telah diproses dalam fase snapshot.

    Hitungan

    Metrik ini mengukur jumlah catatan data yang telah diproses dalam fase snapshot.

    numRecordsInPerTable

    Jumlah catatan data yang dibaca dari setiap tabel.

    Hitungan

    Metrik ini mengukur jumlah total catatan data yang telah diproses di setiap tabel.

    numSnapshotRecordsPerTable

    Jumlah catatan data yang telah diproses di setiap tabel dalam fase snapshot.

    Hitungan

    Metrik ini mengukur jumlah catatan data yang telah diproses di setiap tabel dalam fase snapshot.

    Kafka connector

    Metrik

    Definisi

    Satuan

    Skenario

    Versi yang Didukung

    commitsSucceeded

    Jumlah kali offset berhasil dikomit.

    Hitungan

    Metrik ini digunakan untuk menentukan apakah offset telah dikomit.

    Hanya Realtime Compute for Apache Flink yang menggunakan VVR 8.0.9 atau lebih baru yang mendukung parameter ini.

    commitsFailed

    Jumlah kali offset gagal dikomit.

    Hitungan

    Metrik ini digunakan untuk menentukan apakah offset telah dikomit.

    Fetch Rate

    Frekuensi penarikan data.

    Hitungan/detik

    Metrik ini digunakan untuk menentukan latensi yang terjadi saat menarik data dan laju penarikan data.

    Fetch Latency Avg

    Latensi rata-rata saat menarik data.

    Milidetik

    Metrik ini digunakan untuk menentukan latensi yang terjadi saat menarik data dan laju penarikan data.

    Fetch Size Avg

    Jumlah byte rata-rata yang ditarik setiap kali.

    Bytes

    Metrik ini digunakan untuk menentukan latensi yang terjadi saat menarik data dan laju penarikan data.

    Avg Records In Per-Request

    Jumlah pesan rata-rata yang ditarik setiap kali.

    Hitungan

    Metrik ini digunakan untuk menentukan latensi yang terjadi saat menarik data dan laju penarikan data.

    currentSendTime

    Waktu ketika catatan data terakhir dikirim.

    Tidak Ada

    Metrik ini digunakan untuk menentukan kemajuan konsumsi.

    batchSizeAvg

    Jumlah byte rata-rata yang ditulis dalam setiap batch.

    Byte

    Metrik ini digunakan untuk menentukan latensi yang terjadi saat menulis data dan laju penulisan data.

    requestLatencyAvg

    Latensi rata-rata permintaan.

    Milidetik

    Metrik ini digunakan untuk menentukan latensi yang terjadi saat menulis data dan laju penulisan data.

    requestsInFlight

    Jumlah permintaan yang sedang berlangsung.

    Tidak Ada

    Metrik ini digunakan untuk menentukan latensi yang terjadi saat menulis data dan laju penulisan data.

    recordsPerRequestAvg

    Jumlah pesan rata-rata yang diproses per permintaan.

    Hitungan

    Metrik ini digunakan untuk menentukan latensi yang terjadi saat menulis data dan laju penulisan data.

    recordSizeAvg

    Jumlah byte rata-rata dalam sebuah pesan.

    Byte

    Metrik ini digunakan untuk menentukan latensi yang terjadi saat menulis data dan laju penulisan data.

    Paimon connector

    Metrik

    Definisi

    Satuan

    Skenario

    Versi yang Didukung

    Number of Writers

    Jumlah Penulis (Writers).

    Hitungan

    Metrik ini menunjukkan jumlah bucket ke mana data sedang ditulis. Jika nilai metrik ini besar, kinerja penulisan mungkin terpengaruh dan lebih banyak memori mungkin dikonsumsi. Metrik ini digunakan untuk menentukan apakah jumlah bucket atau pengaturan kunci partisi masuk akal.

    Hanya Realtime Compute for Apache Flink yang menggunakan VVR 8.0.9 atau lebih baru yang mendukung parameter ini.

    Max Compaction Thread Busy

    Rasio waktu maksimum yang dikonsumsi oleh thread untuk menggabungkan file kecil dengan total waktu yang dikonsumsi untuk menulis data ke bucket.

    Persentase

    Metrik ini menunjukkan waktu maksimum yang dikonsumsi oleh thread untuk menggabungkan file kecil dalam satu menit. Metrik ini menunjukkan seberapa sibuk thread untuk menggabungkan file kecil.

    Average Compaction Thread Busy

    Rasio total waktu yang dikonsumsi oleh thread untuk menggabungkan file kecil dengan total waktu yang dikonsumsi untuk menulis data ke bucket.

    Persentase

    Metrik ini menunjukkan waktu rata-rata yang dikonsumsi oleh thread untuk menggabungkan file kecil dalam satu menit. Metrik ini menunjukkan seberapa sibuk thread untuk menggabungkan file kecil.

    Max Number of Level 0 Files

    Jumlah maksimum file Level 0.

    Hitungan

    Jumlah maksimum file Level 0 di bucket tempat data sedang ditulis. Metrik ini hanya bekerja untuk tabel kunci utama dan digunakan untuk menentukan apakah efisiensi penggabungan file kecil dapat mengimbangi efisiensi penulisan.

    Average Number of Level 0 Files

    Jumlah rata-rata file Level 0.

    Hitungan

    Jumlah rata-rata file Level 0 di bucket tempat data sedang ditulis. Metrik ini hanya bekerja untuk tabel kunci utama dan digunakan untuk menentukan apakah efisiensi penggabungan file kecil dapat mengimbangi efisiensi penulisan.

    Last Commit Duration

    Waktu yang dikonsumsi oleh komit terakhir.

    Milidetik

    Jika nilai metrik ini besar, periksa apakah data sedang ditulis ke bucket yang berlebihan pada saat yang sama.

    Number of Partitions Last Committed

    Jumlah partisi ke mana data ditulis dalam komit terakhir.

    Hitungan

    Jika nilai metrik ini besar, kinerja penulisan mungkin terpengaruh dan lebih banyak memori mungkin dikonsumsi. Metrik ini digunakan untuk menentukan apakah jumlah bucket atau pengaturan kunci partisi masuk akal.

    Number of Buckets Last Committed

    Jumlah bucket ke mana data ditulis dalam komit terakhir.

    Hitungan

    Jika nilai metrik ini besar, kinerja penulisan mungkin terpengaruh dan lebih banyak memori mungkin dikonsumsi. Metrik ini digunakan untuk menentukan apakah jumlah bucket atau pengaturan kunci partisi masuk akal.

    Used Write Buffer

    Ukuran buffer yang digunakan oleh node penulis.

    Byte

    Ukuran buffer yang digunakan oleh node penulis dari semua TaskManagers. Buffer ini menempati memori heap Java. Jika nilai metrik ini besar, kesalahan kehabisan memori (OOM) mungkin terjadi.

    Total Write Buffer

    Ukuran buffer total yang dialokasikan ke node penulis.

    Byte

    Ukuran buffer yang dialokasikan ke node penulis dari semua TaskManagers. Buffer ini menempati memori heap Java. Jika nilai metrik ini besar, kesalahan kehabisan memori (OOM) mungkin terjadi.

    Ingesti Data

    Metrik

    Definisi

    Satuan

    Skenario

    Versi yang Didukung

    isSnapshotting

    Menentukan apakah pekerjaan berada dalam fase snapshot. Nilai 1 menentukan bahwa pekerjaan berada dalam fase snapshot.

    Tidak Ada

    Metrik ini menunjukkan fase pemrosesan pekerjaan.

    Hanya Realtime Compute for Apache Flink yang menggunakan VVR 8.0.9 atau lebih baru yang mendukung parameter ini.

    isBinlogReading

    Menentukan apakah pekerjaan berada dalam fase inkremental. Nilai 1 menentukan bahwa pekerjaan berada dalam fase inkremental.

    Tidak Ada

    Metrik ini menunjukkan fase pemrosesan pekerjaan.

    Num of remaining tables

    Jumlah tabel yang menunggu untuk diproses dalam fase snapshot.

    Hitungan

    Metrik ini mengukur jumlah tabel yang belum diproses.

    Num of snapshotted tables

    Jumlah tabel yang telah diproses dalam fase snapshot.

    Hitungan

    Metrik ini mengukur jumlah tabel yang telah diproses.

    Num of remaining SnapshotSplits

    Jumlah shard yang menunggu untuk diproses dalam fase snapshot.

    Hitungan

    Metrik ini mengukur jumlah shard yang belum diproses.

    Num of processed SnapshotSplits

    Jumlah shard yang telah diproses dalam fase snapshot.

    Hitungan

    Metrik ini mengukur jumlah shard yang telah diproses.

    currentFetchEventTimeLag

    Perbedaan antara waktu data dihasilkan dan waktu data dibaca dari database.

    Milidetik

    Metrik ini menunjukkan latensi membaca log biner dari database.

    currentReadTimestampMs

    Timestamp catatan data terbaru yang dibaca.

    Milidetik

    Metrik ini menunjukkan timestamp catatan data terbaru yang dibaca.

    numRecordsIn

    Jumlah catatan data yang dibaca.

    Hitungan

    Metrik ini mengukur jumlah total catatan data yang telah diproses.

    numRecordsInPerTable

    Jumlah catatan data yang dibaca dari setiap tabel.

    Hitungan

    Metrik ini mengukur jumlah total catatan data yang telah diproses di setiap tabel.

    numSnapshotRecords

    Jumlah catatan data yang telah diproses dalam fase snapshot.

    Hitungan

    Metrik ini mengukur jumlah catatan data yang telah diproses dalam fase snapshot.

    numSnapshotRecordsPerTable

    Jumlah catatan data yang telah diproses di setiap tabel dalam fase snapshot.

    Hitungan

    Metrik ini mengukur jumlah catatan data yang telah diproses di setiap tabel dalam fase snapshot.