Managed Service for Prometheus mendukung serangkaian metrik Flink yang dikumpulkan dari Alibaba Cloud Realtime Compute for Apache Flink. Setiap metrik diklasifikasikan sebagai metrik dasar atau metrik kustom, dan klasifikasi ini menentukan apakah pelaporan metrik tersebut dikenai biaya.
Jenis metrik dan penagihan
Managed Service for Prometheus ditagih berdasarkan volume data yang ditulis atau jumlah titik data yang dilaporkan. Metrik dibagi menjadi dua kategori:
Metrik dasar — Metrik dasar yang dikumpulkan dari Alibaba Cloud Realtime Compute for Apache Flink tidak dikenai biaya saat dilaporkan ke atau ditulis ke Managed Service for Prometheus. Manfaat ini tidak berlaku untuk layanan Flink lainnya, seperti Flink yang dikelola sendiri.
Metrik kustom — Metrik selain metrik dasar dikategorikan sebagai metrik kustom dan telah dikenai biaya sejak 6 Januari 2020.
KolomTypepada setiap tabel dalam topik ini menunjukkan kategori metrik tersebut. Metrik dasar terkonsentrasi pada bagian JVM dan sumber daya sistem JobManager serta TaskManager. Metrik pada bagian lainnya merupakan metrik kustom, sehingga data mengenai kesehatan pekerjaan, latensi, throughput, checkpoint, state, window, dan konektor CDC akan dikenai biaya saat dilaporkan. Di dalam dua bagian JVM tersebut, delapan metrik garbage collector G1 diklasifikasikan sebagai metrik kustom meskipun metrik di sekitarnya merupakan metrik dasar.
Cara membaca tabel metrik
Setiap tabel metrik dalam topik ini menggunakan lima kolom yang sama:
Metric — Nama metrik sebagaimana dilaporkan ke Managed Service for Prometheus.
Description — Apa yang diukur oleh metrik tersebut.
Details — Cara menginterpretasikan nilai tersebut atau hal yang perlu diperiksa jika nilainya tampak tidak normal.
Unit — Satuan nilai metrik. Nilai yang digunakan dalam topik ini adalah
Count,Count/s,Bytes,Bytes/s,ms, danns.Type — Kategori metrik:
BasicatauCustom.N/Adalam sebuah sel berarti topik ini tidak menyediakan nilai untuk sel tersebut. Pada kolomUnit,N/Aberarti tidak ada satuan yang didokumentasikan untuk metrik tersebut.
Beberapa nama metrik memuat segmen variabel yang diganti saat metrik dilaporkan, sehingga nama dalam tabel bukanlah nama literal dari deret waktu. state_name mewakili nama state yang diterapkan oleh metrik tersebut, dan cdcns_schema_table mewakili namespace CDC, nama skema, dan nama tabel dari tabel yang dipantau. Ganti segmen-segmen ini dengan nilai aktual sebelum menggunakan nama metrik dalam kueri atau aturan peringatan.
Kesehatan pekerjaan
| Metric | Description | Details | Unit | Type |
flink_jobmanager_job_numRestarts | Jumlah restart pekerjaan yang disebabkan oleh error | Jumlah restart yang disebabkan oleh error pekerjaan. Failover JobManager tidak dihitung. | Count | Custom |
flink_jobmanager_job_uptime | Waktu eksekusi pekerjaan | N/A | ms | Custom |
flink_jobmanager_numRunningJobs | Jumlah pekerjaan yang sedang berjalan | N/A | N/A | Custom |
flink_jobmanager_taskSlotsAvailable | Jumlah slot tugas yang tersedia | N/A | N/A | Custom |
flink_jobmanager_taskSlotsTotal | Jumlah total slot tugas | N/A | N/A | Custom |
flink_jobmanager_numRegisteredTaskManagers | Jumlah TaskManager yang terdaftar | N/A | N/A | Custom |
Latensi
| Metric | Description | Details | Unit | Type |
flink_taskmanager_job_task_operator_currentEmitEventTimeLag | Event-time lag dari record yang dikeluarkan oleh operator | Nilai besar menunjukkan bahwa pekerjaan mungkin mengalami latensi saat menarik atau memproses data. | ms | Custom |
flink_taskmanager_job_task_operator_currentFetchEventTimeLag | Event-time lag dari record yang ditarik oleh operator | Nilai besar menunjukkan bahwa pekerjaan mungkin mengalami latensi saat menarik data. | ms | Custom |
flink_taskmanager_job_task_currentInputWatermark | Waktu watermark terbaru yang diterima oleh setiap tugas | Menunjukkan latensi data yang diterima oleh tugas. | N/A | Custom |
flink_taskmanager_job_task_operator_watermarkLag | Watermark lag dari operator | Menunjukkan latensi pekerjaan di tingkat subtask. | ms | Custom |
Throughput
Throughput record
| Metric | Description | Details | Unit | Type |
flink_taskmanager_job_task_numRecordsIn | Jumlah total record yang diterima oleh tugas | Jika nilai numRecordsIn suatu tugas tidak meningkat dalam waktu lama, data upstream mungkin telah dibuang dan gagal diteruskan. Dalam kasus ini, periksa data upstream. | Count | Custom |
flink_taskmanager_job_task_numRecordsOut | Jumlah total record yang dikeluarkan oleh tugas | Jika nilai numRecordsOut suatu tugas tidak meningkat dalam waktu lama, kemungkinan terdapat error logika pada kode pekerjaan yang menyebabkan data dibuang sehingga tidak diteruskan. Dalam kasus ini, periksa logika kode pekerjaan. | Count | Custom |
flink_taskmanager_job_task_operator_numRecordsIn | Jumlah total record yang diterima oleh operator | Jika nilai numRecordsIn suatu operator tidak meningkat dalam waktu lama, data upstream mungkin telah dibuang dan gagal diteruskan. Dalam kasus ini, periksa data upstream. | Count | Custom |
flink_taskmanager_job_task_operator_numRecordsOut | Jumlah total record yang dikeluarkan oleh operator | Jika nilai numRecordsOut suatu operator tidak meningkat dalam waktu lama, kemungkinan terdapat error logika pada kode pekerjaan yang menyebabkan data dibuang sehingga tidak diteruskan. Dalam kasus ini, periksa logika kode pekerjaan. | Count | Custom |
flink_taskmanager_job_task_operator_source_numRecordsIn | Record input hanya untuk operator source | Periksa input data upstream. | Count | Custom |
flink_taskmanager_job_task_operator_sink_numRecordsOut | Jumlah total record yang dikeluarkan oleh sink | Periksa output data downstream. | Count | Custom |
flink_taskmanager_job_task_numRecordsInPerSecond | Jumlah record yang diterima oleh tugas per detik | Berlaku untuk skenario di mana Anda perlu memantau kecepatan pemrosesan tugas. Misalnya, Anda dapat memeriksa apakah kecepatan pemrosesan tugas mencapai tingkat yang diharapkan dan bagaimana kinerja berubah di bawah beban input yang berbeda. | Count/s | Custom |
flink_taskmanager_job_task_numRecordsOutPerSecond | Jumlah record yang dikeluarkan oleh tugas per detik | Berlaku untuk skenario di mana Anda perlu memantau kecepatan output tugas. Misalnya, Anda dapat memeriksa apakah kecepatan output tugas mencapai tingkat yang diharapkan dan bagaimana kinerja berubah di bawah beban output yang berbeda. | Count/s | Custom |
flink_taskmanager_job_task_operator_numRecordsInPerSecond | Jumlah record yang diterima oleh operator per detik | Berlaku untuk skenario di mana Anda perlu memantau kecepatan pemrosesan operator. Misalnya, Anda dapat memeriksa apakah kecepatan pemrosesan operator mencapai tingkat yang diharapkan dan bagaimana kinerja berubah di bawah beban input yang berbeda. | Count/s | Custom |
flink_taskmanager_job_task_operator_numRecordsOutPerSecond | Jumlah record yang dikeluarkan oleh operator per detik | Berlaku untuk skenario di mana Anda perlu memantau kecepatan output operator. Misalnya, Anda dapat memeriksa apakah kecepatan output operator mencapai tingkat yang diharapkan dan bagaimana kinerja berubah di bawah beban output yang berbeda. | Count/s | Custom |
flink_taskmanager_job_task_operator_source_numRecordsInPerSecond | Jumlah record yang diinput per detik oleh source | Berlaku untuk skenario di mana Anda perlu memahami laju pembangkitan setiap sumber data dan mengukur jumlah record yang dihasilkan per detik oleh setiap sumber data. Sumber data yang berbeda dalam aliran data mungkin menghasilkan jumlah record yang berbeda, sehingga metrik ini membantu Anda menyetel aliran data untuk kinerja yang lebih baik. Metrik ini juga digunakan untuk pemantauan dan peringatan. Nilai 0 mungkin menunjukkan bahwa data upstream telah dibuang. Periksa apakah output diblokir karena data upstream belum dikonsumsi. | Count/s | Custom |
flink_taskmanager_job_task_operator_sink_numRecordsOutPerSecond | Jumlah record yang dioutput per detik oleh sink | Berlaku untuk skenario di mana Anda perlu memahami kecepatan output setiap sink dan mengukur jumlah record yang dioutput per detik oleh setiap sink. Sink yang berbeda dalam aliran data mungkin mengoutput jumlah record yang berbeda, sehingga metrik ini membantu Anda menyetel aliran data untuk kinerja yang lebih baik. Metrik ini juga digunakan untuk pemantauan dan peringatan. Nilai 0 mungkin menunjukkan adanya error logika pada kode pekerjaan yang menyaring semua data. Dalam kasus ini, periksa logika kode pekerjaan. | Count/s | Custom |
Throughput byte
| Metric | Description | Details | Unit | Type |
flink_taskmanager_job_task_operator_numBytesIn | Jumlah total byte yang diterima oleh operator | Periksa input throughput upstream untuk mengamati trafik pekerjaan. | Bytes | Custom |
flink_taskmanager_job_task_operator_numBytesOut | Jumlah total byte yang dikeluarkan oleh operator | Periksa output throughput downstream untuk mengamati trafik pekerjaan. | Bytes | Custom |
flink_taskmanager_job_task_operator_numBytesInPerSecond | Jumlah byte yang diterima oleh operator per detik | N/A | Bytes/s | Custom |
flink_taskmanager_job_task_operator_numBytesOutPerSecond | Jumlah byte yang dikeluarkan oleh operator per detik | Periksa output throughput downstream untuk mengamati trafik pekerjaan. | Bytes/s | Custom |
flink_taskmanager_job_task_numBytesInLocalPerSecond | Jumlah byte yang dibaca oleh tugas per detik dari sumber lokal | Periksa laju input upstream untuk mengamati trafik pekerjaan. | Bytes/s | Custom |
flink_taskmanager_job_task_numBytesInRemotePerSecond | Jumlah byte yang dibaca oleh tugas per detik dari sumber remote | N/A | Bytes/s | Custom |
flink_taskmanager_job_task_numBytesOutPerSecond | Jumlah byte yang dikeluarkan oleh tugas per detik | N/A | Bytes/s | Custom |
Buffer jaringan
| Metric | Description | Details | Unit | Type |
flink_taskmanager_job_task_numBuffersInLocalPerSecond | Jumlah buffer data lokal yang dikonsumsi per detik | Nilai tinggi menunjukkan komunikasi lokal yang sering antar tugas, yaitu komunikasi pada node yang sama. | Count/s | Custom |
flink_taskmanager_job_task_numBuffersInRemotePerSecond | Jumlah buffer yang diterima per detik dari TaskManager remote | Mencerminkan frekuensi komunikasi lintas-TaskManager. | Count/s | Custom |
flink_taskmanager_job_task_numBuffersOutPerSecond | Jumlah buffer yang dikirim per detik ke tugas lain | Menunjukkan tekanan output tugas dan penggunaan lebar pita jaringan. | Count/s | Custom |
Source dan sink
| Metric | Description | Details | Unit | Type |
flink_taskmanager_job_task_operator_pendingRecords | Jumlah record yang belum dibaca di source | Jumlah record di sistem eksternal yang belum ditarik oleh source. | Count | Custom |
flink_taskmanager_job_task_operator_sourceIdleTime | Waktu selama source tidak memproses data | Menunjukkan apakah source sedang idle. Nilai besar menunjukkan bahwa laju pembangkitan data di sistem eksternal rendah. | ms | Custom |
flink_taskmanager_job_task_operator_currentSendTime | Waktu yang dibutuhkan untuk mengirim record terbaru | N/A | ms | Custom |
Checkpoint
| Metric | Description | Details | Unit | Type |
flink_jobmanager_job_totalNumberOfCheckpoints | Jumlah total checkpoint | N/A | Count | Custom |
flink_jobmanager_job_numberOfFailedCheckpoints | Jumlah checkpoint yang gagal | N/A | Count | Custom |
flink_jobmanager_job_numberOfCompletedCheckpoints | Jumlah checkpoint yang selesai | N/A | Count | Custom |
flink_jobmanager_job_numberOfInProgressCheckpoints | Jumlah checkpoint yang sedang berlangsung | N/A | Count | Custom |
flink_jobmanager_job_lastCheckpointDuration | Durasi checkpoint terbaru | Jika checkpoint memakan waktu terlalu lama atau timeout, penyebabnya mungkin state yang terlalu besar, masalah jaringan sementara, barrier yang tidak sejajar, atau tekanan balik data. | ms | Custom |
flink_jobmanager_job_lastCheckpointSize | Ukuran checkpoint terbaru | Ukuran checkpoint yang paling baru diunggah. Gunakan metrik ini untuk menganalisis kinerja checkpoint saat checkpoint menjadi bottleneck. | Bytes | Custom |
State
Metrik state melaporkan latensi maksimum operasi state tunggal, dikelompokkan berdasarkan jenis state, dan ukuran data state yang disimpan oleh GeminiDB. Dalam nama metrik latensi state, ganti state_name dengan nama state yang ingin Anda pantau. Setiap metrik latensi menunjukkan kinerja operasi state yang diidentifikasi oleh namanya, sehingga kolom Details bernilai N/A untuk metrik-metrik ini.
Umum
| Metric | Description | Details | Unit | Type |
flink_taskmanager_job_task_operator_state_name_stateClearLatency | Latensi maksimum operasi clear state tunggal | N/A | ns | Custom |
Value state
| Metric | Description | Details | Unit | Type |
flink_taskmanager_job_task_operator_state_name_valueStateGetLatency | Latensi maksimum akses value state tunggal | N/A | ns | Custom |
flink_taskmanager_job_task_operator_state_name_valueStateUpdateLatency | Latensi maksimum pembaruan status nilai tunggal | N/A | ns | Custom |
Aggregating state
| Metric | Description | Details | Unit | Type |
flink_taskmanager_job_task_operator_state_name_aggregatingStateGetLatency | Latensi maksimum akses aggregating state tunggal | N/A | ns | Custom |
flink_taskmanager_job_task_operator_state_name_aggregatingStateAddLatency | Latensi maksimum operasi add aggregating state tunggal | N/A | ns | Custom |
flink_taskmanager_job_task_operator_state_name_aggregatingStateMergeNamespacesLatency | Latensi maksimum operasi merge-namespaces aggregating state tunggal | N/A | ns | Custom |
Reducing state
| Metric | Description | Details | Unit | Type |
flink_taskmanager_job_task_operator_state_name_reducingStateGetLatency | Latensi maksimum akses reducing state tunggal | N/A | ns | Custom |
flink_taskmanager_job_task_operator_state_name_reducingStateAddLatency | Latensi maksimum operasi add reducing state tunggal | N/A | ns | Custom |
flink_taskmanager_job_task_operator_state_name_reducingStateMergeNamespacesLatency | Latensi maksimum operasi merge-namespaces reducing state tunggal | N/A | ns | Custom |
Map state
| Metric | Description | Details | Unit | Type |
flink_taskmanager_job_task_operator_state_name_mapStateGetLatency | Latensi maksimum akses map state tunggal | N/A | ns | Custom |
flink_taskmanager_job_task_operator_state_name_mapStatePutLatency | Latensi maksimum operasi put map state tunggal | N/A | ns | Custom |
flink_taskmanager_job_task_operator_state_name_mapStatePutAllLatency | Latensi maksimum operasi put all pada status peta tunggal | N/A | ns | Custom |
flink_taskmanager_job_task_operator_state_name_mapStateRemoveLatency | Latensi maksimum operasi remove map state tunggal | N/A | ns | Custom |
flink_taskmanager_job_task_operator_state_name_mapStateContainsLatency | Latensi maksimum operasi contains map state tunggal | N/A | ns | Custom |
flink_taskmanager_job_task_operator_state_name_mapStateEntriesInitLatency | Latensi maksimum operasi init entries map state tunggal | N/A | ns | Custom |
flink_taskmanager_job_task_operator_state_name_mapStateKeysInitLatency | Latensi maksimum operasi init keys map state tunggal | N/A | ns | Custom |
flink_taskmanager_job_task_operator_state_name_mapStateValuesInitLatency | Latensi maksimum operasi init values map state tunggal | N/A | ns | Custom |
flink_taskmanager_job_task_operator_state_name_mapStateIteratorInitLatency | Latensi maksimum operasi init iterator map state tunggal | N/A | ns | Custom |
flink_taskmanager_job_task_operator_state_name_mapStateIsEmptyLatency | Latensi maksimum pemeriksaan kosong map state tunggal | N/A | ns | Custom |
flink_taskmanager_job_task_operator_state_name_mapStateIteratorHasNextLatency | Latensi maksimum operasi hasNext iterator map state tunggal | N/A | ns | Custom |
flink_taskmanager_job_task_operator_state_name_mapStateIteratorNextLatency | Latensi maksimum operasi next iterator map state tunggal | N/A | ns | Custom |
flink_taskmanager_job_task_operator_state_name_mapStateIteratorRemoveLatency | Latensi maksimum operasi remove iterator map state tunggal | N/A | ns | Custom |
List state
| Metric | Description | Details | Unit | Type |
flink_taskmanager_job_task_operator_state_name_listStateGetLatency | Latensi maksimum akses list state tunggal | N/A | ns | Custom |
flink_taskmanager_job_task_operator_state_name_listStateAddLatency | Latensi maksimum operasi add list state tunggal | N/A | ns | Custom |
flink_taskmanager_job_task_operator_state_name_listStateAddAllLatency | Latensi maksimum operasi add all list state tunggal | N/A | ns | Custom |
flink_taskmanager_job_task_operator_state_name_listStateUpdateLatency | Latensi maksimum pembaruan status daftar tunggal | N/A | ns | Custom |
flink_taskmanager_job_task_operator_state_name_listStateMergeNamespacesLatency | Latensi maksimum operasi merge-namespaces list state tunggal | N/A | ns | Custom |
Sorted map state
| Metric | Description | Details | Unit | Type |
flink_taskmanager_job_task_operator_state_name_sortedMapStateFirstEntryLatency | Latensi maksimum akses entri pertama sorted map state tunggal | N/A | ns | Custom |
flink_taskmanager_job_task_operator_state_name_sortedMapStateLastEntryLatency | Latensi maksimum akses entri terakhir sorted map state tunggal | N/A | ns | Custom |
Penyimpanan state GeminiDB
| Metric | Description | Details | Unit | Type |
flink_taskmanager_job_task_operator_geminiDB_total_size | Ukuran data state | Dengan memantau metrik ini, Anda dapat menemukan node tempat bottleneck state mungkin terjadi, baik secara langsung maupun lebih awal, serta menentukan apakah TTL berlaku. | Bytes | Custom |
flink_taskmanager_job_task_operator_geminiDB_total_filesize | Ukuran file data state | Dengan memantau metrik ini, Anda dapat memeriksa berapa banyak ruang disk lokal yang ditempati oleh state sehingga Anda dapat mengambil tindakan lebih awal saat penggunaannya tinggi, serta menentukan apakah ruang disk lokal yang tidak mencukupi disebabkan oleh data state yang terlalu besar. | Bytes | Custom |
Metrik window
| Metric | Description | Details | Unit | Type |
flink_taskmanager_job_task_operator_numLateRecordsDropped | Jumlah total record yang dibuang karena latensi window | N/A | Count | Custom |
flink_taskmanager_job_task_operator_lateRecordsDroppedRate | Laju pembuangan record karena latensi window | N/A | N/A | Custom |
Metrik konektor CDC
Metrik konektor Change data capture (CDC) melacak fase snapshot, di mana data penuh diproses, dan fase binary logging (binlog), di mana data inkremental diproses. Tabel-tabel berikut mengelompokkan metrik ini berdasarkan fase tempat pekerjaan berada, progres fase snapshot, volume data yang telah dibaca, serta pernyataan DML dan DDL yang diproses dalam fase inkremental.
Dalam nama metrik, ganti cdcns_schema_table dengan namespace CDC, nama skema, dan nama tabel dari tabel yang ingin Anda pantau. Metrik yang namanya memuat segmen ini melaporkan nilai untuk satu tabel. Metrik yang namanya tidak memuatnya melaporkan nilai untuk seluruh pekerjaan.
Indikator fase
| Metric | Description | Details | Unit | Type |
flink_jobmanager_job_operator_coordinator_enumerator_isSnapshotting | Apakah pekerjaan berada dalam fase pemrosesan data penuh | Tentukan apakah pekerjaan masih dalam fase snapshot. | N/A | Custom |
flink_jobmanager_job_operator_coordinator_enumerator_isBinlogReading | Apakah pekerjaan berada dalam fase pemrosesan data inkremental | Tentukan apakah pekerjaan telah memasuki fase binlog. | N/A | Custom |
Progres snapshot
| Metric | Description | Details | Unit | Type |
flink_jobmanager_job_operator_coordinator_enumerator_numTablesRemaining | Jumlah tabel yang belum diproses dalam fase snapshot | Lihat jumlah tabel yang masih menunggu untuk diproses. | Count | Custom |
flink_jobmanager_job_operator_coordinator_enumerator_numTablesSnapshotted | Jumlah tabel yang telah selesai di-snapshot | Lihat jumlah tabel yang telah diproses. | Count | Custom |
flink_jobmanager_job_operator_coordinator_enumerator_numSnapshotSplitsProcessed | Jumlah shard yang telah diproses dalam fase snapshot, untuk seluruh pekerjaan | Lihat jumlah shard yang telah diproses di semua tabel. | Count | Custom |
flink_jobmanager_job_operator_coordinator_enumerator_cdcns_schema_table_numSnapshotSplitsProcessed | Jumlah shard yang telah diproses dalam fase snapshot, untuk satu tabel | Lihat jumlah shard yang telah diproses untuk tabel tertentu. | Count | Custom |
flink_jobmanager_job_operator_coordinator_enumerator_numSnapshotSplitsRemaining | Jumlah shard yang menunggu untuk diproses dalam fase snapshot, untuk seluruh pekerjaan | Lihat jumlah shard yang belum diproses di semua tabel. | Count | Custom |
flink_jobmanager_job_operator_coordinator_enumerator_cdcns_schema_table_numSnapshotSplitsRemaining | Jumlah shard yang menunggu untuk diproses dalam fase snapshot, untuk satu tabel | Lihat jumlah shard yang belum diproses untuk tabel tertentu. | Count | Custom |
Volume data
| Metric | Description | Details | Unit | Type |
flink_taskmanager_job_task_operator_currentReadTimestampMs | Timestamp record data terbaru yang telah dibaca | Lihat timestamp data binlog terbaru. | ms | Custom |
flink_taskmanager_job_task_operator_numSnapshotRecords | Jumlah record yang telah diproses dalam fase snapshot | Lihat volume data yang telah diproses dalam fase snapshot. | Count | Custom |
flink_taskmanager_job_task_operator_cdcns_schema_table_numRecordsIn | Jumlah record yang telah dibaca untuk setiap tabel | Lihat total volume data yang telah diproses untuk setiap tabel. | Count | Custom |
flink_taskmanager_job_task_operator_cdcns_schema_table_numSnapshotRecords | Jumlah record yang telah diproses untuk setiap tabel dalam fase snapshot | Lihat volume data yang telah diproses untuk setiap tabel dalam fase snapshot. | Count | Custom |
DML dan DDL fase inkremental
| Metric | Description | Details | Unit | Type |
flink_taskmanager_job_task_operator_cdcns_schema_table_numInsertDMLRecords | Jumlah pernyataan INSERT DML yang diproses untuk setiap tabel dalam fase inkremental | Lihat volume data pernyataan INSERT untuk setiap tabel. | Count | Custom |
flink_taskmanager_job_task_operator_cdcns_schema_table_numUpdateDMLRecords | Jumlah pernyataan UPDATE DML yang diproses untuk setiap tabel dalam fase inkremental | Lihat volume data pernyataan UPDATE untuk setiap tabel. | Count | Custom |
flink_taskmanager_job_task_operator_cdcns_schema_table_numDeleteDMLRecords | Jumlah pernyataan DELETE DML yang diproses untuk setiap tabel dalam fase inkremental | Lihat volume data pernyataan DELETE untuk setiap tabel. | Count | Custom |
flink_taskmanager_job_task_operator_cdcns_schema_table_numDDLRecords | Jumlah pernyataan DDL yang diproses untuk setiap tabel dalam fase inkremental | Lihat volume data pernyataan DDL untuk setiap tabel. | Count | Custom |
flink_taskmanager_job_task_operator_numInsertDMLRecords | Jumlah pernyataan INSERT DML yang diproses dalam fase inkremental | Lihat volume data pernyataan INSERT. | Count | Custom |
flink_taskmanager_job_task_operator_numUpdateDMLRecords | Jumlah pernyataan UPDATE DML yang diproses dalam fase inkremental | Lihat volume data pernyataan UPDATE. | Count | Custom |
flink_taskmanager_job_task_operator_numDeleteDMLRecords | Jumlah pernyataan DELETE DML yang diproses dalam fase inkremental | Lihat volume data pernyataan DELETE. | Count | Custom |
flink_taskmanager_job_task_operator_numDDLRecords | Jumlah pernyataan DDL yang diproses dalam fase inkremental | Lihat volume data pernyataan DDL. | Count | Custom |
Sumber daya JVM dan sistem JobManager
CPU
| Metric | Description | Details | Unit | Type |
flink_jobmanager_Status_JVM_CPU_Load | Beban CPU JobManager tunggal | Jika nilai ini tetap di atas 100% dalam waktu lama, CPU sedang sibuk dan bebannya tinggi. Hal ini dapat memengaruhi kinerja sistem dan menyebabkan sistem tersendat atau waktu respons menjadi terlalu lama. | N/A | Basic |
flink_jobmanager_Status_ProcessTree_CPU_Usage | Utilisasi CPU JobManager tunggal | Nilai ini mencerminkan berapa banyak waktu CPU yang digunakan oleh Flink. Nilainya 100% ketika 1 core CPU digunakan sepenuhnya dan 400% ketika 4 core CPU digunakan sepenuhnya. Jika nilai ini tetap di atas 100% dalam waktu lama, CPU sangat sibuk. Jika beban tinggi tetapi utilisasi CPU rendah, operasi baca dan tulis yang sering mungkin menyebabkan terlalu banyak proses dalam keadaan sleep yang tidak dapat diinterupsi. | N/A | Basic |
Memori
| Metric | Description | Details | Unit | Type |
flink_jobmanager_Status_JVM_Memory_Heap_Used | Memori heap JobManager | N/A | Bytes | Basic |
flink_jobmanager_Status_JVM_Memory_Heap_Committed | Memori heap yang dialokasikan oleh JobManager | N/A | Bytes | Basic |
flink_jobmanager_Status_JVM_Memory_Heap_Max | Memori heap maksimum JobManager | N/A | Bytes | Basic |
flink_jobmanager_Status_JVM_Memory_NonHeap_Used | Memori non-heap JobManager | N/A | Bytes | Basic |
flink_jobmanager_Status_JVM_Memory_NonHeap_Committed | Memori non-heap yang dialokasikan oleh JobManager | N/A | Bytes | Basic |
flink_jobmanager_Status_JVM_Memory_NonHeap_Max | Memori non-heap maksimum JobManager | N/A | Bytes | Basic |
Utas
| Metric | Description | Details | Unit | Type |
flink_jobmanager_Status_JVM_Threads_Count | Jumlah thread JobManager | Terlalu banyak thread JobManager menempati ruang memori berlebihan dan mengurangi stabilitas pekerjaan. | Count | Basic |
Pengumpulan sampah
Metrik garbage collector G1 dalam tabel berikut merupakan metrik kustom. Metrik pengumpulan sampah JobManager lainnya merupakan metrik dasar.
| Metric | Description | Details | Unit | Type |
flink_jobmanager_Status_JVM_GarbageCollector_ParNew_Count | Jumlah GC JobManager | Terlalu banyak GC menempati ruang memori berlebihan dan memengaruhi kinerja pekerjaan. Metrik ini membantu Anda mendiagnosis pekerjaan dan mengatasi kegagalan tingkat pekerjaan. | Count | Basic |
flink_jobmanager_Status_JVM_GarbageCollector_G1_Young_Generation_Count | Jumlah GC generasi muda JobManager (garbage collector G1) | N/A | Count | Custom |
flink_jobmanager_Status_JVM_GarbageCollector_G1_Old_Generation_Count | Jumlah GC generasi tua JobManager (garbage collector G1) | N/A | Count | Custom |
flink_jobmanager_Status_JVM_GarbageCollector_G1_Young_Generation_Time | Waktu GC generasi muda JobManager (garbage collector G1) | N/A | ms | Custom |
flink_jobmanager_Status_JVM_GarbageCollector_G1_Old_Generation_Time | Waktu GC generasi tua JobManager (garbage collector G1) | N/A | ms | Custom |
flink_jobmanager_Status_JVM_GarbageCollector_ConcurrentMarkSweep_Count | Jumlah koleksi yang dilakukan oleh garbage collector CMS JobManager | N/A | Count | Basic |
flink_jobmanager_Status_JVM_GarbageCollector_ParNew_Time | Durasi setiap GC JobManager | GC yang lama menempati ruang memori berlebihan dan memengaruhi kinerja pekerjaan. Metrik ini membantu Anda mendiagnosis pekerjaan dan mengatasi kegagalan tingkat pekerjaan. | ms | Basic |
flink_jobmanager_Status_JVM_GarbageCollector_ConcurrentMarkSweep_Time | Waktu yang dikonsumsi oleh koleksi yang dilakukan oleh garbage collector CMS JobManager | N/A | ms | Basic |
Pemuatan kelas
| Metric | Description | Details | Unit | Type |
flink_jobmanager_Status_JVM_ClassLoader_ClassesLoaded | Jumlah total kelas yang dimuat setelah JVM yang menjalankan JobManager dibuat | Jika jumlah total kelas yang dimuat setelah JVM yang menjalankan JobManager dibuat terlalu besar, ruang memori berlebihan ditempati dan kinerja pekerjaan terpengaruh. | N/A | Basic |
flink_jobmanager_Status_JVM_ClassLoader_ClassesUnloaded | Jumlah total kelas yang dilepas setelah JVM yang menjalankan JobManager dibuat | Jika jumlah total kelas yang dilepas setelah JVM yang menjalankan JobManager dibuat terlalu besar, ruang memori berlebihan ditempati dan kinerja pekerjaan terpengaruh. | N/A | Basic |
Sumber daya JVM dan sistem TaskManager
CPU
| Metric | Description | Details | Unit | Type |
flink_taskmanager_Status_JVM_CPU_Load | Beban CPU TaskManager tunggal | Jumlah proses yang ditangani CPU dan proses yang menunggu CPU dalam periode waktu tertentu, yang umumnya dipahami sebagai seberapa sibuk CPU tersebut. Seberapa sibuk CPU tergantung pada jumlah core CPU. Di Flink, nilai beban CPU adalah CPU Usage / Jumlah core CPU. Jika flink_taskmanager_Status_JVM_CPU_Load lebih besar dari nilai beban CPU, pemrosesan CPU mungkin terblokir. | N/A | Basic |
flink_taskmanager_Status_ProcessTree_CPU_Usage | Utilisasi CPU TaskManager tunggal | Nilai ini mencerminkan berapa banyak waktu CPU yang digunakan oleh Flink. Nilainya 100% ketika 1 core CPU digunakan sepenuhnya dan 400% ketika 4 core CPU digunakan sepenuhnya. Jika nilai ini tetap di atas 100% dalam waktu lama, CPU sangat sibuk. Jika beban tinggi tetapi utilisasi CPU rendah, operasi baca dan tulis yang sering mungkin menyebabkan terlalu banyak proses dalam keadaan sleep yang tidak dapat diinterupsi. | N/A | Basic |
Memori
| Metric | Description | Details | Unit | Type |
flink_taskmanager_Status_JVM_Memory_Heap_Used | Memori heap TaskManager | N/A | Bytes | Basic |
flink_taskmanager_Status_JVM_Memory_Heap_Committed | Memori heap yang dialokasikan oleh TaskManager | N/A | Bytes | Basic |
flink_taskmanager_Status_JVM_Memory_Heap_Max | Memori heap maksimum TaskManager | N/A | Bytes | Basic |
flink_taskmanager_Status_JVM_Memory_NonHeap_Used | Memori non-heap TaskManager | N/A | Bytes | Basic |
flink_taskmanager_Status_JVM_Memory_NonHeap_Committed | Memori non-heap yang dialokasikan oleh TaskManager | N/A | Bytes | Basic |
flink_taskmanager_Status_JVM_Memory_NonHeap_Max | Memori non-heap maksimum TaskManager | N/A | Bytes | Basic |
flink_taskmanager_Status_ProcessTree_Memory_RSS | Memori seluruh proses yang diperoleh melalui Linux | Lihat perubahan memori proses. | Bytes | Basic |
Thread
| Metric | Description | Details | Unit | Type |
flink_taskmanager_Status_JVM_Threads_Count | Jumlah thread TaskManager | Terlalu banyak thread TaskManager menempati memori berlebihan dan mengurangi stabilitas pekerjaan. | Count | Basic |
Pengumpulan sampah
Metrik garbage collector G1 dalam tabel berikut merupakan metrik kustom. Metrik pengumpulan sampah TaskManager lainnya merupakan metrik dasar.
| Metric | Description | Details | Unit | Type |
flink_taskmanager_Status_JVM_GarbageCollector_ParNew_Count | Jumlah GC TaskManager | Terlalu banyak GC menempati ruang memori berlebihan dan memengaruhi kinerja pekerjaan. Metrik ini membantu Anda mendiagnosis pekerjaan dan mengatasi kegagalan tingkat tugas. | Count | Basic |
flink_taskmanager_Status_JVM_GarbageCollector_G1_Young_Generation_Count | Jumlah GC generasi muda TaskManager (garbage collector G1) | N/A | Count | Custom |
flink_taskmanager_Status_JVM_GarbageCollector_G1_Old_Generation_Count | Jumlah GC generasi tua TaskManager (garbage collector G1) | N/A | Count | Custom |
flink_taskmanager_Status_JVM_GarbageCollector_G1_Young_Generation_Time | Waktu GC generasi muda TaskManager (garbage collector G1) | N/A | ms | Custom |
flink_taskmanager_Status_JVM_GarbageCollector_G1_Old_Generation_Time | Waktu GC generasi tua TaskManager (garbage collector G1) | N/A | ms | Custom |
flink_taskmanager_Status_JVM_GarbageCollector_ConcurrentMarkSweep_Count | Jumlah koleksi yang dilakukan oleh garbage collector CMS TaskManager | N/A | Count | Basic |
flink_taskmanager_Status_JVM_GarbageCollector_ParNew_Time | Durasi setiap GC TaskManager | GC yang lama menempati ruang memori berlebihan dan memengaruhi kinerja pekerjaan. Metrik ini membantu Anda mendiagnosis pekerjaan dan mengatasi kegagalan tingkat tugas. | ms | Basic |
flink_taskmanager_Status_JVM_GarbageCollector_ConcurrentMarkSweep_Time | Waktu yang dikonsumsi oleh koleksi yang dilakukan oleh garbage collector CMS TaskManager | N/A | ms | Basic |
Pemuatan kelas
| Metric | Description | Details | Unit | Type |
flink_taskmanager_Status_JVM_ClassLoader_ClassesLoaded | Jumlah total kelas yang dimuat setelah JVM yang menjalankan TaskManager dibuat | Jika jumlah total kelas yang dimuat setelah JVM yang menjalankan TaskManager dibuat terlalu besar, ruang memori berlebihan ditempati dan kinerja pekerjaan terpengaruh. | N/A | Basic |
flink_taskmanager_Status_JVM_ClassLoader_ClassesUnloaded | Jumlah total kelas yang dilepas setelah JVM yang menjalankan TaskManager dibuat | Jika jumlah total kelas yang dilepas setelah JVM yang menjalankan TaskManager dibuat terlalu besar, ruang memori berlebihan ditempati dan kinerja pekerjaan terpengaruh. | N/A | Basic |
Label metrik umum
Metrik Flink umumnya membawa label berikut. Gunakan label ini untuk memfilter dan mengagregasi data metrik berdasarkan proyek, penerapan, atau pekerjaan.
| Label | Description |
vvpNamespace | Namespace proyek. |
deploymentName | Nama penerapan. |
deploymentId | ID penerapan. |
jobId | ID pekerjaan. |
Referensi
Topik-topik berikut mencakup kumpulan metrik terkait dan opsi manajemen metrik.
Untuk melihat metrik Pemantauan Aplikasi di ARMS, lihat Metrik Pemantauan Aplikasi.