Topik ini menjelaskan cara melihat log pekerjaan historis dari Realtime Compute for Apache Flink di tiga lokasi: tab Logs, Object Storage Service (OSS), dan Simple Log Service (SLS).
Latar Belakang
Anda mungkin perlu melihat log pekerjaan historis dalam skenario berikut:
-
Anda perlu melihat, mencari, dan menganalisis log eksekusi pekerjaan historis. Secara default, sistem menyimpan 5 MB terakhir dari log eksekusi.
-
Anda perlu memeriksa log JobManager untuk mengatasi masalah saat UI Flink tidak dapat diakses.
Topik ini menjelaskan tiga cara untuk melihat log pekerjaan historis:
Prasyarat
-
Untuk melihat log pekerjaan historis di tab Logs, pastikan arsip log telah diaktifkan. Fitur ini diaktifkan secara default, dan log yang diarsipkan disimpan selama 7 hari. Di tab Configuration penerapan Flink, buka bagian Logging, aktifkan sakelar Log Archiving, dan atur Archived Log Retention Period, misalnya menjadi 7 hari.
-
Untuk melihat log pekerjaan historis di OSS atau SLS, Anda harus telah mengonfigurasi output log ke OSS atau SLS untuk pekerjaan tersebut di Realtime Compute for Apache Flink. Untuk informasi selengkapnya, lihat Konfigurasikan output log pekerjaan.
Catatan Penggunaan
-
Ketika ukuran file log mencapai batas yang ditentukan, sistem secara otomatis mengarsipkannya dan secara berkala menghapus file log yang melebihi periode retensinya. Log yang diarsipkan tetap disimpan meskipun pekerjaan telah berhenti. Jika penerapan dihapus, log terkait juga akan dihapus.
CatatanSetelah versi baru dirilis pada November 2024, semua log pekerjaan yang ada di Konsol Realtime Compute for Apache Flink, termasuk log yang diarsipkan dari pekerjaan yang telah dihentikan, akan dihapus ketika periode retensinya berakhir.
-
Log hanya ditulis ke SLS atau OSS jika TaskManager atau JobManager berhasil dimulai.
-
Hubungi kami jika Anda tidak dapat menemukan log di OSS, yang dapat terjadi jika JobManager dan TaskManager gagal dimulai.
-
Secara default, konfigurasi logging menyimpan dua file log, masing-masing berukuran 5 MB. Kami menyarankan agar nilai ini tidak diubah; jika Anda membutuhkan kapasitas log lebih besar, ekspor log ke OSS sebagai gantinya. Di tab Configuration, pada bagian Logging, konfigurasi XML Log4j2 default mengatur
sizedariSizeBasedTriggeringPolicymenjadi5 MB. Ini memicu pengarsipan bergulir saat ukuran file log mencapai nilai tersebut. AtributmaxdariDefaultRolloverStrategydiatur ke1.CatatanJumlah file yang ditentukan dalam konfigurasi ini tidak termasuk file yang sedang ditulis. Misalnya, jika
maxdiatur ke1, maksimal dua file disimpan: satu file aktif dan satu file arsip.
Lihat log di tab Logs
-
Masuk ke Konsol Realtime Compute for Apache Flink.
-
Di kolom Actions ruang kerja target, klik Console.
-
Di panel navigasi kiri, pilih .
-
Klik nama penerapan target.
-
Klik tab Logs.
-
Di tab Logs di sebelah kiri, pilih pekerjaan historis dari daftar drop-down Job.
Panel kiri juga berisi tab Startup Logs dan Exceptions. Daftar drop-down memisahkan pekerjaan menjadi Running jobs dan Historical jobs.
-
Pilih log yang ingin dilihat.
Di tab Job Manager atau Running Task Managers, klik nama log untuk melihat isinya.
Lihat log di OSS
-
Masuk ke Konsol Object Storage Service (OSS).
-
Di panel navigasi kiri, klik Buckets.
-
Klik name bucket yang telah Anda konfigurasikan untuk ruang kerja Flink Anda.
-
Di bagian Artifacts, lihat informasi log di direktori yang sesuai.
Folder
Deskripsi
artifacts
Menyimpan paket JAR yang diunggah.
flink-jobs
Direktori ini menyimpan checkpoint untuk pekerjaan Flink.
flink-savepoints
Direktori ini menyimpan file titik simpan yang dibuat saat Anda mengklik Create Savepoint untuk suatu penerapan di halaman pada Konsol Realtime Compute for Apache Flink.
logs
Jika Anda mengatur Logging Profile pekerjaan Anda ke OSS, direktori ini menyimpan log pekerjaan.
CatatanJalur penyimpanan log pekerjaan di direktori logs adalah logs/${workspace-id}/${job-id}/${instance-id}. Anda dapat menggunakan struktur direktori ini untuk menemukan log JobManager dan TaskManager untuk pekerjaan yang sesuai.
Lihat log di SLS
-
Masuk ke Konsol Simple Log Service.
-
Di bagian Projects, klik proyek target.
-
Di tab Logstores, klik Logstore target.
-
Masukkan kueri, pilih rentang waktu, lalu klik Search & Analyze.
Untuk informasi selengkapnya, lihat Panduan cepat pencarian dan analisis.