Simple Log Service：Tipe log layanan

Tipe log

Ikhtisar

Logstore

Detail log

Deskripsi

Detailed Logs

Mencatat operasi yang dilakukan pada resource dalam proyek Anda, termasuk operasi membuat, memodifikasi, menghapus, membaca, dan menulis.

internal-operation_log

Operation logs

Log detail dari semua permintaan API, termasuk permintaan yang dikirim melalui konsol SLS serta menggunakan consumer group dan SDK.

Important Logs

Mencatat event keterlambatan konsumsi dari consumer group dan event yang terkait dengan error, heartbeat, serta statistik Logtail berdasarkan logstore.

internal-diagnostic_log

Consumption delay logs of consumer groups

Log keterlambatan konsumsi dari consumer group. Log ini dihasilkan setiap 2 menit. Jika Anda ingin mengkueri log keterlambatan konsumsi dari sebuah consumer group, Anda harus menentukan __topic__: consumergroup_log dalam pernyataan kueri.

Logtail alert logs

Log alert yang mencatat error pada Logtail.

Log alert dihasilkan setiap 30 detik. Jika error yang sama terjadi beberapa kali dalam rentang 30 detik, hanya satu log alert yang dihasilkan. Log alert berisi jumlah total kemunculan error dan satu pesan error. Jika Anda ingin mengkueri log alert Logtail, Anda harus menentukan __topic__: logtail_alarm dalam pernyataan kueri.

Logtail collection logs

Log koleksi yang mencatat statistik tentang konfigurasi Logtail.

Log ini dihasilkan setiap 10 menit. Jika Anda ingin mengkueri log koleksi Logtail, Anda harus menentukan __topic__: logtail_profile dalam pernyataan kueri.

Logtail status logs

Status log Logtail. Logtail melaporkan status secara berkala.

Log ini dihasilkan setiap 1 menit. Jika Anda ingin mengkueri log status Logtail, Anda harus menentukan __topic__: logtail_status dalam pernyataan kueri.

Job Operational Logs

Mencatat metrik dan operasi yang sedang berjalan dari pekerjaan transformasi data (versi baru), pekerjaan Scheduled SQL, pekerjaan impor data, dan pekerjaan pengiriman data (versi baru) untuk proyek tertentu.

internal-diagnostic_log

Operational logs of Scheduled SQL jobs

Satu instans Scheduled SQL berkorespondensi dengan satu log Scheduled SQL. Setelah instans Scheduled SQL berhenti berjalan, sebuah log dilaporkan.

Jika Anda ingin mengkueri log operasional Scheduled SQL, Anda harus menentukan __topic__: scheduled_sql_alert dalam pernyataan kueri.

Operational logs of data transformation (new version) jobs, data import jobs and data shipping (new version) jobs

Log ini dihasilkan setiap 1 menit. Jika sumber data terkait pekerjaan tidak memiliki data, tidak ada log yang dilaporkan.

Kategori

Metode permintaan

Read operation log

Log operasi baca dihasilkan saat Anda memanggil operasi API berikut:

• GetHistograms

• GetLogs

• PullLogs

• GetCursor

• GetCursorTime

Write operation log

Log operasi tulis dihasilkan saat Anda memanggil operasi API berikut:

• PostLogStoreLogs

• PutWebTracking

• WebTrackingImg

• BatchPostLogStoreLogs

• WebTracking

• PutData

Resource operation log

Log operasi resource dihasilkan saat Anda memanggil operasi API berikut:

Operasi API seperti CreateProject dan DeleteProject

Bidang

Deskripsi

Contoh

logstore

Nama logstore.

logstore-1

config_name

Nama konfigurasi Logtail. Nama harus dalam format berikut: ##Logtail configuration version##Project name$Configuration name.

##1.0##project-1$logstore-1

error_line

Log mentah yang menyebabkan error.

M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b

file_dev

ID perangkat file log.

123

file_inode

Inode file log.

124

file_name

Jalur lengkap file log atau nilai logstore_statistics.

/abc/file_1

file_size

Ukuran file log. Satuan: byte.

12345

history_data_failures

Jumlah kali data gagal diproses.

0

last_read_time

Waktu baca terakhir dalam jendela waktu tertentu. Nilainya berupa Stempel waktu UNIX.

1525346677

project

Nama proyek.

project-1

logtail_version

Versi Logtail.

0.14.2

os

Sistem operasi.

Windows

parse_failures

Jumlah baris yang gagal diurai dalam jendela waktu tertentu.

12

read_avg_delay

Rata-rata selisih antara ukuran file aktual dan nilai offset yang dihasilkan setiap kali data log dibaca dalam jendela waktu tertentu.

65

read_count

Jumlah pembacaan dalam jendela waktu tertentu.

10

read_offset

Offset baca terakhir dari file log. Satuan: byte.

12345

regex_match_failures

Jumlah kali ekspresi reguler gagal dicocokkan.

1

send_failures

Jumlah kali log gagal dikirim dalam jendela waktu tertentu.

12

source_ip

Alamat IP server tempat Logtail diinstal.

47.100.**.**

succeed_lines

Jumlah baris yang diproses.

123

time_format_failures

Jumlah kali waktu log gagal dicocokkan.

122

total_bytes

Ukuran total data yang dibaca. Satuan: byte.

12345

Bidang

Deskripsi

Contoh

send_block_flag

Menunjukkan apakah antrian pengiriman diblokir saat jendela waktu tertentu berakhir.

false

send_discard_error

Jumlah paket yang dibuang karena error data atau izin tidak mencukupi dalam jendela waktu tertentu.

0

send_network_error

Jumlah paket yang gagal dikirim karena error jaringan dalam jendela waktu tertentu.

12

send_queue_size

Jumlah paket yang belum dikirim dalam antrian pengiriman saat jendela waktu tertentu berakhir.

3

send_quota_error

Jumlah paket yang gagal dikirim karena kuota Logtail terlampaui dalam jendela waktu tertentu.

0

send_success_count

Jumlah paket yang dikirim dalam jendela waktu tertentu.

12345

sender_valid_flag

Menunjukkan apakah flag pengiriman logstore saat ini valid saat jendela waktu tertentu berakhir. Nilai valid:

• true: Flag valid.

• false: Flag dinonaktifkan karena error jaringan atau kuota.

true

max_send_success_time

Waktu terakhir data dikirim dalam jendela waktu tertentu. Nilainya berupa Stempel waktu UNIX.

1525342763

max_unsend_time

Waktu terakhir paket dalam antrian pengiriman gagal dikirim dalam jendela waktu tertentu. Nilainya berupa Stempel waktu UNIX. Jika antrian pengiriman kosong, nilainya 0.

1525342764

min_unsend_time

Waktu pertama paket dalam antrian pengiriman gagal dikirim dalam jendela waktu tertentu. Nilainya berupa Stempel waktu UNIX. Jika antrian pengiriman kosong, nilainya 0.

1525342764

Bidang

Deskripsi

Contoh

config_count

Jumlah konfigurasi Logtail.

1

config_get_last_time

Waktu terakhir konfigurasi Logtail diperoleh.

2021-07-20 16:19:22

config_update_count

Jumlah pembaruan konfigurasi Logtail setelah Logtail dimulai.

1

config_update_item_count

Jumlah total item konfigurasi yang diperbarui setelah Logtail dimulai.

1

config_update_last_time

Waktu pembaruan konfigurasi Logtail terakhir setelah Logtail dimulai.

2021-07-20 16:18:42

env_config

Menunjukkan apakah variabel lingkungan digunakan untuk membuat konfigurasi Logtail.

false

event_tps

Transaksi per detik (TPS).

1

last_read_event_time

Waktu terakhir data dibaca.

2021-07-20 16:18:42

last_send_time

Waktu terakhir data dikirim.

2021-07-20 16:18:42

multi_config

Menunjukkan apakah beberapa konfigurasi Logtail diaktifkan untuk mengumpulkan log dari file yang sama.

false

net_err_stat

Jumlah kali error pengiriman jaringan terjadi dalam 1, 5, dan 15 menit sebelumnya.

0,0,0

open_fd

Jumlah file log yang terbuka.

1

plugin_enabled

Menunjukkan apakah plugin Logtail diaktifkan.

• true: Plugin Logtail diaktifkan.

• false: Plugin Logtail dinonaktifkan.

false

poll_modify_size

Jumlah file log yang dipantau yang dimodifikasi.

1

polling_dir_cache

Jumlah direktori yang dipindai.

1

polling_file_cache

Jumlah file yang dipindai.

1

process_bytes_ps

Ukuran data log yang diproses per detik. Satuan: byte.

1000

process_lines_ps

Jumlah log yang diproses per detik.

1000

process_queue_full

Jumlah antrian pemrosesan yang mencapai kapasitas pemrosesan maksimum.

1

process_queue_total

Jumlah total antrian pemrosesan.

10

process_tps

Jumlah transaksi pemrosesan data per detik.

0

reader_count

Jumlah file log yang sedang diproses.

1

region

Wilayah tempat Logtail berada.

cn-hangzhou

register_handler

Jumlah direktori yang akan dipantau.

1

send_bytes_ps

Ukuran data log mentah yang dikirim per detik. Satuan: byte.

11111

send_lines_ps

Jumlah log yang dikirim per detik.

1000

send_net_bytes_ps

Volume data jaringan yang dikirim per detik. Satuan: byte.

1000

send_queue_full

Jumlah antrian pengiriman yang mencapai kapasitas pengiriman maksimum.

1

send_queue_total

Jumlah total antrian pengiriman.

12

send_request_concurrency

Jumlah maksimum paket yang dapat dikirim secara konkuren dari antrian pengiriman.

10

send_tps

Jumlah transaksi pengiriman data per detik.

0.075

sender_invalid

Jumlah antrian pengiriman yang abnormal.

0

start_time

Waktu mulai.

2021-07-20 16:19:22

used_sending_concurrency

Jumlah paket yang dikirim secara konkuren.

0

Bidang

Deskripsi

Contoh

action

Operasi yang dilakukan oleh tugas. Nilai valid:

• ingest: membaca data dari sumber data.

• deliverer: menulis data ke tujuan.

ingest

connector

Tipe sumber data atau tujuan.

• sls: Simple Log Service

• oss: Object Storage Service (OSS)

• maxcompute: MaxCompute

• cms: CloudMonitor

• cloudtrail: AWS CloudTrail

• kafka: Apache Kafka

• elasticsearch: Elasticsearch

• mysql: MySQL open source, pihak ketiga, atau Alibaba Cloud

• mssql: SQL Server open source, pihak ketiga, atau Alibaba Cloud

oss

instance

Nama instans sumber data atau instans tujuan.

my-oss-bucket

task_id

ID tugas.

1669277

task_name

Nama tugas.

1652765276578_task_0

task_type

Tipe tugas. Nilai valid: CONNECTOR.

CONNECTOR

Bidang

Deskripsi

Contoh

state

Status tugas.

• 0: Tugas sedang berjalan.

• 1: Error dilaporkan, yang dapat memperlambat progres berjalan.

• 2: Tugas gagal dan progres berjalan terblokir.

0

error

Pesan error tugas.

Jika tidak ada pesan error, bidang ini tidak ditampilkan dalam log.

fail to pull logs, unauthorized

lags

Progres tugas.

Bidang ini tersedia hanya untuk tugas yang digunakan untuk membaca data. Bidang lags ditampilkan dalam log hanya jika nilai bidang action adalah ingest. Nilai bidang ini bergantung pada tipe sumber data yang ditentukan oleh bidang connector.

• Jika nilai bidang connector adalah sls, nilai bidang lags menunjukkan keterlambatan konsumsi berdasarkan shard. Satuan: detik.

• Jika nilai bidang connector adalah kafka, nilai bidang lags menunjukkan keterlambatan konsumsi berdasarkan topik.

• Jika nilai bidang connector adalah cms, nilai bidang lags menunjukkan keterlambatan pembacaan data dari CloudMonitor. Satuan: detik.

0.813

desc

Bidang ini tersedia hanya untuk tugas yang digunakan untuk membaca data. Bidang desc ditampilkan dalam log hanya jika nilai bidang action adalah ingest. Nilai bidang ini bergantung pada tipe sumber data yang ditentukan oleh bidang connector.

• Jika nilai bidang connector adalah sls, nilai bidang desc adalah s (satuan waktu).

• Jika nilai bidang connector adalah kafka, nilai bidang desc adalah deskripsi lags.

• Jika nilai bidang connector adalah cms, nilai bidang desc adalah s (satuan waktu).

s

events

Jumlah entri data yang diproses dalam rentang waktu tertentu.

13245

failed

Jumlah entri data yang gagal diproses dalam rentang waktu tertentu.

3

native_bytes

Ukuran data mentah yang diproses dalam rentang waktu tertentu.

7539125

events_bytes

Ukuran data yang diurai yang diproses dalam rentang waktu tertentu.

13295475

pub_net_bytes

Volume trafik yang diproses melalui Internet dalam rentang waktu tertentu.

45678

req_count

Jumlah permintaan yang dikirim ke sumber data atau tujuan dalam rentang waktu tertentu.

89

rep_time

Latensi permintaan rata-rata sumber data atau tujuan dalam rentang waktu tertentu.

38

rate_limit_hits

Jumlah kali permintaan yang dikirim ke sumber data atau tujuan mengalami pengendalian aliran dalam rentang waktu tertentu.

1

extras

Informasi terkait lainnya. Bidang ini ditampilkan dalam log hanya jika nilainya ada.

Nilai bidang ini bergantung pada tipe sumber data yang ditentukan oleh bidang connector.

{"events":"898","objectName":"shenzhen/2022/05/18/15/19_1652858350000000000_315eb857efeb9f00.snappy","objectSize":"212792"}