Simple Log Service:Tipe log layanan

Type

Overview

Logstore name

Details

Description

Detailed logs

Mencatat operasi yang dilakukan pada semua resource dalam proyek Anda, termasuk operasi create, modify, update, delete, read, dan write.

internal-operation_log

operation logs

Log operasi detail untuk semua permintaan API dan operasi, termasuk permintaan dari klien seperti console, consumer group, dan SDK.

important logs

Mencakup log delay consumer group tingkat Logstore, serta log error, heartbeat, dan statistik Logtail.

internal-diagnostic_log

consumer group delay logs

Log delay consumer group dihasilkan setiap 2 menit. Untuk mengkueri log delay consumer group, tentukan __topic__: consumergroup_log dalam pernyataan kueri.

Logtail alert logs

Mencatat error Logtail.

Log dihasilkan setiap 30 detik. Jika jenis error yang sama terjadi beberapa kali dalam periode ini, sistem hanya mencatat jumlah total kejadian dan satu pesan error acak. Untuk mengkueri log alert Logtail, tentukan __topic__: logtail_alarm dalam pernyataan kueri.

Logtail collection logs

Mencatat statistik pengumpulan Logtail.

Log dihasilkan setiap 10 menit. Untuk mengkueri log pengumpulan Logtail, tentukan __topic__: logtail_profile dalam pernyataan kueri.

Logtail status logs

Mencatat log status periodik dari Logtail.

Log dihasilkan setiap menit. Untuk mengkueri log status Logtail, tentukan __topic__: logtail_status dalam pernyataan kueri.

operational logs

Mencatat metrik operasional dan log operasional untuk transformasi data, Scheduled SQL, impor data, dan tugas pengiriman data dalam suatu proyek.

internal-diagnostic_log

Scheduled SQL operational logs

Log dihasilkan untuk setiap instans Scheduled SQL setelah selesai.

Untuk mengkueri log operasional Scheduled SQL, tentukan __topic__: scheduled_sql_alert dalam pernyataan kueri.

Operational logs for data transformation, data import, and data shipping jobs

Log dihasilkan setiap menit, tetapi hanya jika sumber data tugas tersebut berisi data.

Category

Request method

Read operation

Log operasi baca dihasilkan saat Anda memanggil operasi API berikut:

• GetHistograms

• GetLogs

• PullLogs

• GetCursor

• GetCursorTime

Write operation

Log operasi tulis dihasilkan saat Anda memanggil operasi API berikut:

• PostLogStoreLogs

• PutWebTracking

• WebTrackingImg

• BatchPostLogStoreLogs

• WebTracking

• PutData

Resource operation

Semua operasi API lainnya menghasilkan log operasi resource.

Contohnya, CreateProject dan DeleteProject.

Parameter

Description

Example

Logstore

Nama Logstore.

Logstore-1

config_name

Nama konfigurasi Logtail. Nama ini unik secara global dan diformat sebagai ##ConfigVersion##ProjectName$ConfigName.

##1.0##project-1$LogStore-1

error_line

Entri log mentah yang menyebabkan error.

M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b

file_dev

ID perangkat file log.

1​23

file_inode

Inode file log.

124

file_name

Jalur lengkap file log atau nilai logstore_statistics.

/abc/file_1

file_size

Ukuran file log, dalam byte.

12345

history_data_failures

Jumlah kumulatif kegagalan pemrosesan data.

0

last_read_time

Stempel waktu UNIX dari operasi baca terbaru dalam jendela waktu.

1525346677

Project

Nama Project.

project-1

logtail_version

Versi Logtail.

0.14.2

os

Sistem operasi.

Windows

parse_failures

Jumlah baris yang gagal diurai dalam jendela waktu.

12

read_avg_delay

Selisih rata-rata antara ukuran file dan offset baca untuk setiap operasi baca dalam jendela waktu.

65

read_count

Jumlah operasi baca dalam jendela waktu.

10

read_offset

Offset baca saat ini dalam file, dalam byte.

12345

regex_match_failures

Jumlah kegagalan pencocokan ekspresi reguler.

1

send_failures

Jumlah operasi pengiriman yang gagal dalam jendela waktu.

12

source_ip

Alamat IP server tempat Logtail diinstal.

47.100..

succeed_lines

Jumlah baris log yang berhasil diproses.

123

time_format_failures

Jumlah kegagalan pencocokan format waktu.

122

total_bytes

Total jumlah byte yang dibaca.

12345

Parameter

Description

Example

send_block_flag

Menunjukkan apakah antrian pengiriman diblokir pada akhir jendela waktu.

false

send_discard_error

Jumlah paket yang dibuang dalam jendela waktu karena error data atau izin yang tidak mencukupi.

0

send_network_error

Jumlah paket yang gagal dikirim dalam jendela waktu karena error jaringan.

12

send_queue_size

Jumlah paket yang belum terkirim dalam antrian pengiriman pada akhir jendela waktu.

3

send_quota_error

Jumlah paket yang gagal dikirim dalam jendela waktu karena kuota terlampaui.

0

send_success_count

Jumlah paket yang berhasil dikirim dalam jendela waktu.

12345

sender_valid_flag

Menunjukkan apakah flag pengiriman untuk Logstore valid pada akhir jendela waktu. Nilai valid:

• true: Flag valid.

• false: Flag tidak valid, yang dapat disebabkan oleh error jaringan atau kuota.

true

max_send_success_time

Stempel waktu UNIX dari operasi pengiriman terakhir yang berhasil dalam jendela waktu.

1525342763

max_unsend_time

Stempel waktu UNIX dari paket terbaru yang gagal dikirim dari antrian pengiriman dalam jendela waktu. Nilainya 0 jika antrian kosong.

1525342764

min_unsend_time

Stempel waktu UNIX dari paket paling awal yang gagal dikirim dari antrian pengiriman dalam jendela waktu. Nilainya 0 jika antrian kosong.

1525342764

Parameter

Description

Example

config_count

Jumlah konfigurasi Logtail.

​1

config_get_last_time

Waktu terakhir konfigurasi Logtail diambil.

2021-07-20 16:19:22

config_update_count

Jumlah pembaruan konfigurasi Logtail sejak Logtail dimulai.

​1

config_update_item_count

Total jumlah item konfigurasi Logtail yang diperbarui sejak Logtail dimulai.

​1

config_update_last_time

Stempel waktu pembaruan konfigurasi Logtail terakhir.

2021-07-20 16:18:42

env_config

Menunjukkan apakah variabel lingkungan digunakan untuk membuat konfigurasi Logtail.

false

event_tps

Jumlah event per detik (TPS).

1​

last_read_event_time

Stempel waktu event terakhir yang dibaca.

2021-07-20 16:18:42

last_send_time

Stempel waktu data terakhir dikirim.

2021-07-20 16:18:42

multi_config

Menunjukkan apakah file yang sama dikumpulkan oleh beberapa konfigurasi Logtail.

false

net_err_stat

Jumlah error jaringan yang terjadi dalam 1, 5, dan 15 menit terakhir.

0,0,0

open_fd

Jumlah deskriptor file yang sedang terbuka.

​1

plugin_enabled

Menunjukkan apakah fungsionalitas plugin diaktifkan.

• true: Fungsionalitas plugin diaktifkan.

• false: Fungsionalitas plugin dinonaktifkan.

false

poll_modify_size

Jumlah file yang dipantau untuk event modifikasi.

​1

polling_dir_cache

Jumlah direktori dalam cache polling.

​1

polling_file_cache

Jumlah file dalam cache polling.

​1

process_bytes_ps

Volume log yang diproses per detik, dalam byte.

​1000

process_lines_ps

Jumlah baris log yang diproses per detik.

​1000

process_queue_full

Jumlah antrian pemrosesan penuh.

​1

process_queue_total

Jumlah antrian pemrosesan.

​10

process_tps

Jumlah transaksi pemrosesan per detik (TPS).

​0

reader_count

Jumlah file yang sedang dibaca.

​1

region

Wilayah tempat mesin host berada.

​cn-hangzhou

register_handler

Jumlah direktori yang terdaftar untuk pemantauan.

​1

send_bytes_ps

Volume log mentah yang dikirim per detik, dalam byte.

​11111

send_lines_ps

Jumlah baris log yang dikirim per detik.

1000​

send_net_bytes_ps

Volume lalu lintas jaringan yang dikirim per detik, dalam byte.

1000​

send_queue_full

Jumlah antrian pengiriman penuh.

​1

send_queue_total

Jumlah antrian pengiriman.

​12

send_request_concurrency

Jumlah maksimum permintaan pengiriman konkuren.

10

send_tps

Jumlah transaksi pengiriman per detik (TPS).

​0.075

sender_invalid

Jumlah antrian pengiriman dalam kondisi error.

​0

start_time

Waktu startup proses Logtail.

2021-07-20 16:19:22

used_sending_concurrency

Jumlah permintaan pengiriman aktif saat ini.

0

Parameter

Description

Example

action

Operasi yang dilakukan tugas. Nilai valid:

• ingest: Membaca data dari sumber data.

• deliver: Menulis data ke tujuan.

ingest

connector

Jenis sumber data atau tujuan.

• sls: Simple Log Service

• oss: Object Storage Service (OSS)

• maxcompute: MaxCompute

• cms: CloudMonitor

• cloudtrail: AWS CloudTrail

• kafka: Apache Kafka

• elasticsearch: Elasticsearch

• mysql: MySQL (open source, dari Alibaba Cloud, atau pihak ketiga)

• mssql: SQL Server (open source, dari Alibaba Cloud, atau pihak ketiga)

oss

instance

Nama instans sumber atau tujuan.

my-oss-bucket

task_id

ID tugas.

1669277

task_name

Nama tugas.

1652765276578_task_0

task_type

Jenis tugas. Nilainya selalu CONNECTOR.

CONNECTOR

Parameter

Description

Example

state

Status operasional tugas.

• 0: Normal. Tugas berjalan sesuai harapan.

• 1: Error. Terjadi error yang dapat memperlambat tugas.

• 2: Failure. Tugas gagal dan terblokir.

0

error

Pesan error tugas.

Bidang ini hanya ada saat terjadi error.

fail to pull logs, unauthorized

lags

Kemajuan tugas.

Bidang lags hanya muncul dalam log untuk tugas baca data, yaitu saat nilai bidang action adalah ingest. Nilai bidang ini terkait dengan jenis sumber data (bidang connector).

• Saat bidang connector adalah sls, bidang lags menunjukkan keterlambatan konsumsi Shard dalam detik.

• Saat bidang connector adalah kafka, nilai bidang lags menunjukkan Lag konsumsi tingkat Topic.

• Saat bidang connector adalah cms, bidang lags menentukan latensi baca Cloud Monitor dalam detik.

0.813

desc

Untuk tugas baca data, yaitu saat bidang action diatur ke ingest, bidang desc muncul dalam log. Nilai bidang ini terkait dengan jenis sumber data (bidang connector).

• Saat bidang connector adalah sls, nilai bidang desc dalam satuan detik (s).

• Saat bidang connector adalah Kafka, nilai bidang desc adalah deskripsi lag.

• Saat bidang connector adalah cms, nilai bidang desc dalam satuan detik.

s

events

Jumlah entri data yang diproses dalam interval pelaporan.

13245

failed

Jumlah entri data yang gagal diproses dalam interval pelaporan.

3

native_bytes

Ukuran mentah data yang diproses dalam interval pelaporan, dalam byte.

7539125

events_bytes

Ukuran data terurai yang diproses dalam interval pelaporan, dalam byte.

13295475

pub_net_bytes

Lalu lintas internet yang dihasilkan oleh data yang diproses dalam interval pelaporan, dalam byte.

45678

req_count

Jumlah permintaan yang dikirim ke sumber data atau tujuan dalam interval pelaporan.

89

rep_time

Latensi permintaan rata-rata untuk sumber data atau tujuan dalam interval pelaporan.

38

rate_limit_hits

Jumlah pelanggaran batas laju pada sumber data atau tujuan dalam interval pelaporan.

1

extras

Informasi tambahan. Bidang ini hanya disertakan jika ada nilainya.

Nilai bidang ini bergantung pada jenis sumber data (bidang connector).

{"events":"898","objectName":"shenzhen/2022/05/18/15/19_1652858350000000000_315eb857efeb9f00.snappy","objectSize":"212792"}