Instruksi dan fungsi SPL - Simple Log Service

Topik ini menjelaskan instruksi Bahasa Pemrosesan Log Layanan Sederhana (SPL) dari Simple Log Service.

Jenis parameter

Tabel berikut menjelaskan jenis parameter yang digunakan dalam instruksi SPL.

Jenis parameter	Deskripsi
Bool	Parameter Boolean. Saat menggunakan SPL, parameter ini berfungsi sebagai saklar.
Char	Parameter karakter ASCII. Harus diapit oleh tanda kutip tunggal (''). Contohnya, `'a'` merepresentasikan karakter a, `'\t'` merepresentasikan karakter tab, `'\11'` merepresentasikan karakter ASCII yang sesuai dengan angka oktal 11, dan `'\x09'` merepresentasikan karakter ASCII yang sesuai dengan angka heksadesimal 09.
Integer	Parameter integer.
String	Parameter string. Harus diapit oleh tanda kutip tunggal (''). Contohnya, `'this is a string'`.
RegExp	Parameter ekspresi reguler RE2. Harus diapit oleh tanda kutip tunggal (''). Contohnya, `'([\d.]+)'`. Untuk informasi lebih lanjut tentang sintaksis, lihat Sintaksis.
JSONPath	Parameter jalur JSON. Harus diapit oleh tanda kutip tunggal (''). Contohnya, `'$.body.values[0]'`. Untuk informasi lebih lanjut tentang sintaksis, lihat JsonPath.
Field	Parameter nama bidang. Contohnya, `\| project level, content`. Jika nama bidang mengandung karakter khusus selain huruf, angka, dan garis bawah, apit nama bidang tersebut dengan tanda kutip ganda (""). Contohnya, `\| project "a:b:c"`. Catatan Untuk informasi lebih lanjut tentang sensitivitas huruf pada nama bidang, lihat Referensi umum.
FieldPattern	Kombinasi antara nama bidang dan karakter wildcard, atau parameter nama bidang. Karakter wildcard () didukung, yang cocok dengan nol atau lebih karakter. Harus diapit oleh tanda kutip ganda (""). Contohnya, `\| project "__tag__:"`. Catatan Untuk informasi lebih lanjut tentang sensitivitas huruf pada nama bidang, lihat Referensi umum.
SPLExp	Parameter ekspresi SPL.
SQLExp	Parameter ekspresi SQL.

Daftar instruksi SPL

Kategori instruksi	Nama instruksi	Deskripsi	Transformasi data	Write Processor	Prosesor konsumsi	Mode pemindaian (SCAN)	Logtail Collection
Instruksi kontrol	.let	Mendefinisikan dataset bernama. Untuk informasi lebih lanjut tentang dataset SPL, lihat Referensi umum.	Didukung	Tidak Didukung	Tidak Didukung	Didukung	Tidak Didukung
Instruksi operasi bidang	project	Menyimpan bidang yang cocok dengan pola tertentu dan menamai ulang bidang tertentu. Selama eksekusi, semua ekspresi penyimpanan bidang diproses sebelum ekspresi penamaan ulang.	Didukung	Didukung	Didukung	Didukung	Didukung
	project-away	Menghapus bidang yang cocok dengan pola tertentu dan menyimpan semua bidang lainnya.	Didukung	Didukung	Didukung	Didukung	Didukung
	project-rename	Menamai ulang bidang tertentu dan menyimpan semua bidang lainnya.	Didukung	Didukung	Didukung	Didukung	Didukung
	expand-values	Memperluas objek JSON lapisan pertama dari bidang tertentu untuk menghasilkan beberapa hasil.	Didukung	Tidak Didukung	Didukung	Tidak Didukung	Tidak Didukung
Instruksi perhitungan SQL untuk data terstruktur	extend	Membuat bidang baru dengan menghitung hasil ekspresi SQL. Untuk daftar fungsi SQL yang didukung, lihat Daftar fungsi SQL yang didukung oleh SPL.	Didukung	Didukung	Didukung	Didukung	Didukung
Instruksi perhitungan SQL untuk data terstruktur	where	Menyaring data berdasarkan ekspresi SQL dan menyimpan entri data yang memenuhi ekspresi. Untuk daftar fungsi SQL yang didukung oleh instruksi where, lihat Daftar fungsi SQL yang didukung oleh SPL.	Didukung	Didukung	Didukung	Didukung	Didukung
Instruksi ekstraksi data semi-terstruktur	parse-regexp	Mengekstrak informasi yang cocok dengan grup ekspresi reguler dari bidang tertentu.	Didukung	Didukung	Didukung	Didukung	Didukung
	parse-csv	Mengekstrak informasi dalam format CSV dari bidang tertentu.	Didukung	Didukung	Didukung	Didukung	Didukung
	parse-json	Mengekstrak informasi JSON lapisan pertama dari bidang tertentu.	Didukung	Didukung	Didukung	Didukung	Didukung
	parse-kv	Mengekstrak informasi pasangan kunci-nilai dari bidang tertentu.	Didukung	Didukung	Didukung	Didukung	Didukung
Instruksi transformasi data baru	pack-fields	Mengemas bidang log dan mengeluarkannya ke bidang baru melalui serialisasi JSON. Instruksi ini cocok untuk skenario yang memerlukan transmisi terstruktur, seperti membangun badan permintaan API.	Didukung	Tidak Didukung	Didukung	Didukung	Tidak Didukung
	log-to-metric	Mengonversi format log ke format penyimpanan metrik.	Didukung	Tidak Didukung	Tidak Didukung	Tidak Didukung	Tidak Didukung
	metric-to-metric	Memproses lebih lanjut data metrik yang ada, seperti menambahkan, memodifikasi, atau menghapus tag.	Didukung	Tidak Didukung	Tidak Didukung	Tidak Didukung	Tidak Didukung
Instruksi agregasi	stats	Instruksi untuk analisis statistik log, mirip dengan fungsi agregat SQL seperti `COUNT`, `SUM`, dan `AVG`. Ini melakukan statistik, pengelompokan, dan operasi agregasi pada bidang tertentu dalam data log.	Tidak Didukung	Tidak Didukung	Tidak Didukung	Didukung	Tidak Didukung
	sort	Mengurutkan hasil kueri. Mendukung pengurutan nilai bidang atau hasil statistik secara menaik (`asc`) atau menurun (`desc`). Ini adalah alat penting untuk dengan cepat menemukan data utama dan menghasilkan laporan berurutan dalam analisis log.	Tidak Didukung	Tidak Didukung	Tidak Didukung	Didukung	Tidak Didukung
	limit	Membatasi jumlah baris log yang dikembalikan dalam hasil kueri. Ini adalah instruksi inti untuk mengontrol volume data. Menggunakan instruksi `limit` mencegah masalah kinerja atau pemborosan sumber daya dari hasil kueri besar. Cocok untuk skenario seperti analisis log dan pemantauan waktu nyata.	Tidak Didukung	Tidak Didukung	Tidak Didukung	Didukung	Tidak Didukung

Ikhtisar Fungsi

Instruksi SPL mendukung sebagian besar fungsi SQL. Namun, ketersediaan serta skenario penggunaan untuk fungsi tertentu dijelaskan dalam dokumentasi fungsi terkait.

Klasifikasi	Deskripsi	Fungsi umum
Fungsi agregat	Menjalankan perhitungan ringkasan pada set data target untuk menghasilkan satu hasil statistik.	fungsi avg fungsi count fungsi max fungsi min fungsi sum
Fungsi string	Memproses data teks, termasuk pencarian, penggantian, substring, penggabungan, dan format.	fungsi concat fungsi length fungsi position fungsi replace fungsi split
Fungsi tanggal dan waktu	Melakukan konversi format, pengelompokan, dan agregasi pada tanggal dan waktu dalam log.	fungsi current_date fungsi date fungsi day fungsi date_trunc fungsi time_series
Fungsi JSON	Memproses objek JSON, termasuk ekstraksi, transformasi, dan statistik.	Fungsi json_array_contains Fungsi json_array_get Fungsi json_array_length Fungsi json_extract Fungsi json_extract_scalar
Fungsi ekspresi reguler	Pencocokan pola dan pemrosesan teks.	fungsi regexp_extract_all fungsi regexp_extract fungsi regexp_extract_bool fungsi regexp_replace fungsi regexp_split
Fungsi tahun-ke-tahun dan bulan-ke-bulan	Menghitung perubahan relatif dalam data deret waktu.	fungsi compare fungsi ts_compare
Fungsi dan operator array	Lakukan penambahan, penghapusan, modifikasi, kueri, penelusuran, dan transformasi pada array.	Operator Subscript fungsi array_distinct fungsi array_intersect fungsi array_join fungsi reverse
Pemetaan fungsi dan operator pemetaan	Operasikan pasangan kunci-nilai.	fungsi cardinality fungsi element_at fungsi histogram fungsi histogram_u fungsi map
Fungsi perhitungan matematis	Perhitungan numerik, transformasi untuk desensitisasi, bilangan acak, fungsi trigonometri, dan lainnya.	fungsi abs fungsi ceil fungsi log fungsi mod fungsi acak
Fungsi statistik matematika	Analisis distribusi data dan perhitungan numerik.	fungsi corr fungsi covar_pop fungsi regr_intercept fungsi beta_cdf fungsi inverse_chi_squared_cdf
Fungsi konversi tipe	Menangani konversi antara tipe data.	fungsi cast fungsi try_cast fungsi typeof
Fungsi window	Aggregasi atau pengurutan berdasarkan jendela data.	Fungsi agregasi fungsi dense_rank fungsi lag
Fungsi IP	Menguraikan dan menghitung alamat IP.	fungsi ip_to_city fungsi ip_prefix fungsi ipv6_to_city
Fungsi URL	Menguraikan struktur URL.	fungsi url_encode fungsi url_decode fungsi url_extract_fragment fungsi url_extract_path fungsi url_extract_query
Fungsi estimasi	Memprediksi data atau mengisi nilai yang hilang.	fungsi approx_distinct fungsi approx_percentile fungsi numeric_histogram fungsi numeric_histogram_u
Fungsi biner	Memproses tipe data biner.	fungsi from_base64 fungsi from_big_endian_64 fungsi from_hex fungsi to_hex fungsi sha256
Fungsi operasi bitwise	Langsung beroperasi pada bit biner.	fungsi bit_count fungsi bitwise_and fungsi bitwise_not fungsi bitwise_or fungsi bitwise_xor
Fungsi geometri spasial	Memproses geometri spasial.	Fungsi ST_AsText Fungsi ST_GeometryFromText Fungsi ST_Boundary Fungsi ST_Buffer Fungsi ST_Contains
Fungsi geografis	Analisis lokasi geografis dan perhitungan peta.	fungsi geohash
Fungsi warna	Representasi dan konversi warna.	fungsi bar fungsi warna fungsi render fungsi rgb
Fungsi HyperLogLog	Lakukan pemrosesan statistik pada set data Tingkat Tinggi, mengorbankan akurasi untuk menghemat memori.	fungsi approx_set fungsi cardinality fungsi empty_approx_set fungsi merge
Operator perbandingan	Menentukan hubungan ukuran parameter, berlaku untuk semua tipe data yang dapat dibandingkan (double, bigint, varchar, timestamp, dan date).	Operator dasar Operator ALL Operator ANY Operator BETWEEN Operator DISTINCT
Operator logika	Menggabungkan beberapa kondisi Boolean untuk mengontrol alur logika.	Operator AND Operator OR Operator NOT
Fungsi konversi unit	Mengonversi unit ukuran data atau interval waktu.	fungsi convert_data_size fungsi format_duration
Fungsi corong jendela	Menganalisis perilaku pengguna, lalu lintas aplikasi, konversi tujuan produk, dan data lainnya.	fungsi window_funnel
Ekspresi lambda	Mendefinisikan ekspresi lambda dalam pernyataan analitik SQL dan SPL, serta meneruskannya ke fungsi tertentu untuk memperkaya ekspresi fungsi.	fungsi filter fungsi reduce fungsi transform
Ekspresi bersyarat	Mengembalikan nilai berbeda berdasarkan cabang kondisional.	Ekspresi CASE WHEN Ekspresi IF Ekspresi COALESCE Ekspresi NULLIF Ekspresi TRY