Instruksi dan fungsi SPL | Simple Log Service - Simple Log Service

SPL menyediakan instruksi untuk operasi field, ekstraksi data, penyaringan, agregasi, dan transformasi data. Setiap instruksi mendukung skenario pemrosesan tertentu, seperti transformasi data, Ingest Processor, Consumer Processor, mode scan, dan koleksi Logtail.

Jenis parameter

Instruksi SPL menggunakan jenis parameter berikut.

Jenis parameter	Deskripsi
Bool	Parameter Boolean yang berfungsi sebagai sakelar dalam SPL.
Char	Parameter karakter ASCII, diapit tanda petik tunggal (''). Contoh: `'a'` untuk karakter a, `'\t'` untuk karakter tab, `'\11'` untuk karakter ASCII oktal 11, dan `'\x09'` untuk karakter ASCII heksadesimal 09.
Integer	Parameter bilangan bulat.
String	Parameter string, diapit tanda petik tunggal (''). Contoh: `'this is a string'`.
RegExp	Parameter ekspresi reguler RE2, diapit tanda petik tunggal (''). Contoh: `'([\d.]+)'`. Detail sintaks RE2: Syntax.
JSONPath	Parameter path JSON, diapit tanda petik tunggal (''). Contoh: `'$.body.values[0]'`. Detail sintaks JSONPath: JsonPath.
Field	Parameter nama field. Contoh: `\| project level, content`. Apit nama field yang mengandung karakter khusus (selain huruf, angka, dan garis bawah) dengan tanda petik ganda (""). Contoh: `\| project "a:b:c"`. Catatan Aturan sensitivitas huruf besar/kecil pada nama field didokumentasikan dalam Referensi Umum.
FieldPattern	Nama field atau pola wildcard. Karakter wildcard () cocok dengan nol atau lebih karakter. Apit pola dengan tanda petik ganda (""). Contoh: `\| project "__tag__:"`. Catatan Aturan sensitivitas huruf besar/kecil pada nama field didokumentasikan dalam Referensi Umum.
SPLExp	Parameter ekspresi SPL.
SQLExp	Parameter ekspresi SQL.

Daftar instruksi SPL

Kategori instruksi	Nama instruksi	Deskripsi	Transformasi data	Ingest Processor	Consumer Processor	Mode Scan (SCAN)	Koleksi Logtail
Instruksi kontrol	.let	Menentukan set data bernama. Detail set data SPL dijelaskan dalam Referensi Umum.	Ya	×	×	√	×
Instruksi operasi field	project	Mempertahankan field yang sesuai dengan pola tertentu dan mengganti nama field yang ditentukan. Ekspresi retensi field diproses sebelum ekspresi penggantian nama.	Didukung	Didukung	Didukung	Didukung	Didukung
	project-away	Menghapus field yang sesuai dengan pola tertentu dan mempertahankan semua field lainnya.	Didukung	Didukung	Didukung	Didukung	✓
	project-rename	Mengganti nama field yang ditentukan dan mempertahankan semua field lainnya.	Didukung	Didukung	Didukung	Didukung	Didukung
	expand-values	Memperluas objek JSON tingkat atas dari field tertentu menjadi beberapa hasil.	Didukung	×	Didukung	Tidak didukung	×
Instruksi perhitungan SQL untuk data terstruktur	extend	Membuat field baru dari hasil ekspresi SQL. Fungsi SQL yang didukung tercantum dalam Daftar Fungsi SQL yang Didukung oleh SPL.	Didukung	Didukung	Didukung	Didukung	Didukung
Instruksi perhitungan SQL untuk data terstruktur	where	Menyaring data berdasarkan ekspresi SQL dan mempertahankan entri yang sesuai. Fungsi SQL yang didukung tercantum dalam Daftar Fungsi SQL yang Didukung oleh SPL.	Didukung	✓	Didukung	Didukung	Didukung
Instruksi ekstraksi data semi-terstruktur	parse-regexp	Mengekstraksi informasi yang sesuai dengan grup ekspresi reguler dari field tertentu.	√	√	Didukung	✓	Didukung
	parse-csv	Mengekstraksi informasi dalam format CSV dari field tertentu.	√	Didukung	Didukung	√	Didukung
	parse-json	Mengekstraksi field JSON tingkat atas dari field tertentu.	Didukung	Didukung	√	√	Didukung
	parse-kv	Mengekstraksi informasi pasangan kunci-nilai dari field tertentu.	Didukung	Didukung	Didukung	Didukung	Didukung
Instruksi transformasi data baru	pack-fields	Mengemas field log ke dalam field baru melalui serialisasi JSON. Cocok untuk skenario transmisi terstruktur seperti pembuatan body permintaan API.	✓	×	✓	Didukung	×
	log-to-metric	Mengonversi format log ke format penyimpanan deret waktu.	Didukung	×	×	×	×
	metric-to-metric	Memproses data metrik yang sudah ada, seperti menambahkan, mengubah, atau menghapus tag.	Didukung	×	×	×	×
Instruksi agregasi	stats	Menjalankan analisis statistik pada field log, mirip dengan fungsi agregat SQL seperti `COUNT`, `SUM`, dan `AVG`. Mendukung pengelompokan dan agregasi pada field tertentu.	×	×	Tidak didukung	Didukung	×
	sort	Mengurutkan hasil kueri berdasarkan nilai field atau hasil statistik secara ascending (`asc`) atau descending (`desc`).	×	×	×	Didukung	×
	limit	Membatasi jumlah baris log yang dikembalikan dalam hasil kueri. Gunakan `limit` untuk mengontrol volume data dan menghindari masalah performa akibat set hasil yang besar.	×	×	×	Didukung	×

Ikhtisar fungsi

Instruksi SPL mendukung sebagian besar fungsi SQL. Ketersediaan dan skenario penerapan masing-masing fungsi dijelaskan dalam dokumentasi terkait.

Kategori	Deskripsi	Fungsi umum
Fungsi agregat	Menghitung satu hasil dari sekumpulan nilai input.	Fungsi avg Fungsi count Fungsi max Fungsi min Fungsi sum
Fungsi string	Menemukan, mengganti, mengekstraksi, menggabungkan, dan memformat data teks.	Fungsi concat Fungsi length fungsi posisi Fungsi replace Fungsi split
Fungsi tanggal dan waktu	Mengonversi, memotong, dan mengagregasi nilai tanggal dan waktu.	Fungsi current_date Fungsi date Fungsi day Fungsi date_trunc Fungsi time_series
Fungsi JSON	Mengekstraksi, mentransformasi, dan mengkueri data dari objek dan array JSON.	Fungsi json_array_contains Fungsi json_array_get Fungsi json_array_length Fungsi json_extract Fungsi json_extract_scalar
Fungsi ekspresi reguler	Mencocokkan, mengekstraksi, dan mengganti teks menggunakan ekspresi reguler.	Fungsi regexp_extract_all Fungsi regexp_extract Fungsi regexp_extract_bool Fungsi regexp_replace Fungsi regexp_split
Fungsi year-on-year dan month-on-month	Membandingkan data deret waktu antar periode waktu berbeda.	Fungsi compare Fungsi ts_compare
Fungsi dan operator array	Mengakses, menyaring, dan mentransformasi elemen array.	Operator subscript Fungsi array_distinct Fungsi array_intersect Fungsi array_join Fungsi reverse
Fungsi dan operator map	Beroperasi pada pasangan kunci-nilai (map).	Fungsi cardinality Fungsi element_at Fungsi histogram Fungsi histogram_u Fungsi map
Fungsi matematika	Membulatkan, menghasilkan bilangan acak, dan melakukan perhitungan trigonometri.	Fungsi abs Fungsi ceil Fungsi log Fungsi mod Fungsi random
Fungsi matematika dan statistik	Menganalisis distribusi data dengan fungsi korelasi, regresi, dan probabilitas.	Fungsi corr Fungsi covar_pop Fungsi regr_intercept Fungsi beta_cdf Fungsi inverse_chi_squared_cdf
Fungsi konversi tipe	Mengonversi nilai dari satu tipe data ke tipe data lain.	Fungsi cast Fungsi try_cast Fungsi typeof
Fungsi window	Menghitung agregasi atau peringkat pada jendela geser baris.	Fungsi agregat Fungsi dense_rank Fungsi lag
Fungsi IP	Mengurai dan memproses alamat IP.	Fungsi ip_to_city Fungsi ip_prefix Fungsi ipv6_to_city
Fungsi URL	Mengekstraksi komponen dari URL.	Fungsi url_encode Fungsi url_decode Fungsi url_extract_fragment Fungsi url_extract_path Fungsi url_extract_query
Fungsi estimasi	Mengaproksimasi jumlah unik, persentil, dan histogram untuk dataset besar.	Fungsi approx_distinct Fungsi approx_percentile Fungsi numeric_histogram Fungsi numeric_histogram_u
Fungsi biner	Beroperasi pada data biner.	Fungsi from_base64 Fungsi from_big_endian_64 Fungsi from_hex Fungsi to_hex Fungsi sha256
Fungsi operasi bitwise	Menjalankan operasi bitwise pada bilangan bulat.	Fungsi bit_count Fungsi bitwise_and Fungsi bitwise_not Fungsi bitwise_or Fungsi bitwise_xor
Fungsi geometri spasial	Beroperasi pada objek geometri spasial.	Fungsi ST_AsText Fungsi ST_GeometryFromText Fungsi ST_Boundary Fungsi ST_Buffer Fungsi ST_Contains
Fungsi geografis	Menjalankan analisis dan perhitungan geospasial.	Fungsi geohash
Fungsi warna	Membuat dan memanipulasi representasi warna.	Fungsi bar fungsi warna Fungsi render Fungsi rgb
Fungsi HyperLogLog	Mengestimasi kardinalitas pada dataset besar dengan memori minimal.	Fungsi approx_set Fungsi cardinality Fungsi empty_approx_set Fungsi merge
Operator perbandingan	Membandingkan nilai lintas tipe (double, bigint, varchar, timestamp, date) dan mengembalikan boolean.	Operator dasar Operator ALL Operator ANY Operator BETWEEN Operator DISTINCT
Operator logika	Menggabungkan beberapa ekspresi boolean untuk mengontrol alur logika.	Operator AND Operator OR Operator NOT
Fungsi konversi satuan	Mengonversi ukuran data atau interval waktu antar satuan berbeda.	Fungsi convert_data_size Fungsi format_duration
Fungsi window funnel	Melacak tindakan pengguna berurutan untuk analisis funnel konversi.	Fungsi window_funnel
Ekspresi lambda	Menentukan fungsi inline untuk operasi array orde tinggi dalam SQL atau SPL.	Fungsi filter Fungsi reduce Fungsi transform
Ekspresi kondisional	Mengembalikan nilai berbeda berdasarkan kondisi tertentu.	Ekspresi CASE WHEN Ekspresi IF Ekspresi COALESCE Ekspresi NULLIF Ekspresi TRY