Ringkasan Fungsi Transformasi Log - Simple Log Service

Topik ini mencantumkan seluruh fungsi yang digunakan dalam tugas transformasi data.

Fungsi pemrosesan global

Function Classification	Function Name	Description
Flow control functions	e_if	Menjalankan suatu operasi jika kondisi tertentu terpenuhi. Anda dapat menentukan beberapa pasangan kondisi-operasi. Jika suatu kondisi terpenuhi, fungsi menjalankan operasi yang sesuai dengan kondisi tersebut. Jika kondisi tidak terpenuhi, fungsi tidak menjalankan operasi tersebut, tetapi mengevaluasi kondisi berikutnya. Jika fungsi menjalankan operasi yang menghapus log, fungsi tidak lagi menjalankan operasi lain pada log tersebut.
	e_if_else	Menjalankan suatu operasi berdasarkan hasil evaluasi suatu kondisi.
	e_switch	Kombinasi dari kondisi dan operasi. Jika suatu kondisi terpenuhi, fungsi menjalankan operasi yang sesuai dengan kondisi tersebut dan mengembalikan hasilnya. Jika kondisi tidak terpenuhi, fungsi tidak menjalankan operasi tersebut, tetapi mengevaluasi kondisi berikutnya. Jika tidak ada kondisi yang ditentukan terpenuhi dan parameter default dikonfigurasi, fungsi menjalankan operasi yang ditentukan oleh parameter default dan mengembalikan hasilnya. Jika suatu operasi menghapus log, operasi berikutnya tidak dijalankan.
	e_compose	Menggabungkan beberapa operasi. Fungsi ini umumnya digunakan dalam fungsi e_if, e_switch, atau e_if_else. Fungsi menjalankan operasi yang ditentukan pada log secara berurutan dan mengembalikan hasilnya. Jika fungsi menjalankan operasi yang menghapus log, fungsi tidak lagi menjalankan operasi lain pada log tersebut.
Event operation functions	e_drop	Membuang log jika kondisi tertentu terpenuhi.
	e_keep	Menyimpan log jika kondisi tertentu terpenuhi.
	e_split	Membagi log menjadi beberapa log berdasarkan nilai field tertentu. Anda juga dapat menggunakan ekspresi JMESPath untuk mengekstrak nilai field tersebut, lalu membagi log.
	e_output	Mengeluarkan log ke Logstore tertentu. Konfigurasikan informasi topik, sumber, tag, dan hash shard untuk output. Setelah dikeluarkan, aturan transformasi berikutnya tidak dijalankan untuk log tersebut.
	e_coutput	Mengeluarkan log ke Logstore tertentu. Konfigurasikan informasi topik, sumber, tag, dan hash shard untuk output. Setelah dikeluarkan, aturan transformasi berikutnya tetap dijalankan.
	e_to_metric	Mengonversi log menjadi metrik yang dapat disimpan di Metricstore.
Field operation functions	v	Mengekstrak nilai field dari log. Jika Anda menentukan nama beberapa field untuk fungsi ini, fungsi akan mengembalikan nilai field pertama yang ada di log.
	e_set	Menambahkan field atau menentukan nilai baru untuk field yang sudah ada.
	e_drop_fields	Menghapus field log yang memenuhi kondisi tertentu.
	e_keep_fields	Menyimpan field log yang memenuhi kondisi tertentu.
	e_pack_fields	Mengemas field log dan menetapkan field log tersebut sebagai nilai untuk field baru.
	e_rename	Mengganti nama field log yang memenuhi kondisi tertentu.
Value extraction functions	e_regex	Mengekstrak nilai field berdasarkan ekspresi reguler dan menetapkan nilai tersebut ke field lain.
	e_json	Mengelola objek JSON di field tertentu dalam log. Anda dapat mengonfigurasi parameter untuk memperluas data JSON, mengekstrak data JSON menggunakan ekspresi JMESPath, atau memperluas data JSON yang diekstrak.
	e_kv	Mengekstrak pasangan kunci-nilai dari beberapa field input menggunakan tanda kutip tertentu.
	e_kv_delimit	Mengekstrak pasangan kunci-nilai dari field input menggunakan pembatas tertentu.
	e_csv	Mengekstrak beberapa field dari field tertentu menggunakan pembatas dan nama field yang telah ditentukan. Pembatas default adalah koma (,).
	e_tsv	Mengekstrak beberapa field dari field tertentu menggunakan pembatas kustom dan nama field yang telah ditentukan. Pembatas default adalah `\t`.
	e_psv	Mengekstrak beberapa field dari field sumber tertentu menggunakan pembatas dan nama field yang telah ditentukan. Pembatas default adalah garis vertikal (\|).
	e_syslogrfc	Berdasarkan protokol Syslog, nilai facility dan severity diturunkan dari nilai prioritas, dan tingkat log yang sesuai ditentukan.
	e_anchor	Mengekstrak string menggunakan aturan yang ditentukan oleh anchor_rules.
Mapping and enrichment functions	e_dict_map	Kamus pemetaan field memetakan field input ke field baru.
	e_table_map	Anda dapat mencari baris yang sesuai di tabel pemetaan dan mengembalikan nilai field berdasarkan field input.
	e_tablestore_map	Memperkaya log mentah menggunakan tabel data di Tablestore sebagai tabel dimensi.
	e_redis_map	Memperkaya log mentah menggunakan tabel data di ApsaraDB for Redis sebagai tabel dimensi.

Fungsi ekspresi

Function classification	Function name	Description
Event check functions	e_has	Memeriksa apakah suatu field ada.
	e_not_has	Memeriksa apakah suatu field tidak ada.
	e_search	Mencari log menggunakan sintaks kueri yang mirip dengan Lucene.
	e_match, e_match_all, dan e_match_any	Memeriksa apakah nilai field log memenuhi kondisi yang ditentukan dalam ekspresi reguler.
Operator functions	op_if	Mengembalikan nilai ekspresi berdasarkan kondisi tertentu.
	op_ifnull	Mengembalikan nilai ekspresi pertama yang nilainya bukan None.
	op_coalesce	Mengembalikan nilai ekspresi pertama yang nilainya bukan None.
	op_nullif	Mengembalikan none jika nilai Ekspresi 1 sama dengan nilai Ekspresi 2. Jika nilai Ekspresi 1 dan Ekspresi 2 berbeda, nilai Ekspresi 1 dikembalikan.
	op_and	Mengevaluasi ekspresi yang ditentukan menggunakan operator logika AND dan mengembalikan True jika semua ekspresi yang ditentukan bernilai true. Nilai setiap ekspresi dapat berupa tipe data apa pun.
	op_not	Mengevaluasi ekspresi tertentu menggunakan operator logika NOT dan mengembalikan nilai Boolean kebalikan dari ekspresi tersebut. Nilai ekspresi dapat berupa tipe data apa pun.
	op_or	Mengevaluasi ekspresi yang ditentukan menggunakan operator logika OR, dan mengembalikan True jika salah satu ekspresi bernilai true atau mengembalikan False jika semua ekspresi bernilai false. Nilai setiap ekspresi dapat berupa tipe data apa pun.
	op_eq	Menghitung berdasarkan kondisi `a==b`, mengembalikan True atau False.
	op_ge	Menghitung berdasarkan kondisi `a>=b`, mengembalikan True atau False.
	op_gt	Menghitung berdasarkan kondisi `a>b`, mengembalikan True atau False.
	op_le	Menghitung berdasarkan kondisi `a<=b`, mengembalikan True atau False.
	op_lt	Menghitung berdasarkan kondisi `a<b`, mengembalikan True atau False.
	op_ne	Menghitung berdasarkan kondisi `a!=b`, mengembalikan True atau False.
	op_len	Menghitung jumlah karakter dalam string teks. Fungsi ini berlaku untuk string atau ekspresi yang mengembalikan tuple, list, atau dictionary.
	op_in	Memeriksa apakah string, tuple, list, atau dictionary berisi elemen tertentu dan mengembalikan True atau False.
	op_not_in	Memeriksa apakah string, tuple, list, atau dictionary tidak berisi elemen tertentu dan mengembalikan True atau False.
	op_slice	Memotong string, array, atau tuple tertentu.
	op_index	Mengembalikan elemen yang sesuai dengan indeks dari string, array, atau tuple tertentu.
	op_add	Menghitung jumlah beberapa nilai. Nilai tersebut dapat berupa string atau angka.
	op_max	Mengembalikan nilai terbesar di antara nilai beberapa field atau ekspresi.
	op_min	Mengembalikan nilai terkecil di antara nilai beberapa field atau ekspresi.
Conversion functions	ct_int	Mengonversi nilai field atau ekspresi menjadi bilangan bulat.
	ct_float	Mengonversi nilai field atau ekspresi menjadi bilangan titik mengambang.
	ct_str	Mengonversi nilai field atau ekspresi menjadi string.
	ct_bool	Mengonversi nilai field atau ekspresi menjadi Nilai Boolean.
	ct_chr	Mengonversi nilai ANSI atau Unicode dari field atau ekspresi menjadi karakter.
	ct_ord	Mengonversi karakter dalam field atau ekspresi menjadi nilai ANSI atau Unicode yang sesuai.
	ct_hex	Mengonversi nilai field atau ekspresi menjadi bilangan heksadesimal.
	ct_oct	Mengonversi nilai field atau ekspresi menjadi bilangan oktal.
	ct_bin	Mengonversi nilai field atau ekspresi menjadi bilangan biner.
	bin2oct	Mengonversi string byte biner menjadi string oktal.
	bin2hex	Mengonversi string byte biner menjadi string heksadesimal.
Arithmetic functions	op_abs	Mengembalikan nilai absolut dari nilai input.
	op_div_floor	Menghitung pembagian bilangan bulat dari nilai input.
	op_div_true	Membagi nilai input.
	op_pow	Mengembalikan nilai input yang dipangkatkan dengan pangkat tertentu.
	op_mul	Mengalikan nilai input.
	op_neg	Mengembalikan bilangan lawan dari nilai input.
	op_mod	Menjalankan perhitungan modulo pada nilai input.
	op_sub	Menerapkan pengurangan pada nilai input.
	op_round	Membulatkan nilai yang masuk.
	op_sum	Mengembalikan jumlah nilai input.
	mat_ceil	Membulatkan nilai input ke atas ke bilangan bulat terdekat.
	mat_exp	Merepresentasikan fungsi eksponensial dengan basis e.
	mat_fabs	Mengembalikan nilai absolut dari nilai input.
	mat_floor	Membulatkan nilai input ke bawah ke bilangan bulat terdekat.
	mat_log	Menghitung logaritma dari nilai input.
	mat_log10	Mengembalikan logaritma basis-10 dari nilai input.
	mat_sqrt	Mengembalikan akar kuadrat dari nilai input.
	mat_degrees	Mengonversi radian ke derajat.
	mat_radians	Mengonversi derajat ke radian.
	mat_sin	Mengembalikan sinus dari nilai input dalam radian.
	mat_cos	Mengembalikan kosinus dari nilai input dalam radian.
	mat_tan	Mengembalikan tangen dari nilai input dalam radian.
	mat_acos	Mengembalikan arc cosinus dari nilai input dalam radian.
	mat_asin	Mengembalikan arc sinus dari nilai input dalam radian.
	mat_atan	Mengembalikan arc tangen dari nilai input dalam radian.
	mat_atan2	Mengembalikan arc tangen dari koordinat X dan Y.
	mat_atanh	Mengembalikan tangen hiperbolik invers dari nilai input.
	mat_hypot	Menghitung norma Euclidean dari nilai input.
String functions	str_format	Anda dapat memformat string menggunakan format yang ditentukan.
	str_join	Menggabungkan string input untuk menghasilkan string baru menggunakan konektor tertentu.
	str_zip	Secara bersamaan membagi dua nilai atau string yang dikembalikan oleh ekspresi dan menggabungkan hasilnya menjadi satu string.
	str_encode	Mengenkode string menggunakan format encoding yang ditentukan.
	str_decode	Mendekode nilai input menggunakan format encoding yang ditentukan.
	str_hex_escape_encode	Meloloskan karakter khusus. Fungsi ini dapat mengonversi karakter heksadesimal menjadi karakter Mandarin.
	str_sort	Mengurutkan objek tertentu.
	str_reverse	Membalikkan string.
	str_replace	Mengganti string yang ada dengan string tertentu berdasarkan aturan tertentu.
	str_logtash_config_normalize	Mengonversi data dalam bahasa konfigurasi Logstash ke format JSON.
	str_translate	Mengganti karakter tertentu dalam string dengan karakter pemetaan.
	str_strip	Menghapus karakter tertentu dari string.
	str_lstrip	Menghapus karakter tertentu dari awal string.
	str_rstrip	Menghapus karakter tertentu dari akhir string.
	str_lower	Mengonversi semua huruf kapital dalam string menjadi huruf kecil.
	str_upper	Mengonversi semua huruf kecil dalam string menjadi huruf kapital.
	str_title	Memberi huruf kapital pada huruf pertama setiap kata dalam string dan mengonversi huruf lain dalam string menjadi huruf kecil.
	str_capitalize	Memberi huruf kapital pada huruf pertama string dan mengonversi huruf lain dalam string menjadi huruf kecil.
	str_swapcase	Mengonversi huruf kapital dalam string menjadi huruf kecil dan huruf kecil menjadi huruf kapital.
	str_count	Menghitung jumlah kemunculan suatu karakter dalam string.
	str_find	Memeriksa apakah string berisi substring tertentu.
	str_rfind	Mengembalikan posisi kemunculan terakhir dari karakter tertentu dalam string.
	str_endswith	Memeriksa apakah string diakhiri dengan akhiran tertentu.
	str_startswith	Memeriksa apakah string diawali dengan string tertentu.
	str_split	Membagi string menggunakan pembatas tertentu.
	str_splitlines	Membagi string menggunakan jeda baris.
	str_partition	Membagi string menjadi tiga bagian dari kiri ke kanan menggunakan pembatas tertentu.
	str_rpartition	Membagi string menjadi tiga bagian dari kanan ke kiri menggunakan pembatas tertentu.
	str_center	Menambahkan padding pada string hingga panjang tertentu menggunakan karakter tertentu.
	str_ljust	Menambahkan padding pada string hingga panjang tertentu menggunakan karakter tertentu dari akhir string.
	str_rjust	Menambahkan padding pada string hingga panjang tertentu menggunakan karakter tertentu dari awal string.
	str_zfill	Menambahkan padding pada string hingga panjang tertentu menggunakan 0 dari awal string.
	str_expandtabs	Mengonversi karakter `\t` dalam string menjadi spasi.
	str_isalnum	Memeriksa apakah string hanya berisi huruf dan angka.
	str_isalpha	Memeriksa apakah string hanya berisi huruf.
	str_isascii	Memeriksa apakah string berada dalam tabel ASCII.
	str_isdecimal	Memeriksa apakah string hanya berisi karakter desimal.
	str_isdigit	Memeriksa apakah string hanya berisi angka.
	str_isidentifier	Memeriksa apakah string merupakan identifier Python yang valid atau memeriksa apakah nama variabel valid.
	str_islower	Menentukan apakah string hanya berisi huruf kecil.
	str_isnumeric	Memeriksa apakah string hanya berisi angka.
	str_isprintable	Memeriksa apakah semua karakter dalam string merupakan karakter yang dapat dicetak.
	str_isspace	Memeriksa apakah string hanya berisi spasi.
	str_istitle	Memeriksa apakah huruf pertama setiap kata dalam string berupa huruf kapital dan huruf lain dalam string berupa huruf kecil.
	str_isupper	Memeriksa apakah semua huruf dalam string berupa huruf kapital.
	str_uuid	Menghasilkan identifier unik universal (UUID) acak.
Date and time functions	dt_parse	Mengonversi nilai atau nilai ekspresi waktu menjadi objek datetime.
	dt_str	Mengonversi nilai atau nilai ekspresi waktu menjadi string.
	dt_parsetimestamp	Mengonversi nilai atau nilai ekspresi waktu menjadi Stempel waktu UNIX.
	dt_prop	Mengembalikan atribut tertentu dari suatu nilai atau dari hasil ekspresi waktu, seperti hari atau tahun.
	dt_now	Mengembalikan tanggal dan waktu saat ini.
	dt_today	Hanya mengembalikan tanggal saat ini.
	dt_utcnow	Mengembalikan objek datetime saat ini dalam zona waktu saat ini.
	dt_fromtimestamp	Mengonversi Stempel waktu UNIX menjadi objek datetime.
	dt_utcfromtimestamp	Mengonversi Stempel waktu UNIX menjadi objek datetime dalam zona waktu saat ini.
	dt_strptime	Mengurai string waktu menjadi objek datetime.
	dt_currentstamp	Mengembalikan Stempel waktu UNIX saat ini.
	dt_totimestamp	Mengonversi objek datetime menjadi Stempel waktu UNIX.
	dt_strftime	Mengonversi objek datetime menjadi string dalam format tertentu.
	dt_strftimestamp	Mengonversi Stempel waktu UNIX menjadi string dalam format tertentu.
	dt_truncate	Mengekstrak nilai waktu dari nilai atau nilai ekspresi waktu berdasarkan granularitas waktu tertentu.
	dt_add	Mengubah nilai atau nilai ekspresi waktu berdasarkan granularitas waktu tertentu.
	dt_MO	Nilai yang diteruskan ke parameter `weekday` dalam fungsi `dt_add`, merepresentasikan offset untuk Senin tertentu.
	dt_TU	Nilai yang diteruskan ke parameter `weekday` dalam fungsi `dt_add`, merepresentasikan offset untuk Selasa tertentu.
	dt_WE	Nilai yang diteruskan ke parameter `weekday` dalam fungsi `dt_add`, merepresentasikan offset untuk Rabu tertentu.
	dt_TH	Nilai yang diteruskan ke parameter `weekday` dalam fungsi `dt_add`, merepresentasikan offset untuk Kamis tertentu.
	dt_FR	Nilai yang diteruskan ke parameter `weekday` dalam fungsi `dt_add`, merepresentasikan offset untuk Jumat tertentu.
	dt_SA	Nilai yang diteruskan ke parameter `weekday` dalam fungsi `dt_add`, merepresentasikan offset untuk Sabtu tertentu.
	dt_SU	Nilai yang diteruskan ke parameter `weekday` dalam fungsi `dt_add`, merepresentasikan offset untuk Minggu tertentu.
	dt_astimezone	Mengonversi nilai atau nilai ekspresi waktu menjadi objek datetime dalam zona waktu tertentu.
	dt_diff	Mengembalikan selisih antara dua nilai atau antara nilai dua ekspresi waktu berdasarkan granularitas waktu tertentu.
Regular expression functions	regex_select	Mengekstrak nilai yang sesuai dengan ekspresi reguler.
	regex_findall	Mengekstrak semua nilai yang sesuai dengan ekspresi reguler.
	regex_match	Memeriksa apakah nilai sesuai dengan ekspresi reguler.
	regex_replace	Mengganti karakter yang sesuai dengan ekspresi reguler dalam string.
	regex_split	Membagi string menjadi array string.
Grok function	grok	Mengekstrak nilai yang sesuai dengan ekspresi reguler.
Specific structured data functions	json_select	Mengekstrak atau menghitung nilai tertentu dari ekspresi JSON menggunakan JMESPath.
	json_parse	Mengurai nilai menjadi objek JSON.
	xml_to_json	Mengonversi data XML menjadi data JSON, lalu memperluas data yang dikonversi.
IP address parsing functions	geo_parse	Mengidentifikasi kota, provinsi, dan negara berdasarkan alamat IP.
	ip_cidrmatch	Memeriksa apakah alamat IP termasuk dalam Blok CIDR (Classless Inter-Domain Routing).
	ip_version	Memeriksa apakah versi alamat IP adalah IPv4 atau IPv6.
	ip_type	Mengidentifikasi jenis alamat IP dan memeriksa apakah jenis alamat IP tersebut privat atau publik.
	ip_makenet	Mengonversi alamat IP menjadi Blok CIDR.
	ip_to_format	Mengonversi format Blok CIDR menjadi format yang menentukan netmask atau panjang awalan Blok CIDR.
	ip_overlaps	Memeriksa apakah dua Blok CIDR saling tumpang tindih.
	ip2long	Mengonversi alamat IP menjadi nilai bertipe long.
	long2ip	Mengonversi nilai bertipe long menjadi alamat IP.
Encoding and decoding functions	url_encoding	Menjalankan encoding URL pada data.
	url_decoding	Menjalankan decoding URL pada data.
	protobuf_decoding	Mengurai data ke format JSON menggunakan templat Protobuf tertentu.
	str_encode	Mengkodekan string menggunakan format encoding yang ditentukan.
	str_decode	Mendekode nilai input menggunakan format encoding yang ditentukan.
	base64_encoding	Mengenkripsi data menggunakan algoritma Base64.
	base64_decoding	Mendekode data menggunakan algoritma Base64.
	html_encoding	Mengkodekan data dalam format HTML.
	html_decoding	Mendekode data yang telah dikodekan dalam HTML.
	md5_encoding	Mengenkripsi data menggunakan algoritma MD5.
	sha1_encoding	Meng-hash data menggunakan algoritma SHA1.
	crc32_encoding	Menghitung kode pemeriksaan redundansi siklik (CRC) untuk data.
	gzip_compress	Mengompresi dan mengenkripsi data.
	gzip_decompress	Mendekompresi data yang dikompresi.
	zlib_compress	Mengompresi dan mengenkripsi data.
	zlib_decompress	Mendekompresi data yang dikompresi.
	aes_encrypt	Mengenkripsi data menggunakan algoritma AES.
	aes_decrypt	Mendekripsi data menggunakan algoritma AES.
	jwt_encoding	Mengkodekan data JSON sesuai dengan standar Token Web JSON (JWT).
	jwt_decoding	Mendekripsi data menjadi data JSON mentah berdasarkan standar JWT.
	hashids_encoding	Mengenkripsi data menggunakan pustaka Hashids.
	hashids_decoding	Mendekode data yang telah dikodekan menggunakan pustaka Hashids.
Parsing functions	ua_parse_device	Mengurai User-Agent dan mengembalikan informasi perangkat.
	ua_parse_os	Mengurai User-Agent dan mengembalikan informasi sistem operasi.
	ua_parse_agent	Mengurai User-Agent dan mengembalikan informasi browser.
	ua_parse_all	Mengurai User-Agent dan mengembalikan semua informasi.
	url_parse	Mengurai URL dan mengembalikan komponen-komponen URL.
	url_parse_qs	Mengurai string kueri URL dan mengembalikan komponen-komponen string kueri.
List functions	lst_make	Membuat list.
	lst_insert	Menyisipkan elemen ke posisi tertentu dalam list.
	lst_append	Menambahkan elemen ke list.
	lst_delete_at	Menghapus elemen pada posisi tertentu dari list.
	lst_reverse	Membalik urutan elemen dalam list.
	lst_get	Mengembalikan elemen pada posisi tertentu dalam list atau tuple.
Dictionary functions	dct_make	Membuat dictionary.
	dct_update	Memperbarui dictionary.
	dct_delete	Menghapus pasangan kunci-nilai dari dictionary.
	dct_keys	Mengembalikan kunci dictionary.
	dct_values	Mengembalikan nilai dictionary.
	dct_get	Mengembalikan nilai yang sesuai dengan kunci tertentu dalam dictionary.
Table functions	tab_parse_csv	Membuat tabel dari teks nilai yang dipisahkan koma (CSV).
Table functions	tab_to_dict	Membuat dictionary dari tabel.
Resource functions	res_local	Menarik nilai parameter lanjutan dari tugas transformasi data saat ini.
	res_rds_mysql	Menarik data dari tabel tertentu dalam database yang dibuat pada instans ApsaraDB RDS for MySQL atau mendapatkan hasil eksekusi pernyataan SQL. Data dan hasil tersebut dapat diperbarui secara berkala.
	res_log_LogStore_pull	Menarik data dari Logstore lain. Mendukung penarikan data berkelanjutan.
	res_oss_file	Menarik data dari objek dalam bucket Object Storage Service (OSS) tertentu. Data tersebut dapat diperbarui secara berkala.