Topik ini menjelaskan berbagai fungsi yang dapat dipanggil untuk mentransformasi data di Layanan Log Sederhana.
Fungsi pemrosesan global
Kategori | Fungsi | Deskripsi |
e_if | Menjalankan operasi jika kondisi tertentu terpenuhi. Anda dapat menentukan beberapa pasangan kondisi-operasi.
| |
e_if_else | Menjalankan operasi berdasarkan hasil evaluasi kondisi. | |
e_switch | Menjalankan operasi jika kondisi tertentu terpenuhi. Anda dapat menentukan beberapa pasangan kondisi-operasi.
| |
e_compose | Menggabungkan beberapa operasi.
| |
e_drop | Membuang log jika kondisi tertentu terpenuhi. | |
e_keep | Menyimpan log jika kondisi tertentu terpenuhi. | |
e_split | Membagi log menjadi beberapa log berdasarkan nilai bidang tertentu. Anda juga dapat menggunakan ekspresi JMESPath untuk mengekstrak nilai bidang tersebut, lalu membagi log. | |
e_output | Menulis log ke penyimpanan log yang ditentukan. Anda dapat menentukan topik, sumber, tag, dan kunci hash MD5 dari shard untuk log tersebut. Log akan dihapus setelah ditulis ke penyimpanan log yang ditentukan. Sistem tidak lagi mentransformasi log tersebut. | |
e_coutput | Menulis log ke penyimpanan log yang ditentukan. Anda dapat menentukan topik, sumber, tag, dan kunci hash MD5 dari shard untuk log tersebut. Log akan disimpan setelah ditulis ke penyimpanan log yang ditentukan. Sistem terus mentransformasi log yang tersimpan. | |
e_to_metric | Mengonversi log menjadi metrik yang dapat disimpan di penyimpanan metrik. | |
v | Mengekstrak nilai bidang dari log. Jika Anda menentukan nama beberapa bidang untuk fungsi ini, fungsi akan mengembalikan nilai bidang pertama yang ada di log. | |
e_set | Menambahkan bidang atau menentukan nilai baru untuk bidang yang sudah ada. | |
e_drop_fields | Menghapus bidang log yang memenuhi kondisi tertentu. | |
e_keep_fields | Menyimpan bidang log yang memenuhi kondisi tertentu. | |
e_pack_fields | Mengenkapsulasi bidang log dan menetapkan bidang log sebagai nilai ke bidang baru. | |
e_rename | Mengganti nama bidang log yang memenuhi kondisi tertentu. | |
e_regex | Mengekstrak nilai bidang berdasarkan ekspresi reguler dan menetapkan nilai tersebut ke bidang lain. | |
e_json | Mengelola objek JSON di bidang tertentu dalam log. Anda dapat mengonfigurasi parameter untuk memperluas data JSON, mengekstrak data JSON menggunakan ekspresi JMESPath, atau memperluas data JSON yang diekstrak. | |
e_kv | Mengekstrak pasangan kunci-nilai dari beberapa bidang input menggunakan tanda kutip tertentu. | |
e_kv_delimit | Mengekstrak pasangan kunci-nilai dari bidang input menggunakan pembatas tertentu. | |
e_csv | Mengekstrak beberapa bidang dari bidang tertentu menggunakan pembatas tertentu dan nama bidang yang telah ditentukan sebelumnya. Pembatas default adalah koma (,). | |
e_tsv | Mengekstrak beberapa bidang dari bidang tertentu menggunakan pembatas tertentu dan nama bidang yang telah ditentukan sebelumnya. Pembatas default adalah | |
e_psv | Mengekstrak beberapa bidang dari bidang sumber tertentu menggunakan pembatas tertentu dan nama bidang yang telah ditentukan sebelumnya. Pembatas default adalah batang vertikal (|). | |
e_syslogrfc | Menghitung nilai bidang facility dan severity serta mengembalikan nilai bidang facilitylabel yang menunjukkan informasi level. Fungsi menghitung nilai berdasarkan nilai bidang priority dan protokol syslog yang ditentukan. | |
e_anchor | Mengekstrak string menggunakan aturan yang ditentukan oleh anchor_rules. | |
e_dict_map | Memetakan nilai bidang input ke nilai dalam kamus yang ditentukan dan mengembalikan bidang baru. | |
e_table_map | Memetakan nilai bidang input ke baris dalam tabel yang ditentukan dan mengembalikan bidang baru. | |
e_tablestore_map | Mengayakan log mentah menggunakan tabel data di Tablestore sebagai tabel dimensi. | |
e_redis_map | Mengayakan log mentah menggunakan tabel data di ApsaraDB for Redis sebagai tabel dimensi. |
Fungsi ekspresi
Kategori | Fungsi | Deskripsi |
e_has | Memeriksa apakah suatu bidang ada. | |
e_not_has | Memeriksa apakah suatu bidang tidak ada. | |
e_search | Mencari log menggunakan sintaks kueri yang mirip dengan Lucene. | |
e_match, e_match_all, dan e_match_any | Memeriksa apakah nilai bidang log memenuhi kondisi yang ditentukan dalam ekspresi reguler. | |
op_if | Mengembalikan nilai ekspresi berdasarkan kondisi tertentu. | |
op_ifnull | Mengembalikan nilai ekspresi pertama yang nilainya bukan None. | |
op_coalesce | Mengembalikan nilai ekspresi pertama yang nilainya bukan None. | |
op_nullif | Mengembalikan none jika nilai Ekspresi 1 sama dengan nilai Ekspresi 2. Jika nilai Ekspresi 1 dan Ekspresi 2 berbeda, nilai Ekspresi 1 dikembalikan. | |
op_and | Evaluasi ekspresi yang ditentukan menggunakan operator logika AND dan mengembalikan True jika semua ekspresi yang ditentukan bernilai benar. Nilai setiap ekspresi dapat berupa tipe data apa pun. | |
op_not | Evaluasi ekspresi yang ditentukan menggunakan operator logika NOT dan mengembalikan nilai Boolean terbalik dari ekspresi yang ditentukan. Nilai ekspresi dapat berupa tipe data apa pun. | |
op_or | Evaluasi ekspresi yang ditentukan menggunakan operator logika OR, dan mengembalikan True jika ekspresi yang ditentukan bernilai benar atau mengembalikan False jika semua ekspresi yang ditentukan bernilai salah. Nilai setiap ekspresi dapat berupa tipe data apa pun. | |
op_eq | Mengembalikan True atau False berdasarkan kondisi | |
op_ge | Mengembalikan True atau False berdasarkan kondisi | |
op_gt | Mengembalikan True atau False berdasarkan kondisi | |
op_le | Mengembalikan True atau False berdasarkan kondisi | |
op_lt | Mengembalikan True atau False berdasarkan kondisi | |
op_ne | Mengembalikan True atau False berdasarkan kondisi | |
op_len | Menghitung jumlah karakter dalam string teks. Fungsi ini berlaku untuk string atau ekspresi yang mengembalikan tupel, daftar, atau kamus. | |
op_in | Memeriksa apakah string, tupel, daftar, atau kamus mengandung elemen tertentu dan mengembalikan True atau False. | |
op_not_in | Memeriksa apakah string, tupel, daftar, atau kamus tidak mengandung elemen tertentu dan mengembalikan True atau False. | |
op_slice | Mengekstrak string dari string, array, atau tupel tertentu. | |
op_index | Mengembalikan elemen yang sesuai dengan indeks dari string, array, atau tupel tertentu. | |
op_add | Menghitung jumlah beberapa nilai. Nilai tersebut bisa berupa string atau angka. | |
op_max | Mengembalikan nilai terbesar di antara nilai beberapa bidang atau ekspresi. | |
op_min | Mengembalikan nilai terkecil di antara nilai beberapa bidang atau ekspresi. | |
ct_int | Mengonversi nilai bidang atau ekspresi menjadi bilangan bulat. | |
ct_float | Mengonversi nilai bidang atau ekspresi menjadi bilangan titik mengambang. | |
ct_str | Mengonversi nilai bidang atau ekspresi menjadi string. | |
ct_bool | Mengonversi nilai bidang atau ekspresi menjadi nilai Boolean. | |
ct_chr | Mengonversi nilai ANSI atau Unicode dari bidang atau ekspresi menjadi karakter. | |
ct_ord | Mengonversi nilai bidang atau ekspresi menjadi nilai ANSI atau Unicode. | |
ct_hex | Mengonversi nilai bidang atau ekspresi menjadi bilangan heksadesimal. | |
ct_oct | Mengonversi nilai bidang atau ekspresi menjadi bilangan oktal. | |
ct_bin | Mengonversi nilai bidang atau ekspresi menjadi bilangan biner. | |
bin2oct | Mengonversi string byte biner menjadi string oktal. | |
bin2hex | Mengonversi string byte biner menjadi string heksadesimal. | |
op_abs | Mengembalikan nilai absolut dari nilai input. | |
op_div_floor | Mengembalikan bagian integer dari hasil bagi dua nilai input. | |
op_div_true | Mengembalikan hasil bagi dua nilai input. | |
op_pow | Mengembalikan nilai input yang dipangkatkan ke pangkat tertentu. | |
op_mul | Mengembalikan hasil perkalian dua nilai input. | |
op_neg | Mengembalikan bilangan negatif dari nilai input. | |
op_mod | Mengembalikan sisa hasil bagi nilai input dengan nilai input lainnya. | |
op_sub | Mengembalikan selisih antara dua nilai input. | |
op_round | Mengembalikan nilai input yang dibulatkan. | |
op_sum | Mengembalikan jumlah dari nilai-nilai input. | |
mat_ceil | Membulatkan nilai input ke atas ke bilangan bulat terdekat. | |
mat_exp | Mengembalikan bilangan Euler yang dipangkatkan ke nilai input. | |
mat_fabs | Mengembalikan nilai absolut dari nilai input. | |
mat_floor | Membulatkan nilai input ke bawah ke bilangan bulat terdekat. | |
mat_log | Mengembalikan logaritma dari nilai input dengan basis yang ditentukan oleh nilai input lainnya. | |
mat_log10 | Mengembalikan logaritma basis-10 dari nilai input. | |
mat_sqrt | Mengembalikan akar kuadrat dari nilai input. | |
mat_degrees | Mengonversi radian menjadi derajat. | |
mat_radians | Mengonversi derajat menjadi radian. | |
mat_sin | Mengembalikan sinus dari nilai input dalam radian. | |
mat_cos | Mengembalikan kosinus dari nilai input dalam radian. | |
mat_tan | Mengembalikan tangen dari nilai input dalam radian. | |
mat_acos | Mengembalikan arc kosinus dari nilai input dalam radian. | |
mat_asin | Mengembalikan arc sinus dari nilai input dalam radian. | |
mat_atan | Mengembalikan arc tangen dari nilai input dalam radian. | |
mat_atan2 | Mengembalikan arc tangen dari koordinat X dan Y. | |
mat_atanh | Mengembalikan tangen hiperbolik invers dari nilai input. | |
mat_hypot | Mengembalikan norma Euclidean dari dua nilai input. | |
str_format | Memformat string. | |
str_join | Menggabungkan string input untuk menghasilkan string baru menggunakan penghubung tertentu. | |
str_zip | Secara bersamaan membagi dua nilai atau string yang dikembalikan oleh ekspresi dan menggabungkan hasilnya menjadi satu string. | |
str_encode | Mengkodekan string menggunakan format pengkodean tertentu. | |
str_decode | Mendekode nilai input menggunakan format pengkodean tertentu. | |
str_hex_escape_encode | Meloloskan karakter khusus. Fungsi ini dapat meloloskan karakter heksadesimal menjadi karakter Cina. | |
str_sort | Mengurutkan objek tertentu. | |
str_reverse | Membalikkan string. | |
str_replace | Mengganti string yang ada dengan string tertentu berdasarkan aturan tertentu. | |
str_logtash_config_normalize | Mengonversi data dalam bahasa konfigurasi Logstash ke format JSON. | |
str_translate | Mengganti karakter tertentu dalam string dengan karakter pemetaan. | |
str_strip | Menghapus karakter tertentu dari string. | |
str_lstrip | Menghapus karakter tertentu dari awal string. | |
str_rstrip | Menghapus karakter tertentu dari akhir string. | |
str_lower | Mengubah semua huruf besar dalam string menjadi huruf kecil. | |
str_upper | Mengubah semua huruf kecil dalam string menjadi huruf besar. | |
str_title | Mengubah huruf pertama setiap kata dalam string menjadi huruf besar dan mengubah huruf lainnya dalam string menjadi huruf kecil. | |
str_capitalize | Mengubah huruf pertama string menjadi huruf besar dan mengubah huruf lainnya dalam string menjadi huruf kecil. | |
str_swapcase | Mengubah huruf besar dalam string menjadi huruf kecil dan huruf kecil menjadi huruf besar. | |
str_count | Menghitung jumlah kemunculan karakter dalam string. | |
str_find | Memeriksa apakah string mengandung substring tertentu. | |
str_rfind | Mengembalikan posisi kemunculan terakhir dari karakter tertentu dalam string. | |
str_endswith | Memeriksa apakah string diakhiri dengan sufiks tertentu. | |
str_startswith | Memeriksa apakah string dimulai dengan string tertentu. | |
str_split | Memisahkan string menggunakan pembatas tertentu. | |
str_splitlines | Memisahkan string menggunakan baris baru. | |
str_partition | Memisahkan string menjadi tiga bagian dari kiri ke kanan menggunakan pembatas tertentu. | |
str_rpartition | Memisahkan string menjadi tiga bagian dari kanan ke kiri menggunakan pembatas tertentu. | |
str_center | Menambahkan string ke panjang tertentu menggunakan karakter tertentu. | |
str_ljust | Menambahkan string ke panjang tertentu menggunakan karakter tertentu dari akhir string. | |
str_rjust | Menambahkan string ke panjang tertentu menggunakan karakter tertentu dari awal string. | |
str_zfill | Menambahkan string ke panjang tertentu menggunakan 0 dari awal string. | |
str_expandtabs | Mengonversi | |
str_isalnum | Memeriksa apakah string hanya mengandung huruf dan angka. | |
str_isalpha | Memeriksa apakah string hanya mengandung huruf. | |
str_isascii | Memeriksa apakah string ada dalam tabel ASCII. | |
str_isdecimal | Memeriksa apakah string hanya mengandung karakter desimal. | |
str_isdigit | Memeriksa apakah string hanya mengandung digit. | |
str_isidentifier | Memeriksa apakah string adalah pengenal Python yang valid atau memeriksa apakah nama variabel valid. | |
str_islower | Memeriksa apakah string mengandung huruf kecil. | |
str_isnumeric | Memeriksa apakah string mengandung digit. | |
str_isprintable | Memeriksa apakah semua karakter dalam string adalah karakter yang dapat dicetak. | |
str_isspace | Memeriksa apakah string hanya mengandung spasi. | |
str_istitle | Memeriksa apakah huruf pertama setiap kata dalam string adalah huruf besar dan huruf lainnya dalam string adalah huruf kecil. | |
str_isupper | Memeriksa apakah semua huruf dalam string adalah huruf besar. | |
str_uuid | Menghasilkan pengenal unik universal (UUID) acak. | |
dt_parse | Mengonversi nilai atau nilai ekspresi waktu menjadi objek datetime. | |
dt_str | Mengonversi nilai atau nilai ekspresi waktu menjadi string. | |
dt_parsetimestamp | Mengonversi nilai atau nilai ekspresi waktu menjadi timestamp UNIX. | |
dt_prop | Mengembalikan atribut tertentu dari nilai, atau mengembalikan atribut tertentu dari nilai ekspresi waktu. Atribut tersebut bisa berupa hari atau tahun. | |
dt_now | Mengembalikan tanggal dan waktu saat ini. | |
dt_today | Hanya mengembalikan tanggal saat ini. | |
dt_utcnow | Mengembalikan objek datetime saat ini dalam zona waktu saat ini. | |
dt_fromtimestamp | Mengonversi timestamp UNIX menjadi objek datetime. | |
dt_utcfromtimestamp | Mengonversi timestamp UNIX menjadi objek datetime dalam zona waktu saat ini. | |
dt_strptime | Mengurai string waktu menjadi objek datetime. | |
dt_currentstamp | Mengembalikan timestamp UNIX saat ini. | |
dt_totimestamp | Mengonversi objek datetime menjadi timestamp UNIX. | |
dt_strftime | Mengonversi objek datetime menjadi string dalam format tertentu. | |
dt_strftimestamp | Mengonversi timestamp UNIX menjadi string dalam format tertentu. | |
dt_truncate | Mengekstrak nilai waktu dari nilai atau nilai ekspresi waktu berdasarkan granularitas waktu tertentu. | |
dt_add | Mengubah nilai atau nilai ekspresi waktu berdasarkan granularitas waktu tertentu. | |
dt_MO | Mengimbangi waktu tertentu ke tanggal Senin ke-N sebelumnya atau berikutnya. Nilai offset N dilewatkan ke parameter | |
dt_TU | Mengimbangi waktu tertentu ke tanggal Selasa ke-N sebelumnya atau berikutnya. Nilai offset N dilewatkan ke parameter | |
dt_WE | Mengimbangi waktu tertentu ke tanggal Rabu ke-N sebelumnya atau berikutnya. Nilai offset N dilewatkan ke parameter | |
dt_TH | Mengimbangi waktu tertentu ke tanggal Kamis ke-N sebelumnya atau berikutnya. Nilai offset N dilewatkan ke parameter | |
dt_FR | Mengimbangi waktu tertentu ke tanggal Jumat ke-N sebelumnya atau berikutnya. Nilai offset N dilewatkan ke parameter | |
dt_SA | Mengimbangi waktu tertentu ke tanggal Sabtu ke-N sebelumnya atau berikutnya. Nilai offset N dilewatkan ke parameter | |
dt_SU | Mengimbangi waktu tertentu ke tanggal Minggu ke-N sebelumnya atau berikutnya. Nilai offset N dilewatkan ke parameter | |
dt_astimezone | Mengonversi nilai atau nilai ekspresi waktu menjadi objek datetime dalam zona waktu tertentu. | |
dt_diff | Mengembalikan selisih antara dua nilai atau antara nilai dua ekspresi waktu berdasarkan granularitas waktu tertentu. | |
regex_select | Mengekstrak nilai yang cocok dengan ekspresi reguler. | |
regex_findall | Mengekstrak semua nilai yang cocok dengan ekspresi reguler. | |
regex_match | Memeriksa apakah suatu nilai cocok dengan ekspresi reguler. | |
regex_replace | Mengganti karakter yang cocok dengan ekspresi reguler dalam string. | |
regex_split | Memisahkan string menjadi larik string. | |
grok | Mengekstrak nilai yang cocok dengan ekspresi reguler. | |
json_select | Mengekstrak atau menghitung nilai tertentu dari ekspresi JSON menggunakan JMESPath. | |
json_parse | Mengurai nilai menjadi objek JSON. | |
xml_to_json | Mengonversi data XML menjadi data JSON, lalu memperluas data yang dikonversi. | |
geo_parse | Mengidentifikasi kota, provinsi, dan negara berdasarkan alamat IP. | |
ip_cidrmatch | Memeriksa apakah alamat IP termasuk dalam blok Classless Inter-Domain Routing (CIDR). | |
ip_version | Memeriksa apakah versi alamat IP adalah IPv4 atau IPv6. | |
ip_type | Mengidentifikasi tipe alamat IP dan memeriksa apakah tipe alamat IP adalah privat atau publik. | |
ip_makenet | Mengonversi alamat IP menjadi blok CIDR. | |
ip_to_format | Mengonversi format blok CIDR menjadi format yang menentukan netmask atau panjang prefiks blok CIDR. | |
ip_overlaps | Memeriksa apakah dua blok CIDR tumpang tindih. | |
ip2long | Mengonversi alamat IP menjadi nilai tipe long. | |
long2ip | Mengonversi nilai tipe long menjadi alamat IP. | |
url_encoding | Menjalankan pengkodean URL pada data. | |
url_decoding | Menjalankan dekode URL pada data. | |
protobuf_decoding | Mengurai data ke format JSON menggunakan template Protobuf tertentu. | |
str_encode | Mengkodekan string menggunakan format pengkodean tertentu. | |
str_decode | Mendekode nilai input menggunakan format pengkodean tertentu. | |
base64_encoding | Mengkodekan data menggunakan algoritma Base64. | |
base64_decoding | Mendekode data menggunakan algoritma Base64. | |
html_encoding | Mengkodekan data dalam format HTML. | |
html_decoding | Mendekode data yang dikodekan dalam format HTML. | |
md5_encoding | Mengkodekan data menggunakan algoritma MD5. | |
sha1_encoding | Mengkodekan data menggunakan algoritma SHA1. | |
crc32_encoding | Menghitung kode pemeriksaan redundansi siklik (CRC) untuk data. | |
gzip_compress | Memampatkan dan mengkodekan data. | |
gzip_decompress | Mendekompresi data yang telah dipampatkan. | |
zlib_compress | Memampatkan dan mengkodekan data. | |
zlib_decompress | Mendekompresi data yang telah dipampatkan. | |
aes_encrypt | Mengenkripsi data menggunakan algoritma AES. | |
aes_decrypt | Mendekripsi data menggunakan algoritma AES. | |
jwt_encoding | Mengkodekan data JSON berdasarkan standar JSON Web Token (JWT). | |
jwt_decoding | Mendekode data menjadi data JSON mentah berdasarkan standar JWT. | |
hashids_encoding | Mengkodekan data menggunakan pustaka Hashids. | |
hashids_decoding | Mendekode data yang dikodekan menggunakan pustaka Hashids. | |
ua_parse_device | Menguraikan User-Agent dan mengembalikan informasi perangkat. | |
ua_parse_os | Menguraikan User-Agent dan mengembalikan informasi sistem operasi. | |
ua_parse_agent | Menguraikan User-Agent dan mengembalikan informasi browser. | |
ua_parse_all | Menguraikan User-Agent dan mengembalikan semua informasi. | |
url_parse | Menguraikan URL dan mengembalikan komponen-komponen URL tersebut. | |
url_parse_qs | Menguraikan string kueri URL dan mengembalikan komponen-komponen string kueri tersebut. | |
lst_make | Membuat daftar. | |
lst_insert | Menyisipkan elemen ke posisi tertentu dalam daftar. | |
lst_append | Menambahkan elemen ke daftar. | |
lst_delete_at | Menghapus elemen pada posisi tertentu dari daftar. | |
lst_reverse | Membalikkan urutan elemen dalam daftar. | |
lst_get | Mengembalikan elemen pada posisi tertentu dalam daftar atau tupel. | |
dct_make | Membuat kamus. | |
dct_update | Memperbarui kamus. | |
dct_delete | Menghapus pasangan kunci-nilai dari kamus. | |
dct_keys | Mengembalikan kunci-kunci dari kamus. | |
dct_values | Mengembalikan nilai-nilai dari kamus. | |
dct_get | Mengembalikan nilai yang sesuai dengan kunci tertentu dalam kamus. | |
tab_parse_csv | Membuat tabel dari teks nilai yang dipisahkan koma (CSV). | |
tab_to_dict | Membuat kamus dari tabel. | |
res_local | Mengambil nilai parameter lanjutan dari pekerjaan transformasi data saat ini. | |
res_rds_mysql | Mengambil data dari tabel tertentu dalam database yang dibuat di instance ApsaraDB RDS for MySQL atau mendapatkan hasil eksekusi pernyataan SQL. Data dan hasil dapat diperbarui secara berkala. | |
res_log_logstore_pull | Mengambil data dari Logstore lain saat Anda mentransformasi data dalam Logstore. Anda dapat mengambil data secara terus-menerus. | |
res_oss_file | Mengambil data dari objek dalam bucket Object Storage Service (OSS) tertentu. Data dapat diperbarui secara berkala. |