Layanan Log Sederhana (SLS) menggunakan domain-specific language (DSL) yang kompatibel dengan Python untuk transformasi data. DSL SLS dibangun di atas Python dan menyediakan lebih dari 200 fungsi bawaan guna menyederhanakan tugas transformasi data.
Orkestrasi fleksibel
Gunakan DSL SLS untuk mengedit fungsi dan menggabungkan berbagai logika guna mengatasi sebagian besar skenario transformasi data.
Distribusi dinamis
Anda dapat mendistribusikan data ke penyimpanan log tujuan yang berbeda berdasarkan logika tertentu. Nama penyimpanan log tujuan tersebut dapat dihitung secara dinamis atau diambil dari sumber eksternal, seperti Bucket OSS.
Pengayaan fleksibel
Peroleh data pengayaan dari sumber daya lokal atau eksternal, seperti Bucket OSS dan instans ApsaraDB RDS untuk MySQL.
Lakukan pemetaan standar untuk kamus dan tabel, serta pemetaan lanjutan untuk tabel.
Refresh secara otomatis sumber daya eksternal yang telah dimuat.
Fungsi operasi global
DSL SLS menyediakan sekitar 30 fungsi operasi global yang menggunakan parameter untuk mengontrol operasi. Fungsi-fungsi ini menerima hasil fungsi ekspresi sebagai parameter. Fungsi kontrol dapat dikombinasikan dengan fungsi ekspresi dan fungsi langkah lainnya. Jenis utama fungsi tersebut meliputi:
Buat cabang kondisional menggunakan fungsi seperti
if-else,if,switch, dancompose.Gunakan fungsi pencarian sederhana, seperti
e_search, untuk memproses berbagai jenis log.
Hapus, simpan, pisahkan, keluarkan, dan salin event.
Simpan, hapus, dan ubah nama bidang.
Ekstrak beberapa nilai atau pasangan kunci-nilai dari bidang menggunakan ekspresi reguler, GROK, KV, pemisah KV, CSV, TSV, PSV, atau Syslog.
Ekstrak dan perkaya data JSON.
Lakukan pemetaan atau pencarian berdasarkan kamus dan tabel.
Peroleh informasi tabel dimensi untuk pengayaan dari sumber daya seperti konfigurasi aturan, Bucket OSS eksternal, dan instans ApsaraDB RDS untuk MySQL.
Refresh secara otomatis sumber daya eksternal berdasarkan log perubahan penuh atau inkremental.
Perkaya informasi field log. Misalnya, peroleh intelijen ancaman untuk alamat IP dan simpan informasi tersebut ke field log guna memudahkan analisis log.
Fungsi ekspresi
DSL SLS menyediakan lebih dari 200 fungsi ekspresi bawaan untuk mentransformasikan event atau mengontrol perilaku fungsi global. Fungsi-fungsi ini mencakup sebagian besar kebutuhan transformasi data. Jenis utama fungsi tersebut meliputi:
Fungsi ini menyediakan mekanisme penyaringan kondisional yang menggunakan sintaks mirip Lucene, ekspresi reguler lengkap, string, wildcard, perbandingan numerik, serta kombinasi logika AND, OR, dan NOT.
Fungsi ini mendukung pengambilan nilai bidang, kontrol, perbandingan, pemeriksaan kontainer, dan operasi multi-bidang.
Fungsi ini menyediakan operasi untuk konversi tipe dasar, konversi angka, serta konversi kamus dan daftar.
Fungsi ini menyediakan dukungan untuk perhitungan dasar, perhitungan multi-nilai, perhitungan matematis, dan parameter matematis.
Fungsi ini menyediakan operasi multi-bidang, termasuk encoding, decoding, pengurutan, pembalikan, penggantian, normalisasi standar, pencarian, pemisahan, pemformatan, dan pemeriksaan set karakter.
Fungsi ini menyediakan dukungan untuk mengonversi tanggal dan waktu, mengambil properti tanggal dan waktu, mengambil tanggal dan waktu saat ini, mengambil Stempel waktu UNIX, mengambil string tanggal dan waktu, serta memodifikasi dan membandingkan nilai tanggal dan waktu.
Fungsi ini menyediakan operasi untuk mengekstrak, mencocokkan, mengevaluasi, mengganti, dan memisahkan bidang.
Fungsi ini menyediakan lebih dari 400 pola GROK bawaan dan mendukung penggantian pola GROK.
Fungsi data terstruktur spesifik
Fungsi ini mendukung ekstraksi dan penyaringan data dari struktur spesifik seperti JSON, Protobuf, dan XML.
Fungsi ini menyediakan dukungan untuk resolusi dan konversi alamat IP.
Fungsi ini mendukung encoding dan decoding teks dalam format seperti SHA1, SHA256, SHA512, MD5, HTML, URL, dan Base64.