Layanan Log Sederhana (SLS) menggunakan bahasa domain-spesifik (DSL) berupa skrip kompatibel dengan Python untuk transformasi data. SLS DSL dibangun di atas Python dan menyediakan lebih dari 200 fungsi bawaan untuk menyederhanakan tugas-tugas transformasi data.
Orkestrasi fleksibel
Anda dapat menggunakan SLS DSL untuk mengedit fungsi dan menggabungkan berbagai logika guna menangani sebagian besar skenario transformasi data.
Distribusi dinamis
Anda dapat mendistribusikan data ke Logstore tujuan yang berbeda berdasarkan logika tertentu. Nama Logstore tujuan dapat dihitung secara dinamis atau diambil dari sumber eksternal, seperti Bucket OSS.
Pengayaan fleksibel
Mendapatkan data pengayaan dari sumber lokal atau eksternal, seperti Bucket OSS dan instans ApsaraDB RDS for MySQL.
Melakukan pemetaan standar untuk kamus dan tabel, serta pemetaan lanjutan untuk tabel.
Memuat ulang sumber daya eksternal secara otomatis.
Fungsi operasi global
SLS DSL menyediakan sekitar 30 fungsi operasi global yang menggunakan parameter untuk mengontrol operasi. Fungsi-fungsi ini menerima hasil dari fungsi ekspresi sebagai parameter. Fungsi kontrol dapat digabungkan dengan fungsi ekspresi dan fungsi langkah lainnya. Jenis utama fungsi meliputi:
Membuat cabang kondisional menggunakan fungsi seperti
if-else,if,switch, dancompose.Menggunakan fungsi pencarian sederhana, seperti
e_search, untuk memproses berbagai jenis log.
Menghapus, menyimpan, memisahkan, mengeluarkan, dan menyalin event.
Menyimpan, menghapus, dan mengganti nama bidang.
Mengekstrak beberapa nilai atau pasangan kunci-nilai dari bidang menggunakan ekspresi reguler, GROK, KV, pemisah KV, CSV, TSV, PSV, atau Syslog.
Mengekstrak dan memperkaya data JSON.
Memetakan atau mencari berdasarkan kamus dan tabel.
Mendapatkan informasi tabel dimensi untuk pengayaan dari sumber daya seperti konfigurasi aturan, Bucket OSS eksternal, dan instans ApsaraDB RDS for MySQL.
Memuat ulang sumber daya eksternal berdasarkan log perubahan penuh atau inkremental.
Memperkaya informasi bidang log. Sebagai contoh, Anda dapat memperoleh intelijen ancaman untuk alamat IP dan menyimpan informasi ini ke bidang log untuk memfasilitasi analisis log.
Fungsi ekspresi
SLS DSL menyediakan lebih dari 200 fungsi ekspresi bawaan untuk mentransformasi event atau mengontrol perilaku fungsi global. Fungsi-fungsi ini mencakup sebagian besar kebutuhan transformasi data. Jenis utama fungsi meliputi:
Fungsi-fungsi ini menyediakan mekanisme penyaringan kondisional yang menggunakan sintaksis mirip Lucene, ekspresi reguler lengkap, string, wildcard, perbandingan numerik, dan kombinasi logis AND, OR, dan NOT.
Fungsi-fungsi ini mendukung pengambilan nilai bidang, kontrol, perbandingan, pemeriksaan kontainer, dan operasi multi-bidang.
Fungsi-fungsi ini menyediakan operasi untuk konversi tipe dasar, konversi angka, dan konversi kamus dan daftar.
Fungsi-fungsi ini menyediakan dukungan untuk perhitungan dasar, perhitungan multi-nilai, perhitungan matematis, dan parameter matematis.
Fungsi-fungsi ini menyediakan operasi multi-bidang, termasuk pengkodean, dekoding, pengurutan, pembalikan, penggantian, normalisasi standar, pencarian, pemisahan, pemformatan, dan pemeriksaan set karakter.
Fungsi-fungsi ini menyediakan dukungan untuk mengonversi tanggal dan waktu, mengambil properti tanggal dan waktu, mengambil tanggal dan waktu saat ini, mengambil stempel waktu UNIX, mengambil string tanggal dan waktu, serta memodifikasi dan membandingkan nilai tanggal dan waktu.
Fungsi-fungsi ini menyediakan operasi untuk mengekstrak, mencocokkan, mengevaluasi, mengganti, dan memisahkan bidang.
Fungsi-fungsi ini menyediakan lebih dari 400 pola GROK bawaan dan mendukung penggantian pola GROK.
Fungsi data terstruktur spesifik
Fungsi-fungsi ini mendukung ekstraksi dan penyaringan data dari struktur tertentu seperti JSON, Protobuf, dan XML.
Fungsi-fungsi ini menyediakan dukungan untuk resolusi dan konversi alamat IP.
Fungsi pengkodean dan dekoding
Fungsi-fungsi ini mendukung pengkodean dan dekoding teks dalam format seperti SHA1, SHA256, SHA512, MD5, HTML, URL, dan Base64.