Simple Log Service (SLS) etki alanına özel dili (DSL), veri dönüştürme için Python uyumlu bir betiktir. SLS DSL, Python tabanlıdır ve veri dönüştürme görevlerini basitleştirmek için 200'den fazla yerleşik işlev sunar. Ayrıca özel Python genişletme betiklerini de destekler.
Ayrıca özel Python genişletme betiklerini de destekler
Esnek düzenleme
Çoğu veri dönüştürme senaryosunu ele almak için işlevleri düzenleyin ve çeşitli mantıkları birleştirin; bu amaçla SLS DSL'yi kullanın.
Dinamik dağıtım
Verileri belirli bir mantığa göre farklı hedef Logstore'lara dağıtabilirsiniz. Hedef Logstore adlarını dinamik olarak hesaplayabilir veya OSS paketleri gibi harici kaynaklardan alabilirsiniz.
Esnek zenginleştirme
OSS paketleri ve ApsaraDB RDS for MySQL örnekleri gibi yerel veya harici kaynaklardan zenginleştirme verilerini alın.
Sözlükler ve tablolar için standart eşleme, tablolar için gelişmiş eşleme yapın.
Yüklenen harici kaynakları otomatik olarak yenileyin.
Genel işlem işlevleri
SLS DSL, işlemleri denetlemek için parametreler kullanan yaklaşık 30 genel işlem işlevi sunar. Bu işlevler, ifade işlevlerinin sonuçlarını parametre olarak kabul eder. Denetim işlevlerini ifade işlevleri ve diğer adım işlevleriyle birleştirebilirsiniz. Başlıca işlev türleri şunlardır:
-
if-else,if,switchvecomposegibi işlevleri kullanarak koşullu dallar oluşturun.Farklı günlük türlerini işlemek için
e_searchgibi basit arama işlevlerini kullanın.
-
Olayları bırakın, saklayın, bölün, çıktı olarak alın ve kopyalayın.
-
Alanları saklayın, silin ve yeniden adlandırın.
-
Düzenli ifadeler, GROK, KV, KV ayırıcılar, CSV, TSV, PSV veya Syslog kullanarak alanlardan birden çok değer veya anahtar-değer çifti çıkarın.
JSON verilerini çıkarın ve zenginleştirin.
-
Eşleme ve zenginleştirme işlevleri
Sözlükler ve tablolara dayalı eşleme veya arama yapın.
Kural yapılandırmaları, harici OSS paketleri ve ApsaraDB RDS for MySQL örnekleri gibi kaynaklardan boyut tablosu bilgilerini zenginleştirme amacıyla alın.
Tam veya artımlı değişiklik günlüklerine dayalı olarak harici kaynakları otomatik olarak yenileyin.
-
Katma değerli içerik işlevleri
Günlük alanı bilgilerini zenginleştirin. Örneğin, bir IP adresi için tehdit istihbaratını alın ve bu bilgiyi günlük analizini kolaylaştırmak için bir günlük alanına kaydedin.
İfade işlevleri
SLS DSL, olayları dönüştürmek veya genel işlevlerin davranışını denetlemek için 200'den fazla yerleşik ifade işlevi sunar. Bu işlevler çoğu veri dönüştürme ihtiyacını karşılar. Başlıca işlev türleri şunlardır:
-
Bu işlevler, Lucene benzeri sözdizimi, tam düzenli ifadeler, dizeler, joker karakterler, sayısal karşılaştırmalar ve AND, OR, NOT mantıksal kombinasyonlarını kullanan koşullu filtreleme mekanizması sağlar.
-
Bu işlevler alan değeri alma, denetim, karşılaştırma, konteyner denetimleri ve çoklu alan işlemlerini destekler.
-
Bu işlevler temel tür dönüşümü, sayı dönüşümü ile sözlük ve liste dönüşümü işlemleri sağlar.
-
Bu işlevler temel hesaplamalar, çoklu değer hesaplamaları, matematiksel hesaplamalar ve matematiksel parametreler için destek sağlar.
-
Bu işlevler kodlama, kod çözme, sıralama, ters çevirme, değiştirme, standart normalleştirme, arama, bölme, biçimlendirme ve karakter kümesi denetimi dahil olmak üzere çoklu alan işlemleri sağlar.
-
Bu işlevler tarih ve saat dönüştürme, tarih ve saat özelliklerini alma, geçerli tarih ve saati alma, UNIX zaman damgasını alma, tarih ve saat dizesini alma ile tarih ve saat değerlerini değiştirme ve karşılaştırma için destek sağlar.
-
Bu işlevler alanları çıkarma, eşleştirme, değerlendirme, değiştirme ve bölme işlemleri sağlar.
-
Bu işlevler 400'den fazla yerleşik GROK deseni sağlar ve GROK deseni değiştirmeyi destekler.
-
Belirli yapılandırılmış veri işlevleri
Bu işlevler JSON, Protobuf ve XML gibi belirli yapılardan veri çıkarma ve filtrelemeyi destekler.
-
Bu işlevler IP adresi çözümleme ve dönüştürme için destek sağlar.
-
Kodlama ve kod çözme işlevleri
Bu işlevler SHA1, SHA256, SHA512, MD5, HTML, URL ve Base64 gibi formatlarda metin kodlama ve kod çözmeyi destekler.