SLS; verilerin normalleştirilmesi, çıkarılması, temizlenmesi, filtrelenmesi ve birden fazla Logstore arasında dağıtılması için tamamen yönetilen, ölçeklenebilir ve yüksek kullanılabilirliğe sahip bir veri dönüştürme (yeni sürüm) hizmeti sunar.
Çalışma mantığı
Veri dönüştürme (yeni sürüm), günlük verilerini barındırılan tüketim işleri ve SPL kuralları aracılığıyla gerçek zamanlı olarak işler. SPL sözdizimi. Standart tüketime genel bakış.
Veri dönüştürme, SLS gerçek zamanlı tüketim API'sini kullanır ve kaynak Logstore dizin yapılandırmasına bağlı değildir.

Zamanlama mekanizması
Zamanlayıcı, verileri eşzamanlı olarak işlemek için her iş başına bir veya daha fazla örnek başlatır. Her örnek, kaynak Logstore'un bir veya daha fazla parçasından veri tüketir. Örnek sayısı, esnek ölçeklendirme amacıyla kaynak kullanımına ve işleme ilerlemesine göre ayarlanır. İş başına maksimum eşzamanlılık, kaynak Logstore'un parça sayısına eşittir.
Çalışan örnekler
Her örnek, işin SPL kurallarına ve hedef Logstore yapılandırmalarına dayanarak ayrılmış parçalardan kaynak günlük verilerini tüketir; ardından sonuçları hedef Logstore'a dağıtarak yazar. Örnekler parça kontrol noktalarını otomatik olarak kaydeder. Bu sayede yeniden başlatılan bir iş, son kontrol noktasından devam eder.
İşleri durdurma ve sürdürme
Otomatik durdurma: Yapılandırılmış bir bitiş zamanı olan iş, o zamandan önceki tüm günlükleri işledikten sonra durur. Bitiş zamanı yoksa iş sürekli çalışır. ETL.
Sürdürülebilir işleme: Beklenmeyen bir durmanın ardından yeniden başlatılan iş, varsayılan olarak son kaydedilen parça kontrol noktasından devam ederek veri tutarlılığını korur.
İşlerin çalışma durumunu görüntüleme
SLS, veri dönüştürme işleri için izlemeyi destekler. Veri dönüştürme (yeni sürüm) işlerini gözlemleme ve izleme.
Senaryolar
Veri dönüştürme aşağıdaki senaryoları destekler:
Veri normalleştirme ve bilgi çıkarma: Tutarsız biçimlendirilmiş günlüklerden alanları çıkarın ve akış işleme ile veri ambarı analizi için yapılandırılmış veriler üretmek üzere biçimleri normalleştirin.
-
Veri iletme ve dağıtma:
Karışık günlük türlerini tek bir Logstore'da toplayın ve ardından bunları özelliklerine (kaynak modülü, iş bileşeni) göre aşağı akış Logstore'lara dağıtarak veri izolasyonu ve senaryoya özel hesaplama sağlayın.
Çok bölgeli dağıtımlar için, her bölgedeki günlükleri merkezi yönetim amacıyla çapraz bölge hızlandırma ile merkezi bir bölgede toplayın.
Veri temizleme ve filtreleme: Geçersiz girdileri veya kullanılmayan alanları kaldırın ve ardından odaklanmış analiz için filtrelenmiş anahtar bilgileri aşağı akış Logstore'lara yazın.
Veri maskeleme: Parolalar, telefon numaraları ve adresler gibi hassas verileri maskeleyin.
Özellikler
SPL; veri toplama, sorgulama ve işleme için tek bir dil sunarak birden fazla sözdizimi öğrenme ihtiyacını azaltır.
Satır satır hata ayıklama ve kod ipuçları, IDE benzeri bir SPL kodlama deneyimi sunar.
Verilerin saniyeler içinde görünür olduğu gerçek zamanlı işleme, esnek ölçeklendirme ve yüksek aktarım hızı sağlar.
Günlük analizi için yerleşik veri işleme yönergeleri ve SQL işlevleri sunar.
Gerçek zamanlı gözlemlenebilirlik ölçümleri, panolar ve çalışma zamanı ölçümlerine dayalı özel izleme kuralları içerir.
Tamamen yönetilen ve bakım gerektirmeyen yapısıyla Alibaba Cloud büyük veri ve açık kaynak ekosistem entegrasyonlarını destekler.
Faturalama
pay-by-ingested-data (alınan verilere göre ödeme) Logstore'lar: Veri dönüştürme (yeni sürüm) ücretsizdir. SLS genel uç noktası üzerinden veri çekme veya yazma sırasında oluşan giden trafik, sıkıştırılmış veri hacmine göre ücretlendirilir. Alınan verilere göre ödeme modu için faturalandırılabilir öğeler.
pay-by-feature (özelliklere göre ödeme) Logstore'lar: Veri dönüştürme (yeni sürüm) tarafından tüketilen hesaplama ve ağ kaynakları için ücretlendirilirsiniz. Özelliklere göre ödeme modu için faturalandırılabilir öğeler.
Bir veri dönüştürme işi (yeni sürüm) içinde yapılan filtreleme, faturalandırılabilir veri hacmini azaltmaz. Bu durum, SPL
whereyönergesi ve veri dönüştürme (eski sürüm) etki alanına özgü dilinin (DSL) atma işlevleri gibi filtrelemeler için geçerlidir. pay-by-ingested-data modunda faturalandırma, kaynak LogStore'a alınan ham verilere dayanır. Bir veri dönüştürme işindeki filtreleme yalnızca hedef LogStore'a yazılan verileri etkiler; kaynak LogStore'a zaten alınmış olan hacmi değiştirmez.Faturalandırılabilir veri hacmini azaltmak için günlükleri toplama aşamasında filtreleyin. Logtail toplama yapılandırmasında, yalnızca ihtiyaç duyduğunuz günlükleri (örneğin yalnızca seviyesi error olan günlükleri) toplamak için
processor_filter_regexgibi genişletilmiş bir eklenti olan veri filtreleme eklentisini kullanın. Toplanmayan günlükler hiçbir zaman bir LogStore'a alınmaz; bu da kaynaktaki faturalandırılabilir veri hacmini azaltır ve bunların veri dönüştürme sürecine girmesini engeller. Daha fazla bilgi için bkz. Logtail veri filtreleme eklentileri.