Veri filtreleme eklentisi, belirtilen koşullara göre hangi günlük kayıtlarının toplanacağını belirler.
Veri filtreleme eklentisine genel bakış
Log Service birkaç veri filtreleme eklentisi sunar. Gereksinimlerinize göre birini seçin.
|
Eklenti adı |
Tür |
Açıklama |
|
Filtreleme işleyicisi |
yerleşik |
Yalnızca alan değerinin belirtilen izin listesindeki desenle tam olarak eşleştiği günlükleri toplar. |
|
filter_regex |
özel |
Aşağıdaki filtreleme modlarını destekler:
|
Giriş noktası
Günlük işlemesi için bir Logtail eklentisi kullanmak amacıyla, Logtail yapılandırmasını oluştururken veya değiştirirken bu eklentiyi ekleyin. Daha fazla bilgi için bkz. Genel Bakış.
Yerleşik ve özel eklentiler arasındaki farklar
Yerleşik eklentiler: Yüksek performans için C++ ile uygulanmıştır.
Özel eklentiler: Esneklik ve zengin bir ekosistem sağlamak için Go ile uygulanmıştır. Hizmet günlükleriniz yerleşik eklentiler için çok karmaşıksa özel bir eklenti kullanmayı düşünün.
-
Özel eklentilerin performans sınırlamaları
Günlükleri işlemek için özel bir eklenti kullanmak, öncelikli olarak CPU olmak üzere daha fazla LoongCollector kaynağı tüketir. Gerekirse LoongCollector parametre ayarlarını değiştirmek için yapılandırma yönetimi özelliğini kullanabilirsiniz.
Ham veri oluşturma hızı 5 MB/sn'yi aşarsa karmaşık eklenti kombinasyonlarından kaçının. Bunun yerine, basit işlemeler için özel bir eklenti kullanın ve gelişmiş işlemeler için veri dönüşümü uygulayın.
-
Günlük toplama sınırlamaları
Özel eklentiler, satır modundaki metin günlüklerini işler ve dosya düzeyindeki meta verileri (örneğin
__tag__:__path__ve__topic__) her günlük girişinde depolar.-
Özel bir eklenti eklemek etiketle ilgili özellikleri etkiler:
Bağlam sorgusu ve LiveTail özelliği kullanılamaz. Bu özellikleri kullanmak için bir aggregators yapılandırması eklemeniz gerekir.
__topic__alanı__log_topic__olarak yeniden adlandırılır. Bir aggregators yapılandırması eklerseniz günlüklerde hem__topic__hem de__log_topic__alanları bulunur.__log_topic__alanına ihtiyacınız yoksa bunu silmek için processor_drop eklentisini kullanabilirsiniz.__tag__:__path__gibi alanların artık yerleşik bir alan dizini yoktur. Bunlar için alan dizini oluşturmanız gerekir.
Yerel filtre eklentisi
Yerel filtre eklentisi, günlükleri alan değerlerine göre filtreler.
Yapılandırma
|
Parametre |
Açıklama |
|
Whitelist |
Belirli koşulları karşılayan yalnızca günlükleri toplamak için bir izin listesi tanımlayın. Hedef alan adını ve filtreleme için bir düzenli ifade belirtmeniz gerekir. Düzenli ifadenin tüm dizeyle eşleşmesi gerekir. Kısmi eşleşmeler desteklenmez. Düzenli ifade yazma hakkında ayrıntılı bilgi için bkz. Düzenli İfade Öğreticisi. İzin listesindeki birden çok koşul mantıksal VE ile birleştirilir. Aşağıda örnekler verilmiştir:
|
Günlük filtreleme eklentileri (gelişmiş)
Günlükleri filtrelemek için processor_filter_regex eklentisini veya processor_filter_key_regex eklentisini kullanın. Bu konuda her bir eklenti için parametreler açıklanmakta ve yapılandırma örnekleri sunulmaktadır.
Sınırlamalar
Form tabanlı yapılandırma yalnızca metin günlükleri ve konteyner standart çıkışı için kullanılabilir. Diğer tüm kaynaklar için JSON tabanlı yapılandırmayı kullanmanız gerekir.
-
Go düzenli ifade motoru RE2 temel alınarak oluşturulmuştur ve PCRE motoruna kıyasla aşağıdaki sınırlamalara sahiptir:
-
Adlı yakalama gruplarında sözdizimi farklılıkları
Go,
(?P<name>...)sözdizimini kullanırken PCRE(?<name>...)sözdizimini kullanır. -
Desteklenmeyen düzenli ifade desenleri
Lookaround (İleri/Geri bakış):
(?=...),(?!...),(?<=...)ve(?<!...).Koşullu ifadeler:
(?(condition)true|false).Özyinelemeli eşleşme:
(?R)ve(?0).Alt yordam referansları:
(?&name)ve(?P>name).Atomik gruplar:
(?>...).
Regex101 gibi araçlarla düzenli ifadelerde hata ayıklarken, işleme hatalarını önlemek için yukarıda listelenen desteklenmeyen desenlerden kaçının.
-
processor_filter_regex (Değere göre filtreleme)
processor_filter_key_regex (Anahtara göre filtreleme)
İlgili Konular
-
API kullanarak bir Logtail işlem hattı yapılandırın:
-
Konsolda bir işlemci eklentisi yapılandırın:
Kubernetes CRD kullanarak bir kümeden konteyner günlüklerini (stdout/dosya) toplama