Günlük toplama kurallarını yapılandırılmış bir YAML dosyasında tanımlayın ve kubectl kullanarak dosyayı göndererek bir ClusterAliyunPipelineConfig oluşturun. Bu konu, YAML dosya yapısını ve alan tanımlarını açıklar.
CustomResourceDefinition (CRD) kullanılarak oluşturulan toplama yapılandırmaları için Custom Resource (CR), tek doğru kaynaktır. Bu yapılandırmaları Simple Log Service konsolunda değiştirmeyin. Konsolda yapılan değişiklikler CR tarafından üzerine yazılır; bu durum veri formatı hatalarına veya veri kaybına neden olabilir.
Çalışma şekli
CR oluşturma: Toplama kurallarını bir
ClusterAliyunPipelineConfigYAML dosyasında tanımlayın ve ardından kubectl kullanarak dosyayı gönderin.Denetleyici değişiklikleri izler: loongcollector-operator, kümedeki CR'lerdeki değişiklikleri sürekli olarak izler.
Yapılandırmayı eşitleme: Bir CR değişikliği algılandığında operator, CR'yi belirli bir yapılandırmaya dönüştürür ve belirtilen projeye gönderir.
Toplayıcı en son yapılandırmayı çeker: loongcollector-ds, en son toplama yapılandırmasını çekmek için Simple Log Service'e düzenli olarak heartbeat gönderir ve bunu hot-reload ile uygular.
Toplamayı ve raporlamayı başlatma: loongcollector-ds, en son yapılandırmaya göre günlükleri toplar ve yapılandırılmış uç nokta kullanarak günlükleri SLS'e gönderir.
Temel alanlar
Tüm yapılandırmalar, API sürümünü ve kaynak türünü aşağıdaki gibi tanımlayarak başlamalıdır:
apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig
Yapı örneği
apiVersion: telemetry.alibabacloud.com/v1alpha1 # Use the default value. Do not modify.
kind: ClusterAliyunPipelineConfig # Use the default value. Do not modify.
metadata:
name: test-config # Set the resource name. It must be unique within the current Kubernetes cluster.
spec:
project: # Set the name of the destination project.
name: k8s-your-project
config: # Set the Logtail collection configuration.
inputs: # Set the input plugins for the Logtail collection configuration.
...
flushers: # Set the output plugins for the Logtail collection configuration.
...
Ana parametreler
metadata.name
Toplama yapılandırmasının adı. Zorunludur. Ad, proje içinde benzersiz olmalı ve oluşturulduktan sonra değiştirilememelidir.
|
Adlandırma kuralı:
|
Örnek:
|
spec.project
Toplama yapılandırması için hedef proje.
CR oluşturulduktan sonra proje değiştirilemez. Farklı bir projeye geçmek için yeni bir CR oluşturun.
|
Parametre |
Veri türü |
Zorunlu |
Açıklama |
|
name |
string |
Evet |
Hedef projenin adı. Proje yoksa otomatik olarak oluşturulur. |
|
description |
string |
Hayır |
Projenin açıklaması. Bu parametre yalnızca proje oluşturulduğunda etkili olur. |
|
endpoint |
string |
Hayır |
Projenin bulunduğu bölgenin uç noktası. Varsayılan değer, kümenin bölgesidir.
|
|
uid |
string |
Hayır |
Hedef projeye sahip Alibaba Cloud hesabının UID'si. Varsayılan değer, geçerli kümenin ait olduğu Alibaba Cloud hesabının UID'sidir.
|
spec.config
Giriş, işleme ve çıkış eklentilerini tanımlayan toplama yapılandırmasının ana gövdesi.
|
Alt alan |
Tür |
Zorunlu |
Açıklama |
|
|
string |
Hayır |
Bir günlük örneği. Birden çok günlük sağlayabilirsiniz. Toplam uzunluk 1.500 baytı aşamaz. |
|
|
object |
Hayır |
|
|
|
Nesne listesi |
Evet |
Giriş eklentilerinin listesi. Yalnızca bir giriş eklentisine izin verilir. |
|
|
Nesne listesi |
Hayır |
İşleme eklentilerinin listesi: |
|
|
Nesne listesi |
Evet |
Çıkış eklentilerinin listesi. Şu anda yalnızca bir |
spec.LogStores
İsteğe bağlı. Otomatik olarak oluşturulacak Logstore'ları bildirir. Aşağıdakileri dikkate alın:
Yalnızca oluşturma sırasında etkili:
namedışındaki tüm parametreler yalnızca bir Logstore oluşturulduğunda uygulanır. Logstore zaten varsa sistem bu ayarları yoksayar ve mevcut Logstore özelliklerini değiştirmez.Veri hedefini belirlemez: Bu liste, günlükler için hedef Logstore'u belirlemez. Gerçek hedef,
config.flushersbölümündeki çıkış eklentisi tarafından belirlenir; örneğinflusher_sls.İsteğe bağlı yapılandırma: Hedef Logstore zaten varsa bunu bu yapılandırmaya dahil etmeniz gerekmez.
Yalnızca ekleme ve silme işlemlerini destekler: Listeye yeni Logstore'lar ekleyebilir veya listeden öğeleri kaldırabilirsiniz. Ancak mevcut bir Logstore'un TTL veya parça sayısı gibi özelliklerini değiştirmek için bu yapılandırmayı değiştiremezsiniz. Bu özellikleri değiştirmek için konsolu veya bir API işlemi kullanın.
|
Parametre |
Veri türü |
Zorunlu |
Açıklama |
|
name |
string |
Evet |
Oluşturulacak Logstore'un adı. |
|
queryMode |
string |
Hayır |
Logstore teknik özellikleri. Varsayılan değer
|
|
ttl |
int |
Hayır |
Gün cinsinden veri saklama süresi. Geçerli değerler: 1 ila 3650. Varsayılan değer 30'dur. 3650 değeri kalıcı depolamayı gösterir. |
|
hotTtl |
int |
Hayır |
Gün cinsinden sıcak veri depolama süresi. Varsayılan değer 0'dır. Değer ttl'den küçük ve 7'den büyük veya eşit olmalıdır. |
|
infrequentAccessTTL |
int |
Hayır |
Hedef LogStore için gün cinsinden seyrek erişim depolama süresi. Varsayılan değer 0'dır. Değer 30'dan büyük veya eşit ve ttl'den küçük olmalıdır ve hotTtl parametresi belirtilmelidir. hotTtl + infrequentAccessTTL ttl'ye eşit değilse aşağıdaki koşul da sağlanmalıdır: |
|
shardCount |
int |
Hayır |
Parça sayısı. Varsayılan değer 2'dir. Geçerli değerler: 1 ila 100. |
|
maxSplitShard |
int |
Hayır |
Otomatik olarak bölünebilecek maksimum parça sayısı. Varsayılan değer 64'tür. Geçerli değerler: 1 ila 256. |
|
autoSplit |
bool |
Hayır |
Otomatik parça bölmenin etkinleştirilip etkinleştirilmeyeceğini belirtir. Varsayılan değer: true. |
|
telemetryType |
string |
Hayır |
Gözlemlenebilir veri türü. Varsayılan değer None'dır. Geçerli değerler:
|
|
appendMeta |
bool |
Hayır |
Genel IP adresinin ve günlük alma zamanının kaydedilip kaydedilmeyeceğini belirtir. Varsayılan değer: true.
|
|
enableTracking |
bool |
Hayır |
Web izlemenin etkinleştirilip etkinleştirilmeyeceğini belirtir. Varsayılan değer: false. |
|
encryptConf |
object |
Hayır |
Şifreleme yapılandırması veri yapısı. |
|
meteringMode |
string |
Hayır |
Faturalama modu. Daha fazla bilgi için bkz. Logstore yönetme. Bu alan varsayılan olarak boştur. Geçerli değerler:
Not
queryMode değeri query olarak ayarlanmış bir Logstore yalnızca özellik bazlı ödeme faturalama modunu destekler. Hesabınızda alınan veri bazlı ödeme etkinleştirilmemişse bu parametreyi ChargeByDataIngest olarak ayarlayamazsınız. |
|
index |
object |
Hayır |
Dizin yapılandırması. Bu parametre yalnızca LogStore oluşturulduğunda uygulanır. Biçim için bkz. index. Bu özellik |
spec.machineGroups
Bu toplama yapılandırmasını kullanabilecek makine grupları.
Varsayılan davranış: LoongCollector yüklendiğinde sistem otomatik olarak
k8s-group-${clusterId}adlı bir makine grubu oluşturur.machineGroupsparametresini açıkça belirtmezseniz bu toplama yapılandırması varsayılan olarak bu makine grubuyla ilişkilendirilir.Eşitleme mekanizması:
loongcollector-operator, toplama yapılandırmasıyla ilişkili makine gruplarınınmachineGroupslistesinde tanımlananlarla tam olarak eşleşmesini sağlar. Sistem bu listede olmayan herhangi bir makine grubunun ilişkisini otomatik olarak kaldırır.Otomatik oluşturma desteği: Belirtilen bir makine grubu yoksa sistem aynı ada sahip bir tanımlayıcı tabanlı makine grubu otomatik olarak oluşturur ve bunu geçerli toplama yapılandırmasına ekler.
|
|
|
|
|
|
|
|
|
|
spec.enableUpgradeOverride
İsteğe bağlı. Farklı toplama yapılandırması sürümleri arasındaki çakışmaları çözmek için sistemin önceki yapılandırmaların üzerine yazıp yazmayacağını belirtir. Varsayılan değer: false.
true:loongcollector-operator, AliyunLogConfig tarafından tanımlanan mevcut toplama yapılandırmasının üzerine yazar ve yükseltir.false: Toplama yapılandırmasında bir çakışma varsa AliyunPipelineConfig uygulanamaz.
Senaryo: Kümede bir toplama yapılandırması tanımlayan bir AliyunLogConfig kaynağı zaten mevcutken ve aynı toplama yapılandırmasına başvuran bir AliyunPipelineConfig uygulandığında çakışma oluşur.
Aynı toplama yapılandırmasının tanımı:
-
Aynı proje
AliyunLogConfig: Kümenin varsayılan projesini veyaspec.projectkullanır.AliyunPipelineConfig:spec.project.namekullanır.
-
Aynı toplama yapılandırması adı
AliyunLogConfig:spec.logtailConfig.configNameAliyunPipelineConfig:metadata.name
Yükseltme süreci:
Yeni yapılandırmayı uygulama: Denetleyici, günlük toplama yapılandırmasını güncellemek için
ClusterAliyunPipelineConfiguygular.Eski yapılandırmayı kaldırma: Başarılı bir güncellemeden sonra denetleyici, kümeden ilgili eski
AliyunLogConfigkaynağını otomatik olarak siler.Geçiş tamamlandı: Eski yapılandırmadan yeni yapılandırmaya geçiş tamamlanır.