AliyunPipelineConfig, Logtail toplama yapılandırmalarını Kubernetes YAML dosyaları aracılığıyla yönetmenizi sağlayan bir Simple Log Service CRD'sidir.
Önkoşullar
Logtail bileşenleri v0.5.1 veya üzeri sürümde yüklenmiştir. Daha fazla bilgi için bkz. ACK kümesinde Logtail bileşenlerini yükleme ve Kendi kendine yönetilen Kubernetes kümesinde Logtail bileşenlerini yükleme.
-
Hedef konteyner aktif olarak günlük oluşturmaktadır.
ÖnemliLogtail yalnızca artımlı günlükleri toplar. Yapılandırma tesliminden sonra bir günlük dosyası güncellenmezse Logtail bu dosyayı atlar. Günlükleri okuma.
Yordam
alibaba-log-controller, AliyunPipelineConfig tarafından tanımlanan Logtail toplama yapılandırmalarını sunucuyla düzenli olarak senkronize eder. CR tarafından oluşturulan bir yapılandırmayı değiştirmek için CR'yi doğrudan güncelleyin. Konsol üzerinden oluşturulan yapılandırmalar CR'ler tarafından üzerine yazılır; bu nedenle yalnızca tek bir yönetim yöntemi kullanın.
Bir iLogtail toplama yapılandırması oluşturun
Bir AliyunPipelineConfig CR'si oluşturun. alibaba-log-controller bileşeni ilgili Logtail toplama yapılandırmasını otomatik olarak oluşturur ve uygular.
Yordam:
Küme kubeconfig dosyasını alın ve kubectl kullanarak kümeye bağlanın.
Bir
cube.yamldosyası oluşturun. Gerektiğinde dosya adını değiştirin.
vim cube.yaml
Aşağıdaki içeriği YAML dosyasına ekleyin ve parametreleri gerektiği gibi yapılandırın. CR yapısındaki parametreler hakkında daha fazla bilgi için bkz. CR parametreleri.
apiVersion: telemetry.alibabacloud.com/v1alpha1 # Fixed value. Do not modify.
kind: ClusterAliyunPipelineConfig # Fixed value. Do not modify.
metadata:
name: test-config # Specify a resource name. The name must be unique within the current Kubernetes cluster.
spec:
project: # Set the destination project name.
name: k8s-your-project
config: # Define the iLogtail collection configuration.
inputs: # Specify input plug-ins.
...
flushers: # Specify output plug-ins.
...
AliyunPipelineConfigCR'sini uygulayın.alibaba-log-controllerLogtail toplama yapılandırmasını oluşturur ve veri toplamaya başlar.cube.yamlifadesini gerçek dosya adınızla değiştirin.
kubectl apply -f cube.yaml
Bir iLogtail toplama yapılandırmasını görüntüleyin
-
Kümedeki tüm
AliyunPipelineConfigyapılandırmalarını listeleyin.AliyunPipelineConfigtarafından oluşturulan tüm yapılandırmaları görüntülemek için aşağıdaki komutu çalıştırın.kubectl get clusteraliyunpipelineconfigs -
Belirli bir
AliyunPipelineConfigyapılandırmasının ayrıntılarını ve durumunu görüntüleyin.<config_name>ifadesiniAliyunPipelineConfigadınızla değiştirin.kubectl get clusteraliyunpipelineconfigs <config_name> -o yamlYapılandırmanın uygulandığını doğrulamak için çıktıda status alanını kontrol edin.
apiVersion: telemetry.alibabacloud.com/v1alpha1 kind: ClusterAliyunPipelineConfig metadata: creationTimestamp: null finalizers: - finalizer.pipeline.alibabacloud.com name: example-config # Expected configuration spec: config: flushers: - Endpoint: cn-hangzhou-intranet.log.aliyuncs.com Logstore: example-config-logstore Region: cn-hangzhou TelemetryType: logs Type: flusher_sls inputs: - FilePaths: - /var/log/*.log Type: input_file processors: - SourceKey: content Type: processor_parse_json_native logstores: - name: example-config-logstore project: name: k8s-log-clusterid # Application status status: # Whether the CR is successfully applied success: true # Current status message of the CR message: success # Update time of the current status lastUpdateTime: "2024-06-13T12:02:19.133422+08:00" # Configuration information from the last successful application. This configuration includes filled default values and is the one currently in effect. lastAppliedConfig: # Time of the last successful application appliedTime: "2024-06-13T12:02:19.133422+08:00" # Details of the last successfully applied configuration config: configTags: sls.crd.cluster: clusterid sls.crd.kind: ClusterAliyunPipelineConfig sls.logtail.channel: CRD flushers: - Endpoint: cn-hangzhou-intranet.log.aliyuncs.com Logstore: example-config-logstore Region: cn-hangzhou TelemetryType: logs Type: flusher_sls global: null inputs: - FilePaths: - /var/log/*.log Type: input_file name: example-config processors: - SourceKey: content Type: processor_parse_json_native logstores: - appendMeta: true autoSplit: true encryptConf: {} maxSplitShard: 64 name: example-config-logstore shardCount: 2 ttl: 30 machineGroups: - name: k8s-group-clusterid project: description: k8s log project, created by alibaba cloud log controller endpoint: cn-hangzhou.log.aliyuncs.com name: k8s-log-clusterid
Bir iLogtail toplama yapılandırmasını güncelleyin
Mevcut AliyunPipelineConfig YAML dosyasını değiştirin ve yeniden uygulayın.
Küme kubeconfig dosyasını alın ve kubectl kullanarak kümeye bağlanın.
AliyunPipelineConfigdosyasını düzenleyin.cube.yamlifadesini gerçek dosya adınızla değiştirin.
vim cube.yaml
YAML dosyasındaki yapılandırma parametrelerini değiştirin.
Güncellenmiş yapılandırmayı uygulayın.
cube.yamlifadesini gerçek dosya adınızla değiştirin.
kubectl apply -f cube.yaml
Bir iLogtail toplama yapılandırmasını silin
İlgili CR'yi silin. <config_name> ifadesini AliyunPipelineConfig adınızla değiştirin.
kubectl delete clusteraliyunpipelineconfigs <config_name>
Silme işleminden sonra CR serbest bırakılır.
Silme işlemi başarısız olursa CR serbest bırakılmaz. CR status alanında hatayı kontrol edin. CR'yi zorla silmek için metadata alanından finalizers alanını manuel olarak kaldırın.
CR parametreleri
-
apiVersion
Değer sabit olarak
telemetry.alibabacloud.com/v1alpha1şeklindedir. -
kind
Değer sabit olarak
ClusterAliyunPipelineConfigşeklindedir. -
metadata
Parametre
Veri türü
Gerekli
Açıklama
name
string
Evet
CR tanımlayıcısıdır ve iLogtail toplama yapılandırma adı olarak da kullanılır.
Not:
Proje içinde benzersiz olmalı ve oluşturulduktan sonra değiştirilemez. Gereksinimler:
Yalnızca küçük harfler, rakamlar, tire (-) ve alt çizgi (_) içerebilir.
Küçük harf veya rakamla başlamalı ve bitmelidir.
Uzunluk: 2 ila 128 karakter.
-
spec
Parametre
Veri türü
Gerekli
Açıklama
project
Evet
Hedef proje bilgileri.
NotCR oluşturulduktan sonra değiştirilemez. Projeleri değiştirmek için yeni bir CR oluşturun.
config
Evet
iLogtail toplama yapılandırma ayrıntıları.
logstores
Hayır
Oluşturulacak Logstore'lar.
NotAd dışındaki tüm parametreler yalnızca Logstore oluşturulurken etkili olur.
Bu liste yalnızca Logstore'ları oluşturur; hedef Logstore'u ayarlamaz. Hedef, config içindeki flusher eklentisi tarafından belirlenir. Hedef Logstore zaten varsa boş bırakın.
Logstore tanımları ekleyebilir veya silebilirsiniz ancak mevcut olanları değiştiremezsiniz.
machineGroups
Hayır
Yapılandırma ile ilişkilendirilecek makine grupları. SLS,
logtail-dsyüklendiğinde otomatik olarakk8s-group-${your_k8s_cluster_id}adlı varsayılan bir grup oluşturur. Varsayılan olarak liste yalnızca bu makine grubunu içerir.Notalibaba-log-controller, yalnızca listelenen makine gruplarının ilişkilendirildiğini sağlar. Listelenmeyen grupların ilişkisi kaldırılır.
enableUpgradeOverride
bool
Hayır
Varsayılan değer: false. Kümedeki bir AliyunLogConfig bu AliyunPipelineConfig ile aynı iLogtail yapılandırmasına işaret ettiğinde:
true: alibaba-log-controller, mevcut AliyunLogConfig tarafından tanımlanan yapılandırmanın üzerine yazar.
false: Çakışma oluşur ve AliyunPipelineConfig uygulanamaz.
NotAynı iLogtail toplama yapılandırmasına işaret eden tanımlar:
Kaynak ve hedef projeler aynıdır.
AliyunLogConfig için proje, küme varsayılan projesi veya spec.project'tir. AliyunPipelineConfig için proje spec.project.name'dir.
Aynı iLogtail toplama yapılandırma adı.
AliyunLogConfig'de parametre spec.logtailConfig.configName'dir. AliyunPipelineConfig'de parametre metadata.Name'dir.
Üzerine yazarak yükseltme tanımı:
Önce AliyunPipelineConfig etkili olur ve iLogtail toplama yapılandırmasını günceller.
Ardından, AliyunPipelineConfig başarılı olursa sistem aynı iLogtail toplama yapılandırmasına işaret eden kümedeki AliyunLogConfig'i siler.
Son olarak, üzerine yazma yükseltmesi tamamlanır.
-
PipelineProject
NotCR oluşturulduktan sonra değiştirilemez. Projeleri değiştirmek için yeni bir CR oluşturun.
Parametre
Veri türü
Gerekli
Açıklama
name
string
Evet
Hedef proje adı.
NotSLS, proje yoksa otomatik olarak oluşturur.
description
string
Hayır
Proje açıklaması.
NotYalnızca proje oluşturma sırasında etkilidir.
endpoint
string
Hayır
Hedef projenin hizmet uç noktası. Daha fazla bilgi için bkz. Uç nokta. Varsayılan olarak, geçerli kümenin bulunduğu bölge için uç nokta kullanılır. Hedef proje ve küme farklı bölgelerdeyse bu parametreyi yapılandırın.
NotBu parametre yalnızca toplama yapılandırmasının bölgesini kontrol eder. iLogtail verilerini bu bölgeye göndermek için iLogtail'in config_server_address ve data_server_list parametrelerini ayrıca yapılandırın. Daha fazla bilgi için bkz. Logtail yapılandırma dosyaları ve kayıt dosyaları.
uid
string
Hayır
Hedef hesap UID'si. Varsayılan olarak geçerli kümenin hesabı kullanılır. Hesaplar arası veri gönderimi için bu parametreyi ayarlayın ve ilgili ortam değişkenini yapılandırın:
alibaba-log-controller kullanıyorsanız
ALICLOUD_LOG_ACCOUNT_INFOS={"<uid>":{"accessKeyID":"<your_access_key_id>","accessKeySecret":"<your_access_key_secret>"}}ayarlayın;loongcollector-operator kullanıyorsanız
GLOBAL_ACCOUNT_INFOS={"<uid>":{"accessKeyID":"<your_access_key_id>","accessKeySecret":"<your_access_key_secret>"}}ayarlayın.
NotBu yalnızca proje sahibi hesabını kontrol eder. iLogtail verilerini bu hesaba göndermek için iLogtail kullanıcı kimliğini ayrıca yapılandırın. Kullanıcı kimliği yapılandırma.
-
PipelineConfig
Parametreler CreateLogtailPipelineConfig API'sini takip eder. configName,
metadata.namekullanır ve ayrı olarak ayarlanamaz.Parametre
Veri türü
Gerekli
Açıklama
sample
string
Hayır
Günlük örneği. Birden çok günlüğü destekler, toplamda en fazla 1.500 bayt.
global
object
Hayır
Genel yapılandırma. Daha fazla bilgi için bkz. İstek parametreleri.
inputs
object list
Evet
Giriş eklenti listesi, İstek parametrelerine göre yapılandırılır.
NotYalnızca bir giriş eklentisine izin verilir.
processors
object list
Hayır
İşleme eklenti listesi, İstek parametrelerine göre yapılandırılır.
aggregators
object list
Hayır
Toplama eklenti listesi, İstek parametrelerine göre yapılandırılır.
flushers
object list
Evet
Çıkış eklenti listesi, İstek parametrelerine göre yapılandırılır.
NotYalnızca bir flusher_sls eklentisine izin verilir.
configTags
map
Hayır
iLogtail toplama yapılandırması için özel etiketler.
-
PipelineLogstore
NotAd dışındaki tüm parametreler yalnızca Logstore oluşturma sırasında etkilidir.
Parametre
Veri türü
Gerekli
Açıklama
name
string
Evet
Logstore adı.
queryMode
string
Hayır
Hedef Logstore türü. Daha fazla bilgi için bkz. Temel kavramlar. Varsayılan: standard. Geçerli değerler:
query: Sorgu Logstore'u
standard: Standart Logstore
ttl
int
Hayır
Gün cinsinden veri saklama süresi. Daha fazla bilgi için bkz. Logstore'ları yönetme. Varsayılan: 30. Geçerli değerler: 1 ila 3650. 3650 kalıcı saklamayı gösterir.
hotTtl
int
Hayır
Sıcak veri depolama süresi (gün cinsinden). Varsayılan: 0. ttl değerinden küçük ve 7'den büyük veya eşit olmalıdır.
infrequentAccessTTL
int
Hayır
IA depolama süresi (gün cinsinden). Varsayılan: 0.
hotTtlgerektirir.ttldeğerinden küçük ve 30'dan büyük veya eşit olmalıdır.hotTtl+infrequentAccessTTLdeğerittldeğerine eşit değilsettl-(hotTtl+infrequentAccessTTL)değeri de 60'tan büyük veya eşit olmalıdır.loongcollector-operatorv1.0.6 veya sonraki sürümü gerektirir.shardCount
int
Hayır
Parça sayısı. Daha fazla bilgi için bkz. Logstore'ları yönetme. Varsayılan: 2. Geçerli değerler: 1 ila 100.
maxSplitShard
int
Hayır
Otomatik parçalama için maksimum parça sayısı. Daha fazla bilgi için bkz. Logstore'ları yönetme. Varsayılan: 64. Geçerli değerler: 1 ila 256.
autoSplit
bool
Hayır
Otomatik parça bölmeyi etkinleştirir. Daha fazla bilgi için bkz. Logstore'ları yönetme. Varsayılan: true.
telemetryType
string
Hayır
Gözlemlenebilir veri türü. Ayrıntılar: Logstore oluşturma. Varsayılan: None. Geçerli değerler:
None: günlük türü.
Metrics: ölçüm türü.
appendMeta
bool
Hayır
Genel IP adresi kaydını etkinleştirir. Daha fazla bilgi için bkz. Logstore'ları yönetme. Varsayılan: true.
enableTracking
bool
Hayır
Web İzlemeyi etkinleştirir. Daha fazla bilgi için bkz. Logstore'ları yönetme. Varsayılan: false.
encryptConf
object
Hayır
Şifreleme yapılandırması. Daha fazla bilgi için bkz. EncryptConf. Varsayılan: boş.
meteringMode
string
Hayır
Faturalandırma modu. Daha fazla bilgi için bkz. Logstore'ları yönetme. Varsayılan: boş. Geçerli değerler:
ChargeByFunction: işlev bazında ödeme
ChargeByDataIngest: alınan veri bazında ödeme
NotLogstore'un queryMode değeri query ise yalnızca ChargeByFunction desteklenir.
Hesabınız için alınan veri bazında faturalandırma etkinleştirilmemişse bu parametreyi ChargeByDataIngest olarak ayarlayamazsınız.
index
object
Hayır
Dizin yapılandırması, yalnızca Logstore oluşturma sırasında etkilidir. Format: index. loongcollector-operator v1.0.6 veya sonraki sürümü gerektirir.
-
PipelineMachineGroup
Parametre
Veri türü
Gerekli
Açıklama
name
string
Evet
Yapılandırma ile ilişkilendirilecek makine grubu adı.
NotMakine grubu yoksa alibaba-log-controller tanımlayıcı tabanlı bir makine grubunu otomatik olarak oluşturur. Daha fazla bilgi için bkz. Tanımlayıcı tabanlı özel makine grubu oluşturma. Yalnızca oluşturma sırasında etkilidir.