Günlük toplama yapılandırmalarını sürüm kontrolü, ortama özel dağıtımlar ve ACK ile kendi kendine yönetilen kümeler arasında CI/CD işlem hatları aracılığıyla otomatik sürümler için kubectl veya Kubernetes CRD'leri olarak tanımlayın. LoongCollector, yeniden başlatma gerektirmeden yapılandırma değişikliklerini sıcak yükler.
Eski AliyunLogConfig CRD kullanımdan kaldırılmıştır. Bunun yerine AliyunPipelineConfig kullanın. Karşılaştırma için CRD türleri konusuna bakın.
CRD tabanlı toplama yapılandırmaları yalnızca CRD güncellenerek değiştirilebilir. SLS konsolunda yapılan değişiklikler senkronize edilmez ve etkili olmaz.
Uygulanabilirlik
-
Çalışma ortamı
ACK kümeleri (yönetilen ve özel sürümler) ve kendi kendine yönetilen Kubernetes kümeleri.
Kubernetes sürümü 1.16.0 veya üzeri olmalı ve
Mount propagation: HostToContainerözelliğini desteklemelidir.-
konteyner çalışma zamanı (yalnızca Docker ve Containerd)
-
Docker:
docker.sock erişimi gerekir.
Standart çıkış toplama yalnızca JSON-file günlük sürücüsünü destekler.
Yalnızca overlay ve overlay2 depolama sürücüleri desteklenir. Diğer depolama sürücü türleri için günlük dizinlerini manuel olarak bağlamanız gerekir.
Containerd: containerd.sock erişimi gerekir.
-
-
Kaynak gereksinimleri: LoongCollector (Logtail), 'system-cluster-critical' öncelik sınıfıyla çalışır. Kümede yetersiz kaynak varsa dağıtmayın; bu durum düğümlerdeki Pod'ların tahliye edilmesine neden olabilir.
CPU: En az 0,1 Çekirdek ayırın.
Bellek: Toplama bileşeni için en az 150 MB, denetleyici bileşeni için en az 100 MB ayırın.
Gerçek kullanım, toplama hızına, izlenen dizinlere ve dosyalara ve gönderim tıkanıklığına bağlıdır. Kullanımı yapılandırılan sınırların %80'inin altında tutun.
-
İzin gereksinimleri: Dağıtmak için Alibaba Cloud hesabının veya RAM kullanıcısının AliyunLogFullAccess iznine sahip olması gerekir.
Özel bir ilke oluşturmak için AliyunCSManagedLogRolePolicy sistem ilkesine bakın. Bu ilkeden izinleri kopyalayın ve ayrıntılı izinleri yapılandırmak için hedef RAM kullanıcısına veya rolüne atayın.
Toplama yapılandırma iş akışı
LoongCollector'ı yükleme: Her küme düğümünde bir toplama konteyneri çalıştırmak için LoongCollector'ı DaemonSet olarak dağıtın. Bu yapılandırma, düğümdeki tüm konteynerler için merkezi günlük toplamayı sağlar.
Create a LogStore: LogStore, günlük verileri için bir depolama birimidir. Bir Project içinde birden fazla LogStore oluşturulabilir.
-
Bir toplama yapılandırması YAML dosyası oluşturun: kubectl kullanarak kümeye bağlanma. Toplama yapılandırma dosyasını iki yoldan birini kullanarak oluşturabilirsiniz:
-
Yöntem 1: Toplama yapılandırma oluşturucusunu kullanma
Log Service konsolundaki toplama yapılandırma oluşturucusunu kullanarak parametreleri görsel olarak yapılandırın ve otomatik olarak standart bir YAML dosyası oluşturun.
-
Yöntem 2: YAML dosyasını manuel yazma
Bu belgedeki örneklere dayanarak bir YAML dosyasını manuel olarak yazın. Aşamalı olarak ilerleyin: minimal bir yapılandırmayla başlayın, işleme mantığı ekleyin, ardından gelişmiş özellikleri etkinleştirin.
Bu belgede kapsanmayan karmaşık senaryolar veya derin özelleştirme gerektiren alanlar için, alanların tam listesini, değer kurallarını ve eklenti yetenek ayrıntılarını görmek üzere AliyunPipelineConfig parametre referansı konusuna bakın.
Tam bir toplama yapılandırması genellikle aşağıdaki bölümleri içerir:
Minimal yapılandırma (Zorunlu): Bu yapılandırma, veri işlem hattını kümeden Log Service'e oluşturur ve iki bölümden oluşur:
Girişler (
inputs): Günlük kaynağını tanımlar. Konteyner günlükleri için kaynaklar aşağıdaki iki türü içerir. MySQL sorgu sonuçları gibi diğer günlük türlerini toplamak için Giriş eklentileri konusuna bakın.Konteyner standart çıkışı (stdout ve stderr): Konteyner uygulamasının konsola yazdırdığı günlükler.
Metin günlük dosyaları: Konteyner içinde belirtilen bir yola yazılan günlük dosyaları.
Çıktılar (
flushers): Günlük hedefini tanımlar. Toplanan günlükler belirtilen LogStore'a gönderilir.Hedef Project veya LogStore yoksa sistem bunları otomatik olarak oluşturur. Ayrıca önceden manuel olarak bir Project ve bir LogStore oluşturabilirsiniz.
Yaygın işleme yapılandırmaları (İsteğe Bağlı): Ham günlüklerde yapısal ayrıştırma (regular expression veya ayırıcı ayrıştırma gibi), veri maskeleme veya filtreleme gerçekleştirmek için
processorsalanını tanımlayın.Bu belge yalnızca yaygın günlük işleme senaryolarını kapsayan yerel işleme eklentilerini açıklar. Daha fazla özellik için Genişletilmiş işleme eklentileri konusuna bakın.
Diğer gelişmiş yapılandırmalar (İsteğe Bağlı): Çok satırlı günlük toplama ve günlük etiketi zenginleştirme gibi daha spesifik toplama gereksinimlerini karşılamak için gelişmiş özellikleri etkinleştirir.
Yapı örneği:
apiVersion: telemetry.alibabacloud.com/v1alpha1 # Use the default value. Do not modify. kind: ClusterAliyunPipelineConfig # Use the default value. Do not modify. metadata: name: test-config # Set the resource name, which must be unique within the current Kubernetes cluster. spec: project: # Set the name of the target Project. name: k8s-your-project config: # Set the Logtail collection configuration. inputs: # Set the input plugins for the Logtail collection configuration. ... processors: # Set the processing plugins for the Logtail collection configuration. ... flushers: # Set the output plugins for the Logtail collection configuration. ... -
-
Yapılandırmayı uygulama
kubectl apply -f <your_yaml>
LoongCollector'ı (Logtail) yükleme
LoongCollector, SLS'nin yeni nesil günlük toplama aracıdır ve Logtail'in yükseltilmiş bir sürümüdür. İkisi birlikte çalışamaz. Bunun yerine Logtail yüklemek için Logtail'i yükleme ve yapılandırma konusuna bakın.
Temel LoongCollector kurulumu için şu adımları izleyin. Ayrıntılı parametreler için Kurulum ve yapılandırma konusuna bakın. LoongCollector veya Logtail zaten yüklüyse logstore oluşturma adımına geçin.
ACK kümesi
LoongCollector'ı Container Service for Kubernetes (ACK) konsolundan yükleyebilirsiniz. Varsayılan olarak günlükler, geçerli Alibaba Cloud hesabı altındaki bir Simple Log Service Project'e gönderilir.
ACK console üzerinde oturum açın. Sol gezinme bölmesinde Clusters seçeneğine tıklayın.
Clusters sayfasında hedef kümenin adını tıklayarak ayrıntılar sayfasını açın.
Sol gezinme bölmesinde Add-ons seçeneğine tıklayın.
-
Logs and Monitoring sekmesinde loongcollector öğesini bulun ve Install seçeneğine tıklayın.
NotBir küme oluştururken Component Configurations sayfasında Enable Log Service onay kutusunu seçin. Ardından Create Project veya Select Project seçeneklerinden birini seçebilirsiniz.
Kurulum tamamlandıktan sonra Simple Log Service, ACK kümenizin bölgesinde ilgili kaynakları otomatik olarak oluşturur. Bu kaynakları Simple Log Service console adresinde görüntüleyin.
Kaynak türü
Kaynak adı
Açıklama
Project
k8s-log-${cluster_id}Farklı hizmetlerin günlüklerini yalıtır.
Daha esnek günlük kaynağı yönetimi için bir Project oluşturmak üzere Project oluşturma konusuna bakın.
machine group
k8s-group-${cluster_id}Günlük toplama düğümlerinden oluşan bir grup.
ÖnemliLoongCollector, config-operation-log adlı bir logstore oluşturmaz. Bu ada sahip bir logstore zaten varsa LoongCollector buna günlük yazmayı durdurur.
Kendi kendine yönetilen küme
-
Kubernetes kümenize bağlanın. Ardından bölgeniz için uygun komutu çalıştırarak LoongCollector ve bağımlılıklarını indirin:
Çin anakarasındaki bölgeler için:
wget https://aliyun-observability-release-cn-shanghai.oss-cn-shanghai.aliyuncs.com/loongcollector/k8s-custom-pkg/3.0.12/loongcollector-custom-k8s-package.tgz; tar xvf loongcollector-custom-k8s-package.tgz; chmod 744 ./loongcollector-custom-k8s-package/k8s-custom-install.shÇin anakarası dışındaki bölgeler için:
wget https://aliyun-observability-release-ap-southeast-1.oss-ap-southeast-1.aliyuncs.com/loongcollector/k8s-custom-pkg/3.0.12/loongcollector-custom-k8s-package.tgz; tar xvf loongcollector-custom-k8s-package.tgz; chmod 744 ./loongcollector-custom-k8s-package/k8s-custom-install.sh -
loongcollector-custom-k8s-packagedizinine gidin ve./loongcollector/values.yamlyapılandırma dosyasını düzenleyin.# ===================== Required parameters ===================== # The Project where logs are sent. Example: k8s-log-custom-sd89ehdq. projectName: "" # The Project's region. Example: cn-shanghai. region: "" # The UID of the Alibaba Cloud account that owns the Project. Enclose the value in quotation marks. Example: "123456789" aliUid: "" # The network type. Valid values: Internet (public network) and Intranet (internal network). Default: Internet. net: Internet # The AccessKey ID and secret for an Alibaba Cloud account or RAM user that has the AliyunLogFullAccess policy. accessKeyID: "" accessKeySecret: "" # The custom cluster ID. The ID can contain only uppercase letters, lowercase letters, digits, and hyphens (-). clusterID: "" -
loongcollector-custom-k8s-packagedizininde LoongCollector ve bağımlılıklarını yüklemek için aşağıdaki komutu çalıştırın:bash k8s-custom-install.sh install -
Kurulum tamamlandıktan sonra bileşenlerin durumunu kontrol edin.
Pod'lar başlamazsa values.yaml yapılandırmasını doğrulayın ve gerekli görüntülerin çekildiğinden emin olun.
# Check pod status kubectl get po -n kube-system | grep loongcollector-dsSimple Log Service ayrıca aşağıdaki kaynakları otomatik olarak oluşturur. Bu kaynakları Simple Log Service console adresinde görüntüleyin.
Kaynak türü
Kaynak adı
Açıklama
Project
values.yaml dosyasında belirttiğinizprojectNamedeğeri
Farklı hizmetlerin günlüklerini yalıtır.
machine groupk8s-group-${cluster_id}
Günlük toplama düğümlerinden oluşan bir grup.ÖnemliLoongCollector, config-operation-log adlı bir logstore oluşturmaz. Bu ada sahip bir logstore zaten varsa LoongCollector buna günlük yazmayı durdurur.
Logstore Oluşturma
Zaten bir logstore oluşturduysanız bu adımı atlayıp doğrudan toplama yapılandırması bölümüne geçin.
Log Service konsolu üzerinde oturum açın ve ilgili projeyi seçin.
Sol gezinme bölmesinde
seçeneğini belirleyin ve + düğmesine tıklayın.-
Create Logstore sayfasında aşağıdaki temel parametreleri yapılandırın:
Logstore Name: Proje içinde benzersiz olan bir ad girin. Bu ad, oluşturma işleminden sonra değiştirilemez.
Logstore Type: Teknik özelliklerine göre Standard veya Query türünü seçin.
-
Billing Mode:
Pay-by-feature: Depolama, dizinleme ve okuma/yazma işlemleri gibi her kaynak için ayrı faturalandırılırsınız. Küçük ölçekli kullanım durumları veya özellik kullanımının belirsiz olduğu senaryolar için uygundur.
Pay-by-ingested-data: Yalnızca alınan ham veri miktarına göre faturalandırılırsınız. Bu mod, 30 günlük ücretsiz depolama süresi ve veri dönüştürme ile teslimat gibi ücretsiz özellikler sunar. Bu basit maliyet modeli, depolama süresinin 30 güne yakın olduğu veya veri işlem hattının karmaşık olduğu durumlar için idealdir.
Data Retention Period: Günlüklerin saklanacağı gün sayısını ayarlayın. Değer 1 ile 3650 gün arasında olabilir. 3650 değeri kalıcı depolamayı ifade eder. Varsayılan değer 30 gündür.
Diğer ayarları varsayılan değerlerinde bırakın ve OK düğmesine tıklayın. Logstore'ları yönetme hakkında daha fazla bilgi edinin.
Minimal yapılandırma
`spec.config` bölümünde, günlük kaynağını ve hedefini tanımlamak için giriş ve çıkış eklentilerini yapılandırırsınız.
Container standard output
Amaç: Doğrudan konsola yazdırılan konteyner standart çıktı günlüklerini (stdout/stderr) toplar.
Günlük kaynağını tanımlar. Şu anda yalnızca bir giriş eklentisi yapılandırabilirsiniz.
| Örnek |
Toplanan günlükleri bir Projedeki belirtilen Logstore'a gönderir. En fazla beş çıkış eklentisi yapılandırabilirsiniz.
|
Container text files
Amaç: Bir konteyner içindeki belirli bir dosya yoluna (örneğin access.log veya app.log) yazılan günlükleri toplar.
Günlük kaynağını tanımlar. Şu anda yalnızca bir giriş eklentisi yapılandırabilirsiniz.
| Örnek |
Toplanan günlükleri bir Projedeki belirtilen Logstore'a gönderir. En fazla beş çıkış eklentisi yapılandırabilirsiniz.
|
Genel yapılandırma
Minimal yapılandırmayı tamamladıktan sonra, ham günlükleri ayrıştırmak, maskelemek veya filtrelemek için processor eklentileri ekleyin.
Temel yapılandırma: İşleme eklentilerini yapılandırmak için, aynı anda birden fazla eklentiyi etkinleştirmenize olanak tanıyan spec.config bölümüne processors alanını ekleyin.
Bu konu yalnızca yaygın günlük işleme senaryolarını ele alan yerel işleme eklentilerini kapsamaktadır. Daha fazla özellik için genişletilmiş işleme eklentileri sayfasına bakın.
Logtail 2.0+ ve LoongCollector için aşağıdaki eklenti sıralama yönergelerini uygulayın:
Yerel eklentilere öncelik verin.
Yerel eklentiler ihtiyaçlarınızı karşılamıyorsa, genişletme eklentilerinin bunlardan sonra çalışacak şekilde yapılandırın.
Yerel eklentiler yalnızca genişletme eklentilerinden önce çalışabilir.
Yapılandırılmış yapılandırma
Regex parsing
Günlük alanlarını bir düzenli ifade kullanarak ayıklar ve günlükleri anahtar-değer çiftlerine dönüştürür.
Parameter | Example |
Type Değer | |
SourceKey Kaynak alanın adı. | |
Regex Günlüğü ayrıştırmak için kullanılan düzenli ifade. | |
Keys Ayıklanan alanlar için anahtar listesi. | |
KeepingSourceWhenParseFail Ayrıştırma başarısız olduğunda kaynak alanın korunup korunmayacağını belirtir. Varsayılan değer: | |
KeepingSourceWhenParseSucceed Ayrıştırma başarılı olduğunda kaynak alanın korunup korunmayacağını belirtir. Varsayılan değer: | |
RenamedSourceKey Kaynak alan korunduğunda kullanılacak yeni ad. Atlanırsa kaynak alan yeniden adlandırılmaz. |
Delimiter parsing
Tek veya çok karakterli bir sınırlayıcı kullanarak günlükleri anahtar-değer çiftlerine dönüştürür.
Parameter | Example |
Type Değer | |
SourceKey Kaynak alanın adı. | |
Separator Alan sınırlayıcısı. Örneğin, CSV dosyaları virgül (,) kullanır. | |
Keys Ayıklanan alanlar için anahtar listesi. | |
Quote Sınırlayıcı gibi özel karakterler içeren alanları çevrelemek için kullanılan tırnak karakteri. | |
AllowingShortenedFields Ayıklanan alan sayısının Keys tanımından daha az olmasına izin verilip verilmeyeceğini belirtir. Varsayılan değer: | |
OverflowedFieldsTreatment Keys tanımından daha fazla alan ayıklandığında izlenecek davranış. Varsayılan değer:
| |
KeepingSourceWhenParseFail Ayrıştırma başarısız olduğunda kaynak alanın korunup korunmayacağını belirtir. Varsayılan değer: | |
KeepingSourceWhenParseSucceed Ayrıştırma başarılı olduğunda kaynak alanın korunup korunmayacağını belirtir. Varsayılan değer: | |
RenamedSourceKey Kaynak alan korunduğunda kullanılacak yeni ad. Atlanırsa kaynak alan yeniden adlandırılmaz. |
Standard JSON parsing
Bir günlük alanındaki JSON nesnesini anahtar-değer çiftlerine dönüştürür.
Parameter | Example |
Type Değer | |
SourceKey Kaynak alanın adı. | |
KeepingSourceWhenParseFail Ayrıştırma başarısız olduğunda kaynak alanın korunup korunmayacağını belirtir. Varsayılan değer: | |
KeepingSourceWhenParseSucceed Ayrıştırma başarılı olduğunda kaynak alanın korunup korunmayacağını belirtir. Varsayılan değer: | |
RenamedSourceKey Kaynak alan korunduğunda kullanılacak yeni ad. Atlanırsa kaynak alan yeniden adlandırılmaz. |
CRD YAML içindeki parametre adları camelCase biçimini kullanır; örneğin RenamedSourceKey. snake_case biçimindeki adlar (örneğin renamed_source_key) geçerli değildir.
Nested JSON parsing
İç içe geçmiş bir JSON nesnesini anahtar-değer çiftlerine düzleştirir ve genişletme derinliğini belirtmenize olanak tanır.
Parameter | Example |
Type Değer | |
SourceKey Kaynak alanın adı. | |
ExpandDepth İç içe geçmiş JSON nesnesi için maksimum genişletme derinliği. Varsayılan değer: 0.
| |
ExpandConnector İç içe geçmiş bir JSON nesnesi düzleştirilirken anahtarlar arasında kullanılan bağlayıcı. Varsayılan değer: alt çizgi (_). | |
Prefix Genişletilen tüm alan adlarına eklenecek ön ek. | |
IgnoreFirstConnector Üst seviye alandan önceki bağlayıcının atlanıp atlanmayacağını belirtir. Varsayılan değer: | |
ExpandArray Dizi türlerinin genişletilip genişletilmeyeceğini belirtir. Varsayılan değer:
Not Bu parametre Logtail 1.8.0 ve sonraki sürümlerde desteklenir. | |
KeepSource Ayrıştırılan günlükte orijinal alanın korunup korunmayacağını belirtir. Varsayılan değer:
| |
NoKeyError Belirtilen kaynak alan bulunamadığında hata bildirilip bildirilmeyeceğini belirtir. Varsayılan değer:
| |
UseSourceKeyAsPrefix true olarak ayarlanırsa, genişletilen tüm alan adları için ön ek olarak kaynak alan adını kullanır. | |
KeepSourceIfParseError Ayrıştırma başarısız olduğunda ham günlüklerin korunup korunmayacağını belirtir. Varsayılan değer:
|
JSON dizi ayrıştırma
Bir JSON dizisinden JSON nesnesi ayıklamak için json_extract işlevini kullanın. JSON İşlevleri.
Parametre | Örnek |
Type Eklenti türü. SPL eklenti türü | |
Script İçerik alanındaki bir JSON dizisinden öğeleri ayıklamak için kullanılan SPL betiği. | |
TimeoutMilliSeconds Betiğin çalıştırma zaman aşımı (milisaniye cinsinden). Değer 0 ile 10.000 arasında olmalıdır. Varsayılan değer: 1.000. |
NGINX günlük ayrıştırma
log_format tanımınıza göre NGINX günlüklerini anahtar-değer çiftlerine ayrıştırır. Varsayılan format gereksinimlerinizi karşılamıyorsa özel bir format kullanabilirsiniz.
Parametre | Örnek |
Type
| |
SourceKey Kaynak alanının adı. | |
Regex NGINX günlüğünü ayrıştırmak için kullanılan düzenli ifade. | |
Keys Ayıklanan alanlar için anahtar listesi. | |
Extra
| |
KeepingSourceWhenParseFail Ayrıştırma başarısız olursa orijinal alanın korunup korunmayacağı. Varsayılan: | |
KeepingSourceWhenParseSucceed Ayrıştırma başarılı olduğunda orijinal alanın saklanıp saklanmayacağı. Varsayılan: | |
RenamedSourceKey Kaynak alanı korunursa verilecek yeni ad. Atlanırsa kaynak alan yeniden adlandırılmaz. |
Apache günlük ayrıştırma
Apache günlüklerini, Apache yapılandırma dosyanızda tanımlanan formata göre anahtar-değer çiftlerine ayrıştırır.
Parametre | Örnek |
Type
| |
SourceKey Kaynak alanının adı. | |
Regex Apache günlüğünü ayrıştırmak için kullanılan düzenli ifade. | |
Keys Ayıklanan alanlar için anahtar listesi. | |
Extra
| |
KeepingSourceWhenParseFail Ayrıştırma başarısız olursa orijinal alanın korunup korunmayacağı. Varsayılan: | |
KeepingSourceWhenParseSucceed Ayrıştırma başarılı olduğunda orijinal alanın korunup korunmayacağı. Varsayılan: | |
RenamedSourceKey Kaynak alanı korunursa verilecek yeni ad. Atlanırsa kaynak alan yeniden adlandırılmaz. |
Veri maskeleme
Günlüklerinizdeki hassas verileri maskelemek için processor_desensitize_native eklentisini kullanın.
Parametreler | Örnek |
Tür
| |
SourceKey Kaynak alanının adı. | |
Yöntem Maskeleme yöntemi. Desteklenen değerler:
| |
ReplacingString Hassas verilerin yerine geçen sabit dize. | |
ContentPatternBeforeReplacedString Hassas verilerden önce gelen içeriği eşleştiren düzenli ifade. | |
ReplacedContentPattern Hassas verileri eşleştiren düzenli ifade. | |
ReplacingAll Tüm eşleşmelerin değiştirilip değiştirilmeyeceğini belirtir. Varsayılan: |
İçerik filtreleme
Günlük alanı değerlerini bir düzenli ifadeyle eşleştirmek ve yalnızca eşleşen günlükleri tutmak için processor_filter_regex_native eklentisini yapılandırın.
Parametreler | Örnek |
Tür Eklenti türü. Bu değer | |
FilterRegex Günlük alanı değerlerini eşleştirmek için kullanılan düzenli ifadelerin listesi. | |
FilterKey FilterRegex kalıplarının uygulanacağı günlük alanı adlarının listesi. |
Zaman ayrıştırma
Bir günlükteki zaman alanını ayrıştırın ve sonucu günlüğün __time__ alanı olarak kullanın.
Anahtar alanlar | Örnek |
Tür Eklenti türü. | |
SourceKey Kaynak alanının adı. | |
SourceFormat Zaman biçimi. Bu değer, günlükteki zaman biçimiyle tam olarak eşleşmelidir. | |
SourceTimezone Kaynak zaman damgasının saat dilimi. Varsayılan: LoongCollector'ın çalıştığı makinenin saat dilimi. Biçim:
|
Gelişmiş yapılandırmalar
Minimal yapılandırma işlemini tamamladıktan sonra, daha ayrıntılı toplama için aşağıdaki gelişmiş ayarları kullanın:
Çok satırlı günlük toplamayı yapılandırın: Çok satırlı girişleri (yığın izlemeleri gibi) tek bir günlük kaydı olarak toplamak üzere, bir başlangıç deseni regex'i ile çok satırlı modu etkinleştirin.
Günlük konu türlerini belirtin: Daha kolay düzenleme ve erişim sağlamak amacıyla günlük akışlarına konular atayın.
Toplama için konteynerleri belirleyin (filtreleme ve engelleme listesi): Yalnızca belirli konteynerlerden ve yollardan günlük toplamak için izin listelerini ve engelleme listelerini kullanın.
Günlükleri etiketlerle zenginleştirin: Ortam değişkenlerinden ve pod etiketlerinden gelen meta verileri günlüklerinize etiket olarak ekleyin.
Çok satırlı günlük toplamayı yapılandırma
SLS varsayılan olarak günlükleri satır satır böler; bu durum, yığın izlemeleri gibi çok satırlı girdilerin ayrı kayıtlara ayrılmasına neden olur.
Çok satırlı girdileri tek bir günlük kaydı altında gruplamak için çok satırlı modu etkinleştirin ve bir başlangıç deseni regex'i yapılandırın.
Anahtar yapılandırma: spec.config.inputs yapılandırmasına Multiline parametresini ekleyin.
Alan ayrıntıları | Örnek |
Multiline Çok satırlı günlük toplamayı etkinleştirir.
| |
Günlük konu türleri
Anahtar yapılandırma: Günlük konusunu ayarlamak için spec.config bölümüne global parametresini ekleyin.
Alan ayrıntıları | Örnek |
TopicType Konu türü. Geçerli değerler:
| Makine grubu konusuDosya yolu çıkarmaCustom |
TopicFormat Konu formatı. |
Konteyner filtreleme ve engelleme listesi
Filtreleme
Yalnızca belirtilen koşullarla eşleşen konteynerlerden günlük toplayın. Birden fazla koşul mantıksal VE ile birleştirilir. Boş koşullar yoksayılır. Tüm koşullar normal ifadeleri destekler.
Anahtar yapılandırma: spec.config.inputs bölümünde ContainerFilters altında konteyner filtreleme parametrelerini yapılandırın.
Alan ayrıntıları | Örnek |
ContainerFilters Konteyner filtreleme ayarları.
Tüm normal ifade eşleştirmeleri, PCRE gibi motorlara kıyasla belirli sınırlamalara sahip olan Go dilinin RE2 motoruna dayanır. Normal ifadelerinizi Ek: Konteyner filtreleme için normal ifade sınırları bölümündeki yönergelere göre yazın. | |
Engelleme listesi
Belirtilen kriterlerle eşleşen dosyaları hariç tutun. Bunu yapmak için YAML yapılandırmanızda ihtiyaç duyduğunuz şekilde config.inputs altına aşağıdaki parametreleri ekleyin:
Alan ayrıntıları | Örnek |
ExcludeFilePaths Dosya yolu engelleme listesi. Belirtilen mutlak yollarla eşleşen dosyaları hariç tutar. Yollar | |
ExcludeFiles Dosya adı engelleme listesi. Eşleşen ada sahip dosyaları hariç tutar. Adlar | |
ExcludeDirs Dizin engelleme listesi. Belirtilen yollara göre dizinleri hariç tutar. Yollar mutlak olmalı ve |
Günlüklerin etiketlerle zenginleştirilmesi
Anahtar yapılandırma: spec.config.inputs bölümünde, konteyner ortam değişkenlerini ve pod etiketlerini günlük etiketlerine eşlemek için ExternalEnvTag ve ExternalK8sLabelTag parametrelerini yapılandırın.
Alan ayrıntıları | Örnek |
ExternalEnvTag Belirtilen bir ortam değişkeninin değerini bir günlük etiketine eşler. Format şöyledir: | |
ExternalK8sLabelTag Bir Kubernetes pod etiketinin değerini bir günlük etiketine eşler. Format şöyledir: |
Yapılandırma örnekleri
Kullanım durumu 1: Nginx erişim günlüklerini ayrıştırma
Bu yapılandırma, bir Nginx günlüğünü ayrıştırır ve içeriği log_format tanımına göre birden fazla anahtar-değer çifti halinde yapılandırır.
Kullanım durumu 2: Çok satırlı günlükleri işleme
SLS varsayılan olarak her satırı ayrı bir günlük girişi olarak değerlendirir; bu durum, yığın izlemeleri gibi çok satırlı günlüklerin birden fazla kayda bölünmesine neden olur.
Çok satırlı bir günlüğün tüm satırlarını tek bir giriş altında gruplamak için, bir başlangıç deseni regex'i ile çok satırlı modu etkinleştirin.
Sık Sorulan Sorular
Çoklu hedef dağıtımının yönetimi
Çoklu hedef dağıtımı yapılandırmaları birden fazla Logstore ile ilişkilendirilir ve proje düzeyindeki yönetim sayfasından yönetilmelidir:
Simple Log Service konsolu üzerinde oturum açın ve hedef projenin adını tıklayın.
-
Proje sayfasında, sol gezinme bölmesinde
seçeneğini tıklayın.NotBu sayfa, yanlışlıkla silinen Logstore'lardan kalan yapılandırmalar dahil olmak üzere projedeki tüm toplama yapılandırmalarını listeler.
ACK günlüklerini farklı bir hesaba ait projeye gönderme
ACK kümesine LoongCollector (Logtail) manuel olarak yükleyin ve bunu hedef hesabın kimlik bilgileriyle yapılandırarak günlükleri başka bir Alibaba Cloud hesabındaki bir projeye gönderin.
Kullanım durumu: Kurumsal yapı, izin yalıtımı veya birleşik izleme amacıyla ACK kümesinden ayrı bir hesap altındaki projeye günlük toplayın.
Yordam: Bu yordam, LoongCollector'ın nasıl manuel kurulacağını gösterir. Logtail'in nasıl yükleneceğini öğrenmek için bkz. Logtail'i yükleme ve yapılandırma.
-
Kubernetes kümenize bağlanın. Ardından, bölgeniz için uygun komutu çalıştırarak LoongCollector ve bağımlılıklarını indirin:
Çin anakarasındaki bölgeler için:
wget https://aliyun-observability-release-cn-shanghai.oss-cn-shanghai.aliyuncs.com/loongcollector/k8s-custom-pkg/3.0.12/loongcollector-custom-k8s-package.tgz; tar xvf loongcollector-custom-k8s-package.tgz; chmod 744 ./loongcollector-custom-k8s-package/k8s-custom-install.shÇin anakarası dışındaki bölgeler için:
wget https://aliyun-observability-release-ap-southeast-1.oss-ap-southeast-1.aliyuncs.com/loongcollector/k8s-custom-pkg/3.0.12/loongcollector-custom-k8s-package.tgz; tar xvf loongcollector-custom-k8s-package.tgz; chmod 744 ./loongcollector-custom-k8s-package/k8s-custom-install.sh -
loongcollector-custom-k8s-packagedizinine gidin ve./loongcollector/values.yamlyapılandırma dosyasını değiştirin.# ===================== Required parameters ===================== # The Project where logs are sent. Example: k8s-log-custom-sd89ehdq. projectName: "" # The Project's region. Example: cn-shanghai. region: "" # The UID of the Alibaba Cloud account that owns the Project. Enclose the value in quotation marks. Example: "123456789" aliUid: "" # The network type. Valid values: Internet (public network) and Intranet (internal network). Default: Internet. net: Internet # The AccessKey ID and secret for an Alibaba Cloud account or RAM user that has the AliyunLogFullAccess policy. accessKeyID: "" accessKeySecret: "" # The custom cluster ID. The ID can contain only uppercase letters, lowercase letters, digits, and hyphens (-). clusterID: "" -
loongcollector-custom-k8s-packagedizininde LoongCollector ve bağımlılıklarını yüklemek için aşağıdaki komutu çalıştırın:bash k8s-custom-install.sh install -
Yükleme tamamlandıktan sonra bileşenlerin durumunu kontrol edin.
Pod'lar başlamazsa values.yaml yapılandırmasını doğrulayın ve gerekli görüntülerin çekildiğinden emin olun.
# Check pod status kubectl get po -n kube-system | grep loongcollector-dsSimple Log Service ayrıca aşağıdaki kaynakları otomatik olarak oluşturur. Bu kaynakları Simple Log Service konsolunda görüntüleyin.
Kaynak türü
Kaynak adı
Açıklama
Proje
values.yaml dosyasında belirttiğinizprojectNamedeğeri
Farklı hizmetlerden gelen günlükleri yalıtır.
Makine grubuk8s-group-${cluster_id}
Günlük toplama düğümlerinden oluşan bir grup.ÖnemliLoongCollector, config-operation-log adlı bir logstore oluşturmaz. Bu ada sahip bir logstore zaten varsa LoongCollector buna günlük yazmayı durdurur.
Tek bir kaynak için birden fazla toplama işlemi
Varsayılan olarak SLS, kopyalamayı önlemek amacıyla her günlük kaynağını tek bir toplama yapılandırmasıyla sınırlar:
Bir metin günlük dosyası yalnızca bir Logtail toplama yapılandırmasıyla eşleşebilir.
Bir konteynerin standart çıktısı (stdout) yalnızca bir standart çıktı toplama yapılandırmasıyla eşleşebilir.
Simple Log Service konsolu üzerinde oturum açın ve hedef projeye gidin.
Sol gezinme bölmesinde
Logstores seçeneğini belirleyin ve hedef logstore'u bulun.Logstore'u genişletmek için adının yanındaki
simgesini tıklayın.Logtail Configuration öğesini tıklayın. Yapılandırma listesinde hedef Logtail yapılandırmasını bulun ve İşlemler sütunundaki Manage Logtail Configuration seçeneğini tıklayın.
-
Logtail Yapılandırmaları sayfasında Edit seçeneğini tıklayın ve Input Configurations bölümüne aşağı doğru kaydırın:
Metin dosyası günlüklerini toplamak için Allow File to Be Collected for Multiple Times seçeneğini etkinleştirin.
Konteyner standart çıktısını toplamak için Allow Collection by Different Logtail Configurations seçeneğini etkinleştirin.
Ek: Normal ifade sınırları (konteyner filtreleme)
Konteyner filtreleme için kullanılan normal ifadeler Go RE2 altyapısını kullanır ve bu altyapı PCRE'ye kıyasla sözdizimi sınırlamalarına sahiptir:
1. Adlandırılmış grup sözdizimindeki farklar
Go, adlandırılmış gruplar için (?P<name>...) sözdizimini kullanır. PCRE'de kullanılan (?<name>...) sözdizimini desteklemez.
Doğru örnek:
(?P<year>\d{4})Yanlış sözdizimi:
(?<year>\d{4})
2. Desteklenmeyen normal ifade özellikleri
RE2, yaygın ancak karmaşık olan aşağıdaki normal ifade özelliklerini desteklemez. Bunları kullanmaktan kaçının:
Onaylamalar:
(?=...),(?!...),(?<=...),(?<!...)Koşullu ifadeler:
(?(condition)true|false)Özyinelemeli eşleştirme:
(?R),(?0)Alt program başvuruları:
(?&name),(?P>name)Atomik gruplar:
(?>...)
3. Öneriler
Regex101 gibi bir araçla normal ifade hata ayıklaması yaparken Golang (RE2) modunu seçin. Desteklenmeyen sözdizimi, eklentinin doğru şekilde ayrıştırılmasını veya eşleşmesini engeller.