Simple Log Service:Logtail sınırları

Sınırlar

Sınırlamalar

Mimari

• Linux için Logtail x86_64 ve arm64 mimarilerini destekler.

• Windows için Logtail x86_32 ve x86_64 mimarilerini destekler.

Hesaplama kaynakları

• CPU: En az 0,1 çekirdek ayırın.

• Bellek: Ana makineler için minimum 30 MB, Kubernetes için 150 MB, Kubernetes Controller/Operator için 100 MB.

Gerçek kullanım; toplama hızına, izlenen dizin ve dosya sayısına ve gönderme engellemelerine bağlıdır. Kullanımı sınırın %80'inin altında tutun.

Sistem ortamı

Desteklenen işletim sistemleri Sistem türleri bölümünde listelenmiştir.

Kubernetes

• DaemonSet günlük toplama işlemi, HostToContainer bağlama yayılımı desteğine sahip Kubernetes 1.10.0 veya sonraki bir sürümü gerektirir.

• CRD tabanlı günlük toplama (alibaba-log-controller), Kubernetes 1.16.0 veya sonraki bir sürümü gerektirir.

  Kubernetes 1.7.0 ve sonraki sürümler, apiextensions.k8s.io/v1beta1 aracılığıyla CRD'leri de destekler ancak bu beta API'nin kararlılığı sürüme göre değişiklik gösterir.

Docker

Konteyner standart çıktı toplama sınırlamaları:

• Docker yapılandırma dosyası daemon.json içine "log-driver": "json-file" eklemeniz gerekir.

• CentOS 7.4 ve sonraki sürümler için (CentOS 8.0 hariç) fs.may_detach_mounts=1 ayarını yapmanız gerekir. Daha fazla bilgi için Bug 1468249, Bug 1441737 ve issue 34538 bölümlerine bakın.

Depolama ortamı

Veri kırpılmasına, içerik tutarsızlığına veya toplamanın durmasına neden olabileceğinden paylaşılan ağ depolamasından (NAS, OSS) kaçının. Elastic Block Storage (EBS) kullanın.

Sınırlar

Sınırlamalar

Tek bir günlüğün boyutu

Varsayılan: 512 KB, max_read_buffer_size başlangıç parametresi ile 8 MB'a kadar artırılabilir. Logtail başlangıç parametrelerini ayarlayın.

İlk satır düzenli ifadesiyle bölünen çok satırlı günlükler hala günlük başına 512 KB sınırıyla sınırlıdır. 512 KB'yi aşan günlükler zorla bölünür. Örneğin, 1.025 KB'lik bir günlük 512 KB + 512 KB + 1 KB şeklinde bölünerek birden fazla eksik günlük oluşmasına neden olur.

Dosya kodlaması

UTF-8 ve GBK kodlamaları desteklenir. Optimum performans için UTF-8 önerilir.

Günlük dosyası boyutu

Sınırsız.

Günlük dosyası döndürme

Varsayılan döndürme kuyruğu boyutu: 20, logreader_max_rotate_queue_size başlangıç parametresi ile ayarlanabilir. Logtail başlangıç parametrelerini ayarlayın.

20'den fazla dosya işlenmemiş durumda kalırsa yeni günlükler kaybolur. Logstore parça yazma kotasının aşılmadığını kontrol edin, ardından Logtail eşzamanlılığını ayarlayın. Önerilen parametre değerleri.

Günlük ayrıştırma engellendiğinde toplama davranışı

Günlük ayrıştırma engellendiğinde Logtail, dosya silinmesini ve veri kaybını önlemek için günlük dosya tanımlayıcısını açık tutar.

Ayrıştırma engellenirken günlük dosyası birden çok kez döndürülürse Logtail dosyayı döndürme kuyruğuna yerleştirir.

Düzenli ifade

Perl uyumlu düzenli ifadeler desteklenir.

JSON

RFC 7159 ve ECMA-404 tarafından tanımlanan standart JSON tamamen desteklenir. {"name": "\xE5\xAD\xA6"} gibi standart olmayan JSON formatları desteklenmez.

Bir dosya için birden fazla Logtail yapılandırması

Bir dosya varsayılan olarak yalnızca bir Logtail yapılandırmasıyla eşleşir. Tek bir dosyadan günlüklerin birden fazla kopyasını nasıl toplayabilirsiniz.

Dosya açma davranışı

Logtail, veri bütünlüğü için toplanan ve bekleyen dosyaları açık tutar. Aşağıdaki durumlarda bir dosya kapatılır:

• Dosya 5 dakikadan uzun süredir değiştirilmediyse.

• Dosya döndürüldüyse ve toplama tamamlandıysa.

• Logtail toplama yapılandırması değiştiyse.

Silme sonrası dosya tanıtıcılarını zamanlanmış olarak serbest bırakmak için force_release_deleted_file_fd_timeout başlangıç parametresini ayarlayın. Logtail başlangıç parametrelerini ayarlayın.

İlk günlük toplama davranışı

Logtail yalnızca artımlı verileri toplar. Bir dosya değişikliğini ilk algıladığında, dosya 1 MB'tan büyükse (konteyner standart çıktısı için 512 KB) toplama son 1 MB'tan başlar. Aksi takdirde toplama baştan başlar.

Bu davranışı tail_size_kb parametresiyle ayarlayabilirsiniz. Logtail yapılandırmaları (Eski).

Logtail, yapılandırma uygulandıktan sonra değiştirilmemiş dosyaları atlar. Geçmiş günlük dosyalarını içeri aktarın.

Dosyanın üzerine yazma davranışı

Logtail, dosyaları inode ve ilk 1.024 baytın hash değeri ile tanımlar. Üzerine yazma sonrasında bunlardan herhangi biri değişirse dosya yeni olarak kabul edilir ve baştan toplanır. Aksi takdirde atlanır.

Dosya taşıma davranışı

Daha önce eşleşmemiş bir Logtail yapılandırmasıyla eşleşen taşınmış bir dosya yeni olarak kabul edilir ve baştan toplanır. Aksi takdirde atlanır.

Dosya toplama geçmişi

Logtail, yalnızca artımlı verileri toplamak için dosya toplama geçmişini bellekte izler. Saklama kapsamının dışına yazılması yinelenen toplamaya neden olur.

• Varsayılan olarak son bir aya ait dosya geçmişi saklanır.

• Aynı dizinde 5.000'den fazla geçmiş dosya varsa yalnızca son haftaya ait kayıtlar saklanır.

• Aynı dizinde 10.000'den fazla geçmiş dosya varsa yalnızca son güne ait kayıtlar saklanır.

Standart olmayan metin günlükleri

\0 içeren günlük satırları için 2.1.10 ve 3.0.12'den sonraki sürümler yalnızca günlük ortasındaki \0 karakterini korur, baştaki ve sondaki \0 karakterlerini atar. Daha eski sürümler ilk \0 karakterinde kesilebilir veya tamamını koruyabilir. Tutarlı davranış için Logtail'i yükseltin. Diğer kaçış karakterleri (ASCII renk kodları, yazdırılamayan karakterler) olduğu gibi raporlanır.

Sınırlar

Sınırlamalar

İlk günlük toplama davranışı

Konteyner standart çıktısı için, bir dosya değişikliği ilk algılandığında dosya 512 KB'tan büyükse toplama son 512 KB'tan, aksi takdirde baştan başlar. StartLogMaxOffset parametresiyle ayarlayın. Konsolu kullanarak DaemonSet modunda konteyner standart çıktısını toplayın.

Sembolik bağlantı

Konteyner dosya toplamada dizinler ve dosyalar için sembolik bağlantılar desteklenmez.

Konteyner yaşam döngüsü

Minimum konteyner yaşam döngüsü: 10 saniye. Konteyner dosya toplama için Logtail, konteyner güncellemelerini her 3 dakikada 10 kezle sınırlar. docker_config_update_interval ve max_docker_config_update_times başlangıç parametreleriyle ayarlayın. Logtail başlangıç parametrelerini ayarlayın.

Standart çıktı günlüğü döndürme

Docker veya kubelet konteyner standart çıktı dosyalarını döndürür. Varsayılan döndürme boyutu: kubelet için 10 MB (ACK üzerinde Docker için 100 MB). Standart çıktı saniyede 10 MB'ı aşarsa dosyalar hızla döndürülür. Veri kaybını önlemek için konteyner dosyalarından toplayın veya kubelet containerLogMaxSize parametresini artırın.

Standart çıktı günlük sürücüsü

Konteyner çalışma zamanı olarak Docker kullanıyorsanız Docker yapılandırma dosyası daemon.json içine "log-driver": "json-file" eklemeniz gerekir.

Sınırlamalar

Sınırlamalar

Kontrol noktası zaman aşımı

Dosya etkin olmadığında 30 gün sonra kontrol noktaları silinir. preserve:false ayarıyla, 30 dakika etkin olmadığında kontrol noktaları silinir.

Kontrol noktası depolama ilkesi

Kontrol noktaları her 15 dakikada bir ve programdan çıkış sırasında kaydedilir. check_point_dump_interval başlangıç parametresiyle ayarlayın. Logtail başlangıç parametrelerini ayarlayın.

Kontrol noktası depolama konumu

Varsayılan yol: /tmp/logtail_checkpoint. check_point_filename başlangıç parametresiyle değiştirin. Logtail başlangıç parametrelerini ayarlayın.

Kesinti sırasındaki işleme

Kesinti sonrası kurtarma, son kaydedilen kontrol noktasından başlar ve bu durum yinelenen toplamaya neden olabilir. Yinelenenleri en aza indirmek için kontrol noktası kaydetme ilkesini ayarlayın.

Sınırlar

Sınırlar

Yapılandırma güncelleme gecikmesi

Konsoldan veya API'den gelen yapılandırma güncellemelerinin Logtail istemcisine ulaşması yaklaşık 30 saniye sürer.

Yapılandırmaların dinamik olarak yüklenmesi

Desteklenir. Bir yapılandırmadaki güncelleme diğerlerini etkilemez.

Tek bir Logtail örneği için yüklenebilir toplam yapılandırma sayısı

Kesin bir sınır yoktur. Sunucu başına önerilen maksimum: 100 yapılandırma.

Üçüncü taraf flusher çıktısı

Konsol veya API yapılandırmaları bir Logstore'a bağlıdır. Üçüncü taraf bir flusher kullanırken Logtail varsayılan olarak ilişkili Logstore'a da bir kopya gönderir.

Çok hesaplı ve hesaplar arası

Desteklenir. Kullanıcı tanımlayıcısını yapılandırın ve Logtail'i Alibaba Cloud hesapları arasında konteyner günlüklerini toplamak için kullanın.

Çok bölgeli

Varsayılan olarak desteklenmez. Etkinleştirmek için bir destek talebi gönderin.

Global Accelerator

Desteklenir. Sunucu tarafında etkinleştirin, ardından istemcide yapılandırın. Global Accelerator'ı etkinleştirin.

Sınırlamalar

Sınırlamalar

Makine sayısı

Kesin bir sınır yoktur. Önerilen maksimum: 100.000. Bu sınırın aşılması yanlış heartbeat algılamasına neden olur.

Uygulanan yapılandırma sayısı

Kesin bir sınır yoktur. Önerilen maksimum: 1.000.

Sınırlar

Sınırlamalar

Günlük işleme aktarım hızı

Varsayılan ham günlük trafiği sınırı: 20 MB/sn (tipik sıkıştırma oranı: 5-10 kat). Bu sınırın aşılması veri kaybına neden olabilir. max_bytes_per_sec başlangıç parametresiyle ayarlayın. Logtail başlangıç parametrelerini ayarlayın.

Maksimum performans

Tek çekirdek aktarım hızı:

• Basit mod: Maksimum günlük işleme kapasitesi 100 MB/sn'dir.

• Regex modu: Varsayılan maksimum işleme kapasitesi 20 MB/sn'dir. Bu değer, düzenli ifadenin karmaşıklığına bağlıdır.

• Ayırıcıyla ayrılmış günlükler için aktarım hızı 40 MB/sn ile sınırlıdır.

• JSON modu: Maksimum günlük işleme kapasitesi 30 MB/sn'dir.

process_thread_count parametresi aracılığıyla birden fazla işleme iş parçacığı kullanılarak aktarım hızı 1,5 ila 3 kat artırılabilir.

İzlenen maksimum dizin ve dosya sayısı

mem_usage_limit parametresine bağlıdır (ana makineler için varsayılan: 384 MB, konteynerler için 2.048 MB). Dört düzey uygulanır:

• Maksimum toplam izlenen dizin sayısı: ⌊mem_usage_limit/100⌋ × 5.000. Bu değer, Logtail toplama yapılandırması kara listesine belirtilen dizinleri içermez.

• Maksimum toplam izlenen dizin ve dosya sayısı: ⌊mem_usage_limit/100⌋ × 50.000. Bu değer, Logtail toplama yapılandırması kara listesine belirtilen dizinleri içermez ancak herhangi bir Logtail toplama yapılandırmasıyla eşleşmeyen dosyaları içerir.

• Tek bir toplama yapılandırması için izlenen toplam dizin ve dosya sayısı: ⌊mem_usage_limit/100⌋ × 5.000. Bu değer, Logtail toplama yapılandırması kara listesine belirtilen dizinleri içermez ancak Logtail toplama yapılandırmasıyla eşleşmeyen dosyaları içerir.

• Tek bir dizindeki izlenen toplam alt dizin ve dosya sayısı: ⌊mem_usage_limit/100⌋ × 5.000. Bu değer, Logtail toplama yapılandırması kara listesine belirtilen dizinleri ve herhangi bir Logtail toplama yapılandırmasıyla eşleşmeyen dosyaları içerir.

Herhangi bir düzeye ulaşıldığında Logtail ek girişleri izlemeyi durdurur. İzlenen dizinleri daraltarak veya mem_usage_limit değerini artırarak sınırları yükseltin. mem_usage_limit parametresini Logtail başlangıç parametrelerini ayarlayın bölümünde yapılandırın.

Linux'ta Logtail, toplama gecikmesini azaltmak için inotify kullanır. Maksimum inotify izlenen dizin sayısı (alt dizinler dahil): 3.000.

Kaynak sınırı işleme ilkesi

Logtail'in kaynak kullanımı 5 dakika boyunca maksimum sınırı aşarsa Logtail zorla yeniden başlatılır. Bu durum veri kaybına veya yinelenen verilere neden olabilir.

Çok kiracılı veri yalıtımı

Logtail, yapılandırma düzeyinde yalıtım sağlar. Bir Logtail toplama yapılandırmasındaki istisna diğerlerini etkilemez.

Günlük toplama gecikmesi

Normal koşullarda, günlük yazma ile Logtail toplama arasındaki gecikme 1 saniyeden azdır.

Günlük yükleme ilkesi

Logtail, dosya başına günlükleri toplar ve yükler. Günlük sayısı 4.000'i aştığında, toplam boyut 512 KB'yi aştığında veya 3 saniye geçtiğinde (hangisi önce gerçekleşirse) yükleme tetiklenir.

Sınırlamalar

Sınırlamalar

Ağ hatası işleme

Ağ hatalarında Logtail, otomatik aralık ayarlama ile yeniden dener. Aşırı durumlarda yinelenen toplama veya veri kaybı oluşabilir:

• Sunucu paketi alırsa ancak istemci 15 saniye içinde yanıt almazsa yeniden deneme yinelenen toplamaya neden olur.

• Art arda 5 bozuk paket alınırsa veriler atılır.

Kaynak kotası aşıldı

Gönderme hızı Logstore kotasını aşarsa Logtail engeller ve yeniden dener. Çözmek için Logstore parça sayısını artırın.

İstemci zamanı istisnası

İstemci-sunucu saat farkı 15 dakikayı aşarsa 5 denemeden sonra yeniden denemeler başarısız olur ve veriler atılır. İstemci makinesinin saatini düzeltin.

Proje veya Logstore mevcut değil

5 başarısız yeniden denemeden sonra veriler atılır. Bu durum, Logstore'un API aracılığıyla silinmesi durumunda ortaya çıkabilir. Çözmek için ilgili Logtail yapılandırmasını silin.

Kimlik doğrulama başarısız oldu

5 başarısız yeniden denemeden sonra veriler atılır. Yaygın nedenler:

• Logtail başlatma sırasında kararsız ağ, kimlik doğrulamayı engeller.

• Makine, kimlik doğrulama için SLS uç noktasıyla HTTPS bağlantısı kuramaz.

Diğer bilinmeyen hatalar

5 başarısız yeniden denemeden sonra veriler atılır.

Zaman aşımı öncesi maksimum yeniden deneme süresi

Veri gönderme 6 saatten uzun süre boyunca sürekli olarak başarısız olursa veriler atılır.

Durum kendi kendine kontrolü

Logtail, anormal çıkışlarda veya kaynak kullanımı yapılandırılan sınırları aştığında otomatik olarak yeniden başlar.

İzlenen maksimum dizin ve dosya sayısının aşılması

Logtail toplama yollarını hızlı bir şekilde konumlandıramaz ve bu durum veri kaybına neden olabilir.

Önemli toplama gecikmesi

Günlük toplama ilerlemesi, günlük oluşturmanın gerisinde kalır. İşlenmemiş 20'den fazla günlük dosyası döndürülürse veri kaybı oluşur.