LoongCollector'ı yükledikten sonra yaşam döngüsünü ve çalışma zamanı yapılandırmasını yönetebilirsiniz.
Yaygın LoongCollector komutları
LoongCollector'ı başlatın
Veri toplama için belirli performans gereksinimleriniz varsa, LoongCollector'ı başlatmadan önce başlangıç parametresi yapılandırma dosyasını (ilogtail_config.json) değiştirin.
sudo /etc/init.d/loongcollectord start
LoongCollector'ı durdurun
sudo /etc/init.d/loongcollectord stop
LoongCollector durumunu kontrol edin
sudo /etc/init.d/loongcollectord status # A return value of "loongcollector is running" indicates a successful start.
LoongCollector sürümünü kontrol edin
cat /usr/local/ilogtail/app_info.json # The version information is stored in the loongcollector_version field.
LoongCollector'ı yeniden başlatın
sudo /etc/init.d/loongcollectord restart
LoongCollector'ı kaldırın
-
Örnek kodda,
${region_id}ifadesinicn-hangzhouile değiştirin. İndirme işlemini hızlandırmak için${region_id}ifadesini ECS örneğinizin bulunduğu bölge ile değiştirin. Daha fazla bilgi için bkz. Bölgeler.wget https://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/loongcollector.sh -O loongcollector.sh; -
Kaldırma komutunu çalıştırın.
chmod +x loongcollector.sh; sudo ./loongcollector.sh uninstall;
LoongCollector'ı yükseltin
LoongCollector'ı daha yeni bir sürüme yükseltebilir veya Logtail'den LoongCollector'a geçiş yapabilirsiniz. Yükseltme komutları her iki senaryo için de aynıdır.
LoongCollector'ı yükseltin veya Logtail'den LoongCollector'a geçiş yapın
Yükseltme sırasında LoongCollector durur ve yükseltme tamamlandığında otomatik olarak yeniden başlar. Yükseltme yalnızca temel dosyaların üzerine yazar. Günlük kaybını önlemek için yapılandırma ve checkpoint dosyalarınız korunur.
-
Sunucunuzda en son yükleme paketini edinmek için indirme komutunu çalıştırın. Örnek kodda,
${region_id}ifadesinicn-hangzhouile değiştirin. İndirme işlemini hızlandırmak için${region_id}ifadesini ECS örneğinizin bulunduğu bölge ile değiştirin. Daha fazla bilgi için bkz. Bölgeler.wget https://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/loongcollector.sh -O loongcollector.sh; -
Yükseltme komutunu çalıştırın.
upgradekomutunu kullanın.installkomutunu kullanırsanız kurulumun üzerine yazılır ve orijinal yapılandırmanız kaybolur.chmod +x loongcollector.sh; sudo ./loongcollector.sh upgrade; -
Aşağıdaki bilgiler görüntülenirse yükseltme başarılı olmuştur.
Upgrade loongcollector files successfully. Starting loongcollector ... Upgrade loongcollector successfully.
LoongCollector'dan Logtail'e geri dönüş yapın
logtail.sh betiğini yeniden indirmeniz gerekir. Eski logtail.sh betiğini kullanmayın.
-
Sunucunuzda yükleme paketini edinmek için indirme komutunu çalıştırın. Örnek kodda,
${region_id}ifadesinicn-hangzhouile değiştirin. İndirme işlemini hızlandırmak için${region_id}ifadesini ECS örneğinizin bulunduğu bölge ile değiştirin. Daha fazla bilgi için bkz. Bölgeler.wget https://logtail-release-${region_id}.oss-${region_id}.aliyuncs.com/linux64/logtail.sh -O logtail.sh; -
Geri dönüş komutunu çalıştırın. 1.8.7 gibi bir sürüm belirtmek için yorum satırına bakın ve sürüm numarasını gerektiği gibi değiştirin.
chmod +x logtail.sh; sudo ./logtail.sh upgrade; #chmod +x logtail.sh; sudo ./logtail.sh upgrade -v -v 1.8.7;
Başlangıç parametresi yapılandırma dosyası (ilogtail_config.json)
Açıklama: Bu dosya, LoongCollector'ın başlangıç parametrelerini yapılandırır. Hatalı parametre ayarları toplama performansını etkileyebilir veya toplama hatalarına neden olabilir.
Yol: /usr/local/ilogtail/ilogtail_config.json.
Senaryo: Simple Log Service (SLS), aşırı sunucu kaynağı tüketimini önlemek amacıyla LoongCollector'ın toplama performansını sınırlar. Toplama performansı ihtiyaçlarınızı karşılamıyorsa başlangıç parametrelerini ayarlayın.
-
Dosya örneği:
{ "primary_region" : "cn-beijing", // Default region. You can ignore this parameter. "config_servers" : // The address used to obtain collection configurations. [ "http://logtail.cn-beijing.log.aliyuncs.com" ], "data_servers" : // The address for data transmission with SLS. [ { "region" : "cn-beijing", "endpoint_list": [ "cn-beijing.log.aliyuncs.com" ] } ], "cpu_usage_limit" : 0.4, "mem_usage_limit" : 384, "max_bytes_per_sec" : 20971520, "bytes_per_sec" : 1048576, "buffer_file_num" : 25, "buffer_file_size" : 20971520, "buffer_map_num" : 5 } -
Parametreler: Aşağıdaki tabloda yalnızca yapılandırmanız gerekebilecek yaygın başlangıç parametreleri listelenmiştir. Gerektiğinde bunları ekleyin veya değiştirin. Tabloda listelenmeyen parametreler için varsayılan değerleri koruyun.
Senaryolar: Aşağıdaki örnekler yaygın senaryoları ve işlemleri göstermektedir.
Toplama performansı yapılandırma planlaması
Toplayıcının diğer hizmetleri etkileyecek şekilde aşırı sunucu kaynağı tüketmesini önlemek için SLS toplama performansını sınırlar. Toplama performansını iyileştirmek için başlangıç parametrelerini değiştirin.
Önerilen parametre örnekleri
Aşağıdaki parametre yapılandırmaları yaygın JSON dosyalarını toplamak için önerilir. Tam düzenli ifade modunun ve ayırıcı modunun performansı JSON moduna benzerdir. Minimalist modun performansı JSON modundan beş kat daha yüksektir. Veri ve kural karmaşıklığı ile toplama dizinlerinin ve dosyalarının sayısı gibi faktörler CPU ve bellek tüketimini etkiler. Aşağıdaki tablodaki parametreleri gerektiği gibi ayarlayın.
/usr/local/ilogtail/ilogtail_config.json içindeki parametre değerlerini ekleyin veya değiştirin ve değişikliklerin etkili olması için LoongCollector'ı yeniden başlatın. Aşağıdaki tabloda farklı toplama oranları için önerilen değerler sağlanmıştır.
Tablodaki 40 MB/s'den büyük toplama oranı sütununa göre başlangıç parametrelerini yapılandırdığınızda toplama performansı sınırına yaklaşmaktadır.
Parametre | Açıklama | 10 MB/s'den büyük toplama oranı | 20 MB/s'den büyük toplama oranı | 40 MB/s'den büyük toplama oranı |
cpu_usage_limit | Çekirdek başına hesaplanan CPU kullanım eşiği.
0,4 değeri SLS'nin toplayıcının CPU kullanımını tek bir çekirdeğin %40'ı ile sınırlamaya çalıştığı anlamına gelir. Kullanım bu sınırı aşarsa LoongCollector otomatik olarak yeniden başlar. Bu yumuşak bir sınırdır. Gerçek CPU kullanımı bu değeri aşabilir. Sınır beş dakika boyunca aşılırsa devre kesici tetiklenir ve LoongCollector otomatik olarak yeniden başlar. | 1 | 2 | 4 |
mem_usage_limit | Bellek kullanım eşiği.
Toplama oranı, izlenen dizinlerin ve dosyaların sayısı ile gönderme tıkanıklıkları bu parametre ile ilişkilidir. Daha fazla bilgi için bkz. Sınırlar. Bu yumuşak bir sınırdır. Gerçek bellek kullanımı bu değeri aşabilir. Sınır beş dakika boyunca aşılırsa devre kesici tetiklenir ve LoongCollector otomatik olarak yeniden başlar. | 1024 | 2048 | 4096 |
process_thread_count | Veri işleme için kullanılan iş parçacığı sayısı.
Tek bir iş parçacığı minimalist modda saniyede 24 MB veya tam düzenli ifade modunda saniyede 12 MB veri yazısını işleyebilir. Normal koşullar altında bu parametreyi ayarlamanız gerekmez. | 2 | 4 | 8 |
send_request_concurrency | Eşzamansız eşzamanlı istek sayısı.
Yüksek yazma TPS'niz varsa daha yüksek bir eşzamanlılık değeri ayarlayın. Ağ gecikmesine bağlı olarak bir eşzamanlı isteğin saniyede 0,5 MB ile 1 MB arasında ağ aktarım hızını desteklediğini tahmin edin. | 20 | 40 | 80 |
Yüksek ağ gecikmesi veya kararsız günlük aktarımı
Günlük kaybı, yinelenen günlük aktarımı, LoongCollector tarafından sık yeniden denemeler veya sık ağ kesintileri ya dalgalanmalar yaşayabilirsiniz. Olası nedenler şunlardır:
Yetersiz ağ bant genişliği: Toplanan günlüklerin hacmi büyükse yetersiz ağ bant genişliği günlük birikimine ve artan gecikmeye neden olabilir.
Kararsız ağ ortamı: Bölge veya ağlar arası bağlantılar ağ gecikmesine veya paket kaybına yol açabilir.
Çözüm
Günlük toplamayı hızlandırmak için Alibaba Cloud CDN kenar düğümlerini kullanın. Bu yöntem genel ağ üzerinden toplamaya kıyasla ağ gecikmesi ve kararlılığında önemli avantajlar sunar. Bu özellik aktarılan veri miktarına göre ek ücretlere neden olur.
Projeniz için alanlar arası günlük aktarımı hızlandırma özelliğini etkinleştirin.
LoongCollector'ı durdurun. LoongCollector'ın yüklü olduğu sunucuda oturum açın ve
sudo /etc/init.d/loongcollectord stopkomutunu çalıştırın.Uç noktayı değiştirin.
/usr/local/ilogtail/ilogtail_config.jsondosyasındadata_serversparametresi altındakiendpoint_listparametresinin değerinilog-global.aliyuncs.comile değiştirin. Bu işlem veri aktarımı için kullanılan alan adını hızlandırma uç noktasına değiştirir.LoongCollector'ı başlatın.
sudo /etc/init.d/loongcollectord startkomutunu çalıştırın.
Büyük tek günlük girdileri kesiliyor
Tek bir günlük girdisi çok büyükse toplandıktan sonra kesilebilir. Bunun nedeni tek bir günlük girdisi için varsayılan maksimum boyutun 512 KB (524.288 bayt) olmasıdır. Bir günlük girdisi bu boyutu aşarsa SLS onu keser. İlk satır için bir düzenli ifadeye göre bölünen çok satırlı günlüklerde ortaya çıkan her günlük girdisi için boyut sınırı da 512 KB'dır. Bu sınır aşılırsa girdi zorla birden fazla girdiye bölünür.
Çözüm
-
/usr/local/ilogtail/ilogtail_config.jsondosyasındamax_read_buffer_sizeparametresinin değerini değiştirin. Parametre yoksa ekleyin. Bu parametre için maksimum değer 8 MB (8.388.608 bayt)'tır.Bellek kullanımının doğrusal olarak arttığını unutmayın.
max_read_buffer_size × dosya eşzamanlılığıkadar bellek ayırmanız gerekir. LoongCollector'ı yeniden başlatın.
sudo /etc/init.d/loongcollectord restartkomutunu çalıştırın.
Aktarım sırasında 15 dakikadan eski günlükler kayboluyor
Günlük toplama çalışıyor gibi görünebilir ancak bazı günlükler kaybolur. Bu durum bir günlüğün zaman damgası ile mevcut SLS sunucu saati arasındaki fark 15 dakikadan fazla olduğunda gerçekleşir. Veri güvenliği için SLS, LoongCollector'dan gelen istekler dahil olmak üzere her isteğin zaman damgasını doğrular ve sunucu saatinden 15 dakikadan fazla farklı olan zaman damgasına sahip istekleri reddeder. Sunucunun yerel saati değiştirilirse (örneğin test amaçlı gelecekteki bir saate ayarlanırsa) istekler reddedilir ve veri yazma işlemleri başarısız olur.
Çözüm
-
/usr/local/ilogtail/ilogtail_config.jsondosyasındaenable_log_time_auto_adjustparametresinin değerinitrueolarak değiştirin. Parametre yoksa ekleyin. Bu ayar günlük zamanının sunucunun yerel saatine otomatik olarak ayarlanmasına olanak tanır.Bu özellik etkinleştirildiğinde SLS zamanı ile sunucunun yerel saati arasındaki fark günlük zamanına eklenir. Fark yalnızca bir istek reddedildiğinde güncellendiğinden SLS'de sorguladığınız günlük zamanı gerçek yazma zamanıyla eşleşmeyebilir.
LoongCollector'ı yeniden başlatın.
sudo /etc/init.d/loongcollectord restartkomutunu çalıştırın.
Başka bir bölgedeki bir projeye geçiş yapın
Çeşitli nedenlerle bir sunucudan toplanan günlükleri yeni bir projede depolamanız gerekebilir.
Çözüm
Toplama yapılandırmasını yeniden kullanmak için devam etmeden önce toplama yapılandırma dosyasının içeriğini kaydedin. Kaldırma işlemi bu dosyayı siler.
LoongCollector'ı sunucudan kaldırın.
Yeni proje ile sunucu arasındaki ilişkiye göre uygun LoongCollector yükleme yöntemini seçin.
-
Geçmiş verileri de yeni projeye aktarmanız gerekiyorsa iki yöntem mevcuttur:
Günlükleri indirin ve ardından günlükleri yeni projeye aktarmak için Geçmiş Günlük Dosyalarını İçe Aktar özelliğini kullanın.
Eski projeden yeni projeye veri kopyalamak için veri dönüştürme kullanın.
Uzun günlük aktarım gecikmelerini optimize edin
Bu sorun SLS'deki günlük zaman damgasının sunucuda oluşturulduğu zamandan üç saniye daha geç olduğunda gerçekleşir. Olası nedenler şunlardır:
Aynı anda 100'den fazla dosya toplanıyor veya izlenen dizinde 5.000'den fazla dosya bulunuyor ve bu durum büyük miktarda bellek tüketiyor.
-
Yüksek günlük veri trafiği (örneğin minimalist modda saniyede 2 MB'den fazla veya düzenli ifade modunda saniyede 1 MB'den fazla) yüksek CPU kullanımına neden oluyor.
CloudLens for SLS hizmetini etkinleştirin ve Collection Monitoring altında geçerli ana bilgisayarın CPU kullanımını kontrol edin.
-
LoongCollector'ın SLS'ye veri gönderme oranı saniyede 10 MB'yi aşıyor.
CloudLens for SLS hizmetini etkinleştirin ve Collection Monitoring altında geçerli ana bilgisayarın toplama oranını kontrol edin.
Çözüm
Yukarıda listelenen olası nedenlere göre dosya sayısını veya veri trafiğini ayarlayın. Bellek kullanımını azaltamıyor veya aktarım trafiğini düşüremiyorsanız toplama performansını ayarlamak için bkz. Toplama performansı yapılandırma planlaması.
Diğer yaygın yapılandırma dosyaları
Aşağıdakiler LoongCollector'ın çalışma zamanında kullandığı diğer yapılandırma ve bilgi dosyalarıdır:
LoongCollector toplama yapılandırma dosyası (user_log_config.json)
Açıklama: Bu dosya LoongCollector'ın SLS üzerinden aldığı toplama yapılandırma bilgilerini kaydeder. Dosya toplama yapılandırması güncellendiğinde her seferinde güncellenir. AccessKey ayrıntıları veya veritabanı parolaları gibi hassas bilgileri manuel olarak yapılandırmak dışında bu dosyayı değiştirmeyin.
Yol: /usr/local/ilogtail/user_log_config.json.
Senaryo: Bir toplama yapılandırmasının sunucuya teslim edilip edilmediğini onaylamak için bu dosyayı kontrol edin. Bu dosya mevcutsa ve içeriği SLS içindeki toplama yapılandırmasıyla eşleşiyorsa yapılandırma başarıyla teslim edilmiştir.
AppInfo kayıt dosyası (app_info.json)
Açıklama: app_info.json dosyası LoongCollector'ın başlatma zamanı, alınan IP adresi ve ana bilgisayar adı gibi bilgileri kaydeder. Bu dosya yalnızca kayıt amaçlıdır. Üzerinde yapılan herhangi bir değişiklik etkili olmaz.
Yol: /usr/local/ilogtail/app_info.json.
-
Senaryo: Toplama sırasında SLS tarafından tanımlanan sunucu IP bilgilerini görüntüleyerek SLS konsolundaki IP tabanlı makine grubundaki IP bilgileriyle eşleştiğini doğrulayın. Bu işlem genellikle IP tabanlı makine gruplarında heartbeat başarısızlıklarını çözmek için kullanılır.
Sunucunun /etc/hosts dosyasında bir ana bilgisayar adı-IP eşlemesi ayarladıysanız eşlenen IP adresi otomatik olarak alınır. Ana bilgisayar adı eşlemesi ayarlanmamışsa ilk ağ arabirim kartının IP adresi otomatik olarak alınır. ilogtail_config.json içindeki working_ip parametresi ayarlanmışsa değeri sunucunun IP adresi olarak kullanılır.
LoongCollector çalışma zamanı günlüğü (loongcollector.LOG)
Açıklama: loongcollector.LOG dosyası LoongCollector'ın çalışma zamanı günlüklerini kaydeder. Günlük düzeyleri en düşükten en yükseğe doğru INFO, WARN ve ERROR şeklindedir.
Yol: /usr/local/ilogtail/loongcollector.LOG.
Senaryo: Bir toplama hatası oluşursa öncelikle hataları kontrol etmek için LoongCollector'ı Tanımlayın ve İzleyin bölümüne bakın. Ardından sorunu günlük toplama hata türlerine ve LoongCollector çalışma zamanı günlüğüne bakarak giderin.
Kullanıcı Kimliği dosyası
Açıklama: Bu dosya toplanan günlüklerin ait olduğu projenin Alibaba Cloud hesap kimliğini içerir. Dosya adı uzantı olmadan hesap kimliğidir. Bu hesabın bu sunucudan günlük erişim ve toplama iznine sahip olduğunu gösterir.
Yol: /etc/ilogtail/users/{Alibaba Cloud hesap kimliği}.
Senaryo: Yalnızca Alibaba Cloud olmayan ECS örneklerinden, kendi yönettiğiniz sunuculardan veya diğer cloud sağlayıcılarının sunucularından günlük toplarken bir kullanıcı kimliği yapılandırmanız gerekir. Birden fazla hesabın aynı sunucudan günlük toplaması gerekiyorsa o sunucuda birden fazla kullanıcı kimliği dosyası oluşturun.
Özel tanımlayıcı dosyası
Açıklama: Bu dosya özel bir tanımlayıcı yapılandırmak için kullanılır. Bu tanımlayıcı SLS'nin sunucudaki LoongCollector'ı keşfetmesine ve heartbeat kurmasına yardımcı olan özel tanımlayıcı makine grubu için içerik olarak kullanılır.
Yol: /etc/ilogtail/user_defined_id.
Senaryo: Bu yapılandırma özel tanımlayıcı makine grubu kullanırken gereklidir. Daha fazla bilgi için bkz. Bir makine grubunu LoongCollector toplama yapılandırmasıyla ilişkilendirme.
CheckPoint dosyası
Açıklama: Checkpoint mekanizması günlük bütünlüğünü sağlamak için geçerli toplama konumunu kaydeder.
Yol: Varsayılan yol
/tmp/logtail_checkpointşeklindedir.Senaryo: Başlangıç parametresi dosyasını değiştirerek checkpoint dosyasını yönetin. Daha fazla bilgi için bkz. Sınırlar.
SSS
Sunucu internete bağlanamadığında nasıl yükseltme yapılır
-
LoongCollectoröğesini yükseltmeniz gereken sunucuda sistem mimarisini belirlemek içinuname -mkomutunu çalıştırın. Ardından genel ağa erişimi olan bir sunucuda ilgili komutu çalıştırın.${region_id}ifadesini projenizin bölgesi ile değiştirin.-
ARM mimarisi:
wget https://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/loongcollector.sh;wget http://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/aarch64/main/loongcollector-linux64.tar.gz; -
x86-64 mimarisi:
wget https://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/loongcollector.sh;wget http://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/x86_64/main/loongcollector-linux64.tar.gz;
-
-
Yükleme betiğini ve paketini
LoongCollectoröğesini yükseltmeniz gereken sunucuya kopyalayın ve ardından aşağıdaki komutu çalıştırın:chmod +x loongcollector.sh;./loongcollector.sh upgrade-local;