LogStore, Simple Log Service (SLS) içinde günlük verilerini toplamak, depolamak ve sorgulamak için kullanılan bir depolama birimidir.
Temel kavramlar
LogStore nedir?
LogStore, Simple Log Service içindeki bir veri kapsayıcısıdır. Farklı uygulamalardan veya kaynaklardan gelen günlükleri izole etmek ve yönetmek için bir Project altında birden fazla LogStore oluşturabilirsiniz.
LogStore planlama en iyi uygulamaları
Her günlük kaynağı veya günlük türü için ayrı bir LogStore oluşturun. Örneğin, NGINX erişim günlüklerini ve hata günlüklerini ayrı LogStore'larda saklayın. Bu yaklaşım, günlüklerin karışmasını önler ve sonraki sorgulama, analiz, izin izolasyonu ile uyumluluk denetimi süreçlerini basitleştirir.
seviye sınıflandırılmış koruma uyumluluğu ve benzeri gereksinimleri karşılamak için tek bir Project'i birleşik erişim kontrolü sınırı olarak kullanın. Sunucu günlükleri, veritabanı günlükleri ve konsol işlem günlükleri gibi her günlük türü için bu Project içinde ayrı LogStore'lar oluşturun. Bu düzenleme, kategorize edilmiş depolamayı ve denetim izlenebilirliğini destekler.
Bir LogStore, günlükleri yıl, ay, gün veya saat bazında otomatik olarak kategorilere ayırmaz ve otomatik olarak klasörler oluşturmaz. Günlük sorgulama tamamen günlük içeriğindeki gerçek zaman alanlarına dayanır.
Ek olarak, belirli Alibaba Cloud hizmetleri veya SLS özellikleri, özel amaçlar için otomatik olarak özel LogStore'lar oluşturur. Bu LogStore'lar başka türde verileri kabul edemez. Örnekler şunlardır:
internal-operation_log: Simple Log Service'in kendisi tarafından oluşturulan detaylı işlem günlüklerini saklar.oss-log-store: Arşivleme amacıyla OSS erişim günlüklerini yapılandırdığınızda otomatik olarak oluşturulur.
LogStore teknik özellikleri karşılaştırması
Simple Log Service, özellikleri ve maliyeti açısından farklılık gösteren Standard ve Query olmak üzere iki LogStore türü sunar.
Tür | Maliyet (Dizin Trafiği Ücreti Karşılaştırması) | Senaryolar |
Standard | USD 0.0875/GB | Etkileşimli analiz, gerçek zamanlı izleme, görselleştirme veya gözlemlenebilirlik sistemleri oluşturma işlemleri için bu türü kullanın. |
Query türü (Query) | USD 0.0146/GB | Bu tür analizi desteklemez. Yalnızca analiz gerektirmeyen hızlı anahtar kelime aramasına ihtiyaç duyduğunuz günlük arşivleme, denetim günlüğü depolama veya sorun giderme senaryoları için kullanın. Tipik kullanım durumları, nadir erişimle birlikte uzun vadeli saklamayı (aylar veya yıllar) içerir. |
Kapsam ve izinler
Temel bir LogStore oluşturma
Console
Simple Log Service konsoluna oturum açın. Project listesinde hedef Project'i tıklayın.
sekmesinde + simgesini tıklayın.
-
Create Logstore sayfasında ayarları yapılandırın ve OK öğesini tıklayın.
LogStore türü: Varsayılan olarak Standard.
-
Faturalama modu:
Pay-by-feature: Kullanılan her kaynak (depolama, dizin oluşturma ve okuma/yazma işlemleri gibi) için ayrı faturalandırılırsınız ve küçük ölçekli senaryolarda maliyetleri kontrol etmenize yardımcı olan aylık ücretsiz bir kota alırsınız.
Pay-by-ingested-data: Yalnızca ham alınan veri hacmi için ödeme yaparsınız. Depolama ve temel özellikler 30 gün boyunca ücretsizdir ve daha basit, daha uygun maliyetli bir fiyatlandırma modeli sunar.
Hızlı ipucu: Saklama süreniz 30 güne ne kadar yakınsa ve dizine eklediğiniz alan sayısı ne kadar fazlaysa (özellikle tam metin dizini), pay-by-ingested-data o kadar uygun hale gelir.
LogStore adı: Project içinde benzersiz olmalı ve oluşturulduktan sonra değiştirilememelidir.
Veri saklama süresi: Varsayılan olarak 30 gün.
Diğer tüm ayarları varsayılan değerlerinde bırakın.
API
LogStore yapılandırmasını değiştirme
Aşağıdaki parametreleri oluşturma sırasında yapılandırabilirsiniz. Bu bölümde örnek olarak LogStore değişikliği kullanılmıştır.
Log Storage öğesini tıklayın. LogStores sayfasında hedef LogStore'un üzerine gelin ve seçeneklerini belirleyin.LogStore özelliklerinde senaryonuza göre ilgili ayarları değiştirin.
Belirli günlükleri silme veya günlük saklama süresini ayarlama
Console
Basic Information bölümünde Modify öğesini tıklayın, veri saklama süresini ayarlayın ve Save öğesini tıklayın.
Simple Log Service, Log Soft Delete özelliğini kullanarak belirli günlük girişlerini silmeyi destekler. LogStore'un Query and Analysis sayfasında sorgu koşullarını girin, bir zaman aralığı seçin ve silme görevini göndermek için Log Soft Delete öğesini tıklayın. Silinen günlük girişleri sonraki sorgularda görünmez ve saklama süresi sona erdiğinde kalıcı olarak silinir. Ayrıca veri saklama süresini değiştirerek süresi dolmuş günlükleri toplu halde silebilir veya tüm günlükleri kaldırmak için faturalandırmayı durdurabilir veya LogStore'u silebilirsiniz.
Specified Days: Geçerli değerler: 1–3650. Bunu 3650 olarak ayarlamak kalıcı saklama anlamına gelir. Günlükler saklama süresi sona erdiğinde silinir.
Permanent Storage: Günlükleri LogStore'da süresiz olarak saklar.
Değişiklikler hemen etkili olur ancak süresi dolmuş verilerin silinmesi biraz zaman alabilir.
Değişikliğin etkili olduğunu doğrulayın
Değişiklik kaydedildikten sonra LogStore'un üzerine tekrar gelin ve Modify öğesini tıklayın. LogStore özelliklerinde Data Retention Period için görüntülenen gün sayısının ayarladığınız değer olup olmadığını kontrol edin; bu, ayarın uygulandığını onaylar. LogStore için permanent retention etkinleştirilmişse özel bir gün sayısı görüntülenmez; bu, bu LogStore'daki günlüklerin ayarı değiştirene kadar saklandığı anlamına gelir.
Değiştirilemeyen veya kaydedilemeyen Veri Saklama Süresini giderme
Data Retention Period düzenlenemiyorsa (saklama süresi düzenleme düğmesi soluksa veya depolama süresi seçilemiyorsa) ya da değişikliği kaydettiğinizde bir hata döndürülüyor ve yaşam döngüsü ayarları tamamlanamıyorsa aşağıdaki öğeleri sırayla kontrol edin:
LogStore, bir cloud hizmeti veya Simple Log Service tarafından otomatik olarak oluşturulan özel bir LogStore'dur. Otomatik oluşturma, Redis özel LogStore'ları, MongoDB özel LogStore'ları ve Simple Log Service yönetimi özel LogStore'ları için geçerlidir; bunların veri saklama süresi ilgili cloud hizmeti tarafından yönetilir. Değişikliği Simple Log Service konsolunda kaydettiğinizde işlemi ilgili cloud hizmetinin konsolunda gerçekleştirmeniz gerektiğini belirten bir mesaj görüntülenir. Özel bir saklama süresi kullanmak için bunu ilgili cloud hizmetinin konsolunda ayarlayın veya iş günlükleriniz için standart bir LogStore oluşturun.
LogStore,
internal-önekiyle sistem tarafından ayrılmış bir LogStore'dur; örneğininternal-operation_log,internal-alert-historyveyainternal-etl-log. Böyle bir LogStore zaten belirli bir veri içe aktarma yapılandırmasına bağlıdır ve konsol, mevcut LogStore'un belirli bir veri içe aktarma için yapılandırıldığını belirtir; bu nedenle yapılandırma öğeleri özelleştirilemez.Mevcut hesabın yeterli izni yoktur. Bir LogStore yapılandırmasını değiştirmek için hedef Project üzerinde LogStore yönetim izinleri, yani bu konunun Scope and permissions bölümünde listelenen
log:*LogStoregibi izinler gerekir. Bir Resource Access Management (RAM) kullanıcısı olarak oturum açıyorsanız Alibaba Cloud hesap sahibindenAliyunLogFullAccesssistem ilkesini veya bu izinleri içeren özel bir ilkeyi talep edin.Konsol sayfası doğru görüntülenmiyor. Sayfayı yenileyin veya başka bir tarayıcıya geçin, hedef LogStore'un üzerine tekrar gelin, Modify öğesini tıklayın ve ardından Data Retention Period değerini tekrar değiştirin.
Standart senaryolarda, bu bölümün API sekmesinde açıklandığı gibi
ttldeğerini değiştirerek de ayarı tamamlayabilirsiniz. Yukarıda açıklanan özel LogStore'lar için saklama süresini yine de ilgili cloud hizmetinin konsolunda ayarlamanız gerekir.
API
Update Logstore işleminde ttl değerini güncelleyerek günlük saklama süresini ayarlayın.
Katmanlandırma kullanarak depolama maliyetlerini optimize etme
Console
Basic Information bölümünde Modify öğesini tıklayın ve akıllı katmanlandırmayı etkinleştirin.
-
Storage Policy değerini yapılandırın: Üç katmandaki günlerin toplamı toplam veri saklama süresine eşit olmalıdır.
Sıcak depolama: minimum 7 gün.
IA depolama sınıfı: minimum 30 gün.
Arşiv Depolama: minimum 60 gün.
Data retention period değerini Limited days olarak ayarlayın, Intelligent tiering özelliğini etkinleştirin ve Storage policy içinde katman geçişlerini yapılandırın: sıcak depolama süresi dolduktan sonra otomatik olarak IA depolamaya geçer, IA depolama Arşiv Depolamaya geçer ve Arşiv Depolama süresi dolduktan sonra otomatik olarak silinir.
Save öğesini tıklayın. Ayrıntılar için bkz. Intelligent tiering.
API
Update Logstore işleminde ttl, hot_ttl ve infrequentAccessTTL değerlerini güncelleyerek depolama katmanları için saklama politikasını dinamik olarak ayarlayın.
Ön uç günlüklerini toplama
Simple Log Service, mini programlardan, mobil uygulamalardan (iOS/Android) ve tarayıcılardan günlük toplamak için WebTracking sağlar.
Bu özelliği iki şekilde kullanabilirsiniz:
İletim için STS kimlik doğrulamasını kullanın. Bu yöntem üretim ortamları için uygundur ve LogStore yapılandırma değişiklikleri gerektirmez.
OpenAPI aracılığıyla anonim iletimi kullanın. Bu yöntem yalnızca test amaçlıdır ve aşağıda açıklandığı gibi LogStore'da bir ayarın etkinleştirilmesini gerektirir.
Console
Basic Properties bölümünde Modify öğesini tıklayın, WebTracking'i etkinleştirin ve Save öğesini tıklayın.
API
Update Logstore işleminde enable_tracking parametresini true olarak ayarlayarak WebTracking'i etkinleştirin.
Genel IP'yi ve günlük varış zamanını otomatik olarak ekleme
Etkinleştirildiğinde sonraki günlük alımı otomatik olarak şunları ekler:
__tag__:__client_ip__: günlük kaynağı cihazının genel IP adresi.
__tag__:__receive_time__: Günlüğün Simple Log Service sunucusuna varış zamanı; UNIX zaman damgası olarak biçimlendirilir (1970-01-01 00:00:00 UTC'den bu yana geçen saniye).
Console
Basic Properties bölümünde Modify öğesini tıklayın, Record public IP özelliğini etkinleştirin ve Save öğesini tıklayın.
API
Update Logstore işleminde appendMeta parametresini ayarlayarak genel IP kaydını etkinleştirin.
Parçaları kullanarak alım performansını ayarlama
Her parça alım için saniyede 5 MB veya 500 yazma ve tüketim için saniyede 10 MB veya 100 okuma desteği sağlar. Bunlar yumuşak sınırlardır. Sistem bu sınırların ötesindeki istekleri yerine getirmeye çalışır ancak hizmet kalitesini garanti etmez. Trafik bir parçanın kapasitesini aşarsa kapasiteyi artırmak için parçayı bölün.
Console
Basic Properties bölümünde Modify öğesini tıklayın, Automatic sharding özelliğini etkinleştirin, parça sınırını ayarlayın ve Save öğesini tıklayın.
Simple Log Service, bireysel parçaların bölünmesini ve birleştirilmesini destekler.
API
Faturalandırmayı durdurma veya LogStore silme
Silindiğinde Logstore'daki tüm günlük verileri kalıcı olarak kaybolur ve kurtarılamaz. Dikkatli ilerleyin.
Bir LogStore'u silmeden önce iş etkisini değerlendirin. Bir LogStore izleme, uyarı, analiz veya denetim için kullanılmıyorsa ve veri dönüştürme, veri aktarma veya API sorguları için veri kaynağı değilse silinmesi genellikle iş operasyonlarını etkilemez. İlerlemeden önce önemli ilişkili yapılandırmaların kalmadığını onaylayın. Silinen bir LogStore'daki veriler kurtarılamaz.
Console
-
Silme öncesi temizlik.
LogStore'u silmeden önce ilişkili tüm Logtail yapılandırmalarını silin. Konsolun bir LogStore'u silerken gerçekleştirdiği tek zorunlu ön koşul denetimi budur: LogStore hala Logtail toplama yapılandırmalarıyla ilişkilendirilmişse konsol Logtail yapılandırmalarının bulunduğunu ve önce silinmesi gerektiğini bildirir; silme işlemi devam edemez. Bu nedenle bir LogStore silinemiyorsa önce o LogStore'un tüm Logtail toplama yapılandırmalarını silin ve ardından LogStore'u tekrar silin.
Bu LogStore için LogShipper etkinleştirilmişse yeni veri yazmayı durdurun ve silmeden önce mevcut tüm verilerin başarıyla aktarıldığını onaylayın.
Bir Project'in Release Protection özelliği Project'in kendisine uygulanır: etkinleştirildikten sonra Project'i silebilmeniz için manuel olarak devre dışı bırakmanız gerekir. Tek bir LogStore'u silme işlemi bu özellikten etkilenmez; bu nedenle devre dışı bırakmanız gerekmez.
-
Silme adımları.
sekmesinde hedef LogStore'un üzerine gelin ve seçeneklerini belirleyin.
Warning iletişim kutusunda Confirm Deletion öğesini tıklayın.
-
Silme sonrası notlar.
Silme gününde depolama ücretleri hala uygulanır. Sonraki günden itibaren ücret tahakkuk etmez. Silme işleminden sonraki üçüncü günden itibaren bu LogStore için fatura almazsınız.
Silme işleminden sonra bu LogStore'u kaynak olarak kullanan tüm dışa aktarma görevleri, veri dönüştürme işleri, zamanlanmış SQL görevleri ve bu LogStore'u hedefleyen içe aktarma görevleri silinir.
API
Gerçek dünya senaryoları için yapılandırma örnekleri
Yüksek hacimli iş yükleri için gerçek zamanlı izleme ve analiz
Çevrimiçi uygulamanız gerçek zamanlı olarak büyük hacimli günlükler oluşturur. Arızalar meydana geldiğinde hata günlüklerini hızla bulmanız ve performans ölçümlerini (QPS ve yanıt gecikme süresi gibi) gerçek zamanlı uyarılarla izlemeniz gerekir.
Önerilen yapılandırma: Standard LogStore + pay-by-ingested-data + automatic sharding.
Neden: Standard LogStore analizi, gerçek zamanlı izlemeyi ve görselleştirmeyi destekler. Yüksek alım hacmi ve kapsamlı dizin oluşturma ihtimali göz önüne alındığında pay-by-ingested-data daha iyi maliyet verimliliği sunar ve automatic sharding tutarlı alım ve analiz performansı sağlar.
Uyumluluk, denetim ve düzenleyici senaryolar
Endüstri düzenlemeleri, denetim amacıyla kullanıcı işlem günlüklerinin ve güvenlik günlüklerinin altı aydan fazla süreyle saklanmasını gerektirir; ancak günlük sorgulama ve analiz sıklığı çok düşüktür.
Önerilen yapılandırma: Query LogStore + intelligent tiering.
Neden: Query LogStore, Standard'a kıyasla daha düşük dizin trafiği maliyetiyle yalnızca arama iş yüklerini destekler. Intelligent tiering, eski günlükleri otomatik olarak daha düşük maliyetli depolama katmanlarına taşıyarak uzun vadeli depolama maliyetlerini azaltır.
İlgili referanslar
Pay-by-feature faturalaması altında LogStore karşılaştırması
Query LogStore'ları yalnızca pay-by-feature faturalamasını destekler. Bu modelde Standard ve Query LogStore'ları şu şekilde karşılaştırılır:
Karşılaştırma Öğesi | Standard | Query Teknik Özellikleri | |
Maliyet | USD 0.0875/GB | USD 0.0146/GB | |
Özellikler | Veri alımı (yalnızca uygulama günlükleri için) | Desteklenir | Cloud ürün günlüğü alımını desteklemez. |
Desteklenir | Desteklenir | ||
Desteklenir | Desteklenir | ||
Analiz (SQL deyimi) | Desteklenir | Desteklenmez | |
Desteklenir | Desteklenir | ||
Desteklenir | Desteklenir | ||
Desteklenir | Desteklenmez | ||
Desteklenir | Desteklenir | ||
Desteklenir | Desteklenmez | ||
Desteklenir | Yalnızca sorgu tabanlı uyarıları destekler | ||
Desteklenir | Desteklenmez | ||
Desteklenir | Desteklenir | ||
Desteklenir | Desteklenir | ||
Desteklenir | Desteklenir | ||
Sınırlar
Pay-by-ingested-data, tam SLS özellik setini destekler. Sorgu ve analiz, veri dönüştürme, akıllı uyarı ve tüketim/aktarma gibi katma değerli özellikler ek ücret gerektirmez ancak aşağıdaki gibi kota sınırlarına tabidir.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Faturalandırmaya genel bakış
LogStore maliyetleri öncelikli olarak seçilen faturalama moduna bağlıdır.
Pay-by-feature: Depolama kapasitesi, dizin trafiği, okuma/yazma işlemleri ve parça sayısı gibi kaynakların gerçek kullanımı için ayrı ayrı faturalandırılırsınız.
Pay-by-ingested-data: Yalnızca ham alınan veri hacmi için ödeme yaparsınız; 30 günlük ücretsiz depolama ve birden fazla ücretsiz özellik dahildir.
Temel fiyatlandırma ayrıntıları:
Standard dizin trafiği: USD 0.0875/GB.
Query dizin trafiği: USD 0.0146/GB.
Maliyet optimizasyonu ipuçları:
Günlük saklama süreniz 30 güne yakınsa veya 30 günü aşıyorsa pay-by-ingested-data genellikle daha uygun maliyetlidir.
Arşivleme ve yalnızca geri alma senaryoları için dizin oluşturma maliyetlerini azaltmak amacıyla Query LogStore'ları kullanın.
Nadir erişilen verileri daha düşük maliyetli depolama katmanlarına taşımak için intelligent tiering kullanın.
SSS
LogStore oluşturulamıyor
Varsayılan olarak Project başına en fazla 200 LogStore oluşturabilirsiniz. Kullanılmayan LogStore'ları silin veya aşağıdaki gibi bir kota artışı talep edin.
Simple Log Service konsoluna oturum açın ve Project listesinde hedef Project'i tıklayın.
Project sayfasında Overview > Basic Information > Resource Quota bölümüne gidin ve Manage öğesini tıklayın. Resource Quotas panelinde LogStore kota sınırını ayarlayın ve isteğinizi göndermek için Save öğesini tıklayın. Değişikliğin etkili olması yaklaşık bir saat sürer.
Simple Log Service'de günlükler eksik mi?
-
Project veya LogStore eksik
Bir Project veya LogStore'u manuel olarak silerseniz günlükler kurtarılamaz. Son 90 gün içindeki silme olaylarını kontrol etmek için ActionTrail kullanın.
-
Hesabınız 7 günden fazla süreyle ödenmemiş kalırsa hizmet terk edilmiş sayılır. Project'ler geri alınır ve veriler kalıcı olarak silinir. Ayrıntılar için bkz. Ödemesi geciken ödemeler.
Günlük depolama maliyetlerini nasıl azaltabilirim?
SLS faturalandırmanızı kontrol etmek için bkz. SLS depolama kapasitesini ve tüketim kayıtlarını görüntüleme.
Geçmiş günlükleri yerel olarak indirin veya depolanmak üzere OSS'e aktarın.
Bir LogStore'a toplanan günlüklerin veri kaynağını nasıl belirlerim?
Bir Project'te oluşturmadığınız LogStore'lar varsa veya hangi cloud hizmetinin bir LogStore'a günlük yazdığından emin değilseniz veri kaynağını ve günlük kaynak hizmetini onaylamak için aşağıdaki yöntemleri kullanın:
LogStore'un veri içe aktarma yapılandırmasını kontrol edin: Logtail toplama yapılandırmaları ve cloud hizmeti günlüklerinin aktarma veya içe aktarma yapılandırmaları, LogStore'a yazan veri kaynaklarıyla doğrudan eşleşir. Kaynağı onaylamanın en doğrudan yolu budur.
LogStore'un Query and Analysis sayfasında Raw Logs görüntüsünü inceleyin: her günlük girişinin Time/IP sütunu kaynak tanımlayıcı alanı
__source__değerini gösterir. Logtail'in dosyalardan topladığı günlükler ayrıca__tag__:__path__gibi ayrılmış alanlar taşır; bunların adları Simple Log Service ayrılmış sözcükleridir ve bu alanları kullanarak günlüklerin çalışma zamanı kaynağını belirleyebilirsiniz.Project'in açıklamasını kontrol edin: Bir cloud hizmeti tarafından otomatik oluşturmada gelen bir Project genellikle açıklamasında amacını ve kaynağını belirtir.
internal-önekiyle LogStore'lar; örneğininternal-operation_log,internal-alert-historyveinternal-etl-log, belirli veri içe aktarmaları için Simple Log Service tarafından ayrılır. Bu LogStore'lar için konsol, mevcut LogStore'un belirli bir veri içe aktarma için yapılandırıldığını ve yapılandırma öğelerinin özelleştirilemeyeceğini belirtir.Kaynağı belirlemek için
GetLogStoretarafından döndürülenproductTypealanına güvenmeyin: bu alan Simple Log Service OpenAPI'de tanımlanmamıştır ve değerleri standart değildir. Yalnızca yardımcı bir sinyal olarak kullanın, asla sonucunuz için tek dayanak olarak kullanmayın.
Bir LogStore için ham günlük depolama varsayılan olarak etkin midir?
Evet. Ham günlük depolama varsayılan olarak etkindir ve manuel yapılandırma gerektirmez. Günlükler bir LogStore'a yazıldıktan sonra ham günlükler depolanır ve Simple Log Service ham günlük depolama için ayrı bir anahtar sağlamaz. Günlüklerin ne kadar süreyle saklandığı LogStore'un Data Retention Period değeri tarafından belirlenir.
Bunu onaylamak için Simple Log Service konsoluna oturum açın, hedef LogStore'un Query and Analysis sayfasına gidin, bir zaman aralığı seçin ve Raw Logs sekmesinde yazılan günlükleri görüntüleyin. LogStore için dizin oluşturma devre dışı bırakıldığında da Raw Logs sekmesi kullanılabilir. Sayfa dizin oluşturmanın etkin olmadığını belirtiyorsa yalnızca dizin oluşturma etkin hale geldikten sonra yazılan verileri sorgulayabilirsiniz.