Logstore içindeki günlük alanlarını MetricStore ölçümlerine dönüştürmek ve zaman içindeki ölçüm değişikliklerini izlemek için e_to_metric veri dönüşüm işlevini kullanın.
Arka plan
Uygulama çalışma zamanı verileri üç kategoriye ayrılır: günlükler, izlemeler ve ölçümler. Günlükler ayrı olayları kaydeder, izlemeler sistem genelindeki istekleri takip eder ve ölçümler zaman içindeki sayısal değerleri yakalar. Log Service bu veriler için iki depolama türü sunar:
-
Logstore
Logstore, Log Service içinde günlükleri toplar, depolar ve sorgular. Logstore.
-
MetricStore
MetricStore, Log Service içinde ölçümleri toplar, depolar ve sorgular. MetricStore'lar PromQL sorgularını destekler ve Prometheus protokolü ile uyumludur. MetricStore.
Günlük verileri genellikle ölçüm verilerinden daha kapsamlıdır; bir ölçüm aslında yapılandırılmış bir günlük girdisidir. Log Service, günlükleri ölçümlere dönüştürmek için iki yöntem destekler:
Zamanlanmış SQL: Ölçüm oluşturmak için günlükleri toplar. Logstore'dan MetricStore'a veri aktarmak için zamanlanmış SQL işi oluşturma.
e_to_metric veri dönüşüm işlevi: Logstore günlük alanlarını zaman serisi ölçümlerine dönüştürür.
Senaryo
China (Hangzhou) bölgesinde nginx-demo adında bir Logstore bulunur ve NGINX erişim günlüklerini depolar.
Her arka uç sunucusu için request_time (istek süresi) ve upstream_response_time (yukarı akış yanıt süresi) trendlerini izlemek amacıyla, bu alanları Logstore'dan host alanına dayalı bir etiketle ölçümlere dönüştürün.
body_bytes_sent:1750
host:www.example.com
http_referer:www.guide.example.com
http_user_agent:Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_6; it-it) AppleWebKit/533.20.25 (KHTML, like Gecko) Version/5.0.4 Safari/533.20.27
http_x_forwarded_for:203.0.113.10
remote_addr:203.0.113.10
remote_user:p288
request_length:13741
request_method:GET
request_time:71
request_uri:/request/path-1/file-1
status:200
time_local:11/Aug/2021:06:52:27
upstream_response_time:0.66
Ön koşullar
Günlük verileri toplanmıştır. Veri toplama.
Adım 1: MetricStore oluşturma
Dönüştürülen ölçümleri depolamak için service-metric adında bir MetricStore oluşturun.
Simple Log Service konsolu oturum açın.
-
Projects bölümünde istediğiniz projeyi tıklayın.

sekmesinde + simgesini tıklayın.
-
Create Metricstore panelinde aşağıdaki parametreleri yapılandırın ve OK seçeneğini tıklayın.
Parametre
Açıklama
Metricstore Name
MetricStore adı. Proje içinde benzersiz olmalıdır. Oluşturulduktan sonra değiştirilemez.
Data Retention Period
Ölçümlerin metricstore içinde ne kadar süreyle saklanacağı.
-
Specified Days: Ölçümleri 1 ila 3000 gün arasında saklar.
Uyarı-
Süresi dolan ölçümler otomatik olarak silinir.
-
Saklama süresini kısaltırsanız SLS, süresi dolan ölçümleri 1 saat içinde siler. SLS konsolunun ana sayfasındaki Usage Details bilgisi ertesi gün güncellenir. Örneğin, saklama süresini 5 günden 1 güne düşürmek önceki dört güne ait ölçümleri 1 saat içinde siler.
-
-
Permanent Storage: Ölçümleri süresiz olarak saklar.
NotSDK tarafından döndürülen 3650 saklama süresi değeri, kalıcı depolamayı gösterir.
Shards
Parça sayısı. Her parça yazma için 5 MB/s ve 500 yazma/sn, okuma için 10 MB/s ve 100 okuma/sn destekler. Maksimum: metricstore başına 10 parça, proje başına 200 parça. Daha fazla bilgi için bkz. Shard.
Automatic Sharding
Automatic Sharding özelliğini açarsanız yazma kapasitesi yetersiz kaldığında SLS parça sayısını artırır. Daha fazla bilgi için bkz. Manage shards.
Maximum Shards
Automatic Sharding etkinleştirildiğinde gereklidir. Maksimum okuma/yazma parçası sayısı. Maksimum değer: 256.
-
Adım 2: Veri dönüşüm işi oluşturma
Sonuçları 1. Adımda oluşturduğunuz MetricStore'a yönlendiren bir veri dönüşüm işi oluşturmak için e_to_metric işlevini kullanın.
Sağ üst köşede hedef günlüklerin Raw Logs sekmesinde görünmesi için bir zaman aralığı seçin.
-
request_timeveupstream_response_timedeğerlerini ölçümlere dönüştürmek vehostetiketinihostnameolarak yeniden adlandırmak için aşağıdaki veri dönüşüm ifadesini girin.e_to_metric( names=[("request_time", "RequestTime"), ("upstream_response_time", "ResponseTime")], labels=[("host", "hostname")], ) -
Preview Data seçeneğini tıklayın ve Transformation Results sekmesini kontrol edin.
Sekmede iki ölçüm veri noktası görüntülenir:
__name__=RequestTimeve__value__=71.0ile__name__=ResponseTimeve__value__=0.66. İkisinin de__labels__=hostname#$#www.example.comve__time_nano__=1716172083000000000değeri vardır. -
Veri dönüşüm işini oluşturun.
Save as Transformation Job seçeneğini tıklayın.
-
Create Data Transformation Job panelinde aşağıdaki parametreleri yapılandırın ve OK seçeneğini tıklayın. Parametre ayrıntıları için bkz. Veri dönüşüm işi oluşturma.
Parametre
Açıklama
İş adı, Görünen ad
İş adı benzersiz olmalıdır. Görünen ad, log2metric gibi kullanıcı tarafından tanımlanır.
Yetkilendirme yöntemi
Kaynak Logstore üzerinde okuma izinleri vermek için Default Role seçeneğini belirleyin.
Hedef
Hedef adı
log2metric gibi hedef adı.
Hedef bölge
China (Hangzhou) gibi hedef Projenin bulunduğu bölge.
Hedef Project
Dönüşüm sonuçlarını depolayan hedef Project.
Hedef store
service-metric gibi hedef MetricStore.
Yetkilendirme yöntemi
Hedef MetricStore service-metric üzerinde yazma izinleri vermek için Default Role seçeneğini belirleyin.
İşleme kapsamı
Zaman aralığı
All seçeneğini belirleyin.
-
Veri dönüşüm işinin durumunu kontrol edin.
Sol gezinme bölmesinde Logstore simgesini tıklayın, hedef Logstore'u genişletin, Data Processing > Data Transformation seçeneklerini belirleyin ve ilerlemeyi görüntülemek için hedef işi tıklayın.
Adım 3: Zaman serisi verilerini sorgulama
Sol gezinme bölmesinde seçeneklerini belirleyin ve hedef MetricStore'u seçin.
-
Sağ üst köşede sorgu zaman aralığını ayarlamak için Last 15 Minutes (Relative) seçeneğini tıklayın.
NotSorgu ve analiz sonuçlarında en fazla bir dakikalık gecikme süresi olabilir.
-
Preview Raw Data seçeneğini tıklayın. Açılan panelde ölçümlerin yazıldığını doğrulamak için bir zaman aralığı seçin.
Önizleme,
service-metriciçinden iki ölçüm gösterir:__name__:RequestTime __value__:71.0ve__name__:ResponseTime __value__:0.66. -
Aşağıdaki yöntemlerden birini kullanarak bir sorgu ifadesi girin. Ayrıntılı adımlar için bkz. Zaman serisi verilerini sorgulama ve analiz etme.
-
Bir PromQL ifadesi girin ve Execute Now seçeneğini tıklayın.
Birden çok sorgu ekleyebilirsiniz. Sonuçlar aynı zaman serisi grafiğinde üst üste bindirilir.
-
Metrics Explore bölmesinde bir ölçümün yanındaki
simgesini tıklayarak otomatik olarak bir sorgu ifadesi oluşturun.Alternatif olarak, Metrics Explore bölmesindeki bir ölçüm için Continue to Explore seçeneğini tıklayarak etiket değerlerini ayarlayabilir ve otomatik olarak bir sorgu oluşturabilirsiniz. Ölçüm keşfi.
Her host için RequestTime trendi

Her host için ResponseTime trendi

-