Simple Log Service'teki veri dönüştürme işlerini kullanarak, birden çok kaynak LogStore'dan gelen verileri merkezi sorgulama ve analiz için tek bir LogStore'da birleştirebilirsiniz.
Arka plan bilgileri
Küresel dağıtıma sahip hizmetler sunan bir haber web sitesi, farklı haber kanallarından gelen kullanıcı erişim günlüklerini birden çok Alibaba Cloud hesabındaki LogStore'larda saklar. Bu günlük verilerini merkezi sorgulama ve analiz için tek bir LogStore'da birleştirmek amacıyla, veri dönüştürme işinde e_output işlevini kullanabilirsiniz.
Aşağıdaki örnekte, aynı bölge olan UK (London) içindeki farklı LogStore'lardan gelen günlükler birleştirilmektedir:
-
Hesap 1, ham günlüklerini UK (London) bölgesindeki Project_1 projesinde bulunan LogStore_1 içinde saklar.
"Log 1" request_id: 1 http_host: example.com http_status: 200 request_method: GET request_uri: /pic/icon.jpg "Log 2" request_id: 2 http_host: aliyundoc.com http_status: 301 request_method: POST request_uri: /data/data.php -
Hesap 2, günlüklerini UK (London) bölgesindeki Project_2 projesinde bulunan LogStore_2 içinde saklar.
"Log 1" request_id: 3 host: example.edu status: 404 request_method: GET request_uri: /category/abc/product_id "Log 2" request_id: 4 host: example.net status: 200 request_method: GET request_uri: /data/index.html -
Dönüştürme gereksinimleri
hesaptaki LogStore_1'den,
http_statusdeğeri200olan günlük olaylarını 3. hesaptaki LogStore_3'e aktarın.hesaptaki LogStore_2'den gelen ve
statusdeğeri200olan günlük olayları için, LogStore_1'deki alan adlarıyla eşleşmesi amacıylahostalanınıhttp_hostolarak,statusalanını isehttp_statusolarak yeniden adlandırın. Ardından, dönüştürülen günlükleri 3. hesaptaki LogStore_3'e aktarın.
Adım 1: LogStore_1 için dönüştürmeyi yapılandırın
hesaptaki LogStore_1'in veri dönüştürme sayfasına gidin. Ayrıntılı adımlar için bkz. Veri dönüştürme işi oluşturma.
-
Veri dönüştürme sayfasında, 1. hesaptaki LogStore_1'den
http_statusdeğeri200olan günlük olaylarını 3. hesaptaki LogStore_3'e aktarmak için aşağıdaki kuralı yapılandırın.e_if(e_match("http_status", "200"), e_output("target_logstore")) -
Bir veri dönüştürme işi oluşturun ve Storage Destination bölümünde Storage Destination, Destination Name, Destination Region, Destination Project ve Destination Logstore gibi parametreleri ayarlayın. Yetkilendirme yöntemi parametresinin açıklaması için bkz. Veri dönüştürme işi oluşturma.
Destination Name değerini
target_logstoreolarak ayarlayın. Destination Region için UK (London) seçeneğini belirleyin. Destination Project alanınaProject_3girin. Target Store alanınaLogStore_3girin. Authorization Method için AccessKey seçeneğini belirleyin, AccessKey ID ve AccessKey Secret bilgilerini girin ve ardından Add düğmesine tıklayın.
Adım 2: LogStore_2 için dönüştürmeyi yapılandırın
hesaptaki LogStore_2'nin veri dönüştürme sayfasına gidin. Ayrıntılı adımlar için bkz. Veri dönüştürme işi oluşturma.
-
Veri dönüştürme sayfasında aşağıdaki kuralı yapılandırın. Bu kural, LogStore_2'den gelen ve
statusdeğeri200olan günlükleri işler. LogStore_1'deki alan adlarıyla eşleşmesi içinhostalanınıhttp_hostolarak,statusalanını isehttp_statusolarak yeniden adlandırır ve dönüştürülen günlükleri 3. hesaptaki LogStore_3'e aktarır.e_if(e_match("status", "200"), e_compose(e_rename("status", "http_status", "host", "http_host"), e_output("target_logstore")))Önizleme sonuçlarında, alanların beklendiği gibi yeniden adlandırıldığını görürsünüz: host, http_host olarak; status ise http_status olarak yeniden adlandırılmıştır.
-
Bir veri dönüştürme işi oluşturun. Storage Destination alanında Destination Name, Destination Region, Destination Project ve Destination Logstore gibi parametreleri yapılandırın. Authorization Method parametresinin açıklaması için bkz. Veri dönüştürme işi oluşturma.
Destination Name için
target_logstoregirin. Destination Region için UK (London) seçeneğini belirleyin. Destination Project alanınaProject_3girin. Target Store alanınaLogStore_3girin. Authorization Method için AccessKey seçeneğini belirleyin, AccessKey ID ve AccessKey Secret bilgilerini girin ve ardından Add düğmesine tıklayın.
Birleştirme sonuçlarını görüntüleyin
Dönüştürme işleminden sonra, UK (London) bölgesindeki LogStore_3 içinde birleştirilen günlükleri 21326. Örnek çıktı:
"Log 1"
request_id: 1
http_host: example.com
http_status: 200
request_method: GET
request_uri: /pic/icon.jpg
"Log 2"
request_id: 4
http_host: example.net
http_status: 200
request_method: GET
request_uri: /data/index.html