Bu konuda; dinamik dağıtım, hesaplar arası dağıtım, dinamik hesaplar arası dağıtım ve karmaşık dinamik dağıtım gibi verilerin birden fazla Logstore'a dağıtıldığı senaryolar ile her biri için gereken adımlar açıklanmaktadır.
Arka plan bilgileri
Log Service'in veri dönüştürme özelliği sayesinde sonuçları birden fazla Logstore'a dağıtabilirsiniz. Sonuçları farklı hesaplardaki Logstore'lara göndermek için AccessKey çiftlerini kullanabilir veya sonuçları belirli bir Project ve Logstore'a dinamik olarak yönlendirmek için e_output ve e_coutput işlevlerinden yararlanabilirsiniz.
Sonuçları en fazla 20 hesaptaki Logstore'lara dağıtabilirsiniz.
e_outputişlevi günlükleri belirtilen Logstore'a gönderir ve sonraki dönüştürme kurallarının uygulanmasını durdurur. Günlükleri gönderdikten sonra kuralları uygulamaya devam etmek içine_coutputişlevini kullanın. Daha fazla bilgi için bkz. e_output ve e_coutput işlevleri. Bu konuda örnek olarake_outputişlevi kullanılmıştır.
Senaryo 1: Hesaplar arası dağıtım
Örneğin, bir web sitesine ait tüm erişim günlükleri tek bir Logstore'da saklanır. Farklı HTTP durum kodlarına sahip günlükleri farklı hesaplardaki Logstore'lara yönlendirmek istiyorsunuz.
Bunu Log Service'in veri dönüştürme özelliğini kullanarak yapabilirsiniz.
-
Ham günlükler
http_host: example.com http_status: 200 request_method: GET request_uri: /pic/icon.jpg scheme: https http_host: example.org http_status: 301 request_method: POST request_uri: /data/data.php scheme: http http_host: example.net http_status: 404 request_method: GET request_uri: /category/abc/product_id scheme: https http_host: aliyundoc.com http_status: 504 request_method: GET request_uri: /data/index.html scheme: https -
Dağıtım gereksinimleri
http_status değeri 2XX olan günlükler, storage target target0 içindeki Logstore0'a kaydedilir ve konu success_event olarak ayarlanır.
http_status değeri 3XX olan günlükler, storage target target1 içindeki Logstore1'e dağıtılır ve konu redirection_event olarak ayarlanır.
http_status değeri 4XX olan günlükler, storage target target2 içindeki Logstore2'ye dağıtılır ve konu unauthorized_event olarak ayarlanır.
http_status değeri 5XX olan günlükler, storage target target3 içindeki Logstore3'e dağıtılır ve konu internal_server_error_event olarak ayarlanır.
target0 A hesabında; target1, target2 ve target3 ise B hesabında bulunmaktadır.
-
Dönüştürme kuralı
e_switch(e_match("status", r"2\d+"), e_set("__topic__", "success_event"), e_match("status", r"3\d+"), e_compose(e_set("__topic__", "redirection_event"), e_output("target1")), e_match("status", r"4\d+"), e_compose(e_set("__topic__", "unauthorized_event"), e_output("target2")), e_match("status", r"5\d+"), e_compose(e_set("__topic__", "internal_server_error_event'"), e_output("target3")) ) -
Storage targets
Create Data Transformation Job panelinde storage targets yapılandırın. Daha fazla bilgi için bkz. Veri dönüştürme işi oluşturma. Target 2 (target1) için hedef bölge China (Beijing) olup uç noktası
https://cn-beijing.log.aliyuncs.comşeklindedir. Target 3 (target2) için hedef bölge China (Hangzhou) - Current Region olup uç noktasıcn-hangzhou-intranet.log.aliyuncs.comşeklindedir.
Label
Storage target
Destination Project and Logstore
AccessKey
1
target0
Project0, Logstore0
A Hesabı için AccessKey çifti
2
target1
Project1, Logstore1
B Hesabı için AccessKey çifti
3
target2
Project2, Logstore2
B Hesabı için AccessKey çifti
4
target3
Project3, Logstore3
B Hesabı için AccessKey çifti -
Dönüştürme sonuçları
## Logs with an http_status of 2xx are distributed to Logstore0, which belongs to Account A. __topic__: success_event http_host: example.com http_status: 200 request_method: GET request_uri: /pic/icon.jpg scheme: https ## Logs with an http_status of 3xx are distributed to Logstore1, which belongs to Account B. __topic__: redirection_event http_host: example.org http_status: 301 request_method: POST request_uri: /data/data.php scheme: http ## Logs with an http_status of 4xx are distributed to Logstore2, which belongs to Account B. __topic__: unauthorized_event http_host: example.net http_status: 404 request_method: GET request_uri: /category/abc/product_id scheme: https ## Logs with an http_status of 5xx are distributed to Logstore3, which belongs to Account B. __topic__: internal_server_error_event http_host: aliyundoc.com http_status: 504 request_method: GET request_uri: /data/index.html scheme: https
Senaryo 2: Basit dinamik dağıtım
Örneğin, bir web sitesine ait tüm erişim günlükleri tek bir Logstore'da saklanır. Bu günlükleri project ve LogStore alanlarına göre farklı Logstore'lara dağıtmak istiyorsunuz.
Bunu Log Service'in veri dönüştürme özelliğini kullanarak yapabilirsiniz.
-
Ham günlükler
__tag__:type: dynamic_dispatch host: example.aliyundoc.com project: Project1 logstore: Logstore1 http_status: 200 request_method: GET request_uri: /pic/icon.jpg scheme: https __tag__:type: dynamic_dispatch host: demo.aliyundoc.com project: Project1 logstore: Logstore2 http_status: 301 request_method: POST request_uri: /data/data.php scheme: http __tag__:type: dynamic_dispatch host: learn.aliyundoc.com project: Project2 logstore: Logstore1 http_status: 404 request_method: GET request_uri: /category/abc/product_id scheme: https __tag__:type: dynamic_dispatch host: guide.aliyundoc.com project: Project2 logstore: Logstore2 http_status: 504 request_method: GET request_uri: /data/index.html scheme: https -
Dağıtım gereksinimleri
Günlükler, project ve Logstore alanlarının değerlerine göre dinamik olarak dağıtılır.
Günlüğe, değeri dynamic_dispatch olan tag:type alanını ekleyin.
-
Dönüştürme kuralı
e_output(project=v("project"), logstore=v("logstore"), tags={"type": "dynamic_dispatch"})e_output işlevi, günlükleri dağıtmak üzere project alanı ve Logstore alanının değerlerini dinamik olarak ayıklar.
-
Storage target
Create Data Transformation Job sayfasında yalnızca varsayılan bir storage target yapılandırmanız gerekir. Bu target, dönüştürme işlemi sırasında atılmayan günlükleri depolamak için kullanılır.
NotBu senaryoda, dinamik dağıtım için hedef Project ve Logstore,
e_outputişlevindeki yapılandırmayla belirlenir. Bu hedef, Create Data Transformation Job sayfasında varsayılan storage target (Label 1) için yapılandırılan hedeften bağımsızdır.Varsayılan storage target (Label 1) için örnek yapılandırma: Target Name değerini
target0olarak, Destination Region değerini China (Zhangjiakou) olarak, Destination Project değeriniProject0olarak ve Destination Logstore değeriniLogstore0olarak ayarlayın. Authorization Method için Default Role seçeneğini belirleyin. -
Dönüştürme sonuçları
## Distributed to Logstore1 in Project1. __tag__:type: dynamic_dispatch host: example.aliyundoc.com project: Project1 logstore: Logstore1 http_status: 200 request_method: GET request_uri: /pic/icon.jpg scheme: https ## Distributed to Logstore2 in Project1. __tag__:type: dynamic_dispatch host: demo.aliyundoc.com project: Project1 logstore: Logstore2 http_status: 301 request_method: POST request_uri: /data/data.php scheme: http ## Distributed to Logstore1 in Project2. __tag__:type: dynamic_dispatch host: learn.aliyundoc.com project: Project2 logstore: Logstore1 http_status: 404 request_method: GET request_uri: /category/abc/product_id scheme: https ## Distributed to Logstore2 in Project2. __tag__:type: dynamic_dispatch host: guide.aliyundoc.com project: Project2 logstore: Logstore2 http_status: 504 request_method: GET request_uri: /data/index.html scheme: https
Senaryo 3: Dinamik hesaplar arası dağıtım
Örneğin, bir web sitesine ait tüm erişim günlükleri tek bir Logstore'da saklanır. Günlüklerdeki project ve logstore alanlarına göre günlükleri farklı hesaplardaki Logstore'lara dinamik olarak yönlendirmek istiyorsunuz.
Bunu Log Service'in veri dönüştürme özelliğini kullanarak yapabilirsiniz.
-
Ham günlükler
host: example.aliyundoc.com project: Project1 logstore: Logstore1 http_status: 200 request_method: GET request_uri: /pic/icon.jpg scheme: https host: demo.aliyundoc.com project: Project1 logstore: Logstore2 http_status: 301 request_method: POST request_uri: /data/data.php scheme: http host: learn.aliyundoc.com project: Project2 logstore: Logstore1 http_status: 404 request_method: GET request_uri: /category/abc/product_id scheme: https host: guide.aliyundoc.com project: Project2 logstore: Logstore2 http_status: 504 request_method: GET request_uri: /data/index.html scheme: https -
Dağıtım gereksinimleri
Veriler, bir günlükteki project ve LogStore alanlarının değerlerine göre farklı hesaplardaki Project'lere dinamik olarak dağıtılır. Örneğin, Project1 (Logstore1 ve Logstore2'yi içerir) A hesabına aittir; Project2 (Logstore1 ve Logstore2'yi içerir) ise B hesabına aittir.
-
Dönüştürme kuralı
e_switch(e_match(v("project"), "Project1"), e_output(name="target1", project=v("project"), logstore=v("logstore")), e_match(v("project"), "Project2"), e_output(name="target2", project=v("project"), logstore=v("logstore"))) -
Storage targets
Create Data Transformation Job sayfasında storage targets yapılandırın. Daha fazla bilgi için bkz. Veri dönüştürme işi oluşturma.
NotBu senaryoda, hedef Project ve Logstore,
e_outputişlevindeki yapılandırmayla belirlenir. Bu hedef, Create Data Transformation Job sayfasında varsayılan storage target (Label 1) için yapılandırılan hedeften bağımsızdır.Her storage target için Authorization Method olarak AccessKey Pair seçeneğini belirleyin ve ardından ilgili hesabın AccessKey ID ve AccessKey Secret değerlerini girin.
Label
Storage target
Destination Project and Logstore
AccessKey
1
target0
Project0, Logstore0
Uygulanamaz
2
target1
Herhangi bir değer olabilir. Hedef,e_outputişlevi tarafından belirlenir.
A Hesabı için AccessKey çifti
3
target2
Herhangi bir değer olabilir. Hedef,e_outputişlevi tarafından belirlenir.
B Hesabı için AccessKey çifti -
Dönüştürme sonuçları
## Distributed to Logstore1 in Account A's Project1. host: example.aliyundoc.com project: Project1 logstore: Logstore1 http_status: 200 request_method: GET request_uri: /pic/icon.jpg scheme: https ## Distributed to Logstore2 in Account A's Project1. host: demo.aliyundoc.com project: Project1 logstore: Logstore2 http_status: 301 request_method: POST request_uri: /data/data.php scheme: http ## Distributed to Logstore1 in Account B's Project2. host: learn.aliyundoc.com project: Project2 logstore: Logstore1 http_status: 404 request_method: GET request_uri: /category/abc/product_id scheme: https ## Distributed to Logstore2 in Account B's Project2. host: guide.aliyundoc.com project: Project2 logstore: Logstore2 http_status: 504 request_method: GET request_uri: /data/index.html scheme: https
Senaryo 4: Karmaşık dinamik dağıtım
Örneğin, bir şirket bir oyun için reklam çalışması yürütür ve oyuna yönelik tüm API istek günlüklerini tek bir Logstore'da saklar. Şirket, farklı cihazlardan (iOS, Android ve Windows) gelen istekleri ayrı Logstore'lara yönlendirmek amacıyla user_agent istek üst bilgisini ayrıştırmak ve reklam dönüşüm oranını hesaplamak için de request_method alanını analiz etmek istemektedir.
Bu gereksinimleri Log Service'in veri dönüştürme ile sorgulama ve analiz özelliklerini kullanarak karşılayabilirsiniz.
-
Ham günlük
__source__:127.0.0.0 __tag__:__receive_time__: 1589541467 ip:10.0.0.0 request_method: GET user_agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:50.0) Gecko/20100101 Firefox/50.0 -
Dağıtım gereksinimleri
Windows kullanıcılarından gelen istek günlüklerini, storage target
target1içindeki Logstore1'e dağıtın.iOS kullanıcılarından gelen istek günlüklerini, storage target
target2içindeki Logstore2'ye dağıtın.Android kullanıcılarından gelen istek günlüklerini, storage target
target3içindeki Logstore3'e dağıtın.
-
Dönüştürme kuralı
Bu örnekte, user_agent alanını ayrıştırmak için ua_parse_os işlevini, istek üst bilgisinden işletim sistemi bilgilerini almak için dct_get işlevini ve os adlı yeni bir alan ekleyip değerini işletim sistemi bilgisi olarak ayarlamak için e_set işlevini kullanabilirsiniz. Ardından dinamik dağıtım yapmak için e_output işlevini ve koşullu işlevleri kullanabilirsiniz.
e_set("os", dct_get(ua_parse_os(v("user_agent")),"family")) e_if(e_search("os==Windows"),e_output(name="target1")) e_if(e_search("os=iOS"),e_output(name="target2")) e_if(e_search("os==Android"),e_output(name="target3")) -
Storage targets
Create Data Transformation Job sayfasında storage targets yapılandırın. Daha fazla bilgi için bkz. Veri dönüştürme işi oluşturma.
Her storage target için Target Name, Destination Project ve Destination Logstore değerlerini yapılandırın. Ayrıca bir Destination Region (örneğin, China (Hangzhou)) ve bir Authorization Method (Default Role veya Custom Role) seçmeniz gerekir. Custom Role seçeneğini belirlerseniz Role ARN bilgisini sağlamanız gerekir.
Label
Storage target
Destination Project and Logstore
1
target0
Project0, Logstore0
2
target1
Project1, Logstore1
3
target2
Project2, Logstore2
4
target3
Project3, Logstore3 -
Sorgulama ve analiz
Reklam dönüşüm oranını belirlemek için hedef Logstore'larda sorgular çalıştırın. Aşağıdaki sonuçlar, Android kullanıcılarının daha yüksek bir dönüşüm oranına sahip olduğunu göstermektedir. Daha fazla bilgi için bkz. Sorgulama ve analize hızlı başlangıç.
-
Logstore2'nin Search & Analysis sayfasında, iOS kullanıcılarından gelen GET ve POST isteklerini saymak için aşağıdaki sorguyu çalıştırın.
* | SELECT Request_method, COUNT(*) as number GROUP BY Request_method
-
Logstore3'ün Search & Analysis sayfasında, Android kullanıcılarından gelen GET ve POST isteklerini saymak için aşağıdaki sorguyu çalıştırın.
* | SELECT Request_method, COUNT(*) as number GROUP BY Request_method
-