Simple Log Service, Alibaba Cloud hizmetlerinden Java hata günlüklerini toplar ve veri dönüştürme kullanarak bu günlükleri ayrıştırır. Böylece büyük veri ve yüksek eşzamanlılık senaryolarında hataları verimli bir şekilde analiz etmenize yardımcı olur.
Ön koşullar
SLS, OSS, SLB ve ApsaraDB RDS kaynaklı Java hata günlükleri toplanmış ve cloud_product_error_log adlı bir Logstore içinde saklanmıştır. Daha fazla bilgi için bkz. Logtail ile günlük toplama.
Kullanım senaryoları
Örneğin, OSS ve SLS gibi birden çok Alibaba Cloud hizmetini kullanan A Uygulaması adlı bir Java uygulaması geliştirdiniz. Bu hizmetlere yapılan API çağrılarından kaynaklanan Java hata günlüklerini Çin (Hangzhou) bölgesindeki cloud_product_error_log adlı bir Logstore içinde saklıyorsunuz. Java hatalarını verimli bir şekilde gidermek için Simple Log Service kullanarak hata günlüklerini düzenli aralıklarla analiz edersiniz.
Toplanan günlüklerden zaman damgasını, hata kodunu, durum kodunu, hizmet bilgilerini, hata mesajını, istek yöntemini ve hata satır numarasını ayıklayın; ardından ayrıştırılan günlükleri hata analizi için her hizmetin kendi Logstore'una kaydedin.
Aşağıda örnek bir ham günlük gösterilmektedir:
__source__:192.0.2.10
__tag__:__client_ip__:203.0.113.10
__tag__:__receive_time__:1591957901
__topic__:
message: 2021-05-15 16:43:35 ParameterInvalid 400
com.aliyun.openservices.log.exception.LogException:The body is not valid json string.
at com.aliyun.openservice.log.Client.ErrorCheck(Client.java:2161)
at com.aliyun.openservice.log.Client.SendData(Client.java:2312)
at com.aliyun.openservice.log.Client.PullLogsk(Client.java:1397)
at com.aliyun.openservice.log.Client.SendData(Client.java:2265)
at com.aliyun.openservice.log.Client.GetCursor(Client.java:1123)
at com.aliyun.openservice.log.Client.PullLogs(Client.java:2161)
at com.aliyun.openservice.log.Client.ErrorCheck(Client.java:2426)
at transformEvent.main(transformEvent.java:2559)
İş akışı
Logtail, A Uygulamasından hata günlüklerini toplar ve bunları cloud_product_error_log adlı bir Logstore'a gönderir. Günlükler daha sonra veri dönüştürme kullanılarak işlenir ve analiz için ilgili Logstore'lara iletilir.
Bir veri dönüştürme ifadesi tasarlayın: Verileri analiz edin ve bir dönüştürme ifadesi yazın.
Bir veri dönüştürme işi oluşturun: Hata analizi için günlükleri hizmet bazında Logstore'lara dağıtın.
Verileri sorgulayın ve analiz edin: Her hizmetin Logstore'undaki hata günlüklerini analiz edin.
Adım 1: Bir veri dönüştürme ifadesi tasarlama
Transformation process
Hata günlüklerini analiz etmek için:
messagealanından zaman damgasını, hata kodunu, durum kodunu, hizmet bilgilerini, hata mesajını, istek yöntemini ve hata satır numarasını ayıklayın.Hata günlüklerini her hizmetin kendi Logstore'una kaydedin.

Transformation logic
Ham günlüklerdeki zaman damgasını, hata kodunu, durum kodunu, hizmet bilgilerini, hata mesajını, istek yöntemini ve hata satır numarasını analiz edin; ardından bu alanları ayıklamak için bir düzenli ifade tasarlayın.
Syntax reference
Bir günlük girdisinin
LogExceptioniçerip içermediğini kontrol etmek içinregex_matchfonksiyonunu kullanın. Daha fazla bilgi için bkz. regex_match.Bir günlük
LogExceptionile eşleşirse SLS hata günlükleri için tanımlanan ayrıştırma kurallarına göre işlenir.OSSExceptionile eşleşirse OSS hata günlükleri kurallarına göre işlenir. Daha fazla bilgi için bkz. e_switch.İlgili hata günlüklerini bir düzenli ifade ile ayrıştırmak için
e_regexfonksiyonunu kullanın. Daha fazla bilgi için bkz. e_regex.Orijinal
messagealanını silin ve ayrıştırılan verileri uygun hizmetin Logstore'una iletin. Daha fazla bilgi için bkz. e_drop_fields ve e_output.Daha fazla bilgi için bkz. Düzenli ifadelerde gruplar.
Syntax analysis
Aşağıdaki örnekte bir SLS hata günlüğünün düzenli ifade kullanılarak nasıl ayrıştırılacağı gösterilmektedir:
Tam dönüştürme sözdizimi aşağıdaki gibidir:
e_switch(
regex_match(v("message"), r"LogException"),
e_compose(
e_regex(
"message",
"(?P<data_time>\S+\s\S+)\s(?P<error_code>[a-zA-Z]+)\s(?P<status>[0-9]+)\scom\.aliyun\.openservices\.log\.exception\.(?P<product_exception>[a-zA-Z]+)\:(?P<error_message>[a-zA-Z0-9:,\-\s]+)\.(\s+\S+\s\S+){5}\s+\S+\scom\.aliyun\.openservices\.log\.Client\.(?P<method>[a-zA-Z]+)\S+\s+\S+\stransformEvent\.main\(transformEvent\.java\:(?P<error_line>[0-9]+)\)",
),
e_drop_fields("message"),
e_output("sls-error"),
),
regex_match(v("message"), r"OSSException"),
e_compose(
e_regex(
"message",
"(?P<data_time>\S+\s\S+)\scom\.aliyun\.oss\.(?P<product_exception>[a-zA-Z]+)\:(?P<error_message>[a-zA-Z0-9,\s]+)\.\n\[ErrorCode\]\:\s(?P<error_code>[a-zA-Z]+)\n\[RequestId\]\:\s(?P<request_id>[a-zA-Z0-9]+)\n\[HostId\]\:\s(?P<host_id>[a-zA-Z-.]+)\n\S+\n\S+(\s\S+){3}\n\s+\S+\s+(.+)(\s+\S+){24}\scom\.aliyun\.oss\.OSSClient\.(?P<method>[a-zA-Z]+)\S+\s+\S+\stransformEvent\.main\(transformEvent\.java:(?P<error_line>[0-9]+)\)",
),
e_drop_fields("message"),
e_output("oss-error"),
),
)
Adım 2: Bir veri dönüştürme işi oluşturma
-
Veri dönüştürme sayfasına gidin.
Projects bölümünde istediğiniz projeyi tıklayın.
sekmesinde istediğiniz Logstore'u tıklayın.
Sorgulama ve analiz sayfasında Data Transformation seçeneğini tıklayın.
-
Sayfanın sağ üst köşesinde günlük verileri için bir zaman aralığı seçin.
Raw Logs sekmesinde günlüklerin mevcut olduğundan emin olun.
-
Düzenleyiciye veri dönüştürme ifadesini girin.
e_switch( regex_match(v("message"), r"LogException"), e_compose( e_regex( "message", "(?P<data_time>\S+\s\S+)\s(?P<error_code>[a-zA-Z]+)\s(?P<status>[0-9]+)\scom\.aliyun\.openservices\.log\.exception\.(?P<product_exception>[a-zA-Z]+)\:(?P<error_message>[a-zA-Z0-9:,\-\s]+)\.(\s+\S+\s\S+){5}\s+\S+\scom\.aliyun\.openservices\.log\.Client\.(?P<method>[a-zA-Z]+)\S+\s+\S+\stransformEvent\.main\(transformEvent\.java\:(?P<error_line>[0-9]+)\)", ), e_drop_fields("message"), e_output("sls-error"), ), regex_match(v("message"), r"OSSException"), e_compose( e_regex( "message", "(?P<data_time>\S+\s\S+)\scom\.aliyun\.oss\.(?P<product_exception>[a-zA-Z]+)\:(?P<error_message>[a-zA-Z0-9,\s]+)\.\n\[ErrorCode\]\:\s(?P<error_code>[a-zA-Z]+)\n\[RequestId\]\:\s(?P<request_id>[a-zA-Z0-9]+)\n\[HostId\]\:\s(?P<host_id>[a-zA-Z-.]+)\n\S+\n\S+(\s\S+){3}\n\s+\S+\s+(.+)(\s+\S+){24}\scom\.aliyun\.oss\.OSSClient\.(?P<method>[a-zA-Z]+)\S+\s+\S+\stransformEvent\.main\(transformEvent\.java:(?P<error_line>[0-9]+)\)", ), e_drop_fields("message"), e_output("oss-error"), ), ) -
Preview Data seçeneğini tıklayın.
__source__: xxx __tag__:__client_ip__: xxx __tag__:__receive_time__: 1590978615 __topic__: data_time: 2020-05-16 18:30:06 error_code: AccessDenied error_line: 399 error_message: You are forbidden to list buckets host_id: xxx.oss-cn-hangzhou.aliyuncs.com method: getBucket product_exception: OSSException request_id: YGYLUM9LG2USA6M7HYUBT1L0 -
Veri dönüştürme işini oluşturun.
Save as Transformation Job seçeneğini tıklayın.
-
Create Data Transformation Job panelinde aşağıdaki parametreleri yapılandırın ve OK seçeneğini tıklayın.
Parametre
Açıklama
İş adı
Veri dönüştürme işinin adı. Örneğin, test girin.
Yetkilendirme yöntemi
Kaynak Logstore'dan veri okuma izni vermek için Default Role seçeneğini belirleyin.
Depolama hedefi
Hedef adı
Depolama hedefinin adı. Örneğin, sls-error ve oss-error girin.
Hedef bölge
Hedef projenin bölgesini seçin. Örneğin, China (Hangzhou) seçin.
Hedef proje
Dönüştürülen veriler için hedef proje.
Hedef mağaza
Dönüştürülen veriler için hedef Logstore. Örneğin, sls-error ve oss-error girin.
Yetkilendirme yöntemi
Veri dönüştürme sonuçlarını hedef Logstore'a yazma izni vermek için default role seçeneğini belirleyin.
İşleme aralığı
Zaman aralığı
Zaman aralığı için All seçeneğini belirleyin.
Bir veri dönüştürme işi oluşturduğunuzda Simple Log Service varsayılan olarak bu iş için bir pano oluşturur. İş ölçümlerini panoda görüntüleyebilirsiniz.
Exception Detail grafiği, hangi günlük girdilerinin ayrıştırılamadığını göstererek düzenli ifadenizi iyileştirmenize yardımcı olur.
WARNING düzeyindeki bir günlük, işi kesintiye uğratmayan bir ayrıştırma hatasını belirtir.
ERROR düzeyindeki bir günlük işi kesintiye uğratır. Sorunu tespit edip çözün ve iş tüm hata günlüğü türlerini ayrıştırana kadar düzenli ifadeyi değiştirin.
Adım 3: Hata günlüğü verilerini analiz etme
Ham hata günlükleri dönüştürüldükten sonra yapılandırılmış verileri analiz edebilirsiniz. Aşağıdaki örnekte Simple Log Service Java hata günlükleri kullanılmaktadır.
-
Projects bölümünde istediğiniz projeyi tıklayın.

-
sekmesinde istediğiniz Logstore'u tıklayın.

-
Arama kutusuna bir sorgu ifadesi girin.
-
Her yöntem için hata sayısını hesaplayın.
* | SELECT COUNT(method) as m_ct, method GROUP BY method -
PutLogsyöntemi için en yaygın hata mesajını bulun.* | SELECT error_message,COUNT(error_message) as ct_msg, method WHERE method LIKE 'PutLogs' GROUP BY error_message,method -
Her hata kodunun oluşum sayısını hesaplayın.
* | SELECT error_code,COUNT(error_code) as count_code GROUP BY error_code -
API çağrı hata bilgilerini gerçek zamanlı olarak görüntülemek için bir hata zaman çizelgesi oluşturun.
* | SELECT date_format(data_time, '%Y-%m-%d %H:%m:%s') as date_time,status,product_exception,error_line, error_message,method ORDER BY date_time desc
-
-
Sorgu için zaman aralığını ayarlamak üzere 15Minutes(Relative) seçeneğini tıklayın.
Göreli bir zaman, bir zaman çerçevesi veya özel bir zaman aralığı belirtebilirsiniz.
NotSorgu sonucunda bir dakikaya kadar marjinal hata payı olabilir.
Sorgulama ve analiz sonuçlarını görüntülemek için Search & Analyze seçeneğini tıklayın.