e_table_map işlevini kullanarak Nginx günlüklerindeki HTTP yanıt durum kodlarını zenginleştirin. Her durum kodu, günlük analizini ve sorun gidermeyi basitleştirmek amacıyla takma adı, kategorisi ve açıklamasıyla eşlenir.
Önkoşullar
Nginx günlük verilerini topladınız. Daha fazla bilgi için bkz. Veri toplama.
Senaryo
Bir şirket, bir uygulama için periyodik olarak güncellenen bir HTTP durum kodu eşleme tablosunu korur. Ham Nginx günlüklerinde yalnızca http_code alanı istek durumunu gösterir; bu da sorun giderme için yeterli bağlam sağlamaz.
Bu sorunu çözmek için HTTP durum kodu eşleme tablosuna göre günlük alanlarını zenginleştirmek üzere e_table_map işlevini kullanın ve HTTP istek durumunun daha okunabilir olmasını sağlayın.
-
Örnek ham günlük:
body_bytes_sent:1750 host:www.example.com http_referer:www.example.aliyundoc.com http_user_agent:Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_6; it-it) AppleWebKit/533.20.25 (KHTML, like Gecko) Version/5.0.4 Safari/533.20.27 http_x_forwarded_for:203.0.XXX.XX remote_addr:203.0.XXX.XX remote_user:p288 request_length:13741 request_method:GET request_time:71 request_uri:/request/path-1/file-1 http_code:200 time_local:11/Aug/2021:06:52:27 upstream_response_time:0.66Ham günlük, nginx-demo adlı bir Logstore'da depolanır. http_code alanı HTTP durum kodunu belirtir.
-
HTTP durum kodu eşleme tablosu:
Aşağıdaki tabloda örnek bir HTTP durum kodu eşlemesi gösterilmektedir:
code
alias
category
desc
100
1xx
Informational
Continue
200
2xx
Success
OK
300
3xx
Redirection
Multiple Choices
400
4xx
Client Error
Bad Request -
Örnek zenginleştirilmiş günlük:
body_bytes_sent:1750 host:www.example.com http_code:200 http_code_alias:2xx http_code_category:Success http_code_desc:OK http_referer:www.example.aliyundoc.com http_user_agent:Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_6; it-it) AppleWebKit/533.20.25 (KHTML, like Gecko) Version/5.0.4 Safari/533.20.27 http_x_forwarded_for:203.0.XXX.XX remote_addr:203.0.XXX.XX remote_user:p288 request_length:13741 request_method:GET request_time:71 request_uri:/request/path-1/file-1 time_local:11/Aug/2021:06:52:27 upstream_response_time:0.66
Çözümler
Processing flow
HTTP durum kodlarını bir tablo nesnesine dönüştürün.
Günlük verilerini zenginleştirmek için e_table_map işlevini kullanın.
Önerilen çözümler
Veri kaynağınıza ve güncelleme gereksinimlerinize bağlı olarak veri zenginleştirme için aşağıdaki çözümlerden birini seçin:
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Çözüm 1: Logstore kullanarak verileri zenginleştirin (önerilir)
-
SDK kullanarak HTTP durum kodu eşleme verilerini http_code adlı bir Logstore'a yazın.
Aşağıdaki örnekte Logstore'daki bir HTTP durum kodu günlüğü gösterilmektedir:
__source__:203.0.XXX.XX __tag__:__receive_time__:1595424194 __topic__: code:200 alias:2xx description:OK category:SuccessDaha fazla bilgi için bkz. SDK Başvurusu.
-
HTTP durum kodu eşleme verilerini depolayan Logstore için Logstore adını, uç noktayı ve AccessKey çiftini alın.
Uç nokta ve AccessKey çifti hakkında daha fazla bilgi için bkz. Uç Noktalar ve AccessKey çifti.
-
Ham günlükleri depolayan nginx-demo Logstore'unu açın ve veri dönüşümü sayfasına gidin.
Daha fazla bilgi için bkz. Veri dönüşümü görevi oluşturma.
-
Düzenleyicide veri dönüşümü ifadesini girin.
http_code Logstore'undan verileri okuyun ve eşleşen alanların değerlerini döndürmek için e_table_map işlevini kullanın:
e_table_map( res_log_logstore_pull("cn-hangzhou-intranet.log.aliyuncs.com", res_local("AK_ID"),res_local("AK_KEY"),"live-demo","http_code", ["code","alias","description","category"]), [("http_code","code")], [("alias","http_code_alias"), ("description","http_code_desc"), ("category","http_code_category")])ÖnemliVeri güvenliği için AccessKey çiftini gelişmiş parametre ayarlarında yapılandırın. Daha fazla bilgi için bkz. Veri dönüşümü görevi oluşturma.
res_log_logstore_pull işlevi başka bir Logstore'dan veri çeker. Daha fazla bilgi için bkz. res_log_logstore_pull.
e_table_map işlevi, giriş alanı değerine göre tabloda eşleşen satırı arar ve belirtilen alanların değerlerini döndürür. Daha fazla bilgi için bkz. e_table_map.
-
Click Preview Data.
Zenginleştirmeden sonra Nginx günlüğü aşağıdaki HTTP durum kodu alanlarını içerir:
body_bytes_sent:1750 host:www.example.com http_code:200 http_code_alias:2xx http_code_category:Success http_code_desc:OK http_referer:www.example.aliyundoc.com http_user_agent:Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_6; it-it) AppleWebKit/533.20.25 (KHTML, like Gecko) Version/5.0.4 Safari/533.20.27 http_x_forwarded_for:203.0.XXX.XX remote_addr:203.0.XXX.XX remote_user:p288 request_length:13741 request_method:GET request_time:71 request_uri:/request/path-1/file-1 time_local:11/Aug/2021:06:52:27 upstream_response_time:0.66 -
Veri dönüşümü görevi oluşturun.
Daha fazla bilgi için bkz. Veri dönüşümü görevi oluşturma.
Çözüm 2: MySQL tablosu kullanarak verileri zenginleştirin
-
HTTP durum kodlarını bir ApsaraDB RDS for MySQL veritabanında depolayın.
Aşağıdaki örnekte RDS for MySQL'deki HTTP durum kodu eşleme tablosu gösterilmektedir.
MySQL [etl-test]> select * from http_code limit 10; +------+-------+---------------+-----------------------------------+ | code | alias | category | description | +------+-------+---------------+-----------------------------------+ | 100 | 1xx | Informational | Continue | | 101 | 1xx | Informational | Switching Protocols | | 102 | 1xx | Informational | Processing (WebDAV) | | 200 | 2xx | Success | OK | | 201 | 2xx | Success | Created | | 202 | 2xx | Success | Accepted | | 203 | 2xx | Success | Non-Authoritative Information | | 204 | 2xx | Success | No Content | | 205 | 2xx | Success | Reset Content | | 206 | 2xx | Success | Partial Content | +------+-------+---------------+-----------------------------------+ 10 rows in set (0.04 sec) ApsaraDB RDS for MySQL veritabanının ana bilgisayar adresini, kullanıcı adını, parolasını, veritabanı adını ve tablo adını alın.
-
Ham günlükleri depolayan nginx-demo Logstore'unu açın ve veri dönüşümü sayfasına gidin.
Daha fazla bilgi için bkz. Veri dönüşümü görevi oluşturma.
-
Düzenleyicide veri dönüşümü ifadesini girin.
MySQL veritabanından verileri okuyun ve eşleşen alanların değerlerini döndürmek için e_table_map işlevini kullanın:
e_table_map(res_rds_mysql(address="MySQL host address", username="username", password="password", database="database",table="table name", refresh_interval=300), [("http_code","code")], [("alias","http_code_alias"), ("description","http_code_desc"), ("category","http_code_category")])ÖnemliVeri güvenliği için AccessKey çiftini gelişmiş parametre ayarlarında yapılandırın. Daha fazla bilgi için bkz. Veri dönüşümü görevi oluşturma.
res_rds_mysql işlevi bir ApsaraDB RDS for MySQL veritabanından tablo içeriğini çeker. Daha fazla bilgi için bkz. res_rds_mysql.
e_table_map işlevi, giriş alanı değerine göre tabloda eşleşen satırı arar ve belirtilen alanların değerlerini döndürür. Daha fazla bilgi için bkz. e_table_map.
-
Click Preview Data.
Zenginleştirmeden sonra Nginx günlüğü aşağıdaki HTTP durum kodu alanlarını içerir:
body_bytes_sent:1750 host:www.example.com http_code:200 http_code_alias:2xx http_code_category:Success http_code_desc:OK http_referer:www.example.aliyundoc.com http_user_agent:Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_6; it-it) AppleWebKit/533.20.25 (KHTML, like Gecko) Version/5.0.4 Safari/533.20.27 http_x_forwarded_for:203.0.XXX.XX remote_addr:203.0.XXX.XX remote_user:p288 request_length:13741 request_method:GET request_time:71 request_uri:/request/path-1/file-1 time_local:11/Aug/2021:06:52:27 upstream_response_time:0.66 -
Veri dönüşümü görevi oluşturun.
Daha fazla bilgi için bkz. Veri dönüşümü görevi oluşturma.
Çözüm 3: OSS dosyası kullanarak verileri zenginleştirin
-
HTTP durum kodlarını http_code.csv adlı bir dosyaya kaydedin ve dosyayı bir Object Storage Service (OSS) paketine yükleyin.
Daha fazla bilgi için bkz. Dosya yükleme.
-
http_code.csv dosyasının depolandığı OSS paketinin paket adını, uç noktasını ve AccessKey çiftini alın.
OSS uç noktaları hakkında daha fazla bilgi için bkz. Bölgeler ve uç noktalar.
-
Ham günlükleri depolayan nginx-demo Logstore'unu açın ve veri dönüşümü sayfasına gidin.
Daha fazla bilgi için bkz. Veri dönüşümü görevi oluşturma.
-
Düzenleyicide veri dönüşümü ifadesini girin.
OSS paketinden verileri okuyun ve eşleşen alanların değerlerini döndürmek için e_table_map işlevini kullanın:
e_table_map( tab_parse_csv( res_oss_file(endpoint="oss-cn-shanghai-internal.aliyuncs.com", ak_id=res_local("AK_ID"), ak_key=res_local("AK_KEY"), bucket="ali-sls-etl-test", file="http_code.csv", format='text')), [("http_code","code")], [("alias","http_code_alias"), ("description","http_code_desc"), ("category","http_code_category")])ÖnemliVeri güvenliği için AccessKey çiftini gelişmiş parametre ayarlarında yapılandırın. Daha fazla bilgi için bkz. Veri dönüşümü görevi oluşturma.
res_oss_file işlevi bir OSS paketinden dosya içeriğini alır ve periyodik yenilemeyi destekler. Daha fazla bilgi için bkz. res_oss_file.
tab_parse_csv işlevi, CSV biçimindeki metinden bir tablo oluşturur. Daha fazla bilgi için bkz. tab_parse_csv.
e_table_map işlevi, giriş alanı değerine göre tabloda eşleşen satırı arar ve belirtilen alanların değerlerini döndürür. Daha fazla bilgi için bkz. e_table_map.
-
Click Preview Data.
Zenginleştirmeden sonra Nginx günlüğü aşağıdaki HTTP durum kodu alanlarını içerir:
body_bytes_sent:1750 host:www.example.com http_code:200 http_code_alias:2xx http_code_category:Success http_code_desc:OK http_referer:www.example.aliyundoc.com http_user_agent:Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_6; it-it) AppleWebKit/533.20.25 (KHTML, like Gecko) Version/5.0.4 Safari/533.20.27 http_x_forwarded_for:203.0.XXX.XX remote_addr:203.0.XXX.XX remote_user:p288 request_length:13741 request_method:GET request_time:71 request_uri:/request/path-1/file-1 time_local:11/Aug/2021:06:52:27 upstream_response_time:0.66 -
Veri dönüşümü görevi oluşturun.
Daha fazla bilgi için bkz. Veri dönüşümü görevi oluşturma.
Çözüm 4: Eşleme tablosunu koda gömün
HTTP durum kodu eşleme tablosunu CSV biçiminde hazırlayın.
-
Ham günlükleri depolayan nginx-demo Logstore'unu açın ve veri dönüşümü sayfasına gidin.
Daha fazla bilgi için bkz. Veri dönüşümü görevi oluşturma.
-
Düzenleyicide veri dönüşümü ifadesini girin.
HTTP durum kodlarını CSV biçiminden bir tabloya dönüştürmek için tab_parse_csv işlevini kullanın ve ardından eşleşen alanların değerlerini döndürmek için e_table_map işlevini kullanın:
e_table_map(tab_parse_csv("code,alias,category,description\n100,1xx,Informational,Continue\n101,1xx,Informational,Switching Protocols\n102,1xx,Informational,Processing (WebDAV)\n200,2xx,Success,OK\n201,2xx,Success,Created\n202,2xx,Success,Accepted\n203,2xx,Success,Non-Authoritative Information\n204,2xx,Success,No Content\n205,2xx,Success,Reset Content\n206,2xx,Success,Partial Content\n207,2xx,Success,Multi-Status (WebDAV)\n208,2xx,Success,Already Reported (WebDAV)\n226,2xx,Success,IM Used\n300,3xx,Redirection,Multiple Choices\n301,3xx,Redirection,Moved Permanently\n302,3xx,Redirection,Found\n303,3xx,Redirection,See Other\n304,3xx,Redirection,Not Modified\n305,3xx,Redirection,Use Proxy\n306,3xx,Redirection,(Unused)\n307,3xx,Redirection,Temporary Redirect\n308,3xx,Redirection,Permanent Redirect (experimental)\n400,4xx,Client Error,Bad Request\n401,4xx,Client Error,Unauthorized\n402,4xx,Client Error,Payment Required\n403,4xx,Client Error,Forbidden\n404,4xx,Client Error,Not Found\n405,4xx,Client Error,Method Not Allowed\n406,4xx,Client Error,Not Acceptable\n407,4xx,Client Error,Proxy Authentication Required\n408,4xx,Client Error,Request Timeout\n409,4xx,Client Error,Conflict\n410,4xx,Client Error,Gone\n411,4xx,Client Error,Length Required\n412,4xx,Client Error,Precondition Failed\n413,4xx,Client Error,Request Entity Too Large\n414,4xx,Client Error,Request-URI Too Long\n415,4xx,Client Error,Unsupported Media Type\n416,4xx,Client Error,Requested Range Not Satisfiable\n417,4xx,Client Error,Expectation Failed\n418,4xx,Client Error,I'm a teapot (RFC 2324)\n420,4xx,Client Error,Enhance Your Calm (Twitter)\n422,4xx,Client Error,Unprocessable Entity (WebDAV)\n423,4xx,Client Error,Locked (WebDAV)\n424,4xx,Client Error,Failed Dependency (WebDAV)\n425,4xx,Client Error,Reserved for WebDAV\n426,4xx,Client Error,Upgrade Required\n428,4xx,Client Error,Precondition Required\n429,4xx,Client Error,Too Many Requests\n431,4xx,Client Error,Request Header Fields Too Large\n444,4xx,Client Error,No Response (Nginx)\n449,4xx,Client Error,Retry With (Microsoft)\n450,4xx,Client Error,Blocked by Windows Parental Controls (Microsoft)\n451,4xx,Client Error,Unavailable For Legal Reasons\n499,4xx,Client Error,Client Closed Request (Nginx)\n500,5xx,Server Error,Internal Server Error\n501,5xx,Server Error,Not Implemented\n502,5xx,Server Error,Bad Gateway\n503,5xx,Server Error,Service Unavailable\n504,5xx,Server Error,Gateway Timeout\n505,5xx,Server Error,HTTP Version Not Supported\n506,5xx,Server Error,Variant Also Negotiates (Experimental)\n507,5xx,Server Error,Insufficient Storage (WebDAV)\n508,5xx,Server Error,Loop Detected (WebDAV)\n509,5xx,Server Error,Bandwidth Limit Exceeded (Apache)\n510,5xx,Server Error,Not Extended\n511,5xx,Server Error,Network Authentication Required\n598,5xx,Server Error,Network read timeout error\n599,5xx,Server Error,Network connect timeout error\n"), [("http_code","code")], [("alias","http_code_alias"), ("description","http_code_desc"), ("category","http_code_category")])ÖnemliVeri güvenliği için AccessKey çiftini gelişmiş parametre ayarlarında yapılandırın. Daha fazla bilgi için bkz. Veri dönüşümü görevi oluşturma.
tab_parse_csv işlevi, CSV biçimindeki metinden bir tablo oluşturur. Daha fazla bilgi için bkz. tab_parse_csv.
e_table_map işlevi, giriş alanı değerine göre tabloda eşleşen satırı arar ve belirtilen alanların değerlerini döndürür. Daha fazla bilgi için bkz. e_table_map.
-
Click Preview Data.
Zenginleştirmeden sonra Nginx günlüğü aşağıdaki HTTP durum kodu alanlarını içerir:
body_bytes_sent:1750 host:www.example.com http_code:200 http_code_alias:2xx http_code_category:Success http_code_desc:OK http_referer:www.example.aliyundoc.com http_user_agent:Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_6; it-it) AppleWebKit/533.20.25 (KHTML, like Gecko) Version/5.0.4 Safari/533.20.27 http_x_forwarded_for:203.0.XXX.XX remote_addr:203.0.XXX.XX remote_user:p288 request_length:13741 request_method:GET request_time:71 request_uri:/request/path-1/file-1 time_local:11/Aug/2021:06:52:27 upstream_response_time:0.66 -
Veri dönüşümü görevi oluşturun.
Daha fazla bilgi için bkz. Veri dönüşümü görevi oluşturma.