Tüm Ürünler
Search
Belge Merkezi

Simple Log Service:e_table_map işlevini kullanarak HTTP yanıt durum kodlarını zenginleştirin

Son Güncelleme:Sep 30, 2026

e_table_map işlevini kullanarak Nginx günlüklerindeki HTTP yanıt durum kodlarını zenginleştirin. Her durum kodu, günlük analizini ve sorun gidermeyi basitleştirmek amacıyla takma adı, kategorisi ve açıklamasıyla eşlenir.

Önkoşullar

Nginx günlük verilerini topladınız. Daha fazla bilgi için bkz. Veri toplama.

Senaryo

Bir şirket, bir uygulama için periyodik olarak güncellenen bir HTTP durum kodu eşleme tablosunu korur. Ham Nginx günlüklerinde yalnızca http_code alanı istek durumunu gösterir; bu da sorun giderme için yeterli bağlam sağlamaz.

Bu sorunu çözmek için HTTP durum kodu eşleme tablosuna göre günlük alanlarını zenginleştirmek üzere e_table_map işlevini kullanın ve HTTP istek durumunun daha okunabilir olmasını sağlayın.

  • Örnek ham günlük:

    body_bytes_sent:1750
    host:www.example.com
    http_referer:www.example.aliyundoc.com
    http_user_agent:Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_6; it-it) AppleWebKit/533.20.25 (KHTML, like Gecko) Version/5.0.4 Safari/533.20.27
    http_x_forwarded_for:203.0.XXX.XX
    remote_addr:203.0.XXX.XX
    remote_user:p288
    request_length:13741
    request_method:GET
    request_time:71
    request_uri:/request/path-1/file-1
    http_code:200
    time_local:11/Aug/2021:06:52:27
    upstream_response_time:0.66

    Ham günlük, nginx-demo adlı bir Logstore'da depolanır. http_code alanı HTTP durum kodunu belirtir.

  • HTTP durum kodu eşleme tablosu:

    Aşağıdaki tabloda örnek bir HTTP durum kodu eşlemesi gösterilmektedir:


    code


    alias


    category


    desc


    100


    1xx


    Informational


    Continue


    200


    2xx


    Success


    OK


    300


    3xx


    Redirection


    Multiple Choices


    400


    4xx


    Client Error


    Bad Request

  • Örnek zenginleştirilmiş günlük:

    body_bytes_sent:1750
    host:www.example.com
    http_code:200
    http_code_alias:2xx
    http_code_category:Success
    http_code_desc:OK
    http_referer:www.example.aliyundoc.com
    http_user_agent:Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_6; it-it) AppleWebKit/533.20.25 (KHTML, like Gecko) Version/5.0.4 Safari/533.20.27
    http_x_forwarded_for:203.0.XXX.XX
    remote_addr:203.0.XXX.XX
    remote_user:p288
    request_length:13741
    request_method:GET
    request_time:71
    request_uri:/request/path-1/file-1
    time_local:11/Aug/2021:06:52:27
    upstream_response_time:0.66

Çözümler

Processing flow

image
  1. HTTP durum kodlarını bir tablo nesnesine dönüştürün.

  2. Günlük verilerini zenginleştirmek için e_table_map işlevini kullanın.

Önerilen çözümler

Veri kaynağınıza ve güncelleme gereksinimlerinize bağlı olarak veri zenginleştirme için aşağıdaki çözümlerden birini seçin:


Solution


Data volume support


Incremental updates


Batch updates


Best for


Logstore kullanarak verileri zenginleştirin (önerilir)


Büyük


Desteklenir


Desteklenir


Sık güncellenen büyük eşleme tabloları.


MySQL tablosu kullanarak verileri zenginleştirin


Büyük


Desteklenmez


Desteklenir


Sık güncellenen eşleme tabloları.


OSS dosyası kullanarak verileri zenginleştirin


Büyük


Desteklenmez


Desteklenir


Nispeten statik ve nadiren güncellenen eşleme tabloları.


Eşleme tablosunu koda gömün


Küçük


Desteklenmez


Desteklenmez


Küçük veri hacmine sahip standart HTTP durum kodu eşleme tabloları.

Çözüm 1: Logstore kullanarak verileri zenginleştirin (önerilir)

  1. SDK kullanarak HTTP durum kodu eşleme verilerini http_code adlı bir Logstore'a yazın.

    Aşağıdaki örnekte Logstore'daki bir HTTP durum kodu günlüğü gösterilmektedir:

    __source__:203.0.XXX.XX
    __tag__:__receive_time__:1595424194
    __topic__:
    code:200
    alias:2xx
    description:OK
    category:Success

    Daha fazla bilgi için bkz. SDK Başvurusu.

  2. HTTP durum kodu eşleme verilerini depolayan Logstore için Logstore adını, uç noktayı ve AccessKey çiftini alın.

    Uç nokta ve AccessKey çifti hakkında daha fazla bilgi için bkz. Uç Noktalar ve AccessKey çifti.

  3. Ham günlükleri depolayan nginx-demo Logstore'unu açın ve veri dönüşümü sayfasına gidin.

    Daha fazla bilgi için bkz. Veri dönüşümü görevi oluşturma.

  4. Düzenleyicide veri dönüşümü ifadesini girin.

    http_code Logstore'undan verileri okuyun ve eşleşen alanların değerlerini döndürmek için e_table_map işlevini kullanın:

    e_table_map( res_log_logstore_pull("cn-hangzhou-intranet.log.aliyuncs.com",
            res_local("AK_ID"),res_local("AK_KEY"),"live-demo","http_code",
            ["code","alias","description","category"]),
                  [("http_code","code")],
                  [("alias","http_code_alias"), ("description","http_code_desc"),
                  ("category","http_code_category")])
    Önemli

    Veri güvenliği için AccessKey çiftini gelişmiş parametre ayarlarında yapılandırın. Daha fazla bilgi için bkz. Veri dönüşümü görevi oluşturma.

    • res_log_logstore_pull işlevi başka bir Logstore'dan veri çeker. Daha fazla bilgi için bkz. res_log_logstore_pull.

    • e_table_map işlevi, giriş alanı değerine göre tabloda eşleşen satırı arar ve belirtilen alanların değerlerini döndürür. Daha fazla bilgi için bkz. e_table_map.

  5. Click Preview Data.

    Zenginleştirmeden sonra Nginx günlüğü aşağıdaki HTTP durum kodu alanlarını içerir:

    body_bytes_sent:1750
    host:www.example.com
    http_code:200
    http_code_alias:2xx
    http_code_category:Success
    http_code_desc:OK
    http_referer:www.example.aliyundoc.com
    http_user_agent:Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_6; it-it) AppleWebKit/533.20.25 (KHTML, like Gecko) Version/5.0.4 Safari/533.20.27
    http_x_forwarded_for:203.0.XXX.XX
    remote_addr:203.0.XXX.XX
    remote_user:p288
    request_length:13741
    request_method:GET
    request_time:71
    request_uri:/request/path-1/file-1
    time_local:11/Aug/2021:06:52:27
    upstream_response_time:0.66
  6. Veri dönüşümü görevi oluşturun.

    Daha fazla bilgi için bkz. Veri dönüşümü görevi oluşturma.

Çözüm 2: MySQL tablosu kullanarak verileri zenginleştirin

  1. HTTP durum kodlarını bir ApsaraDB RDS for MySQL veritabanında depolayın.

    Aşağıdaki örnekte RDS for MySQL'deki HTTP durum kodu eşleme tablosu gösterilmektedir.

    MySQL [etl-test]> select * from http_code limit 10;
    +------+-------+---------------+-----------------------------------+
    | code | alias | category      | description                       |
    +------+-------+---------------+-----------------------------------+
    | 100  | 1xx   | Informational | Continue                          |
    | 101  | 1xx   | Informational | Switching Protocols               |
    | 102  | 1xx   | Informational | Processing (WebDAV)               |
    | 200  | 2xx   | Success       | OK                                |
    | 201  | 2xx   | Success       | Created                           |
    | 202  | 2xx   | Success       | Accepted                          |
    | 203  | 2xx   | Success       | Non-Authoritative Information     |
    | 204  | 2xx   | Success       | No Content                        |
    | 205  | 2xx   | Success       | Reset Content                     |
    | 206  | 2xx   | Success       | Partial Content                   |
    +------+-------+---------------+-----------------------------------+
    10 rows in set (0.04 sec)
  2. ApsaraDB RDS for MySQL veritabanının ana bilgisayar adresini, kullanıcı adını, parolasını, veritabanı adını ve tablo adını alın.

  3. Ham günlükleri depolayan nginx-demo Logstore'unu açın ve veri dönüşümü sayfasına gidin.

    Daha fazla bilgi için bkz. Veri dönüşümü görevi oluşturma.

  4. Düzenleyicide veri dönüşümü ifadesini girin.

    MySQL veritabanından verileri okuyun ve eşleşen alanların değerlerini döndürmek için e_table_map işlevini kullanın:

    e_table_map(res_rds_mysql(address="MySQL host address",
                      username="username", password="password",
                      database="database",table="table name", refresh_interval=300),
                  [("http_code","code")],
                  [("alias","http_code_alias"), ("description","http_code_desc"),
                  ("category","http_code_category")])
    Önemli

    Veri güvenliği için AccessKey çiftini gelişmiş parametre ayarlarında yapılandırın. Daha fazla bilgi için bkz. Veri dönüşümü görevi oluşturma.

    • res_rds_mysql işlevi bir ApsaraDB RDS for MySQL veritabanından tablo içeriğini çeker. Daha fazla bilgi için bkz. res_rds_mysql.

    • e_table_map işlevi, giriş alanı değerine göre tabloda eşleşen satırı arar ve belirtilen alanların değerlerini döndürür. Daha fazla bilgi için bkz. e_table_map.

  5. Click Preview Data.

    Zenginleştirmeden sonra Nginx günlüğü aşağıdaki HTTP durum kodu alanlarını içerir:

    body_bytes_sent:1750
    host:www.example.com
    http_code:200
    http_code_alias:2xx
    http_code_category:Success
    http_code_desc:OK
    http_referer:www.example.aliyundoc.com
    http_user_agent:Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_6; it-it) AppleWebKit/533.20.25 (KHTML, like Gecko) Version/5.0.4 Safari/533.20.27
    http_x_forwarded_for:203.0.XXX.XX
    remote_addr:203.0.XXX.XX
    remote_user:p288
    request_length:13741
    request_method:GET
    request_time:71
    request_uri:/request/path-1/file-1
    time_local:11/Aug/2021:06:52:27
    upstream_response_time:0.66
  6. Veri dönüşümü görevi oluşturun.

    Daha fazla bilgi için bkz. Veri dönüşümü görevi oluşturma.

Çözüm 3: OSS dosyası kullanarak verileri zenginleştirin

  1. HTTP durum kodlarını http_code.csv adlı bir dosyaya kaydedin ve dosyayı bir Object Storage Service (OSS) paketine yükleyin.

    Daha fazla bilgi için bkz. Dosya yükleme.

  2. http_code.csv dosyasının depolandığı OSS paketinin paket adını, uç noktasını ve AccessKey çiftini alın.

    OSS uç noktaları hakkında daha fazla bilgi için bkz. Bölgeler ve uç noktalar.

  3. Ham günlükleri depolayan nginx-demo Logstore'unu açın ve veri dönüşümü sayfasına gidin.

    Daha fazla bilgi için bkz. Veri dönüşümü görevi oluşturma.

  4. Düzenleyicide veri dönüşümü ifadesini girin.

    OSS paketinden verileri okuyun ve eşleşen alanların değerlerini döndürmek için e_table_map işlevini kullanın:

    e_table_map(
          tab_parse_csv(
               res_oss_file(endpoint="oss-cn-shanghai-internal.aliyuncs.com",
                  ak_id=res_local("AK_ID"), ak_key=res_local("AK_KEY"),
                  bucket="ali-sls-etl-test",
                  file="http_code.csv", format='text')),
                  [("http_code","code")],
                  [("alias","http_code_alias"),
                   ("description","http_code_desc"),
                   ("category","http_code_category")])
    Önemli

    Veri güvenliği için AccessKey çiftini gelişmiş parametre ayarlarında yapılandırın. Daha fazla bilgi için bkz. Veri dönüşümü görevi oluşturma.

    • res_oss_file işlevi bir OSS paketinden dosya içeriğini alır ve periyodik yenilemeyi destekler. Daha fazla bilgi için bkz. res_oss_file.

    • tab_parse_csv işlevi, CSV biçimindeki metinden bir tablo oluşturur. Daha fazla bilgi için bkz. tab_parse_csv.

    • e_table_map işlevi, giriş alanı değerine göre tabloda eşleşen satırı arar ve belirtilen alanların değerlerini döndürür. Daha fazla bilgi için bkz. e_table_map.

  5. Click Preview Data.

    Zenginleştirmeden sonra Nginx günlüğü aşağıdaki HTTP durum kodu alanlarını içerir:

    body_bytes_sent:1750
    host:www.example.com
    http_code:200
    http_code_alias:2xx
    http_code_category:Success
    http_code_desc:OK
    http_referer:www.example.aliyundoc.com
    http_user_agent:Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_6; it-it) AppleWebKit/533.20.25 (KHTML, like Gecko) Version/5.0.4 Safari/533.20.27
    http_x_forwarded_for:203.0.XXX.XX
    remote_addr:203.0.XXX.XX
    remote_user:p288
    request_length:13741
    request_method:GET
    request_time:71
    request_uri:/request/path-1/file-1
    time_local:11/Aug/2021:06:52:27
    upstream_response_time:0.66
  6. Veri dönüşümü görevi oluşturun.

    Daha fazla bilgi için bkz. Veri dönüşümü görevi oluşturma.

Çözüm 4: Eşleme tablosunu koda gömün

  1. HTTP durum kodu eşleme tablosunu CSV biçiminde hazırlayın.

  2. Ham günlükleri depolayan nginx-demo Logstore'unu açın ve veri dönüşümü sayfasına gidin.

    Daha fazla bilgi için bkz. Veri dönüşümü görevi oluşturma.

  3. Düzenleyicide veri dönüşümü ifadesini girin.

    HTTP durum kodlarını CSV biçiminden bir tabloya dönüştürmek için tab_parse_csv işlevini kullanın ve ardından eşleşen alanların değerlerini döndürmek için e_table_map işlevini kullanın:

    e_table_map(tab_parse_csv("code,alias,category,description\n100,1xx,Informational,Continue\n101,1xx,Informational,Switching Protocols\n102,1xx,Informational,Processing (WebDAV)\n200,2xx,Success,OK\n201,2xx,Success,Created\n202,2xx,Success,Accepted\n203,2xx,Success,Non-Authoritative Information\n204,2xx,Success,No Content\n205,2xx,Success,Reset Content\n206,2xx,Success,Partial Content\n207,2xx,Success,Multi-Status (WebDAV)\n208,2xx,Success,Already Reported (WebDAV)\n226,2xx,Success,IM Used\n300,3xx,Redirection,Multiple Choices\n301,3xx,Redirection,Moved Permanently\n302,3xx,Redirection,Found\n303,3xx,Redirection,See Other\n304,3xx,Redirection,Not Modified\n305,3xx,Redirection,Use Proxy\n306,3xx,Redirection,(Unused)\n307,3xx,Redirection,Temporary Redirect\n308,3xx,Redirection,Permanent Redirect (experimental)\n400,4xx,Client Error,Bad Request\n401,4xx,Client Error,Unauthorized\n402,4xx,Client Error,Payment Required\n403,4xx,Client Error,Forbidden\n404,4xx,Client Error,Not Found\n405,4xx,Client Error,Method Not Allowed\n406,4xx,Client Error,Not Acceptable\n407,4xx,Client Error,Proxy Authentication Required\n408,4xx,Client Error,Request Timeout\n409,4xx,Client Error,Conflict\n410,4xx,Client Error,Gone\n411,4xx,Client Error,Length Required\n412,4xx,Client Error,Precondition Failed\n413,4xx,Client Error,Request Entity Too Large\n414,4xx,Client Error,Request-URI Too Long\n415,4xx,Client Error,Unsupported Media Type\n416,4xx,Client Error,Requested Range Not Satisfiable\n417,4xx,Client Error,Expectation Failed\n418,4xx,Client Error,I'm a teapot (RFC 2324)\n420,4xx,Client Error,Enhance Your Calm (Twitter)\n422,4xx,Client Error,Unprocessable Entity (WebDAV)\n423,4xx,Client Error,Locked (WebDAV)\n424,4xx,Client Error,Failed Dependency (WebDAV)\n425,4xx,Client Error,Reserved for WebDAV\n426,4xx,Client Error,Upgrade Required\n428,4xx,Client Error,Precondition Required\n429,4xx,Client Error,Too Many Requests\n431,4xx,Client Error,Request Header Fields Too Large\n444,4xx,Client Error,No Response (Nginx)\n449,4xx,Client Error,Retry With (Microsoft)\n450,4xx,Client Error,Blocked by Windows Parental Controls (Microsoft)\n451,4xx,Client Error,Unavailable For Legal Reasons\n499,4xx,Client Error,Client Closed Request (Nginx)\n500,5xx,Server Error,Internal Server Error\n501,5xx,Server Error,Not Implemented\n502,5xx,Server Error,Bad Gateway\n503,5xx,Server Error,Service Unavailable\n504,5xx,Server Error,Gateway Timeout\n505,5xx,Server Error,HTTP Version Not Supported\n506,5xx,Server Error,Variant Also Negotiates (Experimental)\n507,5xx,Server Error,Insufficient Storage (WebDAV)\n508,5xx,Server Error,Loop Detected (WebDAV)\n509,5xx,Server Error,Bandwidth Limit Exceeded (Apache)\n510,5xx,Server Error,Not Extended\n511,5xx,Server Error,Network Authentication Required\n598,5xx,Server Error,Network read timeout error\n599,5xx,Server Error,Network connect timeout error\n"),
                  [("http_code","code")],
                  [("alias","http_code_alias"), ("description","http_code_desc"), 
                  ("category","http_code_category")])
    Önemli

    Veri güvenliği için AccessKey çiftini gelişmiş parametre ayarlarında yapılandırın. Daha fazla bilgi için bkz. Veri dönüşümü görevi oluşturma.

    • tab_parse_csv işlevi, CSV biçimindeki metinden bir tablo oluşturur. Daha fazla bilgi için bkz. tab_parse_csv.

    • e_table_map işlevi, giriş alanı değerine göre tabloda eşleşen satırı arar ve belirtilen alanların değerlerini döndürür. Daha fazla bilgi için bkz. e_table_map.

  4. Click Preview Data.

    Zenginleştirmeden sonra Nginx günlüğü aşağıdaki HTTP durum kodu alanlarını içerir:

    body_bytes_sent:1750
    host:www.example.com
    http_code:200
    http_code_alias:2xx
    http_code_category:Success
    http_code_desc:OK
    http_referer:www.example.aliyundoc.com
    http_user_agent:Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_6; it-it) AppleWebKit/533.20.25 (KHTML, like Gecko) Version/5.0.4 Safari/533.20.27
    http_x_forwarded_for:203.0.XXX.XX
    remote_addr:203.0.XXX.XX
    remote_user:p288
    request_length:13741
    request_method:GET
    request_time:71
    request_uri:/request/path-1/file-1
    time_local:11/Aug/2021:06:52:27
    upstream_response_time:0.66
  5. Veri dönüşümü görevi oluşturun.

    Daha fazla bilgi için bkz. Veri dönüşümü görevi oluşturma.