Simple Log Service:FAQ about querying and analyzing JSON logs

Bu konudaki örneklerde bir sipariş işleme sisteminden alınan JSON günlükleri kullanılır.

{
    "request":{
        "clientIp":"20xxx30",
        "http.path":"/order/buy",
        "param":{
            "userId": "186453",
            "orders":[
                {
                    "commodity":["bread","milk","meat"],
                    "payment":132
                },
                {
                    "commodity":["milk","beer"],
                    "payment":49
                }
            ]
        }
    },
    "response":"{\"errcode\":400,\"msg\":\"insufficient\"}"
}

How to select an index type

Simple Log Service, tam metin dizinlerini ve alan dizinlerini destekler. Kullanım senaryonıza göre seçim yapın. Dizin oluşturun.

• Tüm alanları sorgulamak istiyorsanız tam metin dizini oluşturun. Yalnızca belirli alanları sorgulamak istiyorsanız maliyetleri azaltmak için bu alanlar için alan dizinleri oluşturun.

• Bir alanda SQL analizi çalıştırmak istiyorsanız bu alan için bir alan dizini oluşturun ve istatistikleri etkinleştirin.

How to select a data type for a field in the index configuration

Bir JSON alanı için veri türü belirlerken aşağıdaki noktaları dikkate alın.

• Bir alan değeri standart JSON biçiminde değil ancak JSON içeriği barındırıyorsa veri türünü text olarak ayarlayın. Değer standart JSON biçimindeyse JSON olarak ayarlayın.

  Not

  Tamamen geçerli olmayan JSON günlükleri için Simple Log Service, geçerli kısımları ayrıştırabilir.

• Veri türünü JSON olarak ayarladıktan sonra, daha hızlı sorgular için JSON nesnesi içindeki bir yaprak düğüm için dizin oluşturun. Bu işlem ek dizinleme ücretlerine yol açar.

• Simple Log Service, JSON nesnelerindeki yaprak düğümler için dizinlemeyi destekler ancak yaprak düğümler içeren alt düğümler için desteklemez.

• Simple Log Service, değerleri JSON dizisi olan alanlar veya bir JSON dizisi içindeki alanlar için dizinlemeyi desteklemez. Bu tür alanlar için bunun yerine gerçek zamanlı analiz amacıyla JSON işlevlerini kullanın.

Örnek günlüğe dayanarak aşağıdaki dizinleri oluşturun.

• request alanı

  • request: Değer JSON biçimindedir. Veri türünü JSON olarak ayarlayın ve istatistikleri etkinleştirin.

  • request.clientIp: Sıkça analiz edilir. Ayrı bir dizin oluşturun, veri türünü text olarak ayarlayın ve istatistikleri etkinleştirin.

  • request.http.path: Nadiren analiz edilir. Ayrı dizin oluşturmayın; bunun yerine JSON işlevlerini kullanarak ihtiyaç duyulduğunda ayrıştırın.

  • request.param: Yaprak düğümler içeren bir alt düğümdür. Dizinleme desteklenmez.

  • request.param.userId: Sıkça analiz edilir. Ayrı bir dizin oluşturun, veri türünü text olarak ayarlayın ve istatistikleri etkinleştirin.

  • request.param.orders: Değer bir JSON dizisidir. Dizinleme desteklenmez.

• response alanı

  response alanının değeri her zaman JSON biçiminde değildir. Veri türünü text olarak ayarlayın ve istatistikleri etkinleştirin.

Dizini oluşturduktan sonra, yeni toplanan günlükler dizin yapılandırmasına göre görüntülenir.

How to set an alias

Uzun JSON yaprak düğümü yolları için takma ad ayarlayın. Sütun takma adları.

Dizin yapılandırmasında, JSON türündeki alanların yaprak düğümleri için takma adlar belirtebilirsiniz. Örneğin, request.clientIp için takma adı ip olarak ve request.param.userId için takma adı id olarak ayarlayın.

Örneğin, 186499 numaralı kullanıcı için istemci IP adreslerini bulmak için:

*
and request.param.userId: 186499 |
SELECT
  distinct("request.clientIp")

Sorgu performansı önemli olduğunda, büyük veri kümeleri ve karmaşık ancak sabit JSON yapıları için JSON yaprak düğümlerine yönelik alan dizinleri oluşturun. Daha küçük veri kümeleri veya geçici analizler için maliyet tasarrufu sağlamak amacıyla alan dizinleri olmadan JSON işlevlerini kullanın. JSON işlevleri, JSON içeriğinin dinamik olarak işlenmesini ve analiz edilmesini sağlar. Bazı durumlarda tek seçenek bunlardır.

• Alan değeri her zaman JSON biçiminde değildir veya ön işlem gerektirir.

  Örneğin, response alanı yalnızca bir istek başarısız olduğunda errcode alanını içeren JSON verisi barındırır. errcode dağılımını analiz etmek için başarısız istekleri filtreleyin ve errcode değerini bir JSON işleviyle çıkarın.

  *  not response :SUCCESS |
  SELECT
    json_extract_scalar(response, '$.errcode') AS errcode

  

• Alan dizine alınamaz. Dizinlemeyi desteklemeyen JSON düğümleri — örneğin request.param ve request.param.orders — için gerçek zamanlı analiz çalıştırmanın tek yolu JSON işlevlerini kullanmaktır.

Hem json_extract hem de json_extract_scalar JSON nesnelerinden veya dizilerinden içerik çıkarır. Temel fark dönüş türüdür.

• json_extract bir JSON türü döndürür; json_extract_scalar ise varchar türü döndürür.

  Not

  Burada söz konusu olan, SLS dizin veri türlerinden farklı olan SQL veri türleridir (varchar, bigint, boolean, JSON, array, date). Bir SQL nesnesinin veri türünü kontrol etmek için typeof işlevini kullanın. typeof işlevi.

• json_extract bir JSON nesnesinin herhangi bir alt yapısını ayrıştırabilir. json_extract_scalar ise yalnızca skaler yaprak düğümleri (dize, Boolean veya sayı) ayrıştırır ve karşılık gelen dizeyi döndürür.

Her iki işlev de request alanından clientIp alanını çıkarabilir.

• json_extract kullanımı:

  * |
  SELECT
    json_extract(request, '$.clientIp')

  Sorgu ve analiz sonuçlarında, takma ad ayarlanmadığından sütun adı varsayılan _col0 olarak görüntülenir ve bu sütun json_extract tarafından çıkarılan clientIp değerini içerir.

• json_extract_scalar kullanımı:

  * | SELECT json_extract_scalar(request, '$.clientIp')

  Yukarıdaki sorgu ifadesini çalıştırdıktan sonra, sorgu sonucu çıkarılan alan değerini tek bir _col0 sütununda gösterir.

clientIp değerinin ilk oktettini çıkarmak için önce json_extract_scalar kullanarak clientIp değerini çıkarın, ardından ilk sayıyı elde etmek için split_part işlevini kullanın. split_part işlevi varchar girişi gerektirdiğinden burada json_extract işlevi çalışmaz.

* |
SELECT
  split_part(
    json_extract_scalar(request, '$.clientIp'),
    '.',
    1
  ) AS segment

Çoğu durumda json_extract_scalar işlevini kullanın; varchar dönüş türü diğer SQL işlevleriyle doğal bir şekilde birleşir. JSON yapısıyla doğrudan çalışmanız gerektiğinde json_extract işlevini kullanın. Örneğin, bir istekteki sipariş sayısını (request.param.orders dizisinin uzunluğunu) saymak için:

* |
SELECT
  json_array_length((json_extract(request, '$.param.orders')))

Sorgu ve analiz sonuçlarında, _col0 sütunu her bir istekteki JSON dizisinin uzunluğunu (yani sipariş sayısını) döndürür; örnek değerler 2 şeklindedir.

http.path, http path veya http-path gibi özel karakterler içeren JSON alan adları için nokta yerine köşeli parantezler [] kullanın ve alan adını çift tırnak içine alın. Örnek: * |SELECT json_extract_scalar(request, '$["http.path"]').

Bir JSON dizisinden bir öğe çıkarmak için sıfır tabanlı indeks ile köşeli parantezler [] kullanın.

• Kullanıcının ilk siparişindeki ödeme tutarını görüntüleyin:

  * |
  SELECT
    json_extract_scalar(request, '$.param.orders[0].payment')

  Sorgu sonucu tablosunda, _col0 sütununda iki satır gösterilir ve her ikisinin değeri de 132 şeklindedir.

• Kullanıcının ilk siparişinde satın alınan ikinci ürünü görüntüleyin:

  * |
  SELECT
    json_extract_scalar(request, '$.param.orders[0].commodity[1]')

  _col0 sütunu, her ikisinin değeri de milk olan iki kayıt döndürür.

Example 1

Example 2

*
and response: SUCCESS |
SELECT
  item,
  count(1) AS cnt
FROM  (
    SELECT
      orderinfo
    FROM      log,
      unnest(
        cast(
          json_extract(request, '$.param.orders') AS array(json)
        )
      ) AS t(orderinfo)
  ),
  unnest(
    cast(
      json_extract(orderinfo, '$.commodity') AS array(json)
    )
  ) AS t(item)
GROUP  BY
  item
ORDER BY
  cnt DESC