結構化資料SQL計算指令 - Simple Log Service

本文主要介紹結構化資料SQL計算指令的用法和樣本。

extend

通過SQL運算式計算結果產生新欄位。支援的SQL函數列表，請參見SPL支援的SQL函數列表。

文法

| extend <output>=<sql-expr>, ...

參數說明

參數	類型	必填	說明
output	Field	是	添加的目標欄位名稱。不支援多個運算式結果輸出至相同的目標欄位。重要如果目標欄位與輸入資料中欄位重名，則直接使用新的類型以及值將其覆蓋。
sql-expr	SQLExpr	是	資料處理運算式。重要關於null值處理，請參見SPL運算式null值處理。

樣本

樣本1：使用計算運算式。

* | extend Duration = EndTime - StartTime

樣本2：使用Regex。

* | extend server_protocol_version=regexp_extract(server_protocol, '\d+')

樣本3：提取JSON路徑內容，並轉換部分欄位的資料類型。

SPL語句

*
| extend a=json_extract(content, '$.body.a'), b=json_extract(content, '$.body.b')
| extend b=cast(b as BIGINT)

輸入資料
```
content: '{"body": {"a": 1, "b": 2}}'
```

輸出結果

content: '{"body": {"a": 1, "b": 2}}'
a: '1'
b: 2

where

根據SQL運算式過濾資料，保留滿足SQL運算式的資料條目。where指令支援的SQL函數列表，參見SPL支援的SQL函數列表。

文法

| where <sql-expr>

參數說明

參數	類型	必填	說明
sql-expr	SQLExp	是	SQL運算式，保留滿足此運算式的資料條目。重要 SQL運算式中null值處理，請參見SPL運算式null值處理。

樣本

樣本1：根據欄位內容過濾資料條目。
```
* | where userId='123'
```
樣本2：使用匹配欄位名的Regex過濾資料條目。
```
* | where regexp_like(server_protocol, '\d+')
```
樣本3：轉換資料類型後，匹配所有服務端錯誤資料。
```
* | where cast(status as BIGINT) >= 500
```

SPL支援的SQL函數列表

分類	說明	常用函數
彙總函式	對目標資料集進行匯總計算，產生單一統計結果。	avg 函數 count 函數 max 函數 min 函數 sum 函數
字串函數	處理文本資料，包括尋找、替換、截取、拼接、格式化等。	concat 函數 length 函數 position 函數 replace 函數 split 函數
日期和時間函數	對日誌中的日期和時間進行格式轉換，分組彙總等處理。	current_date 函數 date 函數 day 函數 date_trunc 函數 time_series 函數
JSON函數	處理 JSON 對象，包括提取、轉換和統計。	json_array_contains 函數 json_array_get 函數 json_array_length 函數 json_extract 函數 json_extract_scalar 函數
正則式函數	模式比對與文本處理。	regexp_extract_all 函數 regexp_extract 函數 regexp_extract_bool函數 regexp_replace 函數 regexp_split 函數
同比和環比函數	計算時間序列資料的相對變化。	compare 函數 ts_compare 函數
數組函數和運算子	對數組進行增刪改查、遍曆和轉換。	下標運算子 array_distinct 函數 array_intersect 函數 array_join 函數 reverse 函數
Map映射函數和運算子	操作索引值對。	cardinality函數 element_at 函數 histogram 函數 histogram_u 函數 map 函數
數學計算函數	數值計算、取整、隨機數、三角函數等。	abs 函數 ceil 函數 log 函數 mod 函數 random 函數
數學統計函數	資料分布分析與數值計算。	corr 函數 covar_pop 函數 regr_intercept 函數 beta_cdf 函數 inverse_chi_squared_cdf 函數
類型轉換函式	處理資料類型間的轉換。	cast 函數 try_cast 函數 typeof 函數
視窗函數	基於資料視窗的彙總或排序。	彙總函式 dense_rank 函數 lag 函數
IP函數	處理 IP 位址的解析與計算。	ip_to_city 函數 ip_prefix 函數 ipv6_to_city 函數
URL函數	解析 URL 結構。	url_encode 函數 url_decode 函數 url_extract_fragment 函數 url_extract_path 函數 url_extract_query 函數
估算函數	基於資料預測或填充缺失值。	approx_distinct 函數 approx_percentile 函數 numeric_histogram 函數 numeric_histogram_u 函數
二進位函數	處理二進位類型的資料。	from_base64 函數 from_big_endian_64 函數 from_hex 函數 to_hex 函數 sha256 函數
位元運算函數	直接操作二進位位。	bit_count 函數 bitwise_and 函數 bitwise_not 函數 bitwise_or 函數 bitwise_xor 函數
空間幾何函數	處理空間幾何體。	ST_AsText 函數 ST_GeometryFromText 函數 ST_Boundary 函數 ST_Buffer 函數 ST_Contains 函數
地理函數	地理位置分析與地圖計算。	geohash 函數
顏色函數	顏色表示與轉換。	bar 函數 color 函數 render 函數 rgb 函數
HyperLogLog函數	對巨量資料集進行統計處理，犧牲精度以節省記憶體。	approx_set 函數 cardinality 函數 empty_approx_set 函數 merge 函數
比較子	判斷參數的大小關係，適用於任意可比較的資料類型（double、bigint、varchar、timestamp和date）。	基礎運算子 ALL 運算子 ANY 運算子 BETWEEN 運算子 DISTINCT 運算子
邏輯運算子	組合多個布爾條件，控制邏輯流程。	AND 運算子 OR 運算子 NOT 運算子
單位換算函數	換算資料量或時間間隔的單位。	convert_data_size 函數 format_duration 函數
視窗漏鬥函數	分析使用者行為、APP流量、產品目標轉化等資料。	window_funnel 函數
Lambda運算式	在SQL分析語句和SPL語句中定義Lambda運算式，並將該運算式傳遞給指定函數，豐富函數的表達。	filter 函數 reduce 函數 transform 函數
條件運算式	基於條件分支返回不同值。	CASE WHEN 運算式 IF 運算式 COALESCE 運算式 NULLIF 運算式 TRY 運算式