構造化データの SQL 計算 - Simple Log Service - Alibaba Cloud ドキュメントセンター

このトピックでは、構造化プロセス言語 (SPL) で構造化データに SQL 計算命令を使用する方法を、例を挙げて説明します。

extend

SQL 式を評価して新しいフィールドを作成します。SPL でサポートされる SQL 関数の一覧については、「SPL でサポートされる SQL 関数」をご参照ください。

構文

| extend <output> = <sql-expr>, ...

パラメーターの説明

パラメーター	タイプ	必須	説明
output	フィールド	はい	追加する宛先フィールドの名前。複数の式の結果を同じ宛先フィールドに出力することはできません。重要宛先フィールドが入力データ内のフィールドと同じ名前の場合、元のフィールドは新しい型と値で上書きされます。
sql-expr	SQLExpr	はい	データ処理式。重要 NULL 値の処理方法については、「SPL 式での NULL 値の処理」をご参照ください。

例

例1：計算式の使用

* | extend Duration = EndTime - StartTime

例2：正規表現の使用

* | extend server_protocol_version = regexp_extract(server_protocol, '\d+')

例3：JSON パスからのコンテンツ抽出とフィールドのデータ型変換

SPL ステートメント

*
| extend a = json_extract(content, '$.body.a'), b = json_extract(content, '$.body.b')
| extend b = cast(b as BIGINT)

入力データ
```
content: '{"body": {"a": 1, "b": 2}}'
```

出力結果

content: '{"body": {"a": 1, "b": 2}}'
a: '1'
b: 2

where

ブール SQL 式に基づいてデータエントリをフィルター処理します。式の結果が true になるエントリのみが保持されます。where 命令でサポートされる SQL 関数の一覧については、「SPL でサポートされる SQL 関数」をご参照ください。

構文

| where <sql-expr>

パラメーターの説明

パラメーター	タイプ	必須	説明
sql-expr	SQLExpr	はい	SQL 式。この式を満たすデータエントリが保持されます。重要 SQL 式での NULL 値の処理方法については、「SPL 式での NULL 値の処理」をご参照ください。

例

例1：フィールドの内容に基づくデータエントリのフィルタリング
```
* | where userId = '123'
```
例2：正規表現によるデータエントリのフィルタリング
```
* | where regexp_like(server_protocol, '\d+')
```
例3：データ型変換後のサーバー側エラーのフィルタリング
```
* | where cast(status as BIGINT) >= 500
```

SPL でサポートされる SQL 関数

カテゴリ	説明	一般的な関数
集約関数	データセットから単一の統計値を計算します。	avg 関数 count 関数 max 関数 min 関数 sum 関数
文字列関数	テキストデータを処理します。検索、置換、部分文字列の抽出、連結、フォーマットなどの操作が含まれます。	concat 関数 length 関数 position 関数 replace 関数 split 関数
日時関数	ログ内の日付と時刻に対して、形式変換、グループ化、集計などの操作を実行します。	current_date 関数 date 関数 day 関数 date_trunc 関数 time_series 関数
JSON 関数	JSON オブジェクトからデータを抽出、変換、または統計を計算します。	json_array_contains 関数 json_array_get 関数 json_array_length 関数 json_extract 関数 json_extract_scalar 関数
正規表現関数	パターンマッチングとテキスト処理を実行します。	regexp_extract_all 関数 regexp_extract 関数 regexp_like 関数 regexp_replace 関数 regexp_split 関数
前年比および前期比関数	時系列データの相対的な変化を計算します。	compare 関数 ts_compare 関数
配列関数と演算子	配列に対して、作成、操作、走査、変換などの操作を実行します。	添字演算子 array_distinct 関数 array_intersect 関数 array_join 関数 reverse 関数
マップ関数と演算子	キー/値ペアを操作します。	cardinality 関数 element_at 関数 histogram 関数 histogram_u 関数 map 関数
数学関数	数値計算、丸め処理、乱数生成、三角関数計算を実行します。	abs 関数 ceil 関数 log 関数 mod 関数 random 関数
統計関数	データ分布分析と数値計算を実行します。	corr 関数 covar_pop 関数 regr_intercept 関数 beta_cdf 関数 inverse_chi_squared_cdf 関数
型変換関数	データ型間の変換を実行します。	cast 関数 try_cast 関数 typeof 関数
ウィンドウ関数	ウィンドウ上でデータを集約または並べ替えます。	集約関数 dense_rank 関数 lag 関数
IP 関数	IP アドレスを解析および計算します。	ip_to_city 関数 ip_prefix 関数 ipv6_to_city 関数
URL 関数	URL 構造を解析します。	url_encode 関数 url_decode 関数 url_extract_fragment 関数 url_extract_path 関数 url_extract_query 関数
近似関数	大規模なデータセットに対して近似集計計算を実行し、精度とリソース消費のバランスを取ります。	approx_distinct 関数 approx_percentile 関数 numeric_histogram 関数 numeric_histogram_u 関数
バイナリ関数	バイナリデータを操作します。	from_base64 関数 from_big_endian_64 関数 from_hex 関数 to_hex 関数 sha256 関数
ビット演算関数	バイナリビットを直接操作します。	bit_count 関数 bitwise_and 関数 bitwise_not 関数 bitwise_or 関数 bitwise_xor 関数
空間関数	空間ジオメトリデータを操作します。	ST_AsText 関数 ST_GeometryFromText 関数 ST_Boundary 関数 ST_Buffer 関数 ST_Contains 関数
地理関数	地理的位置分析とマップ計算を実行します。	geohash 関数
カラー関数	色を表現および変換します。	bar 関数 color 関数 render 関数 rgb 関数
HyperLogLog 関数	大規模なデータセットに対して、精度とメモリ効率のバランスを取りながら統計処理を実行します。	approx_set 関数 cardinality 関数 empty_approx_set 関数 merge 関数
比較演算子	値を比較します。これらの演算子は、double、bigint、varchar、timestamp、date など、すべての比較可能なデータ型に適用されます。	基本演算子 ALL 演算子 ANY 演算子 BETWEEN 演算子 DISTINCT 演算子
論理演算子	複数のブール条件を組み合わせて論理フローを制御します。	AND 演算子 OR 演算子 NOT 演算子
単位変換関数	データサイズまたは時間間隔の単位を変換します。	convert_data_size 関数 format_duration 関数
ウィンドウファネル関数	ユーザー行動、アプリトラフィック、製品目標のコンバージョンなどのデータを分析します。	window_funnel 関数
ラムダ式	SQL および SPL ステートメントでラムダ式を定義し、他の関数に渡すことで、より柔軟な処理が可能になります。	filter 関数 reduce 関数 transform 関数
条件式	指定された条件に基づいて値を返します。	CASE WHEN 式 IF 式 COALESCE 式 NULLIF 式 TRY 式