SPL インストラクションと関数 | Simple Log Service (SLS) - Simple Log Service

SPL は、フィールド操作、データ抽出、フィルタリング、集計、データ変換のための命令を提供します。各命令は、データ変換、インジェストプロセッサー、コンシューマープロセッサー、スキャンモード、Logtail 収集などの特定の処理シナリオに対応しています。

パラメータータイプ

SPL 命令は、次のパラメータータイプを使用します。

パラメータータイプ	説明
Bool	SPL でスイッチとして機能するブールパラメーターです。
Char	単一引用符 ('') で囲まれた ASCII 文字パラメーターです。例: `'a'` は文字 a、`'\t'` はタブ文字、`'\11'` は 8 進数 11 の ASCII 文字、`'\x09'` は 16 進数 09 の ASCII 文字を表します。
Integer	整数パラメーターです。
String	単一引用符 ('') で囲まれた文字列パラメーターです。例: `'this is a string'`。
RegExp	単一引用符 ('') で囲まれた RE2 正規表現パラメーターです。例: `'([\d.]+)'`。 RE2 構文の詳細については、Syntax をご参照ください。
JSONPath	単一引用符 ('') で囲まれた JSON パスパラメーターです。例: `'$.body.values[0]'`。 JSONPath 構文の詳細については、JsonPath をご参照ください。
Field	フィールド名パラメーターです。例: `\| project level, content`。特殊文字 (英字、数字、アンダースコア以外) を含むフィールド名は、二重引用符 ("") で囲みます。例: `\| project "a:b:c"`。説明フィールド名の大文字と小文字の区別に関するルールについては、General reference をご参照ください。
FieldPattern	フィールド名またはワイルドカードパターンです。ワイルドカード () は、0 個以上の文字と一致します。パターンは二重引用符 ("") で囲みます。例: `\| project "__tag__:"`。説明フィールド名の大文字と小文字の区別に関するルールについては、General reference をご参照ください。
SPLExp	SPL 式パラメーターです。
SQLExp	SQL 式パラメーターです。

SPL コマンドリスト

命令カテゴリ	命令名	説明	データ変換	インジェストプロセッサー	コンシューマープロセッサー	スキャンモード (SCAN)	Logtail 収集
制御命令	.let	名前付きデータセットを定義します。SPL データセットの詳細については、「General reference」をご参照ください。	サポート	非サポート	非サポート	サポート	非サポート
フィールド操作命令	project	指定したパターンに一致するフィールドを保持し、指定したフィールドの名前を変更します。フィールド保持式は、名前変更式より先に処理されます。	サポート	サポート	サポート	サポート	サポート
	project-away	指定したパターンに一致するフィールドを削除し、それ以外のすべてのフィールドを保持します。	サポート	サポート	サポート	サポート	サポート
	project-rename	指定したフィールドの名前を変更し、それ以外のすべてのフィールドを保持します。	サポート	サポート	サポート	サポート	サポート
	expand-values	指定したフィールドの最上位 JSON オブジェクトを、複数の結果に展開します。	サポート	非サポート	サポート	非サポート	非サポート
構造化データ向けSQL計算命令	extend	SQL 式の結果から新しいフィールドを作成します。サポートされている SQL 関数については、「List of SQL functions supported by SPL」をご参照ください。	サポート	サポート	サポート	サポート	サポート
構造化データ向けSQL計算命令	where	SQL 式でデータをフィルタリングし、一致するエントリを保持します。サポートされている SQL 関数については、「List of SQL functions supported by SPL」をご参照ください。	サポート	サポート	サポート	サポート	サポート
半構造化データ抽出命令	parse-regexp	指定したフィールドから、正規表現グループに一致する情報を抽出します。	サポート	サポート	サポート	サポート	サポート
	parse-csv	指定したフィールドから CSV 形式の情報を抽出します。	サポート	サポート	サポート	サポート	サポート
	parse-json	指定したフィールドから、最上位の JSON フィールドを抽出します。	サポート	サポート	サポート	サポート	サポート
	parse-kv	指定したフィールドから、キーと値のペアの情報を抽出します。	サポート	サポート	サポート	サポート	サポート
新しいデータ変換命令	pack-fields	JSON シリアル化を使用して、ログフィールドを新しいフィールドにパックします。API リクエストボディの作成など、構造化された送信シナリオに適しています。	サポート	非サポート	サポート	サポート	非サポート
	log-to-metric	ログ形式を時系列ストレージ形式に変換します。	サポート	非サポート	非サポート	非サポート	非サポート
	metric-to-metric	既存のメトリックデータを処理します。たとえば、タグを追加、変更、削除します。	サポート	非サポート	非サポート	非サポート	非サポート
集計命令	stats	ログフィールドに対して、`COUNT`、`SUM`、`AVG` などの SQL 集計関数に似た統計分析を実行します。特定のフィールドに対するグループ化と集計をサポートします。	非サポート	非サポート	非サポート	サポート	非サポート
	sort	クエリ結果を、フィールド値または統計結果に基づいて、昇順 (`asc`) または降順 (`desc`) で並べ替えます。	非サポート	非サポート	非サポート	サポート	非サポート
	limit	クエリ結果で返されるログ行数を制限します。`limit` を使用してデータ量を制御し、大きな結果セットによるパフォーマンスの問題を回避します。	非サポート	非サポート	非サポート	サポート	非サポート

機能の概要

SPL は、ほとんどの SQL 関数をサポートしています。各関数の可用性と適用シナリオは、それぞれのドキュメントに記載されています。

カテゴリ	説明	一般的な関数
集約関数	入力値のセットから単一の結果を計算します。	avg 関数 count 関数 max 関数 min 関数 sum 関数
文字列関数	部分文字列の検索・置き換え・抽出、連結、フォーマットなど、テキストデータに対する操作を実行します。	concat 関数 length 関数 position 関数 replace 関数 split 関数
日時関数	日付および時刻値に対して、フォーマット変換、グルーピング、集約などの操作を実行します。	current_date 関数 date 関数 day 関数 date_trunc 関数 time_series 関数
JSON 関数	JSON オブジェクトおよび配列からデータを抽出・変換・クエリします。	json_array_contains 関数 json_array_get 関数 json_array_length 関数 json_extract 関数 json_extract_scalar 関数
正規表現関数	正規表現を使用してパターンマッチングおよびテキスト処理を実行します。	regexp_extract_all 関数 regexp_extract 関数 regexp_extract_bool 関数 regexp_replace 関数 regexp_split 関数
前年比・前月比関数	時系列データにおける相対的な変化を計算します。	compare 関数 ts_compare 関数
配列関数および演算子	要素へのアクセス、フィルター、変換など、配列に対する操作を実行します。	添字演算子 array_distinct 関数 array_intersect 関数 array_join 関数 reverse 関数
マップ関数および演算子	キーと値のペア（マップ）に対して操作を実行します。	cardinality 関数 element_at 関数 histogram 関数 histogram_u 関数 map 関数
数学関数	丸め、乱数生成、三角関数演算などの数値計算を実行します。	abs 関数 ceil 関数 log 関数 mod 関数 random 関数
数学および統計関数	データ分布に対して統計分析と計算を実行します。	corr 関数 covar_pop 関数 regr_intercept 関数 beta_cdf 関数 inverse_chi_squared_cdf 関数
型変換関数	値をあるデータの型から別のデータの型に変換します。	cast 関数 try_cast 関数 typeof 関数
ウィンドウ関数	特定のウィンドウ内のデータに対して、集約やランキングなどの計算を実行します。	集約関数 dense_rank 関数 lag 関数
IP 関数	IP アドレスを解析および処理します。	ip_to_city 関数 ip_prefix 関数 ipv6_to_city 関数
URL 関数	URL からコンポーネントを抽出します。	url_encode 関数 url_decode 関数 url_extract_fragment 関数 url_extract_path 関数 url_extract_query 関数
推定関数	個別アイテムのカウントやパーセンタイルの計算など、近似結果を提供します。	approx_distinct 関数 approx_percentile 関数 numeric_histogram 関数 numeric_histogram_u 関数
バイナリ関数	バイナリデータに対して操作を実行します。	from_base64 関数 from_big_endian_64 関数 from_hex 関数 to_hex 関数 sha256 関数
ビットごとの演算関数	整数に対してビットごとの演算を実行します。	bit_count 関数 bitwise_and 関数 bitwise_not 関数 bitwise_or 関数 bitwise_xor 関数
空間幾何関数	空間幾何オブジェクトに対して操作を実行します。	ST_AsText 関数 ST_GeometryFromText 関数 ST_Boundary 関数 ST_Buffer 関数 ST_Contains 関数
地理関数	ジオ空間分析および計算を実行します。	geohash 関数
色関数	色表現を作成および操作します。	bar 関数 color 関数 render 関数 rgb 関数
HyperLogLog 関数	精度とメモリ効率をトレードオフにして、大規模データセットに対して統計処理を実行します。	approx_set 関数 cardinality 関数 empty_approx_set 関数 merge 関数
比較演算子	2 つの値を比較し、ブール値の結果を返します。これらの演算子は、double、bigint、varchar、timestamp、date などの比較可能なデータの型で動作します。	基本演算子 ALL 演算子 ANY 演算子 BETWEEN 演算子 DISTINCT 演算子
論理演算子	複数のブール式を組み合わせて、論理フローを制御します。	AND 演算子 OR 演算子 NOT 演算子
単位変換関数	データサイズまたは時間間隔を異なる単位に変換します。	convert_data_size 関数 format_duration 関数
ウィンドウファネル関数	アプリケーショントラフィックやコンバージョンファネルなど、ユーザーの連続的な動作を分析します。	window_funnel 関数
ラムダ式	SQL または SPL 文内でラムダ式を定義し、高階関数に渡してその機能を拡張します。	filter 関数 reduce 関数 transform 関数
条件式	指定された条件に基づいて異なる値を返します。	CASE WHEN 式 IF 式 COALESCE 式 NULLIF 式 TRY 式