SPL の命令と関数 - Simple Log Service - Alibaba Cloud ドキュメントセンター

このトピックでは、Simple Log Service Processing Language (SPL) の命令について説明します。

パラメーターの型

次の表に、SPL 命令で使用されるパラメーターの型を示します。

パラメーターの型	説明
Bool	ブール値パラメーター。 SPL を使用する場合、このパラメーターはスイッチとして機能します。
Char	ASCII 文字パラメーター。シングルクォーテーション (') で囲む必要があります。たとえば、`'a'` は文字 a を表し、`'\t'` はタブ文字を表し、`'\11'` は 8 進数 11 に対応する ASCII 文字を表し、`'\x09'` は 16 進数 09 に対応する ASCII 文字を表します。
Integer	整数パラメーター。
String	文字列パラメーター。シングルクォーテーション (') で囲む必要があります。たとえば、`'this is a string'` です。
RegExp	RE2 正規表現パラメーター。シングルクォーテーション (') で囲む必要があります。たとえば、`'([\d.]+)'` です。構文の詳細については、「構文」をご参照ください。
JSONPath	JSON パスパラメーター。シングルクォーテーション (') で囲む必要があります。たとえば、`'$.body.values[0]'` です。構文の詳細については、「JsonPath」をご参照ください。
Field	フィールド名パラメーター。たとえば、`\| project level, content` です。フィールド名に文字、数字、アンダースコア以外の特殊文字が含まれている場合は、フィールド名をダブルクォーテーション ("") で囲みます。たとえば、`\| project "a:b:c"` です。説明フィールド名の大文字と小文字の区別の詳細については、「一般的なリファレンス」をご参照ください。
FieldPattern	フィールド名とワイルドカードの組み合わせ、またはフィールド名パラメーター。ワイルドカード文字 () がサポートされており、0 個以上の文字に一致します。ダブルクォーテーション ("") で囲む必要があります。たとえば、`\| project "__tag__:"` です。説明フィールド名の大文字と小文字の区別の詳細については、「一般的なリファレンス」をご参照ください。
SPLExp	SPL 式パラメーター。
SQLExp	SQL 式パラメーター。

SPL 命令リスト

命令カテゴリ	命令名	説明	データ変換	書き込みプロセッサ	消費プロセッサ	スキャンモード (SCAN)	Logtail コレクション
制御命令	.let	名前付きデータセットを定義します。 SPL データセットの詳細については、「一般的なリファレンス」をご参照ください。	サポート	非サポート	非サポート	サポート	非サポート
フィールド操作命令	project	指定されたパターンに一致するフィールドを保持し、指定されたフィールドの名前を変更します。実行中、すべてのフィールド保持式は名前変更式の前に処理されます。	サポート	サポート	サポート	サポート	サポート
	project-away	指定されたパターンに一致するフィールドを削除し、他のすべてのフィールドを保持します。	サポート	サポート	サポート	サポート	サポート
	project-rename	指定されたフィールドの名前を変更し、他のすべてのフィールドを保持します。	サポート	サポート	サポート	サポート	サポート
	expand-values	指定されたフィールドの第 1 層の JSON オブジェクトを展開して、複数の結果を生成します。	サポート	非サポート	サポート	非サポート	非サポート
構造化データ用の SQL 計算命令	extend	SQL 式の結果を計算して新しいフィールドを作成します。サポートされている SQL 関数のリストについては、「SPL でサポートされている SQL 関数の一覧」をご参照ください。	サポート	サポート	サポート	サポート	サポート
構造化データ用の SQL 計算命令	where	SQL 式に基づいてデータをフィルター処理し、式に一致するデータエントリを保持します。 where 命令でサポートされている SQL 関数のリストについては、「SPL でサポートされている SQL 関数の一覧」をご参照ください。	サポート	サポート	サポート	サポート	サポート
半構造化データ抽出命令	parse-regexp	指定されたフィールドから正規表現グループに一致する情報を抽出します。	サポート	サポート	サポート	サポート	サポート
	parse-csv	指定されたフィールドから CSV 形式の情報を抽出します。	サポート	サポート	サポート	サポート	サポート
	parse-json	指定されたフィールドから第 1 層の JSON 情報を抽出します。	サポート	サポート	サポート	サポート	サポート
	parse-kv	指定されたフィールドからキーと値のペアの情報を抽出します。	サポート	サポート	サポート	サポート	サポート
新しいデータ変換命令	pack-fields	ログフィールドをパックし、JSON シリアル化を介して新しいフィールドに出力します。この命令は、API リクエスト本文の構築など、構造化された送信を必要とするシナリオに適しています。	サポート	非サポート	サポート	サポート	非サポート
	log-to-metric	ログ形式をメトリックストレージ形式に変換します。	サポート	非サポート	非サポート	非サポート	非サポート
	metric-to-metric	タグの追加、変更、削除など、既存のメトリックデータをさらに処理します。	サポート	非サポート	非サポート	非サポート	非サポート
集約命令	stats	ログの統計分析のための命令で、`COUNT`、`SUM`、`AVG` などの SQL 集計関数に似ています。ログデータ内の特定のフィールドに対して、統計、グループ化、および集約操作を実行します。	非サポート	非サポート	非サポート	サポート	非サポート
	sort	クエリ結果をソートします。フィールド値または統計結果を昇順 (`asc`) または降順 (`desc`) でソートすることをサポートします。これは、ログ分析で主要なデータをすばやく見つけ、順序付けられたレポートを生成するための重要なツールです。	非サポート	非サポート	非サポート	サポート	非サポート
	limit	クエリ結果で返されるログ行の数を制限します。これは、データ量を制御するためのコア命令です。 `limit` 命令を使用すると、大規模なクエリ結果によるパフォーマンスの問題やリソースの浪費を防ぐことができます。ログ分析やリアルタイムモニタリングなどのシナリオに適しています。	非サポート	非サポート	非サポート	サポート	非サポート

関数の概要

SPL 命令は、ほとんどの SQL 関数をサポートしています。ただし、特定の関数の可用性と適用可能なシナリオについては、対応する関数のドキュメントで説明されています。

分類	説明	一般的な関数
集計関数	ターゲットデータセットで要約計算を実行して、単一の統計結果を生成します。	avg 関数 count 関数 max 関数 min 関数 sum 関数
文字列関数	検索、置換、部分文字列、連結、フォーマットなど、テキストデータを処理します。	concat 関数 length 関数 position 関数 replace 関数 split 関数
日付と時刻の関数	ログの日付と時刻に対して、フォーマット変換、グループ化、集約を実行します。	current_date 関数 date 関数 day 関数 date_trunc 関数 time_series 関数
JSON 関数	抽出、変換、統計など、JSON オブジェクトを処理します。	json_array_contains 関数 json_array_get 関数 json_array_length 関数 json_extract 関数 json_extract_scalar 関数
正規表現関数	パターンマッチングとテキスト処理。	regexp_extract_all 関数 regexp_extract 関数 regexp_extract_bool 関数 regexp_replace 関数 regexp_split 関数
前年比および前月比の関数	時系列データの相対的な変化を計算します。	compare 関数 ts_compare 関数
配列関数と演算子	配列に対して、追加、削除、変更、クエリ、走査、変換を実行します。	添字演算子 array_distinct 関数 array_intersect 関数 array_join 関数 reverse 関数
マップマッピング関数と演算子	キーと値のペアを操作します。	cardinality 関数 element_at 関数 histogram 関数 histogram_u 関数 map 関数
数学計算関数	数値計算、丸め、乱数、三角関数など。	abs 関数 ceil 関数 log 関数 mod 関数 random 関数
数学統計関数	データ分布分析と数値計算。	corr 関数 covar_pop 関数 regr_intercept 関数 beta_cdf 関数 inverse_chi_squared_cdf 関数
型変換関数	データ型間の変換を処理します。	cast 関数 try_cast 関数 typeof 関数
ウィンドウ関数	データウィンドウに基づいて集約またはソートします。	集計関数 dense_rank 関数 lag 関数
IP 関数	IP アドレスを解析および計算します。	ip_to_city 関数 ip_prefix 関数 ipv6_to_city 関数
URL 関数	URL 構造を解析します。	url_encode 関数 url_decode 関数 url_extract_fragment 関数 url_extract_path 関数 url_extract_query 関数
推定関数	データを予測したり、欠損値を補完したりします。	approx_distinct 関数 approx_percentile 関数 numeric_histogram 関数 numeric_histogram_u 関数
バイナリ関数	バイナリデータ型を処理します。	from_base64 関数 from_big_endian_64 関数 from_hex 関数 to_hex 関数 sha256 関数
ビット演算関数	バイナリビットを直接操作します。	bit_count 関数 bitwise_and 関数 bitwise_not 関数 bitwise_or 関数 bitwise_xor 関数
空間ジオメトリ関数	空間ジオメトリを処理します。	ST_AsText 関数 ST_GeometryFromText 関数 ST_Boundary 関数 ST_Buffer 関数 ST_Contains 関数
地理関数	地理的位置分析と地図計算。	geohash 関数
色関数	色の表現と変換。	bar 関数 color 関数 render 関数 rgb 関数
HyperLogLog 関数	大規模なデータセットに対して統計処理を実行し、精度を犠牲にしてメモリを節約します。	approx_set 関数 cardinality 関数 empty_approx_set 関数 merge 関数
比較演算子	パラメーターの大小関係を決定します。比較可能な任意のデータ型 (double、bigint、varchar、timestamp、date) に適用できます。	基本演算子 ALL 演算子 ANY 演算子 BETWEEN 演算子 DISTINCT 演算子
論理演算子	複数のブール条件を組み合わせて論理フローを制御します。	AND 演算子 OR 演算子 NOT 演算子
単位変換関数	データサイズまたは時間間隔の単位を変換します。	convert_data_size 関数 format_duration 関数
ウィンドウファネル関数	ユーザーの行動、アプリのトラフィック、プロダクトの目標コンバージョン、その他のデータを分析します。	window_funnel 関数
ラムダ式	SQL 分析文および SPL 文でラムダ式を定義し、指定された関数に渡して関数の式を豊富にします。	filter 関数 reduce 関数 transform 関数
条件式	条件分岐に基づいて異なる値を返します。	CASE WHEN 式 IF 式 COALESCE 式 NULLIF 式 TRY 式