Simple Log Service:SPL 関数

制限

• make-series を使用して、データを series 形式で構築する必要があります。時間単位は ナノ秒 である必要があります。

• 各行には少なくとも 31 個のデータポイントが含まれている必要があります。

構文

series_forecast(array(T) field, bigint periods)

または

series_forecast(array(T) field, bigint periods, varchar params)

パラメーター

戻り値

row(
  time_series array(bigint),
  metric_series array(double),
  forecast_metric_series array(double),
  forecast_metric_upper_series array(double),
  forecast_metric_lower_series array(double),
  forecast_start_index bigint,
  forecast_length bigint,
  error_msg varchar)

例

request_method ごとに、次の 10 時点の inflow_avg 値を予測します。

• SPL 文

  * | extend ts = second_to_nano(__time__ - __time__ % 60)
    | stats latency_avg = max(cast(status as double)), inflow_avg = min(cast (status as double)) by ts, request_method
    | make-series   latency_avg  default = 'last',
                  inflow_avg default = 'last'
                  on ts 
                  from 'min' to 'max'
                   step '1m' 
                  by request_method
   | extend test=series_forecast(inflow_avg, 10)

• 出力

  クエリは request_method でグループ化された 2 行を返します。GET リクエストの場合、latency_avg は 200.0 です。POST リクエストの場合、latency_avg は 500.0 です。いずれのリクエストタイプでも、inflow_avg は 200.0 です。出力には、タイムスタンプ配列である _ts_ 列と、予測結果を含む test 列も含まれます。

アルゴリズムパラメーター

D        日次
H        時間単位
T, min   分単位
S        秒単位

制限事項

• make-series を使用して、データをシリーズ形式で構築する必要があります。時間単位はナノ秒である必要があります。

• 各行には少なくとも 11 個のデータポイントが含まれている必要があります。

構文

series_pattern_anomalies(array(T) metric_series)

パラメーター

戻り値

row(
  anomalies_score_series array(double),
  anomalies_type_series array(varchar)
  error_msg varchar
) 

例

この例では、series_pattern_anomalies 関数を使用して時系列の異常を検出する方法を示します。

• SPL 文

  * | extend ts = second_to_nano(__time__ - __time__ % 60)
    | stats latency_avg = max(cast(status as double)), inflow_avg = min(cast (status as double)) by ts, request_method
    | where request_method is not null
    | make-series   latency_avg  default = 'last',
                  inflow_avg default = 'last'
                  on ts 
                  from 'min' to 'max'
                   step '1m' 
                  by request_method
   | extend test=series_pattern_anomalies(inflow_avg)

• 出力

  クエリ結果は request_method でグループ化され、latency_avg、inflow_avg、ts、request_method、test の 5 つの列が含まれます。latency_avg は、POST リクエストでは 500.0、GET リクエストでは 200.0 です。inflow_avg は両方とも 200.0 です。test 列には、series_pattern_anomalies 関数からの構造化された結果が含まれます。

制限事項

• make-series を使用して、データをシリーズ形式で構築する必要があります。時間単位はナノ秒である必要があります。

• 各行には少なくとも 11 個のデータポイントが含まれている必要があります。

構文

series_decompose_anomalies(array(T) metric_series)

または

series_decompose_anomalies(array(T) metric_series, varchar params)

パラメーター

戻り値

row(
  metric_baseline_series array(double)
  anomalies_score_series array(double),
  anomalies_type_series array(varchar)
  error_msg varchar
) 

例

この例では、すべての時系列で異常を検出し、直近 5 分間の最大異常スコアが 0 以上の系列のみを返します。

• SPL 文

  * | extend ts = second_to_nano(__time__ - __time__ % 60)
    | stats latency_avg = max(cast(status as double)), inflow_avg = min(cast (status as double)) by ts, request_method
    | where request_method is not null
    | make-series   latency_avg  default = 'last',
                  inflow_avg default = 'last'
                  on ts 
                  from 'min' to 'max'
                   step '1m' 
                  by request_method
   | extend test=series_decompose_anomalies(inflow_avg, '{"confidence":"0.005"}')
   | extend anomalies_score_series = test.anomalies_score_series
   | where array_max(slice(anomalies_score_series, -5, 5)) >= 0

• 出力

  クエリ結果には 5 つの列が含まれます：latency_avg、inflow_avg、request_method、test (予測値)、anomalies_score_series (異常スコア)。GET および POST リクエストメソッドに対して 2 行が返されます。test 列の値は 200 に近いベースライン値の配列です。anomalies_score_series 列の値は 0 に近く、異常が検出されなかったことを示しています。

アルゴリズムパラメーター

構文

series_drilldown(array(varchar) label_name_array, array(varchar) label_0_array,array(varchar) label_1_array,array(varchar) label_2_array, ... ,array(array(bigint)) time_series_array,array(array(double)) metric_series_array,bigint begin_time,bigint end_time)

または

series_drilldown(array(varchar) label_name_array, array(varchar) label_0_array,array(varchar) label_1_array,array(varchar) label_2_array, ... ,array(array(bigint)) time_series_array,array(array(double)) metric_series_array,bigint begin_time,bigint end_time,varchar config)

パラメーター

戻り値

row(drilldown_result varchar, error_msg varchar)

drilldown_resultフィールド

{
  "attrs": [
    {
      "api": "/ids/ml/annotationdataset",
      "resource": "test"
    },
    {
      "api": "/console/logs/getLogs"
    }
  ],
  "statistics": {
    "relative_ratio": 0.5003007763190033,
    "relative_ratio_predict": 1.0000575873881987,
    "unexpected_difference": -4.998402840764594,
    "relative_unexpected_difference": -0.499660063545782,
    "difference": -4.999183856137503,
    "predict": 5.005203022057271,
    "relative_ratio_real": 1.9987568734256989,
    "real": 10.004386878194774,
    "support": 50
  }
}

例

• SPL 文

  *
  | extend ts= (__time__- __time__%60)*1000000000
  | stats access_count = count(1) by ts, Method, ProjectName
  | extend access_count = cast( access_count as double)
  | make-series   access_count = access_count default = 'null'
                  on ts
                  from 'sls_begin_time' to 'sls_end_time'
                  step '1m'
                  by Method, ProjectName
  | stats m_arr = array_agg(Method), ProjectName = array_agg(ProjectName), ts_arr = array_agg(__ts__), metrics_arr = array_agg(access_count)
  | extend ret = series_drilldown(ARRAY['Method', 'ProjectName'], m_arr, ProjectName, ts_arr, metrics_arr, 1739192700000000000, 1739193000000000000, '{"fill_na": "1", "gap_size": "3"}')
  | project ret

• 出力

  drilldown_result 列には、分析レコードの JSON が含まれます。この構造には、/ids/ml/annotationdataset、/console/logs/getLogs などの関連する API パスを一覧表示する attrs 配列と、support、real、predict、difference、unexpected_difference、relative_unexpected_difference、relative_ratio、relative_ratio_predict、relative_ratio_real などの統計メトリックを含む statistics オブジェクトが含まれます。error_msg 列は操作のステータスを報告します。たとえば、値が Incomplete の場合、分析が完了していないことを示します。

構文

cluster(array(array(double)) array_vector, varchar cluster_mode, varchar params)

パラメーター

{
  "n_clusters": "5",
  "max_iter": "100",
  "tol": "0.0001",
  "init_mode": "kmeans++",
  "metric": "cosine/euclidean"
}

{
  "epsilon": "0.1", // 注：イプシロンの値が 0 以下の場合、アルゴリズムはこのパラメーターを自動的に推測します。
  "min_samples": "5"
}

戻り値

row(
  n_clusters bigint, 
  cluster_sizes array(bigint), 
  assignments array(bigint),  
  error_msg varchar 
)

例

• SPL ステートメント

  * and __tag__:__job__: sql-calculate-metric
  | extend time = cast(time as bigint) - cast(time as bigint) % 300 
  | extend time = second_to_nano(time) 
  | stats avg_latency = avg(cast(sum_latency as double)) by time, Method 
  | make-series avg_latency = avg_latency default = '0' on time from 'sls_begin_time' to 'sls_end_time' step '5m' by Method 
  | stats method_array = array_agg(Method), ts_array = array_agg(__ts__), ds_array = array_agg(avg_latency)
  | extend ret = cluster(ds_array, 'kmeans', '{"n_clusters":"5"}')
  | extend n_clusters = ret.n_clusters, cluster_sizes = ret.cluster_sizes, assignments = ret.assignments, error_msg = ret.error_msg

• 出力

  クラスタリングモデルからの出力テーブルには、method_array (API メソッド名の配列)、ts_array (タイムスタンプの配列)、ds_array (特徴データの配列)、ret (クラスタリング結果を含む構造体)、n_clusters (この場合は 5 のクラスター数)、cluster_sizes (この場合は [2, 1, 4, 1, 75] の各クラスターのサイズ)、assignments (各データエントリのクラスター割り当てラベルの配列)、および error_msg (エラー情報) のフィールドが含まれます。

制限事項

この関数には、make-series 演算子によるシリーズ形式のデータが必要です。タイムスタンプはナノ秒である必要があります。

構文

series_describe(__ts__ array<bigint>, __ds__ array<double>)

または

series_describe(__ts__ array<bigint>, __ds__ array<double>,config varchar)

パラメーター

戻り値

row(statistic varchar, error_msg varchar)

{
	"duplicate_count": 0, 
	"total_count": 1,
	"mean": 3.0,
	"variance": null,
	"min": 3.0,
	"max": 3.0,
	"median": 3.0,
	"interval": null,
	"missing_count": 0,
	"adf_test": null,
	"is_stable": false,
	"period": null,
	"trend": null
}

例

• SPL 文

  * and entity.file_name: "239_UCR_Anomaly_taichidbS0715Master.test.csv"
  | extend time = cast(__time__ as bigint) 
  | extend time = time - time % 60 
  | stats value = avg(cast(value as double)) by time 
  | extend time = second_to_nano(time)
  | make-series value = value default = 'nan' on time from 'min' to 'max' step '1m' 
  | extend ret = series_describe(time, value)

• 出力

  クエリの出力には、系列データを含む列 value と time、および新しいコンテナー列 ret が含まれます。ret 列には、statistic と error_msg の 2 つのフィールドが含まれます。ret 列内の statistic フィールドには、分析結果の JSON オブジェクトが含まれています。主なフィールドには、duplicate_count (0)、total_count (1440)、mean (-1046.9)、variance (2222880.54)、min (-2047.0)、max (-1592.0)、median (-1591.0)、interval (60000000000.0)、missing_count (0)、adf_test (-1.739)、is_stable (false)、および trend (-1.445) が含まれます。error_msg フィールドは、成功すると null になります。

制限事項

入力は make-series によって生成された時系列である必要があります。

構文

• オーバーロード 1

  correlation(arr_1 array(double), arr_2 array(double), params varchar)

• オーバーロード 2

  correlation(arr_arr_1 array(array(double)), arr_2 array(double), params varchar)

• オーバーロード 3

  correlation(arr_arr_1 array(array(double)), arr_arr_2 array(array(double)), params varchar)

パラメーター

• オーバーロード 1

  パラメーター	説明
  arr_1	make-series によって生成された時系列。
  arr_2	make-series によって生成された時系列。
  params	オプション。JSON 形式のアルゴリズムパラメーター。

• オーバーロード 2

  パラメーター	説明
  arr_arr_1	make-series によって生成された時系列に array_agg 関数を適用して得られる二次元配列。
  arr_2	make-series によって生成された時系列。
  params	オプション。JSON 形式のアルゴリズムパラメーター。

• オーバーロード 3

  パラメーター	説明
  arr_arr_1	make-series によって生成された時系列に array_agg 関数を適用して得られる二次元配列。
  arr_arr_2	make-series によって生成された時系列に array_agg 関数を適用して得られる二次元配列。
  params	オプション。JSON 形式のアルゴリズムパラメーター。

アルゴリズムパラメーター

戻り値

• オーバーロード 1

  row(result double)

  列名	型	説明
  result	double	arr_1 と arr_2 の間の相関係数。

• オーバーロード 2

  row(result array(double))

  列名	型	説明
  result	array(double)	arr_arr_1 の各ベクトルとベクトル arr_2 の間の相関係数の配列。配列の長さは、arr_arr_1 のベクトル数と等しくなります。

• オーバーロード 3

  row(result array(array(double)))

  列名	型	説明
  result	array(array(double))	[i][j] の要素が arr_arr_1[i] と arr_arr_2[j] の間の相関係数である行列。

例