Simple Log Service：SPL函數

使用限制

• 已經通過make-series構造出series格式資料，並且時間單位為納秒。

• 每行的時間點數量至少為31個 。

文法

series_forecast(array(T) field, bigint periods)

或

series_forecast(array(T) field, bigint periods, varchar params)

參數說明

傳回值

row(
  time_series array(bigint),
  metric_series array(double),
  forecast_metric_series array(double),
  forecast_metric_upper_series array(double),
  forecast_metric_lower_series array(double),
  forecast_start_index bigint,
  forecast_length bigint,
  error_msg varchar)

樣本

統計不同request_method接下來10個時間點的數量。

• SPL語句

  * | extend ts = second_to_nano(__time__ - __time__ % 60)
    | stats latency_avg = max(cast(status as double)), inflow_avg = min(cast (status as double)) by ts, request_method
    | make-series   latency_avg  default = 'last',
                  inflow_avg default = 'last'
                  on ts 
                  from 'min' to 'max'
                   step '1m' 
                  by request_method
   | extend test=series_forecast(inflow_avg, 10)

• 輸出結果

  

演算法參數

D        daily frequency
H        hourly frequency
T, min   minutely frequency
S        secondly frequency

使用限制

• 已經通過make-series構造出series格式資料，並且時間單位為納秒。

• 每行的時間點數量至少為11個 。

文法

series_pattern_anomalies(array(T) metric_series)

參數說明

傳回值

row(
  anomalies_score_series array(double),
  anomalies_type_series array(varchar)
  error_msg varchar
) 

樣本

檢測目前時間點的序列是否有異常。

• SPL語句

  * | extend ts = second_to_nano(__time__ - __time__ % 60)
    | stats latency_avg = max(cast(status as double)), inflow_avg = min(cast (status as double)) by ts, request_method
    | where request_method is not null
    | make-series   latency_avg  default = 'last',
                  inflow_avg default = 'last'
                  on ts 
                  from 'min' to 'max'
                   step '1m' 
                  by request_method
   | extend test=series_pattern_anomalies(inflow_avg)

• 輸出結果

  

使用限制

• 已經通過make-series構造出series格式資料，並且時間單位為納秒。

• 每行的時間點數量至少為11個 。

文法

series_decompose_anomalies(array(T) metric_series)

或

series_decompose_anomalies(array(T) metric_series, varchar params)

參數說明

傳回值

row(
  metric_baseline_series array(double)
  anomalies_score_series array(double),
  anomalies_type_series array(varchar)
  error_msg varchar
) 

樣本

對所有時間軸異常檢測之後，保留最近 5 min 異常分數值大於等於0的時間軸。

• SPL語句

  * | extend ts = second_to_nano(__time__ - __time__ % 60)
    | stats latency_avg = max(cast(status as double)), inflow_avg = min(cast (status as double)) by ts, request_method
    | where request_method is not null
    | make-series   latency_avg  default = 'last',
                  inflow_avg default = 'last'
                  on ts 
                  from 'min' to 'max'
                   step '1m' 
                  by request_method
   | extend test=series_decompose_anomalies(inflow_avg, '{"confidence":"0.005"}')
   | extend anomalies_score_series = test.anomalies_score_series
   | where array_max(slice(anomalies_score_series, -5, 5)) >= 0

• 輸出結果

  

演算法參數

文法

series_drilldown(array(varchar) label_0_array,array(varchar) label_1_array,array(varchar) label_2_array, ... ,array(array(bigint)) time_series_array,array(array(double)) metric_series_array,bigint begin_time,bigint end_time)

或

series_drilldown(array(varchar) label_0_array,array(varchar) label_1_array,array(varchar) label_2_array, ... ,array(array(bigint)) time_series_array,array(array(double)) metric_series_array,bigint begin_time,bigint end_time,varchar config)

參數說明

傳回值

row(dirlldown_result varchar, error_msg varchar)

dirlldown_result參數說明

{
  "attrs": [
    {
      "api": "/ids/ml/annotationdataset",
      "resource": "test"
    },
    {
      "api": "/console/logs/getLogs"
    }
  ],
  "statistics": {
    "relative_ratio": 0.5003007763190033,
    "relative_ratio_predict": 1.0000575873881987,
    "unexpected_difference": -4.998402840764594,
    "relative_unexpected_difference": -0.499660063545782,
    "difference": -4.999183856137503,
    "predict": 5.005203022057271,
    "relative_ratio_real": 1.9987568734256989,
    "real": 10.004386878194774,
    "support": 50
  }
}

樣本

• SPL語句

  *
  | extend ts= (__time__- __time__%60)*1000000000
  | stats access_count = count(1) by ts, Method, ProjectName
  | extend access_count = cast( access_count as double)
  | make-series   access_count = access_count default = 'null'
                  on ts
                  from 'sls_begin_time' to 'sls_end_time'
                  step '1m'
                  by Method, ProjectName
  | stats m_arr = array_agg(Method), ProjectName = array_agg(ProjectName), ts_arr = array_agg(__ts__), metrics_arr = array_agg(access_count)
  | extend ret = series_drilldown(ARRAY['Method', 'Project'], m_arr, ProjectName, ts_arr, metrics_arr, 1739192700000000000, 1739193000000000000, '{"fill_na": "1", "gap_size": "3"}')
  | project ret

• 輸出結果

  

文法

cluster(array(array(double)) array_vector, varchar cluster_mode,varchar params)

參數說明

{
  "n_clusters": "5",
  "max_iter": "100",
  "tol": "0.0001",
  "init_mode": "kmeans++",
  "metric": "cosine/euclidean"
}

{
  "epsilon": "0.1", // 注意：當 epsilon 的值 小於等於 0 時，演算法會自動的去推斷這個參數。
  "min_samples": "5"
}

傳回值

row(
  n_clusters bigint, 
  cluster_sizes array(bigint), 
  assignments array(bigint),  
  error_msg varchar 
)

樣本

• SPL語句

  * and __tag__:__job__: sql-calculate-metric
  | extend time = cast(time as bigint) - cast(time as bigint) % 300 
  | extend time = second_to_nano(time) 
  | stats avg_latency = avg(cast(sum_latency as double)) by time, Method 
  | make-series avg_latency = avg_latency default = '0' on time from 'sls_begin_time' to 'sls_end_time' step '5m' by Method 
  | stats method_array = array_agg(Method), ts_array = array_agg(__ts__), ds_array = array_agg(avg_latency)
  | extend ret = cluster(ds_array, 'kmeans', '{"n_clusters":"5"}')
  | extend n_clusters = ret.n_clusters, cluster_sizes = ret.cluster_sizes, assignments = ret.assignments, error_msg = ret.assignments

• 輸出結果

  

使用限制

已經通過make-series構造出 series 格式資料，時間單位必須精確到納秒。

文法

series_describe(__ts__ array<bigint>, __ds__ array<double>)

或

series_describe(__ts__ array<bigint>, __ds__ array<double>,config varchar)

參數說明

傳回值

row(statistic varchar, error_msg varchar)

{
	"duplicate_count": 0, 
	"total_count": 1,
	"mean": 3.0,
	"variance": null,
	"min": 3.0,
	"max": 3.0,
	"median": 3.0,
	"interval": null,
	"missing_count": 0,
	"adf_test": null,
	"is_stable": false,
	"period": null,
	"trend": null
}

樣本

• SPL語句

  * and entity.file_name: "239_UCR_Anomaly_taichidbS0715Master.test.csv"
  | extend time = cast(__time__ as bigint) 
  | extend time = time - time % 60 
  | stats value = avg(cast(value as double)) by time 
  | extend time = second_to_nano(time)
  | make-series value = value default = 'nan' on time from 'min' to 'max' step '1m' 
  | extend ret = series_describe(value)

• 輸出結果

  

使用限制

入參已經通過make-series構造出 series 格式資料。

文法

• 重載1

  correlation(arr_1 array(double), arr_2 array(double), params varchar)

• 重載2

  correlation(arr_arr_1, array(array(double)), arr_2 array(double), params varchar)

• 重載3

  correlation(arr_arr_1 array(array(double)), arr_arr_2  array(array(double)), params varchar)

參數說明

• 重載1

  參數	說明
  arr_1	一條時間序列（通過make-series產生的單個單元）。
  arr_2	一條時間序列（通過make-series產生的單個單元）。
  params	演算法參數（可選），json 格式。

• 重載2

  參數	說明
  arr_arr_1	一條時間序列（通過make-series產生的單個單元）處理後，使用array_agg函數返回一個二維數組。
  arr_2	一條時間序列（通過make-series產生的單個單元）。
  params	演算法參數（可選），json 格式。

• 重載3

  參數	說明
  arr_arr_1	一條時間序列（通過make-series產生的單個單元）處理後，使用array_agg函數返回一個二維數組。
  arr_arr_2	一條時間序列（通過make-series產生的單個單元）處理後，使用array_agg函數返回一個二維數組。
  params	演算法參數（可選），json 格式。

演算法參數

傳回值

• 重載1

  row(result double)

  列名	類型	說明
  result	double	入參arr_1和arr_2的相關性係數。

• 重載2

  row(result  array(double))

  列名	類型	說明
  result	array(double)	arr_arr_1裡面每一個向量和和arr_2的相關性係數的數組， 返回數組的長度是 arr_arr_1裡面向量的個數。

• 重載3

  row(result  array(array(double)))

  列名	類型	說明
  result	array(array(double))	返回的是一個矩陣。如果資料不為空白，第i行j列是 arr_arr_1[i] 和arr_arr_2[j]的相關性係數。

樣本