すべてのプロダクト
Search
ドキュメントセンター

Simple Log Service:SQL文を使用したリアルタイム検査用のメトリックの集計

最終更新日:Sep 03, 2024

インテリジェント検査機能は、サービスデータを検査し、自動化されたインテリジェントな適応的な方法で異常を識別する。 このトピックでは、SQL文を使用して、インテリジェント検査のメトリックを集計する方法について説明します。

前提条件

  • データは収集され、ソースLogstoreと呼ばれるLogstoreに保存されます。 詳細については、「データ収集の概要」をご参照ください。

  • インデックスは、ソースLogstoreに対して設定されます。 詳細については、「インデックスの作成」をご参照ください。

  • インテリジェント異常分析インスタンスが作成されます。 詳細は、インスタンスの作成をご参照ください。

インテリジェントな検査ジョブを作成する

[インテリジェント検査ジョブの作成] ウィザードに移動

  1. Simple Log Serviceコンソール.

  2. [インテリジェント検査ジョブの作成] ウィザードに移動します。

    1. [ログアプリケーション] セクションで、[インテリジェント異常分析] をクリックします。

    2. インスタンスリストで、インテリジェント検査ジョブを作成するインスタンスのIDをクリックします。

    3. 左側のナビゲーションウィンドウで、[インテリジェント検査]> [リアルタイム検査] を選択します。

    4. [検査ジョブ] セクションで、[今すぐ作成] をクリックします。

基本情報

[インテリジェント検査ジョブの作成] ウィザードの [基本情報] ステップで、パラメーターを設定し、[次へ] をクリックします。 下表に、各パラメーターを説明します。

パラメーター

説明

ジョブ名

インテリジェント検査ジョブの名前。 カスタム名を入力することができます。

プロジェクト

ソースLogstoreまたはMetricstoreが属するプロジェクト。

リージョン

プロジェクトが存在するリージョン。

Logstoreタイプ

データが保存されているストレージユニット。

  • データがLogstoreに保存されている場合は、Logstoreを選択します。

  • データがメトリクストアに保存されている場合は、メトリクストアを選択します。

ソースLogstore

ソースデータが保存されているLogstore。 このパラメーターは、LogstoreタイプパラメーターをLogstoresに設定した場合にのみ必要です。

Metricstores

ソースデータが保存されているmetricstore。 このパラメーターは、LogstoreタイプパラメーターをMetricstoresに設定した場合にのみ必要です。

ロール

AliyunLogETLRoleのAlibaba Cloudリソース名 (ARN) 。 インスタンスの作成時に承認が完了した場合、ARNが自動的に表示されます。

ターゲットストア

宛先Logstore。 このパラメーターは自動的にinternal-ml-logに設定されます。

データ機能の設定

[データ機能の設定] ステップで、[データ型] パラメーターを [SQL集計] に設定し、クエリ文を入力してパラメーターを設定します。 クエリステートメントの詳細については、「ログ検索の概要」および「ログ分析の概要」をご参照ください。

  • サンプルクエリ文

    * | select __time__ - __time__ % 60 as time, domain, sum(request_size) as request_size from log group by time, domain limit 100000
  • エンティティ: domain

  • 機能: request_size

パラメーター

説明

時間

ソースデータの時間を指定するフィールド。 デフォルトでは、Simple Log ServiceはソースLogstoreで提供される _time_ フィールドを使用します。

粒度

データが観察される間隔。 単位は秒です。 有効な値: 5 ~ 3600 このパラメーターを60以上の値に設定することを推奨します。

Entity

ソースデータ内のエンティティを指定するフィールド。 インテリジェント検査ジョブは、指定されたフィールドに基づいてエンティティの時系列を生成するためにデータを集約します。

機能

ソースデータのフィーチャを指定するフィールド。

アルゴリズム設定

  1. [アルゴリズム設定] ステップで、[アルゴリズム] パラメーターを設定します。 このパラメーターには、[Stream Graph Algorithm] または [Stream Decomposition Algorithm] を選択できます。 次のセクションでは、さまざまなアルゴリズムに設定する必要があるパラメーターについて説明します。

ストリームグラフアルゴリズム

パラメーター

サブパラメータ

説明

(必須) 高度なパラメータ

時系列セグメント

指定されたメトリックの時系列が離散化されるセグメントの数。 離散化は、メトリックチャートの作成に役立ちます。

  • デフォルト値: 8。

  • このパラメーターを5〜20の値に設定することを推奨します。

  • 異常検出の感度は、このパラメータの値と共に直線的に減少する。

観察の長さ

異常検出中に検査する履歴サンプルの数。

  • デフォルト値: 2880

  • このパラメーターを200〜4000の値に設定することを推奨します。

  • 検出する時系列データに季節性がある場合は、このパラメーターの値として、2観測サイクル内に検査するサンプル数を指定することを推奨します。 たとえば、観測の粒度が1分で、観測サイクルが1日の場合、Simple Log Serviceは2日以内に2,880のサンプルのメトリックを検査します。 この場合、このパラメーターを2880以上の値に設定することを推奨します。

期間の比較長さ

期間にわたる分析が実行される時間の長さ。 単位:日 異常検出中に、検出されたメトリックに対して期間にわたる分析が実行される。 このパラメーターを0に設定すると、アルゴリズムはピリオドオーバーピリオド分析を実行しません。

主要なキャプチャタイプ

特別な注意を必要とする時系列異常のタイプ。 有効な値:

  • 上向きスパイク: メトリックの値は、特定の時点で突然増加します。

  • 下向きスパイク: メトリックの値は、特定の時点で突然減少します。

  • 上向きシフト: メトリックの値が増加し、特定の期間にわたって安定します。

  • 下向きシフト: メトリックの値が減少し、特定の期間にわたって安定します。

  • 上向きの傾向: メトリックの値は、特定の期間で継続的に増加します。

  • 下降傾向: メトリックの値は、特定の期間で継続的に減少します。

決定木の数。 異常検出アルゴリズムは、補助検出のために決定木を使用する。

木ごとのサンプルサイズ

異常検出中に決定木を構築するときに観測データから収集されるサンプルの数。

全体的な異常率

時系列データに含まれる異常データの推定率。 有効な値: 0.001〜0.01。

異常タイプチェックの最小ウィンドウ

異常キャプチャ中に観測される時系列の最小長さ。

異常タイプチェックの最大ウィンドウ

異常キャプチャ中に観測される時系列の最大長。

異常確認のための最小ウィンドウ

異常キャプチャ中に検出される時系列の最小長さ。

異常確認のための最大ウィンドウ

異常キャプチャ中に検出される時系列の最大長。

単一次元フィーチャーの設定

-

時系列で検出される特徴。 機能ごとに次の項目を個別に設定する必要があります。

  • 最大値: メトリックの最大値。

  • 最小値: メトリックの最小値。

  • 正規化: 特徴検出が時系列に対して実行されるときに特徴を正規化するために使用される方法。

  • フォローする異常タイプ: 特徴検出中に特別な注意が必要な異常のタイプ。

通知の感度設定

-

トリガーされるアラート通知に基づくしきい値。 異なる期間に検出された異常に対して、異なるしきい値を設定する必要があります。 たとえば、サービスの定期メンテナンス中に発生する異常を無視できます。

ストリーム分解アルゴリズム

  1. アルゴリズムの設定

    パラメーター

    サブパラメータ

    説明

    自動周期的検出

    -

    自動定期検出を有効にするかどうかを指定します。 自動周期検出は、時系列データが季節性を有するシナリオに適している。 時系列の季節性が一定の場合は、自動定期検出を無効にし、周期の長さを手動で設定することを推奨します。

    周期的な検出周波数

    -

    周期的な検出が実行される周波数。 このパラメーターは、自動定期検出を有効にした場合にのみ有効になります。 アルゴリズムは、設定された周波数に基づいて時系列の季節性を定期的に更新する。 たとえば、値を12時間に設定した場合、アルゴリズムは12時間ごとに時系列の季節性を自動的に検出して更新します。

    ピリオドの長さ

    -

    時系列の季節性の時間の長さ。 このパラメーターは、自動定期検出を無効にした場合にのみ有効です。 時系列に季節性がない場合は、値を0に設定します。

    観察の長さ

    -

    異常検出中に履歴データが参照される時間の長さ。 時系列に季節性がある場合は、Period Lengthパラメーターの値の3倍に値を設定することを推奨します。 たとえば、Period Lengthパラメーターを1日に設定した場合、このパラメーターを3日に設定します。

    感度

    -

    検出感度。 検出された異常の数と異常スコアは、このパラメーターの値とともに線形に増加します。 このパラメーターを大きな値に設定すると、異常の再現率が高くなり、検出精度が低くなります。

    高度なパラメータ

    トレンド成分の感度

    トレンドコンポーネントの感度。 アルゴリズムは、時系列をトレンド成分、季節成分、およびノイズ成分に分解する。 傾向成分の異常検出の間、検出された異常の数および異常スコアは、傾向成分の感度とともに線形に増加する。 このパラメーターを大きな値に設定すると、異常の再現率が高くなり、検出精度が低くなります。

    ノイズ感度

    ノイズ成分の感度。 アルゴリズムは、時系列をトレンド成分、季節成分、およびノイズ成分に分解する。 ノイズ成分の異常検出の間、検出された異常の数および異常スコアは、トレンド成分の感度とともに線形に増加する。 このパラメーターを大きな値に設定すると、異常の再現率が高くなり、検出精度が低くなります。

    トレンド成分のサンプリングステップ

    トレンドコンポーネントのサンプリングステップ。 アルゴリズムは、時系列をトレンド成分、季節成分、およびノイズ成分に分解する。 観測された時系列の長さが長すぎると、トレンド成分の分析が遅くなる。 このパラメーターを大きな値に設定すると、トレンドコンポーネントの分析が高速になります。 しかしながら、トレンド成分の検出精度が低下するおそれがある。 たとえば、このパラメーターを8に設定すると、8つのデータポイントごとに1つのデータポイントが、トレンドコンポーネント分析の元の時系列からサンプリングされます。

    季節成分サンプリングステップ

    季節成分のサンプリングステップ。 アルゴリズムは、時系列をトレンド成分、季節成分、およびノイズ成分に分解する。 観測された時系列の長さが長すぎると、季節成分の分析が遅くなる。 このパラメーターを大きな値に設定すると、季節成分の分析が高速になります。 しかし、季節成分の検出精度が低下する可能性がある。 たとえば、このパラメーターを8に設定した場合、8つのデータポイントごとに1つのデータポイントが、季節成分分析の元の時系列からサンプリングされます。 このパラメーターを5以下の値に設定することを推奨します。

    ウィンドウの長さ

    観測される時系列の長さが長すぎると、異常検出が遅くなる。 このパラメーターを指定すると、アルゴリズムはスライドウィンドウ内のセグメントのデータを検出し、検出速度を向上させます。 このパラメーターを5000以下の値に設定することを推奨します。 アルゴリズムでスライディングウィンドウ内のデータを検出しない場合は、このパラメーターを0に設定します。

  2. プレビューセクションで、[表示] をクリックして、アルゴリズムの設定結果を表示します。

    1. 時系列で検出が実行される時間範囲を指定します。 [データクエリ] をクリックして、指定した時間範囲内のデータを処理し、[データ機能の設定] ステップで設定したクエリステートメントを使用して時系列データを生成します。

    2. [エンティティ情報] および [フィーチャ] パラメーターを設定して、検出するフィーチャのシーケンスを決定します。 [プレビュー] をクリックして検出アルゴリズムを呼び出し、指定したフィーチャシーケンスを処理します。 検出結果はページの下部に表示されます。 [パラメータの表示] をクリックして、アルゴリズムの設定を表示します。

    3. 検出結果には、トレンドコンポーネントプレビュー季節コンポーネントプレビューノイズプレビューが表示されます。 トレンドコンポーネントプレビューおよびノイズプレビューの異常しきい値を変更できます。 このようにして、異常スコアが指定されたしきい値よりも大きい場合にのみアラートが生成されます。

  1. [スケジューリング設定] セクションで、パラメーターを設定します。 次の表で、関連パラメーターについて説明します。 オプションのパラメーターについては、コンソールの手順を参照してください。

パラメーター

説明

開始時刻

アルゴリズムがデータを処理する時系列の開始時間。 システムは、指定された時間から時系列データの読み取りと検出を開始します。

データ待ち時間

検出される時系列データをSimple Log Serviceに書き込むための最大レイテンシ。 このパラメーターを設定した後、システムは時系列データを読み取るときに指定された期間待機します。 これにより、時系列データがSimple Log Serviceに書き込まれ、完全に読み取ることができます。

アラート設定

  1. アラート設定のステップインテリジェント検査ジョブの作成、次のパラメーターを設定し、完了.

    パラメーター

    説明

    アラート通知の送信

    アラート通知を送信するかどうかを選択します。

    アラートポリシー

    アラートポリシーは、アラートのマージ、停止、および抑制に使用されます。

    • このパラメーターを [Simple Mode] または [Standard Mode] に設定した場合、アラートポリシーを設定する必要はありません。 デフォルトでは、Simple Log Serviceは組み込みのアラートポリシーsls.builtin.dynamicを使用してアラートを管理します。

    • このパラメーターを [詳細モード] に設定した場合、組み込みまたはカスタムのアラートポリシーを選択してアラートを管理できます。 アラートポリシーの作成方法の詳細については、「アラートポリシーの作成」をご参照ください。

    アクションポリシー

    アクションポリシーは、アラート通知方法とアラート通知の送信頻度を管理するために使用されます。

    • アラートポリシーシンプルモードに設定した場合、このパラメーターにはアクショングループのみを設定する必要があります。

      アクショングループを設定すると、Simple Log Serviceは自動的にRule name-action policyという名前のアクションポリシーを作成します。 アラート通知は、アラートルールに基づいてトリガーされるすべてのアラートのアクションポリシーに基づいて送信されます。 詳細については、「通知方法」をご参照ください。

      重要

      アクションポリシーは、[アクションポリシー] タブで変更できます。 詳細については、「アクションポリシーの作成」をご参照ください。 アクションポリシーを変更するときに条件を追加すると、アラートポリシーの値は自動的に標準モードに変わります。

    • [アラートポリシー][標準モード] または [詳細モード] を設定した場合は、組み込みまたはカスタムのアクションポリシーを選択してアラート通知を送信できます。 アクションポリシーの作成方法の詳細については、「アクションポリシーの作成」をご参照ください。

      アラートポリシーパラメーターを [詳細モード] に設定した場合、カスタムアクションポリシーを有効または無効にできます。 詳細については、「動的アクションポリシーメカニズム」をご参照ください。

インテリジェントな検査ジョブの管理

image

インテリジェント検査ジョブを作成したら、ジョブリストのジョブIDをクリックして、ジョブの詳細を表示できます。 ジョブを変更または削除することもできます。

重要

インテリジェント検査ジョブを削除すると、ジョブは復元できません。 作業は慎重に行ってください。

関連する API 操作

検査結果をアラート通知で評価する