SQL 集約によるインテリジェント検査 - Simple Log Service - Alibaba Cloud ドキュメントセンター

インテリジェント検査機能は、サービスログを自動的かつ適応的に検査して異常を特定します。リアルタイムのインテリジェント検査のために、SQL ステートメントを使用してメトリックデータを集約できます。

前提条件

ソース Logstore にログを収集します。詳細については、「データ収集の概要」をご参照ください。
ソース Logstore のインデックスを構成します。詳細については、「インデックスの作成」をご参照ください。
Intelligent Anomaly Analysis インスタンスを作成します。詳細については、「インスタンスの作成」をご参照ください。

インテリジェント検査ジョブの作成

ジョブ作成ページへの移動

Simple Log Service コンソールにログインします。
1. ログアプリケーション セクションで、インテリジェントな異常分析 をクリックします。
2. インスタンス一覧で、対象のインスタンスをクリックします。
3. 左側のナビゲーションウィンドウで、インテリジェント検査 をクリックします。
4. Real-time Inspection をクリックします。
5. Inspection Job セクションで、ログデータを処理するために をクリックします。

基本情報

インテリジェント検査ジョブの作成 構成ウィザードの 基本情報 セクションで、以下のパラメーターを設定し、次へをクリックします。

パラメーター	説明
タスク名	インテリジェント検査ジョブの名前です。
Project	ソース Logstore または Metricstore が存在するプロジェクトです。
リージョン	選択したプロジェクトが存在するリージョンです。
ログストアのタイプ	データの保存先に基づいて決定されるストレージタイプです。データが Logstore に保存されている場合は、ログストアを選択します。データが Metricstore に保存されている場合は、Metricstores を選択します。
ソースログストア	ログストアのタイプをログストアに設定した場合、ソースログストアにソースデータを含む Logstore を指定する必要があります。
Metricstores	ログストアのタイプを Metricstores に設定した場合、Metricstores にソースデータを含む Metricstore を指定する必要があります。
ロール	インスタンス作成時に権限を付与済みの場合、Alibaba Cloud リソースネーム (ARN) の `AliyunLogETLRole` ロールが自動的に表示されます。
ターゲットデータベース	送信先 Logstore です。`internal-ml-log` に固定されています。

データ特徴の構成

Data feature configuration セクションで、Data Type を SQL Aggregation に設定し、クエリと分析ステートメントを入力して、関連パラメーターを構成します。詳細については、「クエリの概要」および「クエリと分析の概要」をご参照ください。

クエリステートメント

* | select __time__ - __time__ % 60 as time, domain, sum(request_size) as request_size from log group by time, domain limit 100000

エンティティ：domain
特徴：request_size

パラメーター	説明
Time	ソースデータからの時間フィールドです。Log Service では、デフォルトで Logstore の `__time__` フィールドが使用されます。
Granularity	データの観測間隔（秒単位）です。有効値：5～3600。60 秒以上の間隔を推奨します。
Entity	時系列にデータを集約するために使用するフィールドです。
Feature	ソースデータ内で特徴を識別するフィールドです。

アルゴリズム構成

Algorithm configuration セクションで、Algorithm を選択します。Stream Graph Algorithm または Stream Decomposition Algorithm を選択できます。必要なパラメーターは選択したアルゴリズムによって異なります。

Stream Graph Algorithm

パラメーター	サブパラメーター	説明
高度なパラメーター（必須）	時系列セグメント	時系列値を離散化し、時系列進化グラフを構築するために使用するセグメント数です。デフォルト値：8 推奨範囲：[5, 20] セグメント数が少ないと、異常検知の感度が低下します。
	観測長	異常検知中に参照する既存データポイントの数です。デフォルト値：2880 推奨範囲：[200, 4000] 時系列が周期性を持つ場合、観測長を少なくとも 2 周期分カバーするように設定してください。たとえば、データポイントの間隔が 1 分で周期が 1 日の場合、2 周期には 2,880 データポイントが含まれます。この場合、観測長を 2880 以上に設定します。
	期間比較の長さ	前週比分析を行う期間（日数単位）です。異常検知中、アルゴリズムはメトリックの前週比の特徴を分析します。このパラメーターを 0 に設定すると、前週比分析が無効になります。
	主要キャプチャタイプ	注目する時系列異常タイプです。有効値：上向きスパイク：メトリック値が単一ポイントで急激に増加する。下向きスパイク：メトリック値が単一ポイントで急激に減少する。上向きシフト：メトリック値が複数ポイントにわたり継続的に増加し、より高いレベルに達する。下向きシフト：メトリック値が複数ポイントにわたり継続的に減少し、より低いレベルに達する。上向きトレンド：メトリック値が複数ポイントにわたり継続的に増加する。下向きトレンド：メトリック値が複数ポイントにわたり継続的に減少する。
	Trees	異常検知アルゴリズムで使用される決定木の数です。
	ツリーあたりのサンプルサイズ	各決定木を構築するために観測データから使用されるデータサンプルの数です。
	全体異常率	時系列内の異常データの推定割合です。推奨範囲：[0.001, 0.01]。
	異常タイプチェックの最小ウィンドウ	異常タイプを識別する際に参照する最小観測シーケンス長です。
	異常タイプチェックの最大ウィンドウ	異常タイプを識別する際に参照する最大観測シーケンス長です。
	異常確認の最小ウィンドウ	異常タイプを確認する際に検査する最小シーケンス長です。
	異常確認の最大ウィンドウ	異常タイプを確認する際に検査する最大シーケンス長です。
単一ディメンション特徴構成	-	検査対象の時系列の各特徴を構成します。設定項目は以下のとおりです。最大値：この特徴の上限値。最小値：この特徴の下限値。正規化方法：この特徴系列を検査する際の正規化方法。異常注目タイプ：特徴系列の検出中に注目する異常パターン。
通知感度構成	-	異なる時間帯に検出された異常イベントに対して、異なる通知しきい値を設定します。たとえば、毎週の定期メンテナンス中は異常イベントを無視できます。

Stream decomposition algorithm

アルゴリズムを設定します。

パラメーター	サブパラメーター	説明
自動周期検出	-	周期的なパターンを持つ時系列データに対して、自動周期検出を有効にします。時系列に一定の周期がある場合は、この機能を無効にして、周期長を手動で設定してください。
周期検出頻度	-	このパラメーターは、自動周期検出が有効な場合に適用されます。アルゴリズムは、指定された頻度で時系列の周期を更新します。たとえば、周期検出頻度を 12 時間に設定すると、アルゴリズムは 12 時間ごとに系列周期を検出し、更新します。
周期長	-	このパラメーターは、自動周期検出が無効な場合に適用されます。系列の周期長を設定します。系列に周期がない場合は、この値を 0 に設定します。
観測長	-	異常検知の参照に使用する既存データの長さです。系列が周期性を持つ場合、観測長を周期長の 3 倍に設定します。たとえば、系列の周期長が 1 日の場合、観測長を 3 日に設定します。
感度	-	秘密度の値を高く設定すると、検出される異常が増加し、異常スコアも高くなります。これにより、異常の取得率は向上しますが、精度は低下します。
高度なパラメーター	トレンドコンポーネントの感度	アルゴリズムは、系列をトレンド、周期性、ノイズの各コンポーネントに分解します。このパラメーターは、トレンドコンポーネントに対する異常検知の秘密度を調整します。値を高く設定すると、検出される異常が増加し、異常スコアも高くなります。これにより、取得率は向上しますが、精度は低下します。
	ノイズコンポーネントの感度	このアルゴリズムは、系列をトレンド、周期性、およびノイズ成分に分解します。このパラメーターは、ノイズ成分における異常検知の秘密度を調整します。値を高くすると、検出されるアノマリーが増加し、アノマリースコアも高くなりますが、これにより取得率が向上する一方で精度が低下します。
	トレンドコンポーネントサンプル長	アルゴリズムは、系列をトレンド、周期性、ノイズの各コンポーネントに分解します。観測長が長すぎると、トレンド分析が遅くなる可能性があります。サンプル長を長くすると分析速度が向上しますが、精度が低下する可能性があります。たとえば、サンプル長が 8 の場合、アルゴリズムは元の系列の 8 ポイントごとに 1 データポイントを分析します。
	周期性コンポーネントサンプル長	アルゴリズムは、系列をトレンド、周期性、ノイズの各コンポーネントに分解します。観測長が長すぎると、周期性分析が遅くなる可能性があります。サンプル長を長くすると分析速度が向上しますが、精度が低下する可能性があります。たとえば、サンプル長が 8 の場合、アルゴリズムは元の系列の 8 ポイントごとに 1 データポイントを分析します。この値は 5 以下に設定してください。
	ウィンドウ長	系列の観測長が長すぎると、異常検知が遅くなる可能性があります。ウィンドウ長を設定して、検出アルゴリズムがスライドウィンドウを使用するようにします。アルゴリズムはデータ系列をセグメントに分割して異常を検出し、検出速度を向上させます。この値は 5000 以下に設定してください。スライドウィンドウを使用しない場合は、この値を 0 に設定します。

現在のパラメーター設定でのアルゴリズムのパフォーマンスをプレビューします。
1. 時系列の開始時刻と終了時刻を指定するための時間範囲を設定し、データのクエリ をクリックします。データ機能の設定 で設定したクエリと分析ステートメントを使用して、指定された時間範囲内のデータを処理し、時系列データを生成します。
2. Entity Information と機能を選択して、検出対象の特徴系列を指定し、プレビュー をクリックします。検出アルゴリズムが指定された特徴系列を処理し、結果を下部に表示します。Show Parameters をクリックすると、アルゴリズムの現在のパラメーター設定を確認できます。
3. 検出結果には、Trend Component Preview、Periodicity Component Preview、Noise Component Preview が表示されます。Trend Component Preview および Noise Component Preview で異常しきい値を調整します。しきい値を超えるスコアを持つ異常イベントのみがアラートを生成します。

スケジュール設定 エリアで、以下の設定を完了します。

パラメーター	説明
開始時刻	アルゴリズムが処理する時系列の開始時刻です。タスクはこの時点から時系列データを読み取り、検出を実行します。
データ遅延持続時間	時系列データを Log Service に書き込む際の最大遅延時間です。タスクはこの持続時間だけ待機してからデータを読み取ることで、完全な時系列データが利用可能であることを保証します。
モデルトレーニング開始時刻	オプションです。設定した場合、バックグラウンドタスクはこの時刻以降にモデルトレーニングを開始します。デフォルトでは、タスクのスケジュールされた開始時刻になります。
モデルトレーニング終了時刻	オプションです。設定しない場合、モデルは継続的に学習し、モデルトレーニング開始時刻以降に検出を開始します。設定した場合、バックグラウンドタスクはこの時刻にモデルの更新を停止し、直ちに検出を開始します。

アラート構成

インテリジェント検査ジョブの作成 ウィザードの アラートの設定 セクションで、以下のパラメーターを構成し、完成をクリックします。

パラメーター

説明

アラートポリシー

生成されたアラートをマージ、ミュート、抑制します。

シンプルモード または Standard モードを選択した場合、アラートポリシーを構成する必要はありません。Log Service は、デフォルトで組み込みの SLS 動的アラートポリシー (sls.builtin.dynamic) を使用してアラートを管理します。
上級モード モードを選択した場合、組み込みまたはカスタムのアラートポリシーを選択してアラートを管理できます。詳細については、「アラートポリシーの作成」をご参照ください。

アクションポリシー

アラート通知のチャネルと頻度を制御します。

アラートポリシー が シンプルモード に設定されている場合、アクショングループを構成するだけで済みます。

アクショングループを構成すると、Log Service は自動的に ルール名-アクションポリシー という名前のアクションポリシーを作成します。このアクションポリシーは、アラート監視ルールがトリガーするすべてのアラートの通知を送信します。詳細については、「通知チャネル」をご参照ください。

重要
このアクションポリシーは、アクションポリシー管理ページで変更できます。詳細については、「アクションポリシー」をご参照ください。アクションポリシーを変更する際に条件を追加すると、アラートポリシー が自動的に Standard に変更されます。
アラートポリシー が Standard または 上級モード に設定されている場合、組み込みまたはカスタムのアクションポリシーを選択してアラート通知を実行できます。詳細については、「アクションポリシー」をご参照ください。

アラートポリシー を 上級モード に設定した場合、Custom Action Policy を有効または無効にすることもできます。詳細については、「動的アクションポリシー機構」をご参照ください。

インテリジェント検査ジョブの管理

ジョブの表示：ジョブ一覧で、対象ジョブの ID をクリックして詳細を表示します。
ジョブの編集：ジョブ一覧で、対象ジョブを見つけ、[操作] 列の編集アイコンをクリックしてジョブ構成を変更します。
ジョブの削除：ジョブ一覧で、対象ジョブを見つけ、[操作] 列の削除アイコンをクリックします。

重要
削除されたインテリジェント検査ジョブは復元できません。慎重に操作してください。

次のステップ

アラートとタグフィードバック