SQL でメトリックデータを集計してモデルをトレーニングする方法 - Simple Log Service

前提条件

ソース Logstore でログが収集されていること。詳細については、「データ収集の概要」をご参照ください。
ソース Logstore のインデックスが設定されていること。詳細については、「インデックスの作成」をご参照ください。
Intelligent Anomaly Analysis インスタンスが作成されていること。詳細については、「インスタンスの作成」をご参照ください。

インテリジェント検査ジョブの作成

ジョブ作成画面への移動

Log Serviceコンソールにログインします。
ジョブ作成ページに移動します。
1. ログアプリケーション セクションで、[インテリジェントな異常分析] をクリックします。
2. インスタンスのリストで、対象のインスタンスをクリックします。
3. 左側メニューで、インテリジェント検査 をクリックします。
4. [リアルタイム検査] をクリックします。
5. [検査ジョブ] セクションで、ログデータを処理するために をクリックします。

基本情報

インテリジェント検査ジョブの作成 ウィザードの 基本情報 ステップで、次のパラメーターを設定し、次へをクリックします。

パラメーター	説明
[タスク名]	インテリジェント検査ジョブの名前です。
プロジェクト	ソース Logstore または Metricstore を含むプロジェクトです。
[リージョン]	選択したプロジェクトが配置されているリージョンです。
[ログストアのタイプ]	データのストレージタイプを選択します。データが Logstore に保存されている場合は、Logstores を選択します。データが Metricstore に保存されている場合は、Metricstores を選択します。
[ソースログストア]	ログストアのタイプが Logstores に設定されている場合は、ソースログストアを設定する必要があります。これは、ソースデータが格納されているログストアです。
[Metricstores]	ログストアのタイプが Metricstores に設定されている場合、Metricstores パラメーターを、ソースデータを含む Metricstore に設定する必要があります。
[ロール]	インスタンスの作成時に権限を付与した場合、`AliyunLogETLRole` ロールの Alibaba Cloud Resource Name (ARN) が自動的に入力されます。
[ターゲットデータベース]	ジョブの出力先となる Logstore です。この値は `internal-ml-log` に固定されています。

データ特徴量設定

時系列データに異常ラベルが含まれている場合は、データ機能の設定 を選択します。含まれていない場合は、[アノマリーインジェクション] を選択します。

クエリおよび分析の詳細については、「クエリの概要」および「クエリと分析の概要」をご参照ください。

データ特徴量

クエリ文

* | select (__time__ - __time__%60) as time, entity, count(*) as metric, if(count(*) > 1000, 1, 0) as label from log group by time, entity limit 1000000

ラベル名： label
エンティティ： entity

特徴量： metric

パラメーター	説明
時間	ソースデータの時間列を示すフィールドです。
粒度	データの観測間隔 (秒単位) です。値の範囲は 5～3,600 です。60 秒以上の間隔を推奨します。
エンティティ	特定のエンティティを識別するフィールドです。インテリジェント検査ジョブは、このフィールドでデータを集計して時系列を生成します。
特徴量	分析対象の特徴量データを含むフィールドです。
ラベル名	異常ラベルを含むフィールドです。 1：データポイントが異常であることを示します。 0：データポイントが正常であることを示します。

アノマリーインジェクション

クエリ文

* | select (__time__ - __time__%60) as time, entity, count(*) as metric from log group by time, entity limit 1000000

エンティティ： entity
特徴量： metric
異常率： 0.001

パラメーター	説明
時間	ソースデータの時間列を示すフィールドです。
粒度	データの観測間隔 (秒単位) です。値の範囲は 5～3,600 です。60 秒以上の間隔を推奨します。
エンティティ	ソースデータ内の特定のエンティティを識別するフィールドです。インテリジェント検査ジョブは、エンティティ識別子に基づいてデータを集計し、時系列を生成します。
特徴量	ソースデータ内の特定の特徴量データを識別するフィールドです。
アノマリーインジェクション	異常が注入された後にデータを保存するかどうかを指定します。
異常率	注入する異常データの割合です。たとえば、値が 0.001 の場合、データポイントの 0.1% が異常として注入されることを意味します。
異常タイプ	特徴量シーケンスに注入する異常のタイプです。

アルゴリズム設定

[アルゴリズム設定] セクションで、[アルゴリズム] を選択します。教師あり異常検知アルゴリズムのみがサポートされています。

スケジュール設定 セクションで、次のパラメーターを設定します。

パラメーター	説明
開始時刻	モデルトレーニングジョブによって処理される時系列の開始時刻です。
終了時刻	モデルトレーニングジョブによって処理される時系列の終了時刻です。
モデル学習の終了時刻	このパラメーターは、トレーニングデータのカットオフ時刻を指定し、[開始時刻] と [終了時刻] の間である必要があります。システムは、[開始時刻] から [モデル学習の終了時刻] までのデータをトレーニングに使用し、[モデル学習の終了時刻] から [終了時刻] までのデータを検証に使用します。

インテリジェント検査ジョブの管理

SLS コンソールの左側メニューで、[インテリジェント検査] > [リアルタイム検査] を選択して、ジョブ管理ページを開きます。[操作] 列で、ジョブの編集または削除が可能です。

ジョブの表示：ジョブリストでモデルトレーニングジョブを見つけ、そのIDをクリックして詳細を表示します。

[エンティティ情報リスト] で、エンティティIDをクリックします。

表示されるパネルで、予測タスクを作成します。

パラメーター	説明
タスク名	予測タスクの名前です。これはリアルタイム検査タスクでもあります。
エンティティ ID	検査対象のエンティティシーケンスの ID です。複数を指定できます。
フォローする異常タイプ	特徴量シーケンス内で注目する異常のタイプです。
開始時刻	タスクが時系列データの読み取りと検査を開始する時刻です。
データレイテンシー	データが SLS に書き込まれるまでの最大予想レイテンシーです。タスクは、データの完全性を確保するために、データを読み取る前にこの期間待機します。
アラート送信	検出された異常に対してアラートを送信するかどうかを指定します。
アラートポリシー	アラートポリシーは、生成されたアラートを結合、ミュート、および抑制します。アラートポリシーを [シンプルモード] または [標準モード] に設定した場合、アラートポリシーを設定する必要はありません。SLS は、デフォルトで組み込みの動的アラートポリシー (sls.builtin.dynamic) を使用します。 [詳細モード] を選択した場合、組み込みまたはカスタムのアラートポリシーを選択できます。アラートポリシーの作成方法の詳細については、「アラートポリシーの作成」をご参照ください。
アクションポリシー	アクションポリシーは、アラートの通知チャネルと頻度を制御します。アラートポリシーを [シンプルモード] に設定した場合、アクショングループを設定するだけで済みます。アクショングループを設定すると、SLS は自動的に `ルール名-アクションポリシー` という名前のアクションポリシーを作成します。このルールによってトリガーされたすべてのアラートは、このアクションポリシーを通じて送信されます。通知チャネルの設定方法の詳細については、「通知メソッド」をご参照ください。 [アラートポリシー] を [標準モード] または [詳細モード] に設定した場合、アラート通知のために組み込みまたはカスタムのアクションポリシーを選択できます。アクションポリシーの作成方法の詳細については、「アクションポリシー」をご参照ください。[アラートポリシー] を [詳細モード] に設定した場合、[カスタムアクションポリシー] を有効または無効にすることもできます。詳細については、「動的アクションポリシーメカニズム」をご参照ください。

ジョブの編集
ジョブの削除

重要
削除されたインテリジェント検査ジョブは復元できません。慎重に操作してください。

Simple Log Service:SQL で集計したメトリックデータによるモデルトレーニング