すべてのプロダクト
Search
ドキュメントセンター

Simple Log Service:SQL文を使用したモデルトレーニングのメトリックの集計

最終更新日:Sep 03, 2024

インテリジェント検査機能は、サービスデータを検査し、自動化されたインテリジェントな適応的な方法で異常を識別する。 このトピックでは、SQL文を使用してモデルトレーニングのメトリックを集計する方法について説明します。

前提条件

  • データは収集され、ソースLogstoreと呼ばれるLogstoreに保存されます。 詳細については、「データ収集の概要」をご参照ください。

  • インデックスは、ソースLogstoreに対して設定されます。 詳細については、「インデックスの作成」をご参照ください。

  • インテリジェント異常分析インスタンスが作成されます。 詳細は、インスタンスの作成をご参照ください。

インテリジェントな検査ジョブを作成する

[インテリジェント検査ジョブの作成] ウィザードに移動

  1. Simple Log Serviceコンソール.

  2. [インテリジェント検査ジョブの作成] ウィザードに移動します。

    1. [ログアプリケーション] セクションで、[インテリジェント異常分析] をクリックします。

    2. インスタンスリストで、インテリジェント検査ジョブを作成するインスタンスのIDをクリックします。

    3. 左側のナビゲーションウィンドウで、[インテリジェント検査] をクリックします。

    4. [リアルタイム検査] をクリックします。

    5. [検査ジョブ] セクションで、[今すぐ作成] をクリックします。

基本情報

[インテリジェント検査ジョブの作成] ウィザードの [基本情報] ステップで、パラメーターを設定し、[次へ] をクリックします。 下表に、各パラメーターを説明します。

パラメーター

説明

ジョブ名

インテリジェント検査ジョブの名前。 カスタム名を入力することができます。

プロジェクト

ソースLogstoreまたはMetricstoreが属するプロジェクト。

リージョン

プロジェクトが存在するリージョン。

Logstoreタイプ

データが保存されているストレージユニット。

  • データがLogstoreに保存されている場合は、Logstoreを選択します。

  • データがメトリクストアに保存されている場合は、メトリクストアを選択します。

ソースLogstore

ソースデータが保存されているLogstore。 このパラメーターは、LogstoreタイプパラメーターをLogstoresに設定した場合にのみ必要です。

Metricstores

ソースデータが保存されているMetricstore。 このパラメーターは、LogstoreタイプパラメーターをMetricstoresに設定した場合にのみ必要です。

ロール

AliyunLogETLRoleのAlibaba Cloudリソース名 (ARN) 。 インスタンスの作成時に承認が完了した場合、ARNが自動的に表示されます。

ターゲットストア

宛先Logstore。 このパラメーターは自動的にinternal-ml-logに設定されます。

データ機能の設定

[データ機能の設定] ステップでパラメーターを設定するときに、分析する時系列データに異常ラベルが含まれている場合は、次の表の [データ機能の設定] タブを選択します。 分析する時系列データに異常ラベルが含まれていない場合は、次の表の [異常注入] タブを選択します。

  1. クエリステートメントの詳細については、「ログ検索の概要」および「ログ分析の概要」をご参照ください。

    データ機能の設定

    • サンプルクエリ文

      * | select (__time__ - __time__%60) as time, entity, count(*) as metric, if(count(*) > 1000, 1, 0) as label from log group by time, entity limit 1000000
    • ラベル名: Label

    • エンティティ: Entity

    • 特徴: メトリック

      パラメーター

      説明

      Time

      ソースデータで時間を指定するフィールド。

      Granularity

      データが観察される間隔。 単位は秒です。 有効な値: 5 ~ 3600 このパラメーターを60以上の値に設定することを推奨します。

      Entity

      ソースデータ内のエンティティを指定するフィールド。 インテリジェント検査ジョブは、指定されたフィールドに基づいてエンティティの時系列を生成するためにデータを集約します。

      Feature

      ソースデータのフィーチャを指定するフィールド。

      Label Name

      ソースデータ内の異常ラベルを識別するために使用されるフィールド。 有効な値:

      • 1: 対応するデータポイントは異常データです。

      • 0: 対応するデータポイントは正常データです。

    異常注入

    • サンプルクエリ文

      * | select (__time__ - __time__%60) as time, entity, count(*) as metric from log group by time, entity limit 1000000
    • エンティティ: Entity

    • 特徴: メトリック

    • 異常レート: 0.001

    パラメーター

    説明

    Time

    ソースデータで時間を指定するフィールド。

    Granularity

    データが観察される間隔。 単位は秒です。 有効な値: 5 ~ 3600 このパラメーターを60以上の値に設定することを推奨します。

    Entity

    ソースデータ内のエンティティを指定するフィールド。 インテリジェント検査ジョブは、指定されたフィールドに基づいてエンティティの時系列を生成するためにデータを集約します。

    Feature

    ソースデータのフィーチャを指定するフィールド。

    Anomaly Injection

    注入された異常データを保存するかどうかを指定します。

    Anomaly Rate

    時系列データに対する注入された異常データの比率。 たとえば、このパラメーターを0.001に設定した場合、時系列データの0.1% が異常です。

    Anomaly Type

    特徴シーケンスに注入される異常のタイプ。

アルゴリズム設定

  1. [アルゴリズム設定] ステップで、[アルゴリズム] パラメーターを設定します。 教師付き異常検出アルゴリズムのみがサポートされています。

  2. [スケジューリング設定] セクションで、パラメーターを設定します。 下表に、各パラメーターを説明します。

    パラメーター

    説明

    開始時刻

    モデルトレーニングタスクが処理するデータの時系列の開始時間。

    終了時間

    モデルトレーニングタスクが処理するデータの時系列の終了時刻。

    モデル学習の終了時間

    モデルトレーニングの実行に使用される時系列の終了時刻。 このパラメーターの値は、Start Atパラメーターの値より大きく、End Timeパラメーターの値より小さくなければなりません。 Start Atパラメーターで指定された時間とEnd time of Model Learningパラメーターで指定された時間の間に生成された時系列データは、モデルのトレーニングに使用されます。 モデル学習終了時刻パラメーターで指定された時刻と終了時刻パラメーターで指定された時刻の間に生成された時系列データは、モデルの検証に使用されます。

関連する API 操作

検査結果をアラート通知で評価する