インテリジェント異常分析の結果は、internal-ml-log という名前のログストアに保存されます。このトピックでは、結果のフィールドについて説明します。
Simple Log Service のインテリジェント異常分析アプリケーションは段階的に廃止され、2025 年 7 月 15 日 (UTC + 08:00) には使用できなくなります。
影響範囲
インテリジェント検査、テキスト分析、時系列予測は使用できなくなります。
機能の置き換え
前述の機能は、Simple Log Service の機械学習、スケジュール済み SQL、ダッシュボード機能で完全に置き換えることができます。詳細については、「機械学習構文」、「スケジュール済み SQL」、「ダッシュボード」をご参照ください。Simple Log Service は、機能関連の設定を構成するのに役立つ関連ドキュメントを提供します。
共通タグフィールド
さまざまなタイプのタスクの結果には、次の共通フィールドが含まれます。
__tag__:__job_name__ フィールドと __tag__:__schedule_id__ フィールドに基づいて、タスクの結果をクエリできます。
__tag__:__apply_time__:1638414250
__tag__:__batch_id__:a8343****5b0fd
__tag__:__data_type__:anomaly_detect
__tag__:__instance_name__:29030-****7bcdd
__tag__:__job_name__:etl-1637****3966-398245
__tag__:__model_name__:d52b5****c45397
__tag__:__region__:chengdu
__tag__:__schedule_id__:2457f****ebcddフィールド | 説明 |
__tag__:__apply_time__ | モデルがデータのバッチを検査するために必要な時間。単位:秒。 |
__tag__:__batch_id__ | バッチの ID。同じバッチ内のデータは、同じバッチ ID によって識別されます。 |
__tag__:__data_type__ | データのタイプ。
|
__tag__:__instance_name__ | タスク用に作成されたインスタンスの名前。名前は、プロジェクト ID とスケジュール ID で構成されます。 各タスクは、バックエンドサーバー上のインスタンス名に関連付けられています。 |
__tag__:__job_name__ | タスクの名前。プロジェクト内の各タスクの名前は一意である必要があります。 |
__tag__:__model_name__ | モデルの名前。モデルは、タスク内の各エンティティに対して作成されます。各モデルは、時系列エンティティに関連付けられています。 |
__tag__:__region__ | タスクのリージョン。 |
__tag__:__schedule_id__ | タスク用に作成されたインスタンスの ID。 各タスクは、バックエンドサーバー上のインスタンス ID に関連付けられています。 |
インテリジェント検査 (モデル学習)
ログのタイプは、__tag__:__data_type__ フィールドの値によって異なります。
タスクの統計ランタイムデータ
モデル学習タスクの結果データの __tag__:__data_type__ フィールドの値が job_statistic の場合、データはタスクの統計ランタイムデータです。
フィールド | 説明 |
meta | モデル学習タスクのデータソースが属するプロジェクトとログストア。値は JSON 形式のデータです。 |
project_name | モデル学習タスクのデータソースが属するプロジェクト。 |
logstore_name | モデル学習タスクのデータソースが属するログストア。 |
result | 結果の内容。値は JSON 形式のデータです。 |
event_msg | 指定されたタイムスタンプにおけるモデル学習タスクの進捗状況。 |
occ_time | モデル学習タスクの進捗状況に対応するタイムスタンプ。 |
tips | モデル学習タスクの進捗状況の概要。たとえば、モデルが保存されているなど。 |
モデル学習タスクの検出結果データ
モデル学習タスクの結果データの __tag__:__data_type__ フィールドの値が detection_process の場合、データはタスクの検出結果データです。
フィールド | 説明 |
meta | モデル学習タスクのデータソースが属するプロジェクトとログストア。値は JSON 形式のデータです。 |
project_name | モデル学習タスクのデータソースが属するプロジェクト。 |
logstore_name | モデル学習タスクのデータソースが属するログストア。 |
result | 結果の内容。値は JSON 形式のデータです。 |
dim_name | エンティティの特徴。 |
score | 特定の時点におけるエンティティの特徴の異常スコア。 |
value | 特定の時点におけるエンティティの特徴の値のサイズ。 |
is_train_step | ポイントが学習セットに属しているかどうかを示します。 |
検証セットの結果データ
モデル学習タスクの結果データの __tag__:__data_type__ フィールドの値が eval_report の場合、データはタスク完了後の各エンティティ検証セットの結果データです。
フィールド | 説明 |
entity | モデルが作成されるエンティティ。値はキーと値のペアです。 |
meta | モデル学習タスクのデータソースが属するプロジェクトとログストア。値は JSON 形式のデータです。 |
project_name | モデル学習タスクのデータソースが属するプロジェクト。 |
logstore_name | モデル学習タスクのデータソースが属するログストア。 |
result | 結果の内容。値は JSON 形式のデータです。 |
evaluation_metrics.auc | 検証セットの AUC。AUC は、エンティティ用に学習された教師ありモデルによって計算されます。 |
evaluation_metrics.macro_f1 | 検証セットのマクロ平均 F1 スコア。マクロ平均 F1 スコアは、エンティティ用に学習された教師ありモデルによって計算されます。 |
evaluation_metrics.precision | 検証セットの適合率。適合率は、エンティティ用に学習された教師ありモデルによって計算されます。 |
evaluation_metrics.recall | 検証セットの再現率。再現率は、エンティティ用に学習された教師ありモデルによって計算されます。 |
time_config.training_start_time | エンティティのモデル学習の開始時刻。単位:秒。 |
time_config.training_stop_time | エンティティのモデル学習の終了時刻。単位:秒。 |
time_config.validation_end_time | エンティティのモデル検証の終了時刻。単位:秒。 |
time_config.predict_time | エンティティのモデル検証の期間。単位:秒。 |
time_config.train_time | エンティティのモデル学習の期間。単位:秒。 |
statistic.train_data_meta.train_anomaly_num | エンティティの学習セットにおける異常ポイントの数。 |
statistic.train_data_meta.train_data_length | エンティティの学習セットの長さ。 |
statistic.evaluation_data_meta.evaluation_anomaly_num | エンティティの検証セットにおける異常の数。 |
statistic.evaluation_data_meta.evaluation_data_length | エンティティの検証セットの長さ。 |
インテリジェント検査 (リアルタイム検査)
ログのタイプは、__tag__:__data_type__ フィールドの値によって異なります。
タスクの統計ランタイムデータ
リアルタイム検査タスクの結果データの __tag__:__data_type__ フィールドの値が job_statistic の場合、データはタスクの統計ランタイムデータです。
{
"__tag__:__job_name__": "etl-1637133966-398245",
"__tag__:__region__": "chengdu",
"__tag__:__data_type__": "job_statistic",
"__tag__:__apply_time__": "1638415928",
"__tag__:__instance_name__": "29030-2457fbbd724de9421da8c73d37debcdd",
"result": {
"maxEntity": { /* 最大エンティティ */
"host": "machine_001",
"ip": "192.0.2.1"
},
"maxTime": 1638415994, /* 最大時間 */
"minEntity": { /* 最小エンティティ */
"host": "machine_001",
"ip": "192.0.2.1"
},
"minTime": 1638415994, /* 最小時間 */
"nTotalEntity": 1 /* エンティティ総数 */
}
}フィールド | 説明 |
result | 結果項目。値は JSON 形式のデータです。 |
maxEntity | 現在のデータ消費の時点に最も近い時点のエンティティに関する情報。 |
maxTime | 現在のデータ消費に最も近いエンティティの時点。 |
nTotalEntity | 現在のタスクで検出されたエンティティの数。 |
エンティティ検査の進捗状況の出力データ
リアルタイム検査タスクの結果データの __tag__:__data_type__ フィールドの値が job_progress の場合、データはエンティティ検査の進捗状況の出力データです。ログにエンティティ検査の進捗状況の出力データが含まれている場合、エラーが発生したかどうかを判断できます。たとえば、新しいエンティティが表示されたかどうか、または既存のエンティティにデータがないかどうかを判断できます。
{
"__tag__:__job_name__": "etl-1637133966-398245", /* ジョブ名 */
"__tag__:__region__": "chengdu", /* リージョン */
"__tag__:__data_type__": "job_progress", /* データ型 */
"__tag__:__apply_time__": "1638415883", /* 適用時間 */
"__tag__:__instance_name__": "29030-2457fbbd724de9421da8c73d37debcdd", /* インスタンス名 */
"result": {
"new_entity": false, /* 新しいエンティティ */
"recently_arrived_time": 1638415994 /* 最近到着した時間 */
},
"meta": {
"logstore_name": "machine_monitor", /* ログストア名 */
"project_name": "sls-ml-demo" /* プロジェクト名 */
},
"entity": {
"host": "machine_001", /* ホスト */
"ip": "192.0.2.1" /* IP */
}
}フィールド | 説明 |
meta | 現在のタスクのプロジェクトとログストア。値は JSON 形式のデータです。 |
project_name | リアルタイム検査タスクのデータソースが属するプロジェクト。 |
logstore_name | リアルタイム検査タスクのデータソースが属するログストア。 |
result | 結果項目。値は JSON 形式のデータです。 |
new_entity | 新しいエンティティが表示されたかどうかを示します。 |
recently_arrived_time | entity フィールドで指定された現在のエンティティの最後の有効なデータレコードのタイムスタンプ。 |
entity | エンティティに関する情報。情報は辞書データ型です。 |
異常の結果データ
リアルタイム検査タスクの結果データの __tag__:__data_type__ フィールドの値が anomaly_detect の場合、データは異常の結果データです。
{
"__time__": 1638416474, /* タイムスタンプ */
"__tag__:__batch_id__": "a5870979816fc507cbeebc6b1133af0a", /* バッチID */
"__tag__:__schedule_id__": "2457fbbd724de9421da8c73d37debcdd", /* スケジュールID */
"__tag__:__apply_time__": "1638416291", /* 適用時間 */
"__tag__:__job_name__": "etl-1637133966-398245", /* ジョブ名 */
"__tag__:__model_name__": "d52b59a6bfb3adcf2ee62a5064c45397", /* モデル名 */
"__tag__:__data_type__": "anomaly_detect", /* データ型 */
"__tag__:__region__": "chengdu", /* リージョン */
"__tag__:__instance_name__": "29030-2457fbbd724de9421da8c73d37debcdd", /* インスタンス名 */
"result": {
"anomaly_type": "None", /* 異常の種類 */
"dim_name": "value", /* ディメンション名 */
"is_anomaly": false, /* 異常かどうか */
"score": 0, /* スコア */
"value": "0.780000" /* 値 */
},
"meta": {
"logstore_name": "machine_monitor", /* ログストア名 */
"project_name": "sls-ml-demo" /* プロジェクト名 */
},
"entity": {
"host": "machine_001", /* ホスト */
"ip": "192.0.2.1" /* IP */
}
}フィールド | 説明 |
entity | エンティティ項目。値は JSON 形式のデータであり、ソースデータから取得されます。値は、エンティティを識別するために使用されます。 |
meta | 設定項目。値は JSON 形式のデータであり、インテリジェント検査タスクの構成情報から取得されます。 |
project_name | ログストアが属するプロジェクト。 |
logstore_name | データソースが属するログストア。 |
result | 結果項目。値は、各時点のデータの検査結果を示します。 |
dim_name | 生成された検査結果が表示されるディメンションの名前。名前はソースデータから取得されます。 1 つ以上のディメンションが指定されているかどうかに関係なく、result フィールドの値は 1 つのディメンションでのみ表示されます。 |
value | 指定されたディメンションで生成された検査結果の値。値はソースデータから取得されます。ディメンションは、result.dim_name パラメーターによって指定されます。 |
score | 異常スコア。有効な値:[0,1]。スコアが高いほど、異常の度合いが高いことを示します。 |
is_anomaly | 異常が真と見なされるかどうかを示します。
|
anomaly_type | 異常の種類。モデルは、異常を Stab、Shrift、Variance、Lack、OverThreshold の種類に予備的に分類します。詳細については、「異常の種類」をご参照ください。 |
テキスト分析
テキスト分析タスクの結果には、共通の tag フィールドと次の共通フィールドが含まれます。
フィールド | 説明 |
algo_type | アルゴリズムタイプ。 |
result_type | 結果タイプ。JSON データ型です。 |
result | 結果の内容。JSON データ型です。 result フィールドの値は、result_type フィールドの値によって異なります。 |
meta | メタデータ。値は JSON 形式のデータです。 |
project_name | ログストアが属するプロジェクト。 |
logstore_name | データソースが属するログストア。 |
topic | データソースのログトピック。 |
query | データを取得するために使用されるメソッド。たとえば、コンシューマーグループを使用してデータを取得できます。 |
win_size | タイムウィンドウの長さ。 |
version | アルゴリズムのバージョン。 |
result フィールドの値は、result_type フィールドの値によって異なります。次のセクションでは、result フィールドについて説明します。
クラスター情報result_type フィールドに が指定されている場合
result_type フィールドの値が cluster_info の場合、result フィールドの値にはログカテゴリに関する情報が含まれます。次の例は、このシナリオでの result フィールドの構造を示しています。
"result": {
"cluster_id": "xxxx", /* クラスタID */
"cluster_pattern": "xxxx", /* クラスタパターン */
"cluster_active_age": 120, /* クラスタアクティブ経過時間 */
"cluster_alive_age": 150, /* クラスタ生存経過時間 */
"anomaly_score": 0.1, /* 異常スコア */
"count": 2, /* 件数 */
"source": [] /* ソース */
}フィールド | 説明 |
result.cluster_id | ログカテゴリの ID。 |
result.cluster_pattern | ログカテゴリのログテンプレート。 |
result.cluster_active_age | ログカテゴリがアクティブになっているタイムウィンドウの数。 ログカテゴリのログがタイムウィンドウで検出された場合、ログカテゴリはそのタイムウィンドウでアクティブと見なされます。 |
result.cluster_alive_age | ログカテゴリが最初に表示されてから現在までのタイムウィンドウの数。 |
result.anomaly_score | ログカテゴリの異常スコア。 |
result.count | ログカテゴリに含まれるログの数。 |
result.source | ログテンプレートの変数の可能な値。 |
グループ情報result_type フィールドに が指定されている場合
result_type フィールドの値が group_info の場合、result フィールドの値にはログカテゴリグループに関する情報が含まれます。次の例は、このシナリオでの result フィールドの構造を示しています。
"result": {
"group_anomaly_score": 0.1, /* グループ異常スコア */
"group_age": 10, /* グループ経過時間 */
"group_n_event": 190, /* グループイベント数 */
"group_n_cluster": 10 /* グループクラスタ数 */
}フィールド | 説明 |
result.group_anomaly_score | ログカテゴリグループの異常スコア。 |
result.group_age | 現在のタイムウィンドウのシーケンシャル番号。 |
result.group_n_event | 現在のタイムウィンドウにおけるグループのログの総数。 |
result.group_n_cluster | 現在のタイムウィンドウにおけるグループのログカテゴリの総数。 |
異常情報result_type フィールドに が指定されている場合
result_type フィールドの値が anomaly_info の場合、result フィールドの値には異常イベントに関する情報が含まれます。次の例は、このシナリオでの result フィールドの構造を示しています。
"result": {
"anomaly_id": "xxxx", /* 異常ID */
"anomaly_type": "xxxx", /* 異常の種類 */
"value": 0, /* 値 */
"anomaly_score": 0.0, /* 異常スコア */
"expect_lower": 0.0, /* 期待値下限 */
"expect_upper": 0.0 /* 期待値上限 */
}フィールド | 説明 |
result.anomaly_id | 異常のログカテゴリ ID。 |
result.anomaly_type | 異常の種類。 |
result.value | イベント値。 result.value フィールドの意味は、result.anomaly_type フィールドの値によって異なります。 |
result.anomaly_score | 異常スコア。 |
result.expect_lower | result.value フィールドで指定された、期待されるイベント値の下限。 |
result.expect_upper | result.value フィールドで指定された、期待されるイベント値の上限。 |
時系列予測
時系列予測タスクの結果には、共通の tag フィールドと次の共通フィールドが含まれます。
フィールド | 説明 |
algo_type | アルゴリズムタイプ。値は series_prediction に固定されています。 |
result_type | 結果タイプ。値は JSON 形式のデータです。 予測操作が成功した場合、値は prediction_ok です。予測操作が失敗した場合、値は prediction_error です。 |
result | 結果の内容。値は JSON 形式のデータです。 result フィールドの値は、result_type フィールドの値によって異なります。 |
meta | メタデータ。値は JSON 形式のデータです。 |
project_name | ログストアが属するプロジェクト。 |
logstore_name | データソースが属するログストア。 |
topic | データソースのログトピック。 |
version | アルゴリズムのバージョン。 |
result フィールドの値は、result_type フィールドの値によって異なります。次のセクションでは、result フィールドについて説明します。
予測 OKresult_type フィールドに が指定されている場合
result_type フィールドの値が prediction_ok の場合、予測操作は成功し、各ログには時系列のポイントの予測結果が含まれます。次の例は、このシナリオでの result フィールドの構造を示しています。
{
"entity": "xxxx", /* エンティティ */
"metric": "xxxx", /* メトリック */
"time": xxxx, /* 時間 */
"value": "xxxx", /* 値 */
"expect_value": "xxxx", /* 期待値 */
"expect_lower": "xxxx", /* 期待値下限 */
"expect_upper": "xxxx" /* 期待値上限 */
}フィールド | 説明 |
result.entity | 予測された時系列のエンティティ ID。 |
result.metric | 予測された時系列のメトリック。 |
result.time | 予測された時系列の現在のポイントのタイムスタンプ。 |
result.value | 予測された時系列の現在のポイントの実際の値。 |
result.expect_value | 予測された時系列の現在のポイントの予測値。 |
result.expect_lower | 予測された時系列の現在のポイントの予測下限。 |
result.expect_upper | 予測された時系列の現在のポイントの予測上限。 |
予測誤差result_type フィールドに が指定されている場合
result_type フィールドの値が prediction_error で、__tag__:__data_type__ フィールドの値が job_error_message の場合、予測操作でエラーが発生します。次の例は、このシナリオでの result フィールドの構造を示しています。
{
"entity": "xxxx", /* エンティティ */
"metric": "xxxx", /* メトリック */
"error_type": "xxxx", /* エラータイプ */
"error_msg": "xxxx" /* エラーメッセージ */
}フィールド | 説明 |
result.entity | 予測された時系列のエンティティ ID。予測操作でエラーが発生しました。 |
result.metric | 予測された時系列のメトリック。予測操作でエラーが発生しました。 |
result.error_type | エラータイプ。 |
result.error_msg | エラーの詳細。 |
ドリルダウン分析
ドリルダウン分析タスクの結果には、共通の tag フィールドと次の共通フィールドが含まれます。
フィールド | 説明 |
result | 結果の内容。値は JSON 形式のデータです。 result フィールドの値は、__tag__:__data_type__ フィールドの値によって異なります。 |
ログのタイプは、__tag__:__data_type__ フィールドの値によって異なります。
ドリルダウン分析タスクの進捗情報
__tag__:__data_type__ フィールドの値が job_progress の場合、result フィールドの値にはドリルダウン分析タスクの進捗情報が含まれます。
フィールド | 説明 |
result.from_ts | タスクの開始時刻。 |
result.to_ts | タスクの終了時刻。値 inf は、タスクが進行中であることを示します。 |
result.progress | タスクの現在の進捗状況。 |
result.message | タスクの現在の進捗状況に関するステータス情報。 |
ドリルダウン分析タスクのステータス情報
__tag__:__data_type__ フィールドの値が job_status の場合、result フィールドの値にはドリルダウン分析タスクのステータス情報が含まれます。
フィールド | 説明 |
result.from_ts | タスクの開始時刻。 |
result.to_ts | タスクの終了時刻。値 inf は、タスクが進行中であることを示します。 |
result.status | タスクのステータス。 |
result.message | タスクのステータスの詳細。 |
ドリルダウン分析タスクによって検出された根本原因
__tag__:__data_type__ フィールドの値が root_cause の場合、result フィールドの値には、ドリルダウン分析タスクによって検出された根本原因が含まれます。
フィールド | 説明 |
result.status | 根本原因が検出されたかどうかを示します。有効な値:
|
result.snapshot_time | ドリルダウン分析に使用される多次元時系列データの時点。 |
result.elapsed_time | 根本原因を検出するためにイベントに対して実行されるトラブルシューティングの期間。 |
result.event_info | 根本原因分析をトリガーするイベント。 |
result.root_cause | result.status フィールドの値が success の場合、このフィールドの値は根本原因分析の結果を示します。 |
result.reason | result.status フィールドの値が fail の場合、このフィールドの値は原因が検出されなかった理由を示します。 |