全部產品
Search
文件中心

Simple Log Service:通過SQL彙總指標資料進行模型訓練

更新時間:Jun 30, 2024

智能巡檢功能用於對業務日誌進行自動化、智能化、自適應的異常巡檢。本文介紹通過SQL彙總指標資料進行模型訓練的操作步驟。

前提條件

建立智能巡檢作業

進入建立作業頁面

  1. 登入Log Service控制台

  2. 進入建立作業頁面。

    1. 日誌應用地區,單擊智能異常分析

    2. 在執行個體列表中,單擊目標執行個體。

    3. 在左側導覽列中,單擊智能巡檢

    4. 單擊即時檢測

    5. 巡檢任務地區,單擊立即建立

基礎資訊

建立智能巡檢作業設定精靈的基礎資訊地區,完成如下配置,然後單擊下一步

參數

說明

任務名

自訂設定智能巡檢作業的名稱。

Project

選擇源日誌庫或時序庫所在的Project。

地區

您所選擇的Project的所在地區。

日誌庫類型

根據您資料存放區的位置選擇日誌庫類型。

  • 如果您的資料存放區在日誌庫中,則選中日誌庫

  • 如果您的資料存放區在時序庫中,則選中時序庫

源日誌庫

日誌庫類型設定為日誌庫時,需要設定源日誌庫,即您的來源資料所在的日誌庫。

時序庫

日誌庫類型設定為時序庫時,需要設定時序庫,設定為您的來源資料所在的時序庫。

角色

如果您在建立執行個體時已完成了授權,則此處會自動顯示AliyunLogETLRole角色的角色標識。

目標庫

目標日誌庫,固定為internal-ml-log

資料特徵配置

在資料特徵配置時,如果待分析的時序資料有異常標籤,選擇資料特徵配置。如果待分析的時序資料沒有異常標籤,選擇異常注入

  1. 查詢分析語句的更多資訊,請參見查詢概述分析概述

    資料特徵配置

    • 查詢語句

      * | select (__time__ - __time__%60) as time, entity, count(*) as metric, if(count(*) > 1000, 1, 0) as label from log group by time, entity limit 1000000
    • 標籤名:label

    • 實體:enetity

    • 特徵:metric

      參數

      說明

      時間

      來源資料中用於標識時間列的欄位。

      粒度

      資料的觀測間隔。單位為秒。取值範圍為5~3600,建議觀測間隔不小於60。

      實體

      來源資料中用於標識具體實體的欄位。智能巡檢作業圍繞實體標識,彙總出時間序列。

      特徵

      來源資料中用於標識具體特徵資料的欄位。

      標籤名

      來源資料中用於標識異常標籤的欄位。

      • 1表示對應的資料點是異常資料。

      • 0表示對應的資料點是正常資料。

    異常注入

    • 查詢語句

      * | select (__time__ - __time__%60) as time, entity, count(*) as metric from log group by time, entity limit 1000000
    • 實體:enetity

    • 特徵:metric

    • 異常率:0.001

    參數

    說明

    時間

    來源資料中用於標識時間列的欄位。

    粒度

    資料的觀測間隔。單位為秒。取值範圍為5~3600,建議觀測間隔不小於60。

    實體

    來源資料中用於標識具體實體的欄位。智能巡檢作業圍繞實體標識,彙總出時間序列。

    特徵

    來源資料中用於標識具體特徵資料的欄位。

    異常注入

    配置是否儲存注入異常後的資料。

    異常率

    配置注入的異常資料占時序資料的比例。例如,配置為0.001,那麼注入異常後,時序資料中0.1%的資料是異常資料。

    異常類型

    配置在特徵序列中注入哪些類型的異常。

演算法配置

  1. 演算法配置地區進行演算法選擇。目前支援監督異常檢測演算法

  2. 調度配置地區,完成如下配置。

    參數

    說明

    起始時間

    設定模型訓練任務處理的時間序列的開始時間。

    結束時間

    設定模型訓練任務處理的時間序列的結束時間。

    模型結束學習時間

    設定用於訓練模型的時間序列的結束時間。大於起始時間且小於結束時間。起始時間模型結束學習時間之間的時序資料用於模型訓練,模型結束時間結束時間之間的時序資料用於模型驗證。

管理智能巡檢作業

image

  1. 查看作業:建立模型訓練作業後,您可以在作業列表中,單擊目標作業標識,查看訓練作業詳情。

    1. 實體資訊列表單擊實體ID。

    2. 在右側面板建立預測任務。

      參數

      說明

      任務名

      設定預測任務,即即時檢測任務的名稱。

      實體ID

      選擇檢測哪些實體ID序列。

      特徵的異常關注類型

      設定著重關注特徵序列的哪些異常。

      起始時間

      設定模型要處理的時間序列的開始時間。任務將從該時間點開始讀取時序資料,並進行檢測。

      資料延時時間長度

      設定待檢測的時序資料寫入到Log Service的最大延遲。任務在讀取時序資料時會等待資料延時時間長度中配置的時間長度,確保時序資料已經寫入到Log Service中,以便可以讀到完整的時序資料。

      是否發送警示

      設定檢測到的異常是否需要發送警示。

      警示策略

      警示策略用於合并、靜默和抑制已產生的警示。

      • 選擇極簡模式普通模式時,您無需配置警示策略。Log Service預設使用SLS內建動態警示策略(sls.builtin.dynamic)進行警示管理。

      • 選擇進階模式時,您可以選擇內建的或自訂的警示策略進行警示管理。如何建立警示策略,請參見建立警示策略

      行動策略

      行動策略用於控制警示通知渠道和頻率等。

      • 當警示策略選擇為極簡模式時,您只需配置行動組即可。您配置行動組後,Log Service自動為您建立一個名為規則名稱-行動策略的行動策略。由該警示監控規則引發的所有警示都通過該行動策略發送通知。如何配置,請參見通知渠道說明

      • 警示策略選擇為普通模式進階模式時,您可以選擇內建的或自訂的行動策略進行警示通知。如何建立行動策略,請參見建立行動策略。其中,您選擇警示策略選擇為進階模式時,還可以開啟或關閉自訂行動策略。更多資訊,請參見動態行動策略機制

  2. 編輯作業。

  3. 刪除作業。

    重要

    智能巡檢作業被刪除後,不可恢複,請您謹慎操作。

後續步驟

警示與打標反饋