結合SLS分析OSS-HDFS服務熱點訪問資料

在Log Service控制台的OSS-資料匯入頁面的選擇日誌空間頁簽，選擇已建立的Project和Logstore（用於存放OSS-HDFS原始審計日誌資料），然後單擊下一步。

在匯入配置頁簽，按要求配置以下參數，其他參數保留預設配置。

單擊預覽，預覽匯入結果。確認無誤後，單擊下一步。

完成匯入後，單擊查詢日誌，進入查詢和分析頁面，確認是否成功匯入OSS資料。

等待1分鐘左右，如果有目標OSS資料匯入，則說明匯入成功。匯入成功後，可以看到如下原始日誌。

原始日誌中每條記錄包含以下關鍵字段：content（包含時間戳記）、allowed（如 true）、ugi（如 admin (auth:UNKNOWN)）、cmd（如 getfileinfo src=/user/root/.Trash）、ip、dst、perm 以及 proto（如 rest）。

預覽資料加工結果。

1. 單擊用於存放OSS-HDFS原始審計日誌資料的Logstore右側的資料加工。

2. 在頁面右上方，選擇資料的時間範圍。

3. 在編輯框中，輸入以下SPL語句。

   SPL文法請參見SPL文法。

   *
   | parse-regexp content, '(\d+-\d+-\d+\s\d+:\d+:\S+\s).*'  as tm
   | parse-kv -regexp content, '(\w+)=([^\t]*)'
   | extend bucket=__source__

4. 將部分原始日誌加入測試資料，驗證解析結果。

   在資料加工頁面編輯區輸入DSL語句：使用 parse-regexp 提取時間欄位 tm，使用 parse-kv 以正則方式解析 content 欄位中的索引值對，使用 extend bucket=__source__ 擴充欄位。選中第2-3行語句後，切換到原始日誌頁簽可預覽HDFS審計日誌，日誌條目包含 __source__、__tag__:__object__、content 等欄位，其中 content 包含 allowed=true、ugi=admin、cmd=getfileinfo、src=/user/root/.Trash 等索引值對。

5. 點擊按鈕，執行調試運行。

6. 運行完成後查看加工結果，解析後的格式化資料參考如下。

   格式化資料包含 allowed、bucket、cmd、content、dst、ip、perm、proto、src、tm、ugi 等索引值對欄位，例如 cmd 值為 getfileinfo、proto 值為 rest、src 值為 /user/root/.Trash、ugi 值為 admin (auth:UNKNOWN) 等。

儲存資料加工結果。

1. 單擊儲存資料加工（新版）。

2. 在建立資料加工任務（新版）面板中，按要求配置以下參數，其他參數保留預設配置，然後單擊確定。

   將顯示名稱設定為 oss-hdfs-audit-log，授權方式選擇預設角色。在儲存目標地區，將目標名稱設定為 oss-hdfs-audit-log，目標Region選擇華東1（杭州），目標Project和目標庫分別選擇目標Project和目標Logstore，授權方式選擇預設角色。在加工範圍（資料接收時間）地區，時間範圍選擇所有。

進入用於儲存資料加工結果的Logstore，單擊右側的開啟索引。

在查詢分析面板，單擊自動產生索引>追加>確定。

輸入以下SQL語句，然後單擊查詢 / 剖析。

* | SELECT src,COUNT(*) AS count FROM log GROUP BY src ORDER BY count DESC

查看熱點訪問資料路徑。

在SLS查詢分析頁面執行SQL語句 SELECT src, COUNT(*) AS count FROM log GROUP BY src ORDER BY count DESC，按源路徑分組統計訪問次數並降序排列。查詢結果顯示熱點訪問路徑，例如 /user/root/.Trash 訪問次數最多為1268次。