匯出審計日誌

更新時間:
Copy as MD

OSS-HDFS服務端記錄了用戶端請求的查詢、修改、刪除檔案中繼資料的Action Trail日誌。 您可以通過審計日誌,瞭解OSS-HDFS服務作業審計、訪問統計以及異常請求等情況。

前提條件

背景資訊

OSS-HDFS審計日誌預設儲存在以下路徑,暫不支援自訂輸出路徑。

oss://<hdfs_bucket>.<dls_endpoint>/.sysinfo/auditlog/

其中,<hdfs_bucket>填寫已開通OSS-HDFS服務的Bucket名稱。<dls_endpoint>填寫OSS-HDFS服務的訪問網域名稱。更多資訊,請參見配置OSS-HDFS服務的Endpoint

記錄檔按天存放在不同的目錄下,同一天的記錄檔按單個檔案64 MB的大小限制進行拆分。樣本如下:

說明

為簡要說明儲存路徑,以下樣本均省略了oss://<hdfs_bucket>.<dls_endpoint>/根路徑。

/.sysinfo/auditlog/2023-07-06/2023-07-06-00-07-00.auditlog
/.sysinfo/auditlog/2023-07-06/2023-07-06-00-07-50.auditlog
/.sysinfo/auditlog/2023-07-06/2023-07-06-00-08-50.auditlog
/.sysinfo/auditlog/2023-07-06/2023-07-06-00-09-50.auditlog
/.sysinfo/auditlog/2023-07-07/2023-07-07-00-07-10.auditlog
/.sysinfo/auditlog/2023-07-08/2023-07-07-00-07-10.auditlog

操作步驟

  1. (可選):自訂審計日誌儲存天數。

    審計日誌預設儲存時間是30天,支援通過以下步驟自訂保留天數為1~60天,達到保留天數後審計日誌由系統自動刪除。

    1. 登入OSS管理主控台

    2. 單擊左側導覽列的Bucket 列表,然後單擊目標Bucket。

    3. 在左側導覽列,選擇數據湖管理 > HDFS 服務

    4. HDFS 服務頁簽,單擊審計日誌地區的Dingtalk_20240527145039.jpg,修改審計日誌的儲存天數。

    5. 單擊確定

  2. 下載審計記錄檔。

    以下載2023-07-07的審計日誌到本地tmp/目錄為例。

    • 通過Jindo CLI命令

      jindo fs -get oss://<hdfs_bucket>.<dls_endpoint>/.sysinfo/auditlog/2023-07-07 /tmp/
    • 通過HDFS Shell命令

      hdfs dfs -get oss://<hdfs_bucket>.<dls_endpoint>/.sysinfo/auditlog/2023-07-07 /tmp/

      其中,<hdfs_bucket>填寫已開通OSS-HDFS服務的Bucket名稱。<dls_endpoint>填寫OSS-HDFS服務的訪問網域名稱。更多資訊,請參見配置OSS-HDFS服務的Endpoint

  3. 通過vivim命令開啟審計記錄檔。

    審計記錄檔樣本如下:

    2023-07-07 12:32:45.557 allowed=true    ugi=root (auth:SIMPLE)  ip=192.168.2.22 cmd=mkdirs  src=/tmp/presto-root/e94dd606-ba21-4675-9b88-c82f66483628/b1=68/c1=68   dst=<null>  perm=root:hadoop:rw-r-----  proto=PROTOCOL_UNKNOWN
    2023-07-07 12:32:46.39  allowed=true    ugi=root (auth:SIMPLE)  ip=192.168.2.22 cmd=getfileinfo src=/xxx/nnbench/user/hive/warehouse/mydb_18520/root/t1/b1=2/c1=2/20230707_043031_00022_xxx_80561c14-4d19-494e-8337-0e9b7b0d6663 dst=<null>  perm=<null> proto=PROTOCOL_UNKNOWN
    2023-07-07 12:33:02.169 allowed=true    ugi=root (auth:SIMPLE)  ip=192.168.2.22 cmd=rename  src=/tmp/presto-root/e94dd606-ba21-4675-9b88-c82f66483628/b1=60/c1=60/20230707_043220_00030_xxx_03832297-7e89-4b0f-a3a2-88b1c4cec6da  dst=/xxx/nnbench/user/hive/warehouse/mydb_18520/root/t1/b1=60/c1=60/20230707_043220_00030_xxx_03832297-7e89-4b0f-a3a2-88b1c4cec6da   perm=presto:hadoop:rw-r-----    proto=PROTOCOL_UNKNOWN
    2023-07-07 12:33:05.430 allowed=true    ugi=root (auth:SIMPLE)  ip=192.168.2.22 cmd=delete  src=/tmp/presto-root/e94dd606-ba21-4675-9b88-c82f66483628/b1=62 dst=<null>  perm=<null> proto=PROTOCOL_UNKNOWN

    審計記錄檔的各欄位含義說明如下:

    欄位

    含義

    (首欄位)

    請求時間。

    allowed

    表示是否允許該操作。

    • true:表示允許執行該操作。

    • false:表示拒絕執行該操作。

    ugi

    使用者名稱。

    ip

    發起請求的用戶端IP地址。

    cmd

    操作類型,主要包含create、delete、mkdirs、rename、getfileinfo、listStatus、contentSummary、setStoragePolicy、unsetStoragePolicy等操作。

    src

    檔案路徑。

    dst

    僅當請求的操作類型為rename時,存在dst路徑。

    perm

    建立檔案、目錄使用的預設許可權。

    proto

    請求的協議,目前僅支援REST協議。