匯出審計日誌
OSS-HDFS服務端記錄了用戶端請求的查詢、修改、刪除檔案中繼資料的Action Trail日誌。 您可以通過審計日誌,瞭解OSS-HDFS服務作業審計、訪問統計以及異常請求等情況。
前提條件
-
使用最新版本JindoSDK。下載地址,請參見GitHub。
-
配置OSS-HDFS服務下Bucket的存取金鑰。
具體操作,請參見通過Jindo CLI命令訪問OSS/OSS-HDFS。
背景資訊
OSS-HDFS審計日誌預設儲存在以下路徑,暫不支援自訂輸出路徑。
oss://<hdfs_bucket>.<dls_endpoint>/.sysinfo/auditlog/
其中,<hdfs_bucket>填寫已開通OSS-HDFS服務的Bucket名稱。<dls_endpoint>填寫OSS-HDFS服務的訪問網域名稱。更多資訊,請參見配置OSS-HDFS服務的Endpoint。
記錄檔按天存放在不同的目錄下,同一天的記錄檔按單個檔案64 MB的大小限制進行拆分。樣本如下:
為簡要說明儲存路徑,以下樣本均省略了oss://<hdfs_bucket>.<dls_endpoint>/根路徑。
/.sysinfo/auditlog/2023-07-06/2023-07-06-00-07-00.auditlog
/.sysinfo/auditlog/2023-07-06/2023-07-06-00-07-50.auditlog
/.sysinfo/auditlog/2023-07-06/2023-07-06-00-08-50.auditlog
/.sysinfo/auditlog/2023-07-06/2023-07-06-00-09-50.auditlog
/.sysinfo/auditlog/2023-07-07/2023-07-07-00-07-10.auditlog
/.sysinfo/auditlog/2023-07-08/2023-07-07-00-07-10.auditlog
操作步驟
-
(可選):自訂審計日誌儲存天數。
審計日誌預設儲存時間是30天,支援通過以下步驟自訂保留天數為1~60天,達到保留天數後審計日誌由系統自動刪除。
-
登入OSS管理主控台。
-
單擊左側導覽列的Bucket 列表,然後單擊目標Bucket。
-
在左側導覽列,選擇。
-
在HDFS 服務頁簽,單擊審計日誌地區的
,修改審計日誌的儲存天數。 -
單擊確定。
-
-
下載審計記錄檔。
以下載2023-07-07的審計日誌到本地tmp/目錄為例。
-
通過Jindo CLI命令
jindo fs -get oss://<hdfs_bucket>.<dls_endpoint>/.sysinfo/auditlog/2023-07-07 /tmp/ -
通過HDFS Shell命令
hdfs dfs -get oss://<hdfs_bucket>.<dls_endpoint>/.sysinfo/auditlog/2023-07-07 /tmp/其中,<hdfs_bucket>填寫已開通OSS-HDFS服務的Bucket名稱。<dls_endpoint>填寫OSS-HDFS服務的訪問網域名稱。更多資訊,請參見配置OSS-HDFS服務的Endpoint。
-
-
通過vi或vim命令開啟審計記錄檔。
審計記錄檔樣本如下:
2023-07-07 12:32:45.557 allowed=true ugi=root (auth:SIMPLE) ip=192.168.2.22 cmd=mkdirs src=/tmp/presto-root/e94dd606-ba21-4675-9b88-c82f66483628/b1=68/c1=68 dst=<null> perm=root:hadoop:rw-r----- proto=PROTOCOL_UNKNOWN 2023-07-07 12:32:46.39 allowed=true ugi=root (auth:SIMPLE) ip=192.168.2.22 cmd=getfileinfo src=/xxx/nnbench/user/hive/warehouse/mydb_18520/root/t1/b1=2/c1=2/20230707_043031_00022_xxx_80561c14-4d19-494e-8337-0e9b7b0d6663 dst=<null> perm=<null> proto=PROTOCOL_UNKNOWN 2023-07-07 12:33:02.169 allowed=true ugi=root (auth:SIMPLE) ip=192.168.2.22 cmd=rename src=/tmp/presto-root/e94dd606-ba21-4675-9b88-c82f66483628/b1=60/c1=60/20230707_043220_00030_xxx_03832297-7e89-4b0f-a3a2-88b1c4cec6da dst=/xxx/nnbench/user/hive/warehouse/mydb_18520/root/t1/b1=60/c1=60/20230707_043220_00030_xxx_03832297-7e89-4b0f-a3a2-88b1c4cec6da perm=presto:hadoop:rw-r----- proto=PROTOCOL_UNKNOWN 2023-07-07 12:33:05.430 allowed=true ugi=root (auth:SIMPLE) ip=192.168.2.22 cmd=delete src=/tmp/presto-root/e94dd606-ba21-4675-9b88-c82f66483628/b1=62 dst=<null> perm=<null> proto=PROTOCOL_UNKNOWN審計記錄檔的各欄位含義說明如下:
欄位
含義
(首欄位)
請求時間。
allowed
表示是否允許該操作。
-
true:表示允許執行該操作。
-
false:表示拒絕執行該操作。
ugi
使用者名稱。
ip
發起請求的用戶端IP地址。
cmd
操作類型,主要包含create、delete、mkdirs、rename、getfileinfo、listStatus、contentSummary、setStoragePolicy、unsetStoragePolicy等操作。
src
檔案路徑。
dst
僅當請求的操作類型為rename時,存在dst路徑。
perm
建立檔案、目錄使用的預設許可權。
proto
請求的協議,目前僅支援REST協議。
-