Jindo AuditLog提供块存储模式的审计功能,记录Namespace端的增加、删除和重命名操作信息。

前提条件

背景信息

AudigLog可以分析Namespace端访问信息、发现异常请求和追踪错误等。JindoFS AuditLog存储日志文件至OSS,单个Log文件不超过5 GB。基于OSS的生命周期策略,您可以自定义日志文件的保留天数,清理策略等。因为JindoFS AuditLog提供分析功能,所以您可以通过Shell命令分析指定的日志文件。

审计信息

审计信息示例。
2020-07-09 18:29:24.689 allowed=true ugi=hadoop (auth:SIMPLE) ip=127.0.0.1 ns=test-block cmd=CreateFileletRequest src=jfs://test-block/test/test.snappy.parquet dst=null perm=::rwxrwxr-x
块存储模式记录的审计信息参数如下所示。
参数 描述
时间 时间格式yyyy-MM-dd hh:mm:ss,SSS。
allowed 本次操作是否被允许:
  • true
  • false
ugi 操作用户(包含认证方式信息)。
ip Client IP。
ns 块存储模式Namespace的名称。
cmd 操作命令。
src 源路径。
dest 目标路径,可以为空。
perm 操作文件Permission信息。

使用AuditLog

  1. 进入SmartData服务。
    1. 登录阿里云E-MapReduce控制台
    2. 在顶部菜单栏处,根据实际情况选择地域(Region)和资源组
    3. 单击上方的集群管理页签。
    4. 集群管理页面,单击相应集群所在行的详情
    5. 在左侧导航栏单击集群服务 > SmartData
  2. 进入namespace服务配置。
    1. 单击配置页签。
    2. 单击namespace
      namespace
  3. 配置如下参数。
    1. namespace页签,单击右上角的自定义配置
    2. 新增配置项对话框中,新增如下参数。
      参数 描述 是否必填
      namespace.auditlog.enable
      • true:打开AuditLog功能。
      • false:关闭AuditLog功能。
      namespace.auditlog.oss.uri 存储AuditLog的OSS Bucket。

      请参见oss://<yourbucket>/auditLog格式配置。

      <yourbucket>请替换为待存储的Bucket的名称。

      namespace.auditlog.oss.accessKey 存储OSS的AccessKey ID。
      namespace.auditlog.oss.accessSecret 存储OSS的AccessKey Secret。
      namespace.auditlog.oss.endpoint 存储OSS的Endpoint。
    3. 单击部署客户端配置
    4. 执行集群操作对话框中,输入执行原因,单击确定
    5. 确认对话框中,单击确定
  4. 重启服务。
    1. 单击右上角的操作 > 重启Jindo Namespace Service
    2. 执行集群操作对话框中,输入执行原因,单击确定
    3. 确认对话框中,单击确定
  5. 配置清理策略。
    OSS提供了lifeCycle功能来管理OSS上文件的生命周期,您可以利用该功能来自定义Log文件的清理或者保存时间。
    1. 登录OSS管理控制台
    2. 单击创建的存储空间。
    3. 在左侧导航栏,单击基础设置 > 生命周期,在生命周期单击设置
    4. 单击创建规则,在创建生命周期规则配置各项参数。
      详情请参见设置生命周期规则
    5. 单击确定

使用Jindo auditLog分析功能

JindoFS为存储在OSS上的AuditLog文件提供Shell命令的分析功能,通过MR任务分析Log文件,提供Top-N活跃操作命令分析、Top-N活跃IP分析。您可以使用jindo audit命令,使用该功能。

Jindo Auditlog的参数说明如下表。
参数 描述 是否必填
--src 存储AuditLog的OSS Bucket。默认为步骤3namespace.auditlog.oss.uri的值,您也可以自定义该参数。
--ns 指定待分析的Namespace。默认为block模式下所有ns。
--type 指定分析:
  • ip:IP地址活跃度。
  • cmd: 操作命令活跃度。
--min 指定时间范围,分钟级别。
说明 --min和--day,需要二选一。
--day 指定时间范围,天级别。

day 1,表示当天。

在E-MapReduce控制台,创建MR类型作业,作业内容示例如下。
jindo auditlog --src oss://<yourbucket>/auditlog/ --ns test --type ip --day 1 --top 2
返回信息如下。
16 openFileStatusRequest
6  deleteFileletRequest