OSS数据管理提供对指定OSS Bucket的概览信息,以及Bucket下文件目录的存储大小、访问时间等详情的清晰展示,便于您了解OSS资源的使用情况,对OSS资源进行精细化管理。

使用限制

  • 目前OSS数据管理处于灰度阶段,如果您有需要,请提交工单进行开通。
  • 仅北京、成都、上海、深圳、杭州地域支持使用该功能。
  • 仅阿里云主账号、拥有AliyunDataWorksFullAccess权限的子账号及租户管理员可以使用该功能。其中,仅阿里云主账号可以进行授权操作(授权DataWorks平台访问OSS资源和授权指定Bucket在DataWorks进行元数据信息展示)。
  • 进入OSS数据管理页面进行Bucket授权后,将默认已授权Bucket上开通相关服务,如果在Bucket中删除已开通的相关服务,将无法在OSS数据管理中查看该Bucket相关信息。授权后默认在Bucket中开通的服务请参见选择需要管理的Bucket

管理可查看的OSS Bucket

  1. 进入OSS数据管理。
    1. 登录DataWorks控制台后,进入数据地图页面,操作详情请参见进入首页
    2. 在顶部菜单栏,单击更多 > OSS数据管理
  2. 可选:授权DataWorks访问OSS(仅首次使用该功能时需要进行授权操作)。
    1. 单击授权,仅阿里云主账号可以进行授权操作,授权DataWorks平台访问您当前账号下的OSS资源。
      授权
    2. 单击刷新按钮刷新页面。
    3. 选择需要在DataWorks进行OSS数据展示的全部或指定Bucket,单击确认开通进入OSS数据管理页面,此处选择后进入OSS数据管理页面可以进行二次修改。
  3. 查看OSS Bucket基本信息。
    1. 选择需要管理的OSS Bucket。
      进入OSS数据管理页面后,单击Bucket授权管理,在弹出的Bucket授权管理窗口选择授权全部或指定Bucket在DataWorks进行OSS数据管理。如果您需要新增Bucket,详情请参见创建存储空间选择bucket
      授权后,将对您选择需要在DataWorks中管理的OSS Bucket开通或添加以下功能:
      1. 将默认为该Bucket添加access_by:DW-OSS-MANAGE标签。标签
      2. 将默认开启Bucket清单功能,以便OSS为每个开通的Bucket创建清单。清单默认存放路径为:DW-OSS-INVENTORYBucket清单
        说明
        OSS数据管理页面进行Bucket授权时,DataWorks会校验Bucket清单功能是否开启,同时会校验RAM控制台是否已存在AliyunOSSRole角色,如果不存在,将无法自动开启Bucket清单功能。增加角色
        如果遇到以上报错,说明AliyunOSSRole角色不存在,将无法自动开启Bucket清单功能。您可以手动为任意Bucket开通清单功能,在开通时勾选下图选框,完成后将自动为您在RAM控制台创建AliyunOSSRole角色。后续您在OSS数据管理页面进行Bucket授权时将自动为您开启Bucket清单功能,无需再手动开通该功能。详情请参见设置存储空间清单开通访问权限
      3. 将默认开通该Bucket的日志转存功能,以便OSS将日志转存到指定的路径,默认路径为:DW-OSS-ACCESS-LOG日志转存
    2. 查看Bucket基础信息。
      该区域为您展示目标Bucket的基本信息,您可以在OSS管理控制台对Bucket进行管理。bucket基础信息
      参数名称 描述
      存储类型 对象存储OSS提供标准、低频访问、归档、冷归档四种存储类型,全面覆盖从热到冷的各种数据存储场景。详情请参见:存储类型介绍
      读写权限 Bucket目前有三种访问权限:public-read-writepublic-readprivate。详情请参见:Bucket权限控制
      说明 如果您需要修改Bucket权限,您可以进入OSS管理控制台进行操作。详情请参见:修改存储空间读写权限
      冗余类型 当前存储类型下的数据冗余存储方式。详情请参见:存储类型介绍
      容量 统计当前Bucket的存储量。
      文件数量 统计当前Bucket内存储的文件数量。
      文件碎片 统计当前Bucket内存储的文件碎片的数量。详情请参见:管理碎片
      标准型存储量 统计当前Bucket下标准存储类型的存储量。详情请参见:存储空间概览
      低频型计费存储量 统计当前Bucket下低频访问类型文件的计费存储量。详情请参见:存储空间概览
      归档型计费存储量 统计当前bucket下归档存储类型文件的计费存储量。详情请参见:存储空间概览
    3. 查看最近7天,14天,30天Bucket存储、内网流入流出、外网流入流出、访问次数的变化趋势。
      变化趋势
      模块名称 描述
      存储量变化趋势 当前Bucket存储量变化趋势。
      内网流入流出变化趋势
      • 内网流出流量:通过阿里云内网访问或下载OSS数据所产生的流量。
      • 内网流入流量:通过阿里云内网上传数据到OSS所产生的流量。详情请参见:通过内网访问OSS
      外网流入流出变化趋势
      • 外网流出流量:通过互联网访问或下载OSS数据所产生的流量。
      • 外网流入流量:通过互联网上传数据到OSS所产生的流量。详情请参见:通过外网访问OSS
      访问次数变化趋势
      • Put类型请求次数:调用OSS API的Put类请求产生的请求次数。
      • Get类型请求次数:调用OSS API的Get类请求产生的请求次数。
  4. 查看Bucket内文件目录详情。
    单击文件目录详情进入文件目录详情页面,该页面为您展示Bucket内文件列表,及各文件的文件数量、文件大小、最后访问时间等信息。同时,支持您单击操作列查看分布详情查看各文件的文件类型数量分布情况。文件目录详情