大数据开发治理平台 DataWorks：实践示例：E-MapReduce底层脱敏使用方法

创建E-MapReduce表

1. 进入数据开发页面。

   登录DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据开发与运维 > 数据开发，在下拉框中选择对应工作空间后单击进入数据开发。

2. 在数据开发页面单击新建，选择新建节点 > EMR Hive创建Hive节点。

3. 编辑节点代码，新建onefall_test_dsg表。

   CREATE TABLE IF NOT EXISTS onefall_test_dsg
   (
       username  STRING
       ,gender   STRING
       ,phone    STRING
       ,email    STRING
       ,card_no  STRING
       ,address  STRING
       ,zip_code STRING
   )
   ROW FORMAT DELIMITED 
   FIELDS
   TERMINATED
   BY','
   ;

4. 导入测试数据至onefall_test_dsg表。

   1. 本案例提供测试数据data.csv，下载该测试数据。

   2. 导入测试数据。

      • 将data.csv 上传到 EMR 集群某个节点上，通过SQL加载测试数据。

        LOAD DATA LOCAL INPATH '/…/data.csv' OVERWRITE INTO TABLE onefall_test_dsg;

      • 将data.csv上传至OSS对象存储中，通过SQL加载测试数据。

        LOAD DATA INPATH 'oss://bucket-name.Endpoint/…/data.csv' OVERWRITE INTO TABLE onefall_test_dsg
        ;

数据保护伞元数据更新

保护伞元侧元数据为T+1更新，在创建并发布onefall_test_dsg表后，需要等至第二天再进行数据脱敏操作。

进入数据识别规则

1. 登录DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据治理 > 安全中心，在右侧页面中单击进入安全中心。

2. 单击左侧导航栏的数据使用安全 > 敏感数据管理，单击立即体验，进入数据保护伞。

   说明

   • 若阿里云主账号已授权，则直接进入数据保护伞的首页。

   • 若阿里云主账号未授权，则进入数据保护伞的授权页面。进入数据使用安全 > 敏感数据管理，在页面弹窗内，首次需选择数据保护伞，授权后才可使用保护伞的相关功能。

3. 单击左侧导航栏的规则配置 > 敏感数据识别，进入数据识别规则页面。

配置识别规则

本示例以数据准备模块创建的表为例，来新建识别规则，目的为识别出onefall_test_dsg表中的gender、phone和email字段，并且将这三个字段进行脱敏处理。

1. 选择敏感字段所在的数据分类。

   在左侧的内置分类分级模板区域选择新增敏感字段所在的数据分类，详情请参见配置数据识别规则并执行识别任务。

2. 新增敏感字段类型并配置识别规则。

   单击右上角敏感字段类型，出现识别规则配置页面。详细配置请参见配置数据识别规则并执行识别任务。

   说明

   为方便对敏感字段类型理解，可将敏感字段类型配置为onefall_test_dsg表的字段名gender、phone和email

3. 配置完成数据识别规则后，单击右上角的批量发布，选中创建好的识别规则，即可进行批量发布。配置完成后，敏感字段类型列表中显示 gender（分级为第4级）、phone（分级为第2级）和 email（分级为第2级），识别规则定义方式均为自定义，准确率均为 100%，状态均为已发布。

进入数据脱敏规则

1. 登录DataWorks控制台后，进入数据保护伞页面，操作详情请参见数据保护伞。

2. 单击开始体验，默认进入数据保护伞的首页。

3. 单击左侧导航栏中的规则配置 > 数据脱敏管理，在数据脱敏管理页面您可以创建新的场景类型并配置脱敏规则。

新增脱敏场景

• DataWorks提供的数据开发/数据地图展示脱敏、数据分析展示脱敏、MaxCompute引擎层脱敏、Hologres引擎层脱敏等动态脱敏，及数据集成静态脱敏等一级脱敏场景为固定场景，不支持执行新增、编辑、删除等操作，可基于业务需要，基于一级场景自定义二级场景。具体详情请参见创建数据脱敏场景。

• 本示例以数据开发/数据地图展示脱敏和数据分析展示脱敏为主。

  • 数据开发/数据地图展示脱敏下的二级场景名：开发展示。

  • 数据分析展示脱敏下的二级场景名：SQL分析。

新增脱敏规则

完成脱敏场景创建后，即可单击右上角的脱敏规则来新建脱敏规则，依旧是新建三条脱敏规则，以gender、phone和email命名。具体详情请参见创建数据脱敏规则。

1. 选择脱敏场景。

   在数据脱敏管理页面，选择脱敏场景为数据开发/数据地图展示脱敏 > 默认场景，单击右侧+脱敏规则。

2. 新建数据脱敏规则。

   • 在新建脱敏规则页面，可配置敏感字段类型、脱敏规则名称、所属脱敏场景、脱敏方式等配置项，具体详情请参见脱敏规则配置入口。

   • 本示例的三条数据脱敏规则配置如下。

     配置项			配置内容
     			gender	email	phone
     敏感字段类型			gender	email	phone
     脱敏规则名称			gender	email	phone
     所属脱敏场景			开发展示、SQL分析	开发展示、SQL分析	开发展示、SQL分析
     脱敏方式	字符替换	替换位置	替换全部
     		替换方式	随机替换
     	HASH加密	数据水印		关闭
     		加密算法		MDS
     		加盐值		5
     	遮盖脱敏	遮掩方式			推荐方式 > 只展示前三后四

     说明

     脱敏方式有多种，示例中以字符替换、HASH加密和遮盖脱敏三种方式为例，详情可参见配置脱敏方式。

测试查询结果脱敏

1. 进入数据开发页面。

   登录DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据开发与运维 > 数据开发，在下拉框中选择对应工作空间后单击进入数据开发。

2. 单击左侧，进入临时查询查询页面后单击，新建 > EMR Hive新建临时查询节点。

3. 在节点查询onefall_test_dsg表，即可查看在数据开发页面该表的脱敏展示。

   SELECT * FROM onefall_test_dsg;

   查询结果显示，phone 列数据进行了部分掩码处理（中间四位以 **** 替代），email 列数据已加密为哈希字符串，card_no 和 address 列数据被完全遮蔽不可见。