DataWorks：實踐樣本：E-MapReduce底層脫敏使用方法

建立E-MapReduce表

1. 進入資料開發頁面。

   登入DataWorks控制台，切換至目標地區後，單擊左側導覽列的數據開發與營運 > 資料開發，在下拉框中選擇對應工作空間後單擊進入資料開發。

2. 在資料開發頁面單擊建立，選擇新建節點 > EMR Hive建立Hive節點。

3. 編輯節點代碼，建立onefall_test_dsg表。

   CREATE TABLE IF NOT EXISTS onefall_test_dsg
   (
       username  STRING
       ,gender   STRING
       ,phone    STRING
       ,email    STRING
       ,card_no  STRING
       ,address  STRING
       ,zip_code STRING
   )
   ROW FORMAT DELIMITED 
   FIELDS
   TERMINATED
   BY','
   ;

4. 匯入測試資料至onefall_test_dsg表。

   1. 本案例提供測試資料data.csv，下載該測試資料。

   2. 匯入測試資料。

      • 將data.csv 上傳到 EMR 叢集某個節點上，通過SQL載入測試資料。

        LOAD DATA LOCAL INPATH '/…/data.csv' OVERWRITE INTO TABLE onefall_test_dsg;

      • 將data.csv上傳至OSSObject Storage Service中，通過SQL載入測試資料。

        LOAD DATA INPATH 'oss://bucket-name.Endpoint/…/data.csv' OVERWRITE INTO TABLE onefall_test_dsg
        ;

資料保護傘中繼資料更新

保護傘元側中繼資料為T+1更新，在建立並發布onefall_test_dsg表後，需要等至第二天再進行資料脫敏操作。

進入資料識別規則

1. 登入DataWorks控制台，切換至目標地區後，單擊左側導覽列的數據治理 > 資訊安全中心，在右側頁面中單擊進入資訊安全中心。

2. 單擊左側導覽列的資料使用安全 > 敏感性資料管理，單擊立即體驗，進入資料保護傘。

   說明

   • 若阿里雲主帳號已授權，則直接進入資料保護傘的首頁。

   • 若阿里雲主帳號未授權，則進入資料保護傘的授權頁面。進入資料使用安全 > 敏感性資料管理，在頁面彈窗內，首次需選擇資料保護傘，授權後才可使用保護傘的相關功能。

3. 單擊左側導覽列的規則配置 > 敏感性資料識別，進入資料識別規則頁面。

配置識別規則

本樣本以資料準備模組建立的表為例，來建立識別規則，目的為識別出onefall_test_dsg表中的gender、phone和email欄位，並且將這三個欄位進行脫敏處理。

1. 選擇敏感欄位所在的資料分類。

   在左側的內建分類分級模板地區選取項目新增敏感欄位所在的資料分類，詳情請參見配置資料識別規則並執行識別任務。

2. 新增敏感欄位類型並配置識別規則。

   單擊右上方敏感欄位類型，出現識別規則配置頁面。詳細配置請參見配置資料識別規則並執行識別任務。

   說明

   為方便對敏感欄位類型理解，可將敏感欄位類型配置為onefall_test_dsg表的欄位名gender、phone和email

3. 配置完成資料識別規則後，單擊右上方的批量发布，選中建立好的識別規則，即可進行批量發布。配置完成後，敏感欄位類型列表中顯示 gender（分級為第4級）、phone（分級為第2級）和 email（分級為第2級），識別規則定義方式均為自訂，準確率均為 100%，狀態均為發行。

進入資料脫敏規則

1. 登入DataWorks控制台後，進入資料保護傘頁面，操作詳情請參見資料保護傘。

2. 單擊開始體驗，預設進入資料保護傘的首頁。

3. 單擊左側導覽列中的規則配置 > 資料脫敏管理，在資料脫敏管理頁面您可以建立新的情境類型並配置脫敏規則。

新增脫敏情境

• DataWorks提供的資料開發/資料地圖展示脫敏、資料分析展示脫敏、MaxCompute引擎層脫敏、Hologres引擎層脫敏等動態脫敏，及Data Integration靜態脫敏等一級脫敏情境為固定情境，不支援執行新增、編輯、刪除等操作，可基於業務需要，基於一級情境自訂二級情境。具體詳情請參見建立資料脫敏情境。

• 本樣本以資料開發/資料地圖展示脫敏和資料分析展示脫敏為主。

  • 資料開發/資料地圖展示脫敏下的二級情境名：開發展示。

  • 資料分析展示脫敏下的二級情境名：SQL分析。

新增脫敏規則

完成脫敏情境建立後，即可單擊右上方的脫敏規則來建立脫敏規則，依舊是建立三條脫敏規則，以gender、phone和email命名。具體詳情請參見建立資料脫敏規則。

1. 選擇脫敏情境。

   在資料脫敏管理頁面，選擇脫敏情境為資料開發/資料地圖展示脫敏 > 預設情境，單擊右側+脫敏規則。

2. 建立資料脫敏規則。

   • 在建立脫敏規則頁面，可配置敏感欄位類型、脫敏規則名稱、所屬脫敏情境、脫敏方法等配置項，具體詳情請參見脫敏規則配置入口。

   • 本樣本的三條資料脫敏規則配置如下。

     配置項			配置內容
     			gender	email	phone
     敏感欄位類型			gender	email	phone
     脫敏規則名稱			gender	email	phone
     所屬脫敏情境			開發展示、SQL分析	開發展示、SQL分析	開發展示、SQL分析
     脫敏方式	字元替換	替換位置	替換全部
     		替換方式	隨機替換
     	HASH加密	資料浮水印		關閉
     		密碼編譯演算法		MDS
     		加鹽值		5
     	遮蓋脫敏	遮掩方式			推介方式 > 只展示前三后四

     說明

     脫敏方式有多種，樣本中以字符替換、HASH加密和遮蓋脫敏三種方式為例，詳情可參見配置脫敏方式。

測試查詢結果脫敏

1. 進入資料開發頁面。

   登入DataWorks控制台，切換至目標地區後，單擊左側導覽列的數據開發與營運 > 資料開發，在下拉框中選擇對應工作空間後單擊進入資料開發。

2. 單擊左側，進入臨時查詢查詢頁面後單擊，新建 > EMR Hive建立臨時查詢節點。

3. 在節點查詢onefall_test_dsg表，即可查看在資料開發頁面該表的脫敏展示。

   SELECT * FROM onefall_test_dsg;

   查詢結果顯示，phone 列資料進行了部分掩碼處理（中間四位以 **** 替代），email 列資料已加密為雜湊字串，card_no 和 address 列資料被完全遮蔽不可見。