如何使用靜態脫敏和動態脫敏 -

資料資訊安全中心DSC（Data Security Center）支援靜態脫敏和動態脫敏。靜態脫敏通過建立脫敏任務，指定目標資料資產，並依據脫敏規則匹配目標敏感欄位，採用脫敏演算法（如遮蓋、加密或替換等）對指定欄位進行處理，最終將脫敏後的資料儲存至使用者選擇的目標位置。而動態脫敏則是通過調用ExecDatamask介面，依照脫敏規則對JSON格式資料中指定欄位進行資料脫敏處理。

選擇脫敏方式

脫敏方式

支援脫敏的資料來源

應用情境

操作方式

靜態脫敏

RDS表、PolarDB-X表、MaxCompute表、PolarDB表、OceanBase表、AnalyticDB-MySQL表、ECS自建資料庫表。
OSS Bucket中結構化TXT、CSV、XLSX和XLS格式檔案。
本機電腦儲存的結構化TXT、CSV、XLSX和XLS格式檔案。

需要將目標資料來源與其他使用者共用，但不能泄露某些敏感欄位資料的業務情境。

使用靜態脫敏方式，脫敏指定資料表或檔案後，可將脫敏後資料另存到其他資料表或檔案中，實現資料共用，且不會影響原始的資料。

在DSC控制台，通過新增脫敏任務，設定脫敏資料、脫敏規則、脫敏後資料儲存的目的地、執行任務周期等。

動態脫敏

自行構造符合以下JSON格式的資料，其中dataHeaderList定義資料的列名，dataList定義脫敏的資料，dataHeaderList中列名順序和dataList中資料順序必須一一對應。ruleList用於匹配脫敏規則，詳細說明，請參見ExecDatamask - 對資料進行動態脫敏。

{
    "dataHeaderList": ["name", "age"],
    "dataList": [
        ["lily", 18],
        ["lucy", 17]
    ],
    "ruleList": [1002, null]
}

脫敏方式更加靈活，可由您自行構造待脫敏的資料來源。

通過OpenAPI線上調試、阿里雲SDK或自訂封裝API的調用方式，調用介面ExecDatamask - 對資料進行動態脫敏進行開發與部署。

脫敏結果樣本

DSC提供的脫敏演算法包含雜湊脫敏、遮蓋脫敏、替換脫敏、變換脫敏、加密脫敏和洗牌脫敏。不同脫敏演算法脫敏後樣本如下。

雜湊脫敏

適用類型和典型情境	演算法描述	演算法配置樣本	脫敏前資料樣本	脫敏結果樣本
無法復原演算法。支援常見的雜湊演算法，並支援位移量（加鹽值）配置。適用於密碼或需要通過對比進行敏感性資料確認的情境。敏感類型：密鑰類。適用情境：資料存放區。	MD5	加鹽值為`測試`	123456	d6f82c64df3dc34921d79e5f22e5d43a
	SHA-1			59056c7c6faa5eeb7151d30a01c17b25f35b021c
	SHA-256			84ca63076a5966e9b726490c8b6a5c9c6d6bdc018bb0a05df754c0c2770aca72
	HMAC			ed029027322fedb0ac40b7759ac1521f0121cb018cf0f6f078e61764d810e00f

遮蓋脫敏

適用類型和典型情境	演算法描述	演算法配置樣本	脫敏前資料樣本	脫敏結果樣本
無法復原演算法。通過使用特殊字元星號（*）或者井號（#），對部分文字進行遮蓋實現敏感性資料的脫敏。適用於前端展示或敏感性資料分享的情境。敏感類型：個人敏感。適用情境：資料使用。資料分享。	保留前n後m	遮蓋字元為`*`，n=1、m=1	123456	1****6
	保留自x至y	遮蓋字元為`*`，x=3、y=4		34
	遮蓋前n後m	遮蓋字元為`*`，n=2、m=2		34
	遮蓋自x至y	遮蓋字元為`*`，x=2、y=5		1****6
	特殊字元（`@`、`&`、`.`）前遮蓋（針對首次出現該字元）	&	1@34&6	****&6
	特殊字元（（`@`、`&`、`.`））後遮蓋（針對首次出現該字元）	@	1@34&6	1@****

替換脫敏

待脫敏資料會根據演算法描述對應演算法配置的隨機碼錶完成資料脫敏，每次脫敏結果都不同。例如，手機號隨機替換，脫敏“1390000****”的結果可能為“1327156****”、“1835537****”、“1885654****”等。

適用類型和典型情境	演算法描述	演算法配置
部分可逆演算法。使用替換碼錶進行映射替換（可逆），或使用隨機區間進行隨機替換（無法復原），實現欄位整體或者部分內容的脫敏。系統預置多套碼錶可供選擇，並支援使用者自訂替換演算法。適用於證件號等構成規則固定的欄位脫敏。敏感類型：個人敏感。企業敏感。裝置敏感。適用情境：資料存放區。資料分享。	身份證映射替換	行政區劃隨機碼錶
	身份證隨機替換	行政區劃隨機碼錶
	軍官證隨機替換	行政區劃隨機碼錶
	護照隨機替換	用途欄位隨機碼
	港澳通行證隨機替換	用途欄位隨機碼
	銀行卡隨機替換	Bin碼隨機碼錶
	有線電話號碼隨機替換	行政區劃隨機碼錶
	手機號隨機替換	網號
	統一信用碼隨機替換	登記部門隨機碼錶、類別碼隨機碼錶、行政區劃隨機碼錶
	通用保格映射替換	大寫字母映射碼、小寫字母映射碼、數字映射碼、特殊映射碼
	通用保格隨機替換	大寫字母隨機碼、小寫字母隨機碼、數字隨機碼、特殊隨機碼

變換脫敏

適用類型和典型情境	演算法描述	演算法配置樣本	脫敏前資料樣本	脫敏結果樣本
部分可逆演算法。提供對數字或日期等進行取整操作（無法復原）和對文字進行位移操作（可逆）兩類變換脫敏演算法。適用於對敏感性資料集進行分析和統計類情境。敏感類型：通用敏感。適用情境：資料存放區。資料使用。	數字取整：保留小數點前第N位。N的取值範圍：1~19。	N=4	12345.6789	12000
	日期取整：日期取整保留到年、月、日、小時或分鐘。	小時	2023-04-15 14:30:45	2023-04-15 14:00:00
	字元位移：整體迴圈位移Bit數、向左或向右。	向左位移3 Bit數	test	ttes

加密脫敏

適用類型和典型情境	演算法描述	演算法配置樣本	脫敏前資料樣本	脫敏結果樣本
可逆演算法。支援常見的對稱式加密演算法。適用於對需要回源的欄位進行加密的情境。敏感類型：個人敏感。企業敏感。適用情境：資料存放區。	DES演算法	加密金鑰：`121212`	123456	c2TwheTI+rw=
	3DES演算法	加密金鑰：`123`、`1232131`、`123123`		XUwzslGadsk=
	AES演算法	加密金鑰：`123131`		YueDcm92UuqvKpVbeS+0Ng==

洗牌脫敏

適用類型和典型情境

演算法描述

演算法配置

無法復原演算法。

在來源資料表抽取資料並確認數值範圍後，對該欄位（在範圍內）進行列層級的打散重排和隨機播放，實現混淆脫敏。

適用於結構化資料列層級的資料脫敏情境。

敏感類型：
- 裝置敏感。
- 位置敏感。
適用情境：資料存放區。

隨機洗牌

打散重排
隨機播放

例如對一組裝置所屬的城市資訊打散重排：

脫敏前的資料		脫敏後的資料
裝置ID	城市	裝置ID	城市
D001	上海	D001	西安
D002	杭州	D002	上海
D003	西安	D003	成都
D004	成都	D004	杭州

計費說明

目前，僅企業版DSC執行個體支援使用資料脫敏功能。購買企業版執行個體後，即可使用資料脫敏功能。DSC採用訂用帳戶模式計費，詳細說明，請參見計費概述。使用靜態脫敏時可能會包含額外計費。

脫敏方式	資料來源	DSC側計費	額外計費
靜態脫敏	RDS表、PolarDB-X表、MaxCompute表、PolarDB表、OceanBase表、AnalyticDB-MySQL表、ECS自建資料庫表。 OSS Bucket中結構化TXT、CSV、XLSX和XLS格式檔案。	待脫敏資料資產需要授權接入DSC，會抵扣購買的資料庫防護執行個體數和儲存防護容量。	如果您需要脫敏的雲產品使用的是隨用隨付的方式，對應雲產品會按照訪問或寫入資料量收取相應的費用。
靜態脫敏	本機電腦儲存的結構化TXT、CSV、XLSX和XLS格式檔案。	目前不抵扣執行個體的資源。	不額外收費。
動態脫敏	自行構造的資料。	目前不抵扣執行個體的資源。	不額外收費。

開通服務

如果您當前帳號未開通過DSC服務或僅開通免費版服務，您可以直接購買企業版DSC執行個體。具體內容，請參見購買資料資訊安全中心。
如果您已開通DSC免費版服務但不是企業版執行個體，您需要升級版本才能使用資料脫敏功能。升級操作，請參見執行個體升級。

重要

如果使用靜態脫敏，相關資料資產需要先授權接入DSC，您需要確保已購買足夠可用的資料庫防護執行個體數和OSS防護量。

靜態脫敏

功能說明

建立靜態脫敏任務時，可以選擇已配置的脫敏模板作為任務的脫敏規則，也可以直接設定目標敏感欄位的脫敏演算法作為任務的脫敏規則。脫敏模板配置，請參見配置脫敏模板和演算法。

前提條件

如果使用靜態脫敏方式脫敏資料庫或OSS檔案，需要已完成DSC授權和接入待脫敏資料資產。具體操作，請參見：

重要

如果需要將脫敏後資料存放區到RDS表、PolarDB-X表、MaxCompute表、PolarDB表、OceanBase表、AnalyticDB-MySQL表、自建資料庫表或OSS Bucket中，DSC必須授權接入目標資料資產，且使用具有讀寫權限的帳號串連目標資料資產。對於RDS、PolarDB-X、PolarDB、OceanBase或AnalyticDB-MySQL資料庫，需要選擇賬密串連方式接入DSC。

新增脫敏任務

警告

如果您在生產環境中直接對資料進行脫敏，資料庫的效能可能會有所下降。

通過新增脫敏任務，指定資料脫敏的範圍和規則。

登入資料資訊安全中心控制台。
在左側導覽列，選擇風險治理 > 配置风险。
在靜態脫敏頁簽的任務配置頁簽，單擊新增脫敏任務。

根據頁面導航，完成資料脫敏任務配置。

填寫任務基本資料，並單擊下一步。
說明
任務名稱輸入不受限制。

配置脫敏資料的來源檔案資訊，並單擊下一步。

RDS表/PolarDB-X表/MaxCompute表/PolarDB表/OceanBase表/AnalyticDB-MySQL表/自建資料庫表

脫敏源配置項	是否必填	配置描述
資料存放區類型	是	選擇脫敏檔案的資料存放區類型為RDS表/PolarDB-X表/MaxCompute表/PolarDB表/OceanBase表/AnalyticDB-MySQL表/自建資料庫表。
源產品	是	選擇包含脫敏資料的檔案來源的產品名稱。支援選擇的產品包括：RDS、PolarDB-X、OceanBase、MaxCompute、AnalyticDB-MySQL、PolarDB或自建資料庫。
來源資料庫/專案名	是	選擇包含脫敏資料的表所在的專案名稱。
源表名	是	選擇脫敏資料所在的資料表名稱。
來源資料分割	否	僅源產品選擇MaxCompute時，可配置來源資料分割。輸入需要脫敏的資料在資料表中的分區名稱。不填寫則代表會對整個表中的敏感性資料進行脫敏。分區是在建立MaxCompute資料表時指定的分區空間，用於限定不同地區資料，方便快速和高效地對指定內容進行查詢。更多資訊，請參見分區。
抽樣SQL	否	源產品選擇RDS、PolarDB-X、OceanBase或自建資料庫時，可配置抽樣SQL。輸入SQL語句配置脫敏資料的範圍。不填寫則進行全表脫敏。

OSS檔案

重要

僅支援脫敏結構化TXT、CSV、XLSX和XLS格式的檔案。

脫敏源配置項	是否必填	配置描述
資料存放區類型	是	選擇脫敏檔案的資料存放區類型為OSS檔案。
檔案源	是	選擇OSS檔案的來源，支援本地上傳和OSS Bucket。
上傳檔案	是	檔案源為本地上傳時，單擊選擇本地檔案，上傳需要脫敏的檔案。
源檔案所在OSS Bucket	是	檔案源為OSS Bucket時，在下拉式清單中選擇源檔案所在的OSS Bucket。您也可以輸入關鍵字進行搜尋並選擇源檔案所在的OSS Bucket。
源檔案名稱	是	檔案源為OSS Bucket時，輸入源檔案的名稱。源檔案名稱必須包含格式尾碼。單個檔案脫敏：輸入指定源檔案名稱。例如，test.csv。批量檔案脫敏：開啟通配功能（單擊右側的開啟通配開關）。系統採用同一規則脫敏目標檔案，多個檔案的格式必須相同，且具有相同的列結構。您可以使用星號（）的方式指定一批源檔案進行批量脫敏。目前僅支援對檔案名稱首碼進行匹配，例如，test.xls，匹配以test開頭的XLS格式檔案。
源檔案描述	否	檔案源為本地上傳時，可輸入對OSS源檔案的描述。
分隔字元選擇	否	對於CSV和TXT類型的檔案，必須指定資料行分隔符號，請根據源檔案的分隔字元類型進行選擇。支援選擇以下類型的分隔字元：分號“;”（macOS、Linux預設）。逗號“,”（Windows預設）。運算子“\|”。
表格包含標題列	否	根據源檔案是否包含標題列進行選擇。

選擇以下方式配置脫敏演算法，然後單擊下一步。

在資料列表上方選擇已配置的脫敏模板，源欄位列表會按照脫敏模板配置，自動開啟對應欄位的脫敏開關並設定演算法選擇。
脫敏模板中規則列表內容必須與脫敏來源資料的源欄位匹配，否則脫敏模板不生效。脫敏模板配置，請參見配置脫敏模板和演算法。
直接在源欄位列表中，定位到需要脫敏的源欄位，開啟脫敏開關並設定演算法選擇。

單擊脫敏演算法後的參數查看修改，可查看和編輯已選擇演算法的規則。演算法規則中分區寫法，可參考分區寫法參考表。

說明

如果開啟強制啟用模板，不支援在當前頁面修改演算法參數。您需要修改對應模板規則。

分區寫法參考表

分區類型	分區寫法	分區樣本
後N周	自訂分區欄位名稱=$[yyyymmdd+7*N]	time=$[20190710+7*1]，表示對2019年7月10日後一周的資料進行脫敏。
前N周	自訂分區欄位名稱=$[yyyymmdd-7*N]	time=$[20190710-7*3]，表示對2019年7月10日前的3周時間內的資料進行脫敏。
後N天	自訂分區欄位名稱=$[yyyymmdd+N]	time=$[20190710+2]，表示對2019年7月10日後的2天內的資料進行脫敏。
前N天	自訂分區欄位名稱=$[yyyymmdd-N]	time=$[20190710-5]，表示對2019年7月10日前的5天內的資料進行脫敏。
後N小時	自訂分區欄位名稱=$[hh24mi:ss+N/24]	time=$[0924mi:ss+2/24]，表示對9點以後的2小時的資料進行脫敏。
前N小時	自訂分區欄位名稱=$[hh24mi:ss-N/24]	time=$[0924mi:ss-1/24]，表示對9點前的1個小時內的資料進行脫敏。
後N分鐘	自訂分區欄位名稱=$[hh24mi:ss+N/24/60]	time=$[0924mi:ss+2/24/60]，表示對9點過後的2分鐘內的資料進行脫敏。
前N分鐘	自訂分區欄位名稱=$[hh24mi:ss-N/24/60]	time=$[0924mi:ss-2/24/60]，表示對9點的前2分鐘內的資料進行脫敏。

設定脫敏後資料要儲存的目標位置，然後單擊測試，確認寫入許可權通過後，單擊下一步。
重要
對於選擇的目標資料資產，DSC串連資料資產的帳號必須具備寫入許可權。

確認處理邏輯。

目標位置配置項	是否必填	配置項描述
觸發方式選擇	是	觸發方式表示執行脫敏任務的方式。支援以下方式：僅人工：通過手動的方式啟動脫敏任務。僅定時觸發：通過設定的時間點定時自動執行脫敏任務，可選每小時、每天、每月、每周固定時間點自動觸發任務。人工+定時觸發：選擇該方式，支援您手動單擊啟動來執行脫敏任務，和系統根據配置的定時時間自動執行脫敏任務（支援每小時、每天、每月、每周固定時間點自動觸發任務）。
開啟增量脫敏	否	您可根據需要選擇是否開啟增量脫敏。增量脫敏是指每次脫敏資料為上次脫敏任務完成後新增的資料的脫敏方式。您需要選擇一個來源資料中隨著時間遞增的欄位作為增量列，例如建立時間、自增ID（資料庫內建的自增列）等。重要當前僅有RDS資料支援增量脫敏。
分區欄位	否	DSC執行靜態脫敏時會對來源資料進列欄位分區，通過並發處理的方式提高脫敏效率。您可根據需要選擇分區欄位，支援選擇多個分區欄位。當前僅有RDS資料庫支援增量脫敏，建議使用主鍵或者唯一索引作為分區欄位。分區欄位選擇框內如果未選取任何欄位，DSC將會預設使用主鍵作為分區欄位，對來源資料進行脫敏處理。重要如果您的來源資料中沒有主鍵，您必須選擇分區欄位，否則會導致脫敏任務失敗。過多的分區欄位會影響查詢效能以及資料準確性，請謹慎選擇。
表名衝突解決方式	是	表名稱存在衝突的情況下處理的方式。可選項：刪除目標表建立新同名表。在目標表中增加新資料。建議選擇該選項。
行衝突解決方式	是	表中的行內容存在衝突時的處理方式。可選項：保留目標表衝突行，丟棄新插入資料。建議選擇該選項。刪除目標表中的衝突行，新增插入資料。

單擊提交。

執行和查看脫敏任務

如果脫敏任務觸發方式是僅人工，必須手動啟動脫敏任務。如果脫敏任務觸發方式是僅定時觸發，僅支援通過設定的時間點定時自動啟動脫敏任務。如果脫敏任務觸發方式是人工+定時觸發，支援手動和自動啟動脫敏任務。

在靜態脫敏頁簽的任務配置頁簽，單擊新建立的脫敏任務操作列的啟動，執行脫敏任務。
在靜態脫敏頁簽，單擊任務狀態子頁簽，查看脫敏任務的執行進度和狀態。

脫敏任務執行失敗排查

脫敏任務執行失敗後，參考以下內容查看失敗原因。

執行失敗錯誤提示	錯誤原因
找不到脫敏任務，有可能是因為任務已經被刪除或者關閉	脫敏任務可能被刪除或被關閉（脫敏任務操作列下的開關為關閉狀態）。
定時任務的調度周期設定有誤	每日具體任務執行時間輸入有誤。
找不到脫敏源執行個體	脫敏源表所屬執行個體不存在。
找不到脫敏目標執行個體	可能的原因有執行個體授權取消或目標執行個體刪除等。
找不到脫敏源表	可能的原因有執行個體授權取消、源表刪除等。
脫敏演算法參數設定有誤	演算法參數填寫錯誤。
源表列為空白	來源資料分割欄位的列沒有資料。
寫入目標表失敗	目標位置配置時寫入目標表失敗。
從源表查詢失敗	源表中未查詢到該資料。
建立目標表失敗	目標位置中可能不存在該表格。
找不到主鍵	RDS源表缺少主鍵。
任務配置的MaxCompute分區欄位有誤	建立脫敏任務時，在脫敏源配置項中填寫的來源資料分割或者目標位置配置項填寫的目標資料分割有誤。

修改、刪除脫敏任務

等待執行或執行中的脫敏任務不支援修改或刪除。

修改脫敏任務
需要調整脫敏任務的配置時，您可以單擊目標脫敏任務操作列的修改，修改脫敏任務。
刪除脫敏任務
重要
脫敏任務刪除後不支援恢複，建議您謹慎操作。
不再需要指定脫敏任務時，您可以單擊目標脫敏任務操作列的刪除，並在提示對話方塊中單擊確定。

動態脫敏

功能說明

動態脫敏任務必須依賴已配置的脫敏模板作為脫敏規則，對指定資料進行脫敏。您可以調用ExecDatamask介面，傳入待脫敏資料（Data）和脫敏模板ID（TemplateId），然後按照脫敏模板的匹配方式（欄位名稱、敏感類型），對Data中dataList的資料進行脫敏。

您可以在資料資訊安全中心控制台的風險治理 > 資料脫敏頁面的脫敏配置頁簽，擷取脫敏模板ID。支援使用自訂脫敏模板，具體操作，請參見配置脫敏模板。

調用ExecDatamask介面實現資料脫敏的脫敏模板中脫敏方式說明：

匹配方式

脫敏說明

欄位名稱

根據dataHeaderList中列名，匹配脫敏模板中規則列表的欄位名稱及對應演算法，對dataList中對應列的資料進行脫敏。

敏感類型

根據ruleList中敏感類型的規則ID，匹配脫敏模板中規則列表下規則的標識ID，按照規則中欄位名稱及對應演算法，對dataList中對應列的資料進行脫敏。

敏感類型的規則列表中欄位可選範圍為資料洞察中識別特徵頁面中的資料特徵，包含內建和自訂的識別特徵。該特徵名稱也作為規則列表中規則名稱，您可以調用DescribeRules介面，傳入CustomType（規則類型，即資料特徵的來源：內建或自訂）、Name（規則名稱，即資料特徵的名稱），查詢到該規則的標識ID（Id）。

脫敏樣本圖：

使用限制

您調用ExecDatamask介面對指定資料進行動態脫敏時，每次脫敏的資料（Data）必須小於2 MB。

查看動態脫敏介面調用記錄

登入資料資訊安全中心控制台。
在左側導覽列，選擇風險治理 > 配置风险。
在資料脫敏頁面，單擊動態脫敏頁簽。
在動態脫敏頁面，查看ExecDatamask介面的調用記錄。
說明
如果您在調用介面時使用了相同的帳號和IP地址，即使多次調用介面，操作記錄只會保留一條，並記錄累計調用次數。

使用靜態脫敏實現資料共用樣本

使用靜態脫敏對某帳號下源OSS Bucket中的結構化CSV格式檔案中的敏感性資料進行脫敏，然後將脫敏後的檔案儲存到同帳號下的目標OSS Bucket，分享目標OSS Bucket給指定使用者，實現資料的安全共用。具體操作，請參見對OSS表格檔案中的敏感性資料進行脫敏。