DataWorks資料建模支援在建模前規劃制定資料標準,或在建模使用過程中根據業務情況沉澱企業業務的資料標準。通過規範約束標準代碼、度量單位、欄位標準、命名詞典,來保障後續建模與應用過程中資料處理的一致性,從源頭上保障資料的標準化生產,節約後續資料應用和處理的成本。
支援的資料標準
DataWorks支援的資料標準包含欄位標準、標準代碼、度量單位、命名詞典。
欄位標準
欄位標準用於正常化定義欄位的名稱、資料類型、取值範圍等資訊。通過對含義相同的欄位進行統一的標準化,可以避免由於名稱或類型多樣化而導致的混淆。例如,通過建立好欄位標準member_id並在相應表中關聯此標準,可確保所有會員ID欄位的標準統一。
表名 | 原始欄位 | 問題 | 標準化後欄位 |
註冊表 | user_id | 命名不一致 | member_id |
登入表 | userid | 無底線,易歧義 |
標準代碼
標準代碼用於定義欄位的取值範圍。在標準代碼中,可以設定某一欄位的可選資料內容及其範圍。例如,性別欄位取值只有“男”、“女”和“未知”。
度量單位
度量單位用於業務所涉及度量單位,包含貨幣單位、對象量詞、時間單位等。例如,商品數量的度量單位為件。
命名詞典
命名詞典提供業務名詞、物理表、欄位的詞根和詞素及其標準化翻譯功能,可理解成您的企業級命名規範庫。例如,衡量公司年度收入的標準叫法為年度總營業額。
資料標準關係圖
此處關聯指的是,將資料標準和邏輯模型中的具體欄位聯絡在一起,具體欄位將會遵守標準所制定的規範。
進入資料標準
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的,在下拉框中選擇對應工作空間後單擊進入資料建模。
在智能資料建模頁面的頂部功能表列,單擊資料標準,進入資料標準頁面。
資料標準:欄位標準
欄位標準是對欄位的標準定義,包括欄位命名、資料類型、取值範圍等內容的規範定義。欄位標準可將多個表中含義相同但欄位名不同的內容進行關聯,後期欄位標準發生變化時,可快速定位和變更關聯的表。
層級關係說明
欄位標準在建立時需要放在根目錄、目錄或標準集下方,相關說明如下。
根目錄:目錄中最頂級的目錄,所有的目錄、標準集、標準只能放置在根目錄下。
目錄:用於存放標準和標準集,類似作業系統的檔案夾目錄。
標準集:和目錄類似,但標準集內只能存放標準。
欄位標準之間可存在繼承關係,如買家ID標準和賣家ID標準均可繼承於會員ID標準。
定義欄位標準
當您需要錄入大量欄位標準時,可使用大量匯入方式快捷操作。
在資料標準頁面左側導覽列,單擊欄位標準,進入欄位標準頁面。
在左側分類樹,按右鍵目標目錄或標準集,選擇建立標準。
您可按需建立目錄或標準集組織您的欄位標準。
在彈出的建立標準對話方塊中,關鍵參數如下。
參數項
參數描述
英文縮寫
當您關聯邏輯模型的欄位之後,將是關聯欄位的欄位名稱。
中文名稱
當您關聯邏輯模型的欄位之後,將是關聯欄位的欄位顯示名稱。
長度
資料類型關聯參數。
例如,選擇DECIMAL類型,則長度對應DECIMAL(20,4)中的20。
精度
資料類型關聯參數。
例如,選擇DECIMAL類型,則長度對應DECIMAL(20,4)中的4。
非空
引用該標準的欄位值是否可以為空白。預設為空白。
預設值
引用該標準的欄位值未填寫時的預設值。最大長度不可超過2048個字元。
父級標準
可選擇已建立的標準作為父級標準,選擇後與該標準產生繼承關係,協助您更好地識別欄位的關聯關係。
例如,買家ID和賣家ID均屬於會員ID,則買家ID標準和賣家ID標準的父級標準就是會員ID標準。
引用代碼
您可從已建立的標準代碼中,引用指資料標準:標準代碼來限制欄位的取值範圍。
重要當您需要刪除欄位標準時,需先刪除對應的參考關聯性。
使用欄位標準
您可使用欄位標準定義邏輯模型具體欄位,支援貼源表、維度資料表、明細表、匯總表、應用表。例如,在會員資訊維度資料表dim_ec_con_member_df中的會員ID欄位關聯欄位標準member_id。此時,您的欄位名稱將取自該欄位標準的英文縮寫,欄位顯示名稱將取自該欄位標準的中文名稱,類型和非空屬性也將直接繼承。具體操作可參見設定維度資料表欄位資訊。

資料標準:標準代碼
標準代碼用於定義欄位的取值範圍。在標準代碼中,可以設定某一欄位的可選資料內容及其範圍。
定義標準代碼
當您需要錄入大量標準代碼時,可使用大量匯入方式快捷操作。
在資料標準頁面的左側導覽列,單擊標準代碼,進入標準代碼頁面。
按右鍵已建立的目錄名稱,單擊建立標準代碼。
您可按需建立目錄組織您的標準代碼。
在彈出的建立標準代碼對話方塊,配置如下參數並添加枚舉值。
例如,代碼編號為gender,代碼名稱為性別, 英文名稱為gender。枚舉值如下。
編碼取值
編碼名稱
英文名稱
編碼含義
0
未知
unknown
未知性別
1
男
male
男性
2
女
female
女性
重要當您需要刪除標準代碼時,需先刪除對應的參考關聯性。
發布標準代碼
您可在標準代碼詳情頁的右上方單擊發布,即可將標準代碼物理化發布成物理表或者物化視圖。
使用標準代碼
您可使用標準代碼定義邏輯模型具體欄位,支援貼源表、維度資料表、明細表。例如,在會員資訊維度資料表dim_ec_con_member_df中的gender欄位關聯標準代碼gender。此時,您的欄位名稱將取自該標準代碼的代碼編號,欄位顯示名稱將取自該欄位標準的代碼名稱。具體操作可參見設定維度資料表欄位資訊。

若同一個欄位存在多張表卻呈現不同欄位名稱時,關聯標準代碼可直接將欄位修正統一。
表名 | 原始欄位 | 原始枚舉值 | 標準化後欄位 | 標準化後枚舉值 |
會員資訊表 | sex | 1、2 | gender | 0、1、2 |
會員登入表 | gender | 0、1、2 |
基於標準代碼落標
當邏輯模型明細表、維度資料表發布成物理表時,表中關聯標準代碼的具體欄位可產生品質規則。基於該品質規則建立品質監控,即可對物理表實現標準的監控和落地。具體操作,請參見資料落標。
資料標準:度量單位
度量單位提供業務所涉及度量單位,包含貨幣單位、對象量詞、時間單位等。
定義度量單位
當您需要錄入大量度量單位時,可使用大量匯入方式快捷操作。
在資料標準頁面的左側導覽列,單擊度量單位,進入度量單位頁面。
在度量單位頁面,按右鍵目標度量類別,選擇建立度量單位。
在彈出的建立度量單位對話方塊中,配置參數後完成即可。
例如,英文縮寫為m,英文名稱為meter,中文名稱為米。
使用度量單位
關聯邏輯模型
您可使用度量單位定義邏輯模型具體欄位的度量單位,支援明細表、匯總表、應用表。例如,在訂單建立明細事實表dwd_trade_order中的商品件數欄位關聯度量單位件。具體操作可參見設定明細表欄位資訊。

關聯原子指標
定義原子指標值,可基於原子指標的統計資料類型,選擇合適的度量單位。
資料標準:命名詞典
命名詞典提供業務名詞、物理表、欄位的詞根和詞素及其標準化翻譯功能,可理解成您的企業級命名規範庫。
定義命名詞典
當您需要錄入大量命名詞典時,可使用大量匯入方式快捷操作。
在資料標準頁面的左側導覽列,單擊命名詞典,進入命名詞典頁面。
單擊建立,在建立命名詞典對話方塊配置參數,完成參數配置後單擊確定。
例如,中文名稱為發動機,英文名稱為engine,英文縮寫為eng.。
使用命名詞典
您可將命名詞典用於數倉分層中檢查表名的規範性,支援貼源表、維度資料表、明細表、匯總表、應用表。例如,若不存在英文縮寫為trade的命名詞典,那麼dwd_trade_order將不符合詳細資料表DWD層的表命名規範。


更多操作
大量匯入資料標準
如您有大量資料標準待建立,則可選擇大量匯入。DataWorks為您提供了匯入模板,您可按照模板表格填寫好後大量匯入。
在資料標準頁面的左側導覽列,單擊命名詞典,進入命名詞典頁面。
欄位標準和標準代碼詳情頁也單獨提供匯入匯出按鈕。
單擊匯入,跳轉至匯入專用頁面,並選擇匯入類型。
在模版預覽處單擊下載模版,按照模版填寫好相應欄位。
單擊下一步,在資料匯入頁簽上傳並預覽資料檔案。
說明匯入模式:當DataWorks中已存在匯入檔案的同名對象,則匯入時可選擇跳過該對象,或使用此次匯入的檔案內容覆蓋該對象。
大量匯入僅支援匯入
.xlsx格式檔案,每次最多可匯入30000條資料,並且檔案大小不超過10MB。
在完成頁簽,您可查看匯入結果詳情。單擊詳情列表後的更多詳情,即可跳轉至編輯介面,執行更多相關操作。當匯入狀態為失敗時,您需根據報錯詳情處理異常並重新匯入。
大量匯出資料標準
當您需要跨工作空間複用時,可使用匯出功能大量匯出資料標準。您可在欄位標準、標準代碼或命名詞典詳情頁找到匯出按鈕,直接點擊即可。