資料對比節點 - DataWorks

DataWorks的資料對比節點可實現對不同表之間的資料進行多種方式的對比，並可在工作流程中使用。本文為您介紹使用資料對比節點進行任務開發的主要流程。

節點介紹

資料對比節點不僅僅用於Data Integration，還支援表與表之間的對比。同時，它還支援自訂對比範圍以及自訂對比的指標，從而實現更多方面的資料對比。

使用限制

僅支援Serverless資源群組，使用Serverless資源群組可參見：新增和使用Serverless資源群組。

一、建立資料對比節點

1. 進入DataWorks工作空間列表頁，在頂部切換至目標地區，找到目標工作空間，單擊操作列的快速進入 > Data Studio，進入Data Studio。
在左側導覽列單擊，進入資料開發，在專案目錄右側單擊，選擇建立節點 > 資料品質 > 資料對比，根據介面指引，輸入節點的路徑、名稱資訊，完成節點建立。

二、配置資料對比節點

1. 配置對比表資訊

資料對比節點只需通過簡單配置對比表資訊，即可對不同資料來源的表資料進行對比，配置詳情如下：

參數	說明
資源群組	下拉選擇已有資源群組。
任務資源佔用	調整資料對比節點啟動並執行資源佔用量。
資料來源類型	選擇需要進行對比的來源表和目標表的資料來源類型。
資料來源名稱	選擇需要進行對比的來源表和目標表的資料來源。
連通性	配置完成後，單擊測試查看資料來源是否與資源群組連通。
表名	下拉選擇需要對比的來源表和目標表。
Where篩選	對需要進行對比的來源表和目標表進行過濾。說明配置時無需填寫`WHERE`關鍵字。當對比分區表時，建議指定分區後再執行，否則將會報錯`Semantic analysis exception - physical plan generation failed: Table(<MaxCompute專案名>,<表名>) is full scan with all partitions, please specify partition predicates`。
切分鍵	為來源表配置切分鍵，以將資料表中某一列作為切分鍵，建議使用主鍵或有索引的列作為切分鍵。

2. 配置對比規則

對比規則可以進行指標對比或全文對比，從而實現對資料的來源與目標按照不同的對比規則進行對比。

指標對比

表層級對比：
錶行數對比：指標對比支援表層級的對比，可以對錶行數進行對比。當對比結果差異率小於差異閾值時，視為成功。
說明
誤差閾值支援百分比、絕對值以及是否一致的判斷方式。

欄位層級對比：

欄位層級對比，預設選擇同名欄位對比，若來源表與目標表的欄位名不同時，可通過單擊添加對比欄位按鈕，手動選擇來源欄位和目標欄位形成欄位間的對比。

來源欄位：選擇需要對比的來源表欄位。
目標欄位：選擇需要對比的目標表欄位。
對比指標：對比指標包括MAX、AVG、MIN以及SUM四種常見指標的對比。
- 一對來源表欄位和目標表欄位可配置多個對比指標。
- 多個對比指標可配置的誤差閾值與忽略情況均可不同。
誤差閾值：來源表與目標表對比時產生的差異率將與配置的差異率進行比較，若對比結果差異率小於差異閾值時，視為成功，可以按照百分比、絕對值以及是否一致三種閾值進行比較。
說明
- 誤差閾值絕對值 = |來源表指標值-目標表指標值|
- 誤差閾值百分比= （|來源表指標值-目標表指標值|）/ 來源表指標值 x 100%

忽略：對比的欄位類型不同，支援的忽略配置不同：

對比的欄位類型	支援忽略項
欄位類型為整型（如`INT`、`BIGINT`等）	可以忽略空值與0值差異。
欄位類型為字串型（如`STRING`、`VARCHAR`、`TEXT`等）	可以忽略空值與空串的差異。
欄位類型為數值型（包括整型、浮點型）	可設定對比的浮點精度。可以忽略空值與0值差異。可以忽略小數部分末尾的0。
整型與字串型做對比	可以忽略小數部分末尾的0。
整型與浮點型做對比	可以忽略小數部分末尾的0。可以忽略空值與0值差異。
浮點型與字串行做對比	可以忽略小數部分末尾的0。

操作：可對多餘的對比欄位或無需對比的欄位從欄位對比中刪除。

自訂對比：
可通過添加自訂SQL對比指標，對來源表和目標表進行對比。具體操作如下：
1. 單擊添加自訂SQL對比指標按鈕，添加需要的對比的指標，指標名稱可手動修改進行重新命名。
2. 按需求對誤差閾值進行調整，支援配置百分比、絕對值以及是否一致。
3. 配置完成誤差閾值後，可單擊自訂SQL列的配置，對來源端和目標端的表進行SQL配置，以自訂計算指標。
4. 配置完成後，單擊確定，即可完成自訂對比的配置。

全文對比

在將對比方式配置成全文對比時，可通過調整全文對比方式，來實現不同效果的對比。
- 目標資料包含來來源資料：只要來源的每行資料都在目標內即認為對比成功，此時目標內資料可能多於來源。
- 逐行對比：逐行比較來源和去向行數以及內容的差異。
  配置逐行對比時，需配置相應的誤差閾值，支援配置百分比、絕對值以及是否一致。
  說明
  - 誤差閾值絕對值 = |來源表指標值-目標表指標值|
  - 誤差閾值百分比= （|來源表指標值-目標表指標值|）/ 來源表指標值 x 100%

完成全文對比方式配置後，即可對需要對比的欄位進行選擇配置，此處會預設將同名欄位進行對比，若需對不同名欄位進行比較，則需手動單擊添加對比欄位，並選擇來源欄位與目標欄位，可參考以下內容

來源欄位：選擇需要對比的來源表欄位。
目標欄位：選擇需要對比的目標表欄位。
對比主鍵：全文對比時需要基於主鍵來對比其餘內容是否相同。

忽略：對比的欄位類型不同，支援的忽略配置不同：

對比的欄位類型	支援忽略項
欄位類型為整型（如`INT`、`BIGINT`等）	可以忽略空值與0值差異。
欄位類型為字串型（如`STRING`、`VARCHAR`、`TEXT`等）	可以忽略空值與空串的差異。
欄位類型為數值型（包括整型、浮點型）	可設定對比的浮點精度。可以忽略空值與0值差異。可以忽略小數部分末尾的0。
整型與字串型做對比	可以忽略小數部分末尾的0。
整型與浮點型做對比	可以忽略小數部分末尾的0。可以忽略空值與0值差異。
浮點型與字串行做對比	可以忽略小數部分末尾的0。

操作：可對多餘的對比欄位或無需對比的欄位從欄位對比中刪除。

全文對比的結果需進行儲存，以便在對比結束後查看具體資料比對詳情，可通過配置相應資料來源來儲存全文對比的結果。
- 資料來源類型：僅支援MaxCompute資料來源。
- 資料來源名稱：下拉選擇該工作空間內綁定的MaxCompute資料來源。
- 連通性：需保證選中的MaxCompute資料來源與配置對比表資訊時的資源群組連通性正常。
- 儲存表：單擊產生儲存表，產生一張data_comparison_xxxxxx樣式的儲存表。
- Tunnel Quota：下拉選擇MaxCompute的資料轉送資源，具體請購買與使用獨享Data Transmission Service資源群組。

3. 調度配置

完成規則配置後，即可在頁面右側，單擊調度配置，對資料對比節點進行調度配置，配置詳情可參見：節點調度配置。

三、發布與營運

1. 發布資料對比節點

節點任務配置完成後，需執行提交發佈動作，提交發布後節點將根據調度配置內容進行周期性運行。

單擊頂部工具列中的表徵圖，儲存節點。
單擊頂部工具列中的表徵圖，發布節點。

發布節點的詳細操作，請參見節點/工作流程發布。

2. 營運資料對比節點

資料對比節點發布成功後，可在營運中心內對該節點進行營運操作，詳情可參見：營運中心。

3. 查看資料校正報告

資料校正報告可在任務作業記錄中查看，可通過以下方式進行查看：

營運中心查看：
1. 單擊頁面左上方按鈕，選擇全部產品 > 資料開發與營運 > 營運中心（工作流程）進入營運中心。
2. 在營運中心左側導覽列單擊進入周期任務營運 > 周期執行個體查看資料對比節點產生執行個體，單擊操作列的更多，選擇查看作業記錄。
3. 在日誌頁面單擊資料對比頁簽即可查看。
作業記錄查看：
若僅在資料開發頁面對資料對比節點運行，可在資料開發頁面單擊下圖連結，將跳轉至資料校正報告頁面。