資料對比節點 - DataWorks

節點介紹

資料對比節點不僅僅用於Data Integration，還支援表與表之間的對比。同時，它還支援自訂對比範圍以及自訂對比的指標，從而實現更多方面的資料對比。

使用限制

僅支援Serverless資源群組，使用Serverless資源群組可參見：使用Serverless資源群組。

一、建立資料對比節點

1. 進入DataWorks工作空間列表頁，在頂部切換至目標地區，找到目標工作空間，單擊操作列的快速進入> Data Studio，進入Data Studio。
在左側導覽列單擊，進入資料開發，在專案目錄右側單擊，選擇新建节点 > 數據質量 > 數據對比，根據介面指引，輸入節點的路徑、名稱資訊，完成節點建立。

二、配置資料對比節點

1. 配置對比表資訊

資料對比節點只需通過簡單配置對比表資訊，即可對不同資料來源的表資料進行對比，配置詳情如下：

參數	說明
資源組	下拉選擇已有資源群組。
任務資源占用	調整資料對比節點啟動並執行資源佔用量。
數據源類型	選擇需要進行對比的來源表和目標表的資料來源類型。
數據源名稱	選擇需要進行對比的來源表和目標表的資料來源。
连通性	配置完成後，單擊測試查看資料來源是否與資源群組連通。
錶名	下拉選擇需要對比的來源表和目標表。說明 MaxCompute資料來源支援選擇Schema。
Where篩選	對需要進行對比的來源表和目標表進行過濾。說明配置時無需填寫`WHERE`關鍵字。當對比分區表時，建議指定分區後再執行，否則將會報錯`Semantic analysis exception - physical plan generation failed: Table(<MaxCompute專案名>,<表名>) is full scan with all partitions, please specify partition predicates`。
切分鍵	為來源表配置切分鍵，以將資料表中某一列作為切分鍵，建議使用主鍵或有索引的列作為切分鍵。

2. 配置對比規則

對比規則可以進行指標對比或全文對比，從而實現對資料的來源與目標按照不同的對比規則進行對比。

指標對比

錶級別對比：

錶行數對比：指標對比支援表層級的對比，可以對錶行數進行對比。當對比結果差異率小於差異閾值時，視為成功。

說明
誤差閾值支援百分比、絕對值以及是否一致的判斷方式。

字段級別對比：

欄位層級對比，預設選擇同名欄位對比，若來源表與目標表的欄位名不同時，可通過單擊添加對比字段按鈕，手動選擇來源欄位和目標欄位形成欄位間的對比。

來源字段：選擇需要對比的來源表欄位。
目標字段：選擇需要對比的目標表欄位。
對比指標：對比指標包括MAX、AVG、MIN以及SUM四種常見指標的對比。
- 一對來源表欄位和目標表欄位可配置多個對比指標。
- 多個對比指標可配置的誤差閾值與忽略情況均可不同。
誤差閾值：來源表與目標表對比時產生的差異率將與配置的差異率進行比較，若對比結果差異率小於差異閾值時，視為成功，可以按照百分比、絕對值以及是否一致三種閾值進行比較。
說明
- 誤差閾值絕對值 = |來源表指標值-目標表指標值|
- 誤差閾值百分比= （|來源表指標值-目標表指標值|）/ 來源表指標值 x 100%

忽略：對比的欄位類型不同，支援的忽略配置不同：

對比的欄位類型	支援忽略項
欄位類型為整型（如`INT`、`BIGINT`等）	可以忽略空值與0值差異。
欄位類型為字串型（如`STRING`、`VARCHAR`、`TEXT`等）	可以忽略空值與空串的差異。
欄位類型為數值型（包括整型、浮點型）	可設定對比的浮點精度。可以忽略空值與0值差異。可以忽略小數部分末尾的0。
整型與字串型做對比	可以忽略小數部分末尾的0。
整型與浮點型做對比	可以忽略小數部分末尾的0。可以忽略空值與0值差異。
浮點型與字串行做對比	可以忽略小數部分末尾的0。

操作：可對多餘的對比欄位或無需對比的欄位從欄位對比中刪除。

自定義對比：

可通過添加自訂SQL對比指標，對來源表和目標表進行對比。具體操作如下：
1. 單擊添加自定義SQL對比指標按鈕，添加需要的對比的指標，指標名稱可手動修改進行重新命名。
  
  添加後，表格中展示各指標的誤差閾值（可選擇百分比或數值並設定具體值）、自訂SQL（單擊配置進行編寫）及刪除操作。
2. 按需求對誤差閾值進行調整，支援配置百分比、絕對值以及是否一致。
3. 配置完成誤差閾值後，可單擊自訂SQL列的配置，對來源端和目標端的表進行SQL配置，以自訂計算指標。
4. 配置完成後，單擊确定，即可完成自訂對比的配置。

全文對比

在將對比方式配置成全文對比時，可通過調整全文對比方式，來實現不同效果的對比。
- 目標數據包含來源數據：只要來源的每行資料都在目標內即認為對比成功，此時目標內資料可能多於來源。
- 逐行對比：逐行比較來源和去向行數以及內容的差異。
  
  配置逐行對比時，需配置相應的誤差閾值，支援配置百分比、絕對值以及是否一致。
  說明
  - 誤差閾值絕對值 = |來源表指標值-目標表指標值|
  - 誤差閾值百分比= （|來源表指標值-目標表指標值|）/ 來源表指標值 x 100%

完成全文對比方式配置後，即可對需要對比的欄位進行選擇配置，此處會預設將同名欄位進行對比，若需對不同名欄位進行比較，則需手動單擊添加對比欄位，並選擇來源欄位與目標欄位，可參考以下內容

來源字段：選擇需要對比的來源表欄位。
目標字段：選擇需要對比的目標表欄位。
對比主鍵：全文對比時需要基於主鍵來對比其餘內容是否相同。

忽略：對比的欄位類型不同，支援的忽略配置不同：

對比的欄位類型	支援忽略項
欄位類型為整型（如`INT`、`BIGINT`等）	可以忽略空值與0值差異。
欄位類型為字串型（如`STRING`、`VARCHAR`、`TEXT`等）	可以忽略空值與空串的差異。
欄位類型為數值型（包括整型、浮點型）	可設定對比的浮點精度。可以忽略空值與0值差異。可以忽略小數部分末尾的0。
整型與字串型做對比	可以忽略小數部分末尾的0。
整型與浮點型做對比	可以忽略小數部分末尾的0。可以忽略空值與0值差異。
浮點型與字串行做對比	可以忽略小數部分末尾的0。

操作：可對多餘的對比欄位或無需對比的欄位從欄位對比中刪除。

全文對比的結果需進行儲存，以便在對比結束後查看具體資料比對詳情，可通過配置相應資料來源來儲存全文對比的結果。
- 數據源類型：僅支援MaxCompute資料來源。
- 數據源名稱：下拉選擇該工作空間內綁定的MaxCompute資料來源。
- 连通性：需保證選中的MaxCompute資料來源與配置對比表資訊時的資源群組連通性正常。
- 存儲表：單擊生成存儲表，產生一張data_comparison_xxxxxx樣式的儲存表。
- Tunnel Quota：下拉選擇MaxCompute的資料轉送資源，具體請參見購買與使用獨享Data Transmission Service資源群組。

3. 調度配置

完成規則配置後，即可在頁面右側，單擊調度配置，對資料對比節點進行調度配置，配置詳情可參見：節點調度配置。

三、發布與營運

1. 發布資料對比節點

節點任務配置完成後，需執行提交發佈動作，提交發布後節點將根據調度配置內容進行周期性運行。

單擊頂部工具列中的表徵圖，儲存節點。
單擊頂部工具列中的表徵圖，發布節點。

發布節點的詳細操作，請參見節點/工作流程發布。

2. 營運資料對比節點

資料對比節點發布成功後，可在營運中心內對該節點進行營運操作，詳情可參見：營運中心。

3. 查看資料校正報告

資料校正報告可在任務作業記錄中查看，可通過以下方式進行查看：

營運中心查看：
1. 單擊頁面左上方按鈕，選擇全部產品 > 數據開發與營運 > 运维中心（工作流）進入營運中心。
2. 在營運中心左側導覽列單擊進入周期任务运维 > 周期实例查看資料對比節點產生執行個體，單擊操作列的更多，選擇查看運行日誌。
3. 在日誌頁面單擊數據對比頁簽即可查看。

作業記錄查看：

若僅在資料開發頁面對資料對比節點運行，可在資料開發頁面單擊下方日誌中的連結，將跳轉至資料校正報告頁面。

運行成功
Click url below to view more details: https://dqc-cn-shanghai.data.aliyun.com/?defaultProjectId=814397&instanceId=1748247966625d1dfc93063c04f38a6549986
2196c455#/job/consistency-result-check/detail
2025-05-26 16:27:14 INFO ========================================================================
2025-05-26 16:27:14 INFO Exit code of the Shell command 0
2025-05-26 16:27:14 INFO --- Invocation of Shell command completed ---
2025-05-26 16:27:14 INFO Shell run successfully!
2025-05-26 16:27:14 INFO Current task status: FINISH
2025-05-26 16:27:14 INFO Cost time is: 70.195s
/home/admin/alisatasknode/taskinfo//20250526/executor/16/25/45/scn55otppszv9757kmhjsjbw/T3_6915242209.log-END-EOF