全部產品
Search
文件中心

DataWorks:Oracle單表即時同步至Tablestore

更新時間:Jun 24, 2025

本文以Oracle單表即時同步至Table StoreTablestore情境為例,為您介紹如何通過Data Integration將Oracle的某張表資料即時同步到Tablestore。

前提條件

操作步驟

一、選擇同步任務類型

  1. 進入Data Integration頁面。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的Data Integration > Data Integration,在下拉框中選擇對應工作空間後單擊進入Data Integration

  2. 在左側導覽列單擊同步任務,然後在頁面頂部單擊建立同步任務,進入同步任務的建立頁面,配置如下基本資料。

    • 資料來源和去向OracleTablestore

    • 新任務名稱:自訂同步任務名稱。

    • 同步類型單表即時

二、網路與資源配置

  1. 網路與資源配置地區,選擇同步任務所使用的資源群組。您可以為該任務分配任務資源佔用CU數。

  2. 來來源資料源選擇已添加的Oracle資料來源,去向資料來源選擇已添加的Tablestore資料來源後,單擊測試連通性image

  3. 確保來來源資料源與去向資料來源均連通成功後,單擊下一步

三、配置同步鏈路

1、配置Oracle來源

在頁面上方單擊資料來源Oracle,編輯Oracle來源資訊

image

  1. Oracle來源資訊地區,選擇要讀取的Oracle表所在的Schema,以及來源表。

  2. 單擊右上方的資料採樣

    資料輸出預覽對話方塊中指定好採樣條數,單擊開始採集按鈕,可以對指定的Oracle表進行資料採樣,預覽Oracle表中的資料,為後續可視化配置提供輸入。

2、編輯資料處理節點

單擊image表徵圖可以增加資料處理方式。目前提供5種資料處理方式(資料脫敏字串替換資料過濾JSON解析欄位編輯與賦值),您可根據需要做順序編排,在任務運行時會按照編排的資料處理先後順序執行資料處理。

image

每完成一個資料處理節點配置,可以單擊右上方的資料輸出預覽按鈕,在彈出對話方塊中,單擊重新擷取上遊輸出,類比得到Oracle表採樣資料經過當前資料處理節點處理後的結果。

image

說明

資料輸出預覽強依賴Oracle來源的資料採樣,在執行資料輸出預覽前需要先在Oracle來源表單中完成資料採樣。

3、配置Tablestore去向資訊

在頁面上方單擊資料去向Tablestore,編輯Tablestore去向資訊

image

  1. Tablestore去向資訊地區,選擇要寫入的Tablestore表。

    說明

    Tablestore表需提前建立。

  2. 選擇資料更新模式。支援兩種資料更新模式:

    • replace:行變更,直接使用更新後的資料覆蓋原有行

    • update:列變更,只針對資料發生變化的列進行更新

  3. 配置欄位對應。

    您可以在欄位對應地區右側,單擊大量新增源端所有欄位為屬性欄位,或在輸出欄位地區手動單擊添加屬性欄位,然後單擊同名映射同行映射清空映射來進行映射配置。

四、警示配置

為避免任務出錯導致業務資料同步延遲,您可以對同步任務設定警示策略。

  1. 單擊頁面右上方的警示配置,進入即時子任務警示設定頁面。

  2. 單擊新增警示,配置警示規則。

    說明

    此處定義的警示規則,將對該任務產生的即時同步子任務生效,您可在任務配置完成後,進入即時同步任務運行與管理介面查看並修改該即時同步子任務的監控警示規則。

  3. 管理警示規則。

    對於已建立的警示規則,您可以通過警示開關控制警示規則是否開啟,同時,您可以根據警示層級將警示發送給不同的人員。

五、進階參數配置

同步任務提供部分參數可供修改,您可以按需對該參數值進行修改。

說明

請在完全瞭解對應參數含義的情況下再進行修改,以免產生不可預料的錯誤或者資料品質問題。

  1. 單擊介面右上方的進階參數配置,進入進階參數配置頁面。

  2. 進階參數配置頁面修改相關參數值。

六、DDL能力配置

來來源資料源會包含許多DDL操作,您可以根據業務需求,在介面右上方單擊DDL能力配置,進入DDL能力配置頁面,對不同的DDL訊息設定同步至目標端的處理策略。

說明

不同DDL訊息處理策略請參見:DDL訊息處理規則

七、資源群組配置

您可以單擊介面右上方的資源群組配置,查看並切換當前的任務所使用的資源群組。

八、類比運行

完成上述所有任務配置後,您可以單擊右上方類比運行,類比整個任務針對少量採樣資料的處理,查看資料寫入目標表後的結果。當任務配置錯誤、類比運行過程中異常或者產生髒資料時,會即時反饋出異常資訊,能夠協助您快速評估任務配置的正確性,以及是否能得到預期結果。

  1. 在彈出的對話方塊中設定採樣參數(開始時間採樣條數)。

  2. 單擊開始採集得到採樣資料。

  3. 單擊預覽按鈕,類比整個任務針對少量採樣資料的處理。

九、執行同步任務

  1. 完成所有配置後,單擊頁面底部的完成配置

  2. Data Integration > 同步任務介面,找到已建立的同步任務,單擊操作列的啟動

  3. 單擊工作清單中對應任務的名稱/ID,查看任務的詳細執行過程。

同步任務營運

查看任務運行狀態

建立完成同步任務後,您可以在同步任務頁面查看當前已建立的同步工作清單及各個同步任務的基本資料。

image

  • 您可以在操作列啟動停止同步任務,在更多中可以對同步任務進行編輯查看等操作。

  • 已啟動的任務您可以在執行概況中看到任務啟動並執行基本情況,也可以單擊對應的概況地區查看執行詳情。

image

Oracle到Tablestore的單表即時同步任務包含即時資料同步,您可以查看運行資訊、DDL記錄和警示資訊。

任務重跑

在某些特殊情況下,如果需要修改同步欄位、調整目標表欄位或表名資訊時,您還可以單擊同步任務操作列的重跑,系統會將調整的欄位、變更的目標包等資訊進行同步,之前同步過未修改的表將不會再進行同步。

  • 不修改任務配置,直接單擊重跑操作,重新運行一次同步任務。

  • 編輯任務,進行修改操作後,單擊完成配置。此時任務的操作會變成應用程式更新,單擊應用程式更新會直接觸發修改後的任務重跑。即時同步任務會按照新的配置運行。