Hologres單表即時同步至Doris - DataWorks

單表即時同步任務根據來源的Hologres表結構在目標Doris資料來源中建立目標表，並寫入來源表的資料。本文為您介紹如何將Hologres單表資料即時ETL至Doris任務。

使用限制

Hologres版本必須在2.1以上。
不支援Hologres分區表的增量同步處理。
不支援Hologres表DDL變更訊息同步。
Hologres增量同步處理支援的資料類型包括以下類型：
INTEGER、BIGINT、TEXT、CHAR(n)、VARCHAR(n)、REAL、JSON、SERIAL、OID、INT4[]、INT8[]、FLOAT8[]、BOOLEAN[]、TEXT[]。

進入Data Integration頁面。
登入DataWorks控制台，切換至目標地區後，單擊左側導覽列的Data Integration > Data Integration，在下拉框中選擇對應工作空間後單擊進入Data Integration。
在左側導覽列單擊同步任務，然後在頁面頂部單擊建立同步任務，進入同步任務的建立頁面，配置如下基本資料。
- 資料來源和去向：Hologres→Doris
- 新任務名稱：自訂同步任務名稱。
- 同步類型：單表即時。
- 同步步驟：選擇全量同步。

在頁面上方單擊資料來源Hologres，編輯Holo來源資訊。

在Holo來源資訊地區，選擇要讀取的Hologres表所在的Schema，以及來源表。
單擊右上方的資料採樣。
在資料輸出預覽對話方塊中指定好採樣條數，單擊開始採集按鈕，可以對指定的Hologres進行資料採樣，預覽Hologres中的資料，為後續可視化配置提供輸入。

在頁面上方單擊資料去向Doris，編輯Doris去向資訊。

在Doris去向資訊地區，選擇要寫入的Doris表所在的資料庫，以及目標表是自動建表還是使用已有表。
- 如果是自動建表，預設會建立與資料來源端相同的表名，您可以手動修改目標端表名。
- 如果是使用已有表，請下拉選擇需要同步的目標表。
（可選）編輯表結構。
當選擇自動建表時，您需要單擊編輯表結構按鈕，在彈框中編輯目標表結構。同時，支援您單擊根據上遊節點輸出資料行重建表結構按鈕，自動根據上遊節點輸出資料行，產生表結構。您可以在自動產生的表結構中選擇一列配置為主鍵和分桶列。
說明
目標表必須有主鍵和分桶列，否則無法儲存配置。
設定上遊流入動態欄位處理策略。
當上遊欄位在Doris中沒有對應欄位時，支援忽略、報錯和重放。
配置欄位對應。
系統會自動按照同名映射原則產生上遊列與目標表列之間的映射，您可根據需要進行調整，支援一個上遊列映射到多個目標表列，不允許多個上遊列映射到一個目標表列，當上遊列未配置到目標表列的映射時，對應列不會寫入目標表。

為避免任務出錯導致業務資料同步延遲，您可以對同步任務設定警示策略。

單擊頁面右上方的警示配置，進入即時子任務警示設定頁面。
單擊新增警示，配置警示規則。
說明
此處定義的警示規則，將對該任務產生的即時同步子任務生效，您可在任務配置完成後，進入即時同步任務運行與管理介面查看並修改該即時同步子任務的監控警示規則。
管理警示規則。
對於已建立的警示規則，您可以通過警示開關控制警示規則是否開啟，同時，您可以根據警示層級將警示發送給不同的人員。

同步任務提供部分參數可供修改，您可以按需對該參數值進行修改。

說明

請在完全瞭解對應參數含義的情況下再進行修改，以免產生不可預料的錯誤或者資料品質問題。

您可以單擊介面右上方的資源群組配置，查看並切換當前的任務所使用的資源群組。

建立完成同步任務後，您可以在同步任務頁面查看當前已建立的同步工作清單及各個同步任務的基本資料。

Hologres到Doris的單表即時同步任務分為三個步驟：

在某些特殊情況下，如果需要修改同步欄位、調整目標表欄位或表名資訊時，您還可以單擊同步任務操作列的重跑，系統會將調整的欄位、變更的目標包等資訊進行同步，之前同步過未修改的表將不會再進行同步。

不修改任務配置，直接單擊重跑操作，重新運行一次同步任務。
編輯任務，進行修改操作後，單擊完成配置。此時任務的操作會變成應用程式更新，單擊應用程式更新會直接觸發修改後的任務重跑。即時同步任務會按照新的配置運行。