配置ArgoDB輸出組件,可以將外部資料庫中讀取的資料寫入到ArgoDB,或從巨量資料平台對接的儲存系統中將資料複製推送至ArgoDB,進行資料整合和再加工。本文為您介紹如何配置ArgoDB輸出組件。
使用限制
ArgoDB輸出組件支援寫入檔案格式為orc、parquet、text、holedesk的ArgoDB資料表。不支援ORC格式的事務表整合。
前提條件
在開始執行操作前,請確認您已完成以下操作:
已建立ArgoDB資料來源。具體操作,請參見建立ArgoDB資料來源。
進行ArgoDB輸出屬性配置的帳號,需具備該資料來源的同步讀許可權。如果沒有許可權,則需要申請資料來源許可權。具體操作,請參見申請資料來源許可權。
操作步驟
在Dataphin首頁頂部功能表列,選擇研發 > Data Integration。
在整合頁面頂部功能表列選擇專案(Dev-Prod模式需要選擇環境)。
在左側導覽列中單擊離線整合,在離線整合列表中單擊需要開發的離線管道,開啟該離線管道的配置頁面。
單擊頁面右上方的組件庫,開啟組件庫面板。
在組件庫面板左側導覽列中需選擇輸出,在右側的輸出組件列表中找到ArgoDB組件,並拖動該組件至畫布。
單擊並拖動目標上遊組件的
表徵圖,將其串連至當前ArgoDB輸出組件上。單擊ArgoDB輸出組件卡片中的
表徵圖,開啟ArgoDB輸出配置對話方塊。
在ArgoDB輸出配置對話方塊,按照下表配置參數。
參數
描述
基本設定
步驟名稱
即ArgoDB輸出組件的名稱。Dataphin自動產生步驟名稱,您也可以根據業務情境修改。命名規則如下:
只能包含中文、字母、底線(_)、數字。
不能超過64個字元。
資料來源
在資料來源下拉式清單中,展示所有ArgoDB類型的資料來源,包括您已擁有同步寫入權限的資料來源和沒有同步寫入權限的資料來源。單擊
表徵圖,可複製當前資料來源名稱。對於沒有同步寫入權限的資料來源,您可以單擊資料來源後的申請,申請資料來源的同步寫入權限。具體操作,請參見申請、續期和交還資料來源許可權。
如果您還沒有ArgoDB類型的資料來源,單擊建立資料來源,建立資料來源。具體操作,請參見建立ArgoDB資料來源。
表
根據實際情境需求,選擇需要的進行整合的資料表。單擊
表徵圖,可複製當前所選表的表名稱。重要表schema發生變更需要重新設定管道任務。
檔案編碼
根據實際資料情況,選擇編碼格式。支援UTF-8和GBK。
載入策略
覆蓋資料:即以當前來源表為準,覆蓋目標表中的歷史資料。覆蓋資料策略下,當主鍵/約束衝突時,會先刪除原資料,再插入整行新資料。
追加資料:即在目標表的已有的資料基礎上追加資料,且不修改歷史資料。追加資料策略下,當指主鍵/約束衝突時,會提示髒資料錯誤。追加資料策略下不支援合并。
壓縮格式
非必填項,如果檔案有壓縮,請選擇對應的壓縮格式,以便Dataphin進行解壓處理。
欄位分隔符號
使用所設定的字串分隔符號寫入目標資料來源。如未填寫,預設為\u0001。
準備語句
資料匯入前對資料庫執行的SQL指令碼,128個字元以內。
結束語句
資料匯入後對資料庫執行的SQL指令碼,128個字元以內。
欄位對應
輸入欄位
根據上遊組件的輸出,為您展示輸入欄位。
輸出欄位
輸出欄位地區展示了已選中表的所有欄位。如果不需要將某些欄位輸出至下遊組件,則您可以刪除對應的欄位:
如果需要刪除少量的欄位,可以單擊操作列下的
表徵圖,刪除多餘的欄位。如果需要刪除大批量欄位,可以單擊欄位管理,在欄位管理頁面選擇多個欄位後,單擊
表徵圖,將已選的輸入欄位移入到未選的輸入欄位。
映射關係
映射關係用於將源表的輸入欄位和目標表的輸出欄位進行映射。映射關係包括同名映射和同行映射。適用情境說明如下:
同名映射:對欄位名稱相同的欄位進行映射。
同行映射:源表和目標表的欄位名稱不一致,但欄位對應行的資料需要映射。只映射同行的欄位。
單擊確認,完成ArgoDB輸出組件配置。