Data Lake Formation輸出組件用於向Data Lake Formation資料來源寫入資料。同步其他資料來源的資料至Data Lake Formation資料來源的情境中,完成來源資料的資訊配置後,需要配置Data Lake Formation輸出組件的目標資料來源。本文為您介紹如何配置Data Lake Formation輸出組件。
前提條件
已建立Data Lake Formation資料來源。更多資訊,請參見建立Data Lake Formation資料來源。
進行Data Lake Formation輸出組件屬性配置的帳號,需具備該資料來源的同步寫入權限。如果沒有許可權,則需要申請資料來源許可權,更多資訊,請參見申請、續期和交還資料來源許可權。
操作步驟
在Dataphin首頁頂部功能表列,選擇研發 > Data Integration。
在整合頁面頂部功能表列選擇專案(Dev-Prod模式需要選擇環境)。
在左側導覽列中單擊離線整合,在離線整合列表中單擊需要開發的離線管道,開啟該離線管道的配置頁面。
單擊頁面右上方的組件庫,開啟組件庫面板。
在組件庫面板左側導覽列中需選擇輸出,在右側的輸出組件列表中找到Data Lake Formation組件,並拖動該組件至畫布。
單擊並拖動目標上遊組件的
表徵圖,將其串連至當前Data Lake Formation輸出組件上。單擊Data Lake Formation輸出組件卡片中的
表徵圖,開啟Data Lake Formation輸出配置對話方塊。
在Data Lake Formation輸出配置對話方塊中,配置以下參數。
參數
描述
基本設定
步驟名稱
即Data Lake Formation輸出組件的名稱。Dataphin自動產生步驟名稱,您也可以根據業務情境修改。命名規則如下:
只能包含中文、字母、底線(_)、數字。
長度不超過64個字元。
資料來源
在資料來源下拉式清單中,展示所有Data Lake Formation類型的資料來源,包括您已擁有同步寫入權限的資料來源和沒有同步寫入權限的資料來源。單擊
表徵圖,可複製當前資料來源名稱。對於沒有同步寫入權限的資料來源,您可以單擊資料來源後的申請,申請資料來源的同步寫入權限。具體操作,請參見申請資料來源許可權。
如果您還沒有Data Lake Formation類型的資料來源,單擊
建立表徵圖,建立資料來源。具體操作,請參見建立Data Lake Formation資料來源。
表
選擇輸出資料的目標表。 可輸入表名關鍵字進行搜尋,或輸入準確表名後單擊精準尋找。選擇表後,系統將自動進行表狀態檢測。單擊
表徵圖,可複製當前所選表的表名稱。分區
如果所選的目標表為分區表,則需填寫分區資訊,例如
state_date=’20190101’,同時,支援使用參數填寫,以便每天增量寫入資料,例如state_date=${bizdate}。載入策略
選擇資料寫入目標表的策略。載入策略包括:
追加資料:直接向目標表或分區追寫資料。
覆蓋資料:將資料覆蓋寫入目標表或分區。
欄位對應
輸入欄位
根據上遊的輸出,為您展示輸入欄位。
輸出欄位
為您展示輸出欄位。支援進行以下操作:
欄位管理:單擊欄位管理選擇輸出欄位。

單擊
表徵圖,將已選的輸入欄位移入未選的輸入欄位。單擊
表徵圖,將未選的輸入欄位移入已選的輸入欄位。
大量新增:單擊大量新增,支援JSON、TEXT格式、DDL格式大量設定。
以JSON格式大量設定,例如:
// 樣本: [{ "name": "user_id", "type": "String" }, { "name": "user_name", "type": "String" }]說明name表示引入的欄位名稱,type表示引入後的欄位類型。例如,
"name":"user_id","type":"String"表示把欄位名為user_id的欄位引入,設定欄位類型為String。以TEXT格式大量設定,例如:
// 樣本: user_id,String user_name,String行分隔字元用於分隔每個欄位的資訊,預設為分行符號(\n),可支援分行符號(\n)、半形分號(;)、半形句號(.)。
資料行分隔符號用於分隔欄位名與欄位類型,預設為半形逗號(,)。
以DDL格式大量設定,例如:
CREATE TABLE tablename ( id INT PRIMARY KEY, name VARCHAR(50), age INT );
建立輸出欄位:單擊+建立輸出欄位,根據頁面提示填寫欄位並選擇類型。當前行完成配置後,單擊
表徵圖儲存。
映射關係
根據上遊的輸入和目標表的欄位,可以手動選擇欄位對應。快速映射包括同行映射和同名映射。
同名映射:對欄位名稱相同的欄位進行映射。
同行映射:源表和目標表的欄位名稱不一致,但欄位對應行的資料需要映射。只映射同行的欄位。
單擊確認,完成Data Lake Formation輸出組件的屬性配置。