FTP輸出組件用於向FTP資料來源寫入資料。同步其他資料來源的資料至FTP資料來源的情境中,完成來源資料源的資訊配置後,需要配置FTP輸出組件的目標資料來源。本文為您介紹如何配置FTP輸出組件。
前提條件
操作步驟
在Dataphin首頁頂部功能表列,選擇研發 > Data Integration。
在整合頁面頂部功能表列選擇專案(Dev-Prod模式需要選擇環境)。
在左側導覽列中單擊離線整合,在離線整合列表中單擊需要開發的離線管道,開啟該離線管道的配置頁面。
單擊頁面右上方的組件庫,開啟組件庫面板。
在組件庫面板左側導覽列中需選擇輸出,在右側的輸出組件列表中找到FTP組件,並拖動該組件至畫布。
單擊並拖動目標輸入、轉換或流程組件的
表徵圖,將其串連至當前FTP輸出組件上。單擊FTP輸出組件卡片中的
表徵圖,開啟FTP輸出配置對話方塊。
在FTP輸出配置對話方塊,配置參數。
參數
描述
基礎設定
步驟名稱
即FTP輸出組件的名稱。Dataphin自動產生步驟名稱,您也可以根據業務情境修改。命名規則如下:
只能包含中文、字母、底線(_)、數字。
不能超過64個字元。
資料來源
在資料來源下拉式清單中,展示所有FTP類型的資料來源,包括您已擁有同步寫入權限的資料來源和沒有同步寫入權限的資料來源。
對於沒有同步寫入權限的資料來源,您可以單擊資料來源後的申請,申請資料來源的同步寫入權限。具體操作,請參見申請資料來源許可權。
如果您還沒有FTP類型的資料來源,單擊建立,建立資料來源。具體操作,請參見建立FTP資料來源。
檔案路徑
填寫隱藏檔的路徑。您可以在FTP或者FTP的伺服器上擷取檔案路徑。
檔案類型
選擇將資料轉換成儲存的檔案類型。檔案類型包括Text和CSV。
檔案編碼
選擇檔案儲存體在目標資料來源的編碼方式。檔案編碼包括UTF-8和GBK。
載入策略
向目標資料來源(FTP資料來源)寫入資料時,資料寫入FTP中的策略。載入策略包括覆蓋資料、追加資料和檔案名稱衝突報錯。說明如下:
追加資料:直接向目標目錄新增資料檔案,並使用隨機UUID的尾碼名保證檔案名稱不衝突。
覆蓋資料:寫入前清理目錄下檔案名稱衝突的檔案,再新增資料檔案進行寫入。
檔案名稱衝突報錯:目錄下的檔案名稱存在衝突的檔案,則運行時直接報錯。
寫入檔案個數
支援單個檔案或多個檔案。
單個檔案:將寫入目標端FTP的單個檔案中。
多個檔案:選擇多個檔案,將寫入多個檔案,檔案數量為任務並發數。並在檔案名稱後添加
_1、_2、_3等序列尾碼或UUID隨機尾碼。當任務配置並發數為1時,選擇多個檔案也會有_1尾碼或UUID隨機尾碼。
尾碼格式
寫入檔案個數選擇產生多個檔案時,支援序列尾碼或UUID隨機尾碼。
重要當載入策略選擇為追加資料時,僅能產生UUID隨機數尾碼。
進階設定
行分隔字元(非必填)
填寫行之間分隔字元,支援多字元分隔字元。若不填寫,則系統以分行符號號(\n)作為分隔字元。
欄位分隔符號(非必填)
填寫欄位之間分隔字元,支援多字元分隔字元。若不填寫,則系統以半形逗號(,)作為分隔字元。
匯出壓縮檔
可選擇zip、gzip壓縮格式或不壓縮,直接以所選檔案類型匯出,選擇壓縮格式後以相應壓縮格式將壓縮檔合并寫入FTP或直接以所選檔案類型匯出。
匯出列頭
選擇是否匯出列頭:
選擇匯出,會在每一個檔案的第一行輸出欄位名。
選擇不匯出,則檔案的第一行為資料。
是否壓縮檔路徑(非必填)
寫入檔案個數為單個檔案且匯出壓縮檔格式為
zip時,支援配置是否壓縮檔路徑。即是否將該檔案的路徑也壓縮排壓縮包中。其他情境下均不會壓縮檔路徑,僅壓縮單個檔案。標記完成文
是否需要標記完成檔案。標記完成檔案包括任務級和檔案級:
任務級:任務完成後只會產生一個標記完成檔案。例如,
/ftpuser/test/SUCCESS。檔案級:使用符號
*作為資料檔案名預留位置,例如,/ftpuser/test/*.flg,將會為每一個資料檔案產生一個同名的標記完成檔案。
選擇需要時,還需要配置標記完成檔案內容。可支援配置的檔案資訊參數包括:
檔案名稱:
$filename。帶路徑的檔案名稱:
$filenamewithpath。檔案大小:
$filesize。檔案資料行數:
$rowcount。也支援管道層級配置的參數。可自由選擇需要的參數與分隔字元。任務級標記完成檔案中將依次換行寫入每個檔案的資訊。
空值轉換(非必填)
表示null值的字串。
欄位對應
輸入欄位
從上遊輸入組件讀取的欄位。
輸出欄位
您需要配置輸出欄位。Dataphin支援通過大量新增和建立輸出欄位的方式配置輸出欄位:
大量新增:單擊大量新增,支援JSON、TEXT格式大量設定。
以JSON格式大量設定,例如:
// 樣本: [{"name": "user_id","type": "String"}, {"name": "user_name","type": "String"}]說明name表示引入的欄位名稱,type表示引入後的欄位類型。 例如:
"name":"user_id","type":"String"表示把欄位名為user_id的欄位引入,設定欄位類型為String。以TEXT格式大量設定,例如:
// 樣本: user_id,String user_name,String行分隔字元用於分隔每個欄位的資訊,預設為分行符號(\n),可支援分行符號(\n)、分號(;)、點(.)。
資料行分隔符號用於分隔欄位名與欄位類型,預設英文逗號(,)。
建立輸出欄位。
單擊+建立輸出欄位,根據頁面提示填寫欄位及選擇類型。
複製上遊欄位。
單擊複製上遊欄位,系統將根據上遊的欄位名自動產生輸出欄位。
管理輸出欄位。
同時您也可以對已添加的欄位執行如下操作:
單擊操作列下的
表徵圖,編輯已有的欄位。單擊操作列下的
表徵圖,刪除已有的欄位。
映射關係
映射關係用於將源表的輸入欄位和目標表的輸出欄位對應起來,便於後續進行資料同步。映射關係包括同名映射和同行映射。適用情境說明如下:
同名映射:對欄位名稱相同的欄位進行映射。
同行映射:源表和目標表的欄位名稱不一致,但欄位對應行的資料需要映射。只映射同行的欄位。
單擊確認,完成FTP輸出組件的配置。