本文介紹資料庫傳輸服務DTS提供的ETL功能支援的轉換組件及其配置方法。
背景資訊
ETL支援的轉換組件如下:
-
表 Join
-
欄位計算機
-
表記錄過濾
使用限制
ETL支援的轉換組件存在如下限制:
-
表 Join:僅支援兩個表之間做JOIN操作。
-
欄位計算機和表記錄過濾:僅支援單個表結構。
前提條件
已完成資料來源資訊的配置。
配置表JOIN
-
進入ETL任務的列表頁面。
-
在左側導覽列,單擊ETL。
-
單擊左上方的
,在新增資料流對話方塊中,您需在資料流名稱配置ETL任務名稱,選擇開發方式為DAG。 -
單擊確認。
-
完成資料來源資訊的配置,配置方法請參見配置源庫資訊。
重要需要配置兩個源庫。
-
在頁面左側,將表 Join節點拖拽至頁面右側畫布的空白地區。
-
將滑鼠指標移動至已完成配置的目標資料來源上,單擊圓點拉出連接線,串連目標資料來源和表 Join-1。
-
單擊畫布地區的表 Join-1,根據頁面資訊配置轉換組件。
-
在節點配置頁簽,設定以下參數,配置節點資訊。
地區
參數
說明
轉換名稱
請輸入轉換名稱
建議配置具有業務意義的名稱(無唯一性要求),便於後續識別。
Join配置
Join類型符左邊的表
選擇放置在Join類型符左邊的表。
時態Join時間屬性
選擇Join的時間屬性,預設為Join。
-
基於事件時間Watermark
-
基於處理時間ProcTime
說明時態Join要求流表均需定義時間屬性,右表要有主鍵;如果右表是維表,要求其主鍵在equal條件中。
選擇Join操作
選擇Join操作方式。
-
Inner Join:資料為兩張表的交集。
-
Left Join:左表中的資料不變,右表中的資料為兩張表的交集。
-
Right Join:左表中的資料為兩張表的交集,右表中的資料不變。
Join 條件
+新增條件
單擊+新增條件,從多個資料來源中選擇Join的條件欄位。
說明等號(=)左側為資料來源左表欄位,右側為資料來源右表欄位。
-
-
完成Join條件配置後,單擊輸出欄位頁簽。根據實際需要,在列名稱列勾選需要的欄位。
-
配置欄位計算機
-
進入ETL任務的列表頁面。
-
在左側導覽列,單擊ETL。
-
單擊左上方的
,在新增資料流對話方塊中,您需在資料流名稱配置ETL任務名稱,選擇開發方式為DAG。 -
單擊確認。
-
完成資料來源資訊的配置,配置方法請參見配置源庫資訊。
-
在頁面左側,將欄位計算機節點拖拽至頁面右側畫布的空白地區。
-
將滑鼠指標移動至已完成配置的目標資料來源上,單擊圓點拉出連接線,串連目標資料來源和欄位計算機-1。
-
單擊畫布地區的欄位計算機-1,設定以下參數,配置轉換組件。
-
在轉換名稱地區,輸入轉換名稱。
說明建議配置具有業務意義的名稱(無唯一性要求),便於後續識別。
-
在計算機配置地區,單擊+新增欄位。
-
在計算機配置列表中,單擊新增欄位所在行操作列的計算配置。
-
在取值配置地區,設定以下參數。
參數
說明
欄位名
DTS會自動產生一個名稱,建議配置具有業務意義的名稱(無唯一性要求),便於後續識別。
選擇ETL資料類型
選擇需要的ETL資料類型。
目標欄位:欄位名,取值配置
選擇以下任意一種方式為目標欄位配置計算方法。
-
直接輸入需要的計算方法。
-
單擊欄位輸入、函數集或操作符地區中的選項配置計算方法。
-
-
配置表記錄過濾
-
進入ETL任務的列表頁面。
-
在左側導覽列,單擊ETL。
-
單擊左上方的
,在新增資料流對話方塊中,您需在資料流名稱配置ETL任務名稱,選擇開發方式為DAG。 -
單擊確認。
-
完成資料來源資訊的配置,配置方法請參見配置源庫資訊。
-
在頁面左側,將表記錄過濾節點拖拽至頁面右側畫布的空白地區。
-
將滑鼠指標移動至已完成配置的目標資料來源上,單擊圓點拉出連接線,串連目標資料來源和表記錄過濾-1。
-
單擊畫布地區的表記錄過濾-1,根據頁面資訊配置轉換組件。
-
在轉換名稱右側,輸入轉換名稱。
說明建議配置具有業務意義的名稱(無唯一性要求),便於後續識別。
-
在where 條件地區,您可以選擇以下任意一種方法配置where條件。
-
直接輸入需要的where條件。
-
單擊右側欄位輸入或操作符地區中的選項配置where條件。
-
-
執行結果
完成配置的轉換組件右側不顯示
時,說明配置完成。