過濾轉換組件支援將上遊組件的輸入欄位進行過濾轉換後輸出至下遊。本文為您介紹如何配置過濾轉換組件。
操作步驟
在Dataphin首頁頂部功能表列,選擇研發 > Data Integration。
在整合頁面頂部功能表列選擇專案(Dev-Prod模式需要選擇環境)。
在左側導覽列中單擊離線整合,在離線整合列表中單擊需要開發的離線管道,開啟該離線管道的配置頁面。
單擊頁面右上方的組件庫,開啟組件庫面板。
在組件庫面板左側導覽列中需選擇轉換,在右側的轉換組件列表中找到過濾組件,並拖動該組件至畫布。
單擊並拖動目標上遊和下遊組件的
表徵圖,將其串連至當前過濾組件上。單擊過濾組件卡片中的
表徵圖,開啟轉換-過濾配置對話方塊。在轉換-過濾配置對話方塊中,配置以下參數。
參數
描述
步驟名稱
即過濾轉換組件的名稱。Dataphin自動產生步驟名稱,您也可以根據業務情境修改。命名規則如下:
只能包含中文、字母、底線(_)、數字。
不能超過64個字元。
輸入欄位
根據上遊的輸出,為您展示輸入欄位。其中欄位名中若包含表名,則同時展示表名稱。
篩選條件
填寫篩選條件。支援指令碼模式和配置模式。
指令碼模式:通過指令碼方式設定篩選條件。無需填寫WHERE,直接填寫WHERE語句後內容。例如,
user_id is not null或and name != 'xxx'。配置模式:通過介面化方式設定篩選條件(依次配置欄位、操作符和內容。其中欄位名中若包含表名,則同時展示表名稱)。
支援的篩選條件包括=、!=、>、>=、<、<=、LIKE、NOT LIKE、IS NULL、IS NOT NULL、START WITH、END WITH。多個條件之間支援AND和OR邏輯運算子。
例如:在輸入欄位中包含
id、name和ds的情況下,需過濾id<123且name不等於abc的資料。若使用指令碼模式應填寫id < 123 AND name != 'abc'語句;若通過介面化方式直接配置,則篩選條件應如下圖所示。
重要LIKE操作符不支援使用(%)符號指定起始或結束字元,僅支援過濾出所有包含指定字元的資料。若需指定起始或結束字元,您可以使用START WITH和END WITH語句。例如,
name START WITH '張' AND name END WITH '三'將過濾name欄位起始字元為張結束字元為三的資料。單擊確認,完成過濾轉換組件的屬性配置。