Dataphin：整合組件庫開發說明

前提條件

已完成離線管道指令碼的建立。在進行離線管道開發前，您需要建立對應的管道開發指令碼。更多資訊，請參見通過單條管道建立整合任務。

離線管道組件開發入口

1. 在Dataphin首頁，單擊頂部功能表列研發->Data Integration。

2. 按照以下操作指引，進入離線管道組件開發頁面。

   選擇專案（Dev-Prod模式需要選擇環境）->單擊離線整合->選擇並單擊需要開發的離線管道->單擊組件庫。

   

離線組件庫開發說明

一般的，一個完整的離線管道由輸入（>=1個）、轉換（>=0個）、流程（>=0個）及輸出（>=1個）組件組成。

在離線單條管道指令碼的開發頁面，單擊頁面右上方的組件庫，將展示收藏、輸入、轉換、流程、輸出、自訂組件。

收藏組件

當前登入帳號在其他組件庫中，通過單擊進行收藏的組件將在此處展示。您可以將您經常使用的組件進行收藏，並在收藏組件庫中進行快捷的選取與使用。

輸入組件

原資料的來源，您可根據您的業務資料類型選擇對應的組件拖動到左側的管道畫布用於資料輸入。各輸入組件功能詳情，請參見各組件配置詳情。

• 輸入組件不支援有上遊節點。

• 輸入下遊節點可以是轉換、輸出、流程。

• 如果輸入組件有多個下遊節點（輸出或轉換），則元件連線時需選擇輸入組件的資料發送方式。

  • 複製：上遊節點的資料根據下遊節點數量進行等份複製，且每個下遊節點的資料都是上遊節點的全部資料。

  • 輪流分發：上遊節點的資料根據下遊節點數量進行輪流分發，且所有下遊節點的資料之和等於上遊節點的資料。

輸出組件

資料來源整合的目標資料。您可根據您的業務需求，選擇對應的輸出組件並拖動到左側的管道畫布用於資料的輸出。各輸出組件功能詳情，請參見各組件配置詳情。

輸出組件不支援有下遊節點。

流程組件

用於Data Integration時的流程式控制制，Dataphin支援限速、條件分發2種流程組件。各流程組件功能詳情，請參見各組件配置詳情。

• 流程組件不支援作為離線管道的第一個或最後一個節點，但支援放置於管道指令碼中間的任意位置。

• 如果流程組件有多個下遊節點（轉換、輸出或流程），則元件連線時需選擇輸入組件的資料發送方式。

• 如果流程選擇條件分發組件，則元件連線時需選擇分發的條件：

  

  • 如果您選擇條件結果為true，當上遊節點的結果為true時，資料向下遊發送。

  • 如果您選擇條件結果為false，當上遊節點的結果為false時，資料向下遊發送。

轉換組件

可用於將輸入組件的來來源資料進行轉換，如對資料欄位進行計算、過濾、加密等。各轉換組件功能詳情，請參見各組件配置詳情。

轉換組件支援有多個下遊組件（轉換、輸出、流程），所以在元件連線時需要選擇輸入組件的資料發送方式。

有向串連

選取所需要的組件後，您可以通過有向串連的方式，將上遊輸入組件指向下遊轉化、流程、輸出組件，形成有向連線。整合任務運行時將根據有向串連依次執行各組件。元件連線時的上下遊關係，請參見下圖。

畫布操作

一個管道畫布支援有多個管道指令碼同時構建，同時您也可以在管道畫布中按右鍵執行如下操作。

切換為指令碼模式組件

非邏輯表LogicalTable組件、指令碼模式組件、本地檔案組件的輸入與輸出組件在組件配置對話方塊中，支援單擊切換為指令碼模式組件。切換成指令碼模式後，將無法切回。下圖以MySQL輸入組件為例。

組件配置說明

Dataphin支援的組件及配置說明請參見下表：

輸入組件

輸出組件

轉換組件

流程組件

自訂群組件

如需使用自訂群組件，請先在Dataphin自訂群組件後，再進行自訂群組件的選取使用。具體操作，請參見建立離線自訂來源類型。