全部產品
Search
文件中心

Dataphin:通過單條管道建立整合任務

更新時間:Jan 25, 2025

離線單條管道即處理離線整合任務的一條管道指令碼,可以將一個或多個來來源資料源的單表或多表同步到一個或多個目標資料來源中。本文為您介紹如何通過離線單條管道配置整合任務。

前提條件

已完成資料來源配置。您需要在配置整合任務前,配置好您需要整合的資料來源和目標資料庫,以便在配置離線單條管道過程中,為您的開發組件選擇資料來源來控制整合任務的讀取和寫入資料庫。離線管道支援的資料來源詳情,請參見支援的資料來源

操作步驟

步驟一:建立離線單條管道

  1. 在Dataphin首頁,單擊頂部功能表列的研發->Data Integration

  2. 按照以下操作指引,進入建立管道開發指令碼對話方塊。

    選擇專案(Dev-Prod 模式需要選擇環境)->單擊離線整合->單擊image建立表徵圖->單擊離線管道

    image

  3. 建立離線管道對話方塊中,配置管道相關參數。

    參數

    描述

    管道名稱

    填寫管道名稱。支援最長64個字元,不支援特殊字元:|\/:?<>*"

    調度類型

    選擇管道的調度類型。調度類型包括:

    • 周期性節點指需定期執行的任務。

    • 手動節點指沒有依賴關係,需手動觸發的任務。

    描述

    填寫離線單條管道的簡單描述,1000個字元以內。

    選擇目錄

    預設選擇為離線管道。同時您也可以在離線管道頁面建立目標檔案夾後,選擇該目標檔案夾為離線管道任務的目錄。

    image

  4. 單擊確定

步驟二:開發離線管道指令碼

離線單條管道採用可視化組件的開發方式,您可通過單擊畫布側邊欄組件庫,選擇所需組件類型後拖拽組件到管道開發畫布中,開發管道指令碼。如下圖所示:

image

  • 組件類型:組件庫分為5種組件類型,包括輸入轉換流程輸出自訂。各組件類型使用情境各不相同,您可根據業務需求選擇所需組件類型進行開發。更多資訊,請參見整合組件庫開發說明

  • 組件:開發管道指令碼的功能模組,各組件對應不同的功能。您可根據業務需求選擇所需組件進行開發。更多資訊,請參見各組件配置詳情

步驟三:管道調度配置

  1. 單擊開發畫布功能表列image按鈕,進行調度配置。

  2. 在調度配置頁面,配置整合式管線的基本資料調度配置調度依賴調度參數回合組態資源配置。各配置說明如下:

    • 基本資料:通過整合式管線基本資料,您可配置整合式管線任務開發負責人、營運負責人及描述。配置說明,請參見配置離線整合式管線基本資料

    • 調度配置:對於周期性節點,調度配置用於定義整合式管線任務在生產環境的調度方式。您可以通過調度屬性,配置整合式管線任務的調度類型、調度周期、調度邏輯與執行等。配置說明,請參見離線整合式管線調度配置

    • 調度依賴:對於周期性節點,調度依賴用於定義整合式管線任務在調度任務中的依賴節點。Dataphin通過各個節點的調度依賴的配置結果,有序的運行商務程序中各個節點,保障業務資料有效、適時地產出。配置說明,請參見離線整合式管線調度依賴配置

    • 回合組態:您可根據業務情境為該整合式管線任務配置任務級的運行逾時時間和任務運行失敗時的重跑策略,杜絕因計算任務長時間資源佔用造成資源浪費的同時提高計算任務啟動並執行可靠性。配置說明,請參見離線整合式管線回合組態

    • 資源配置:您可為當前離線整合任務配置所屬資源群組,該離線整合任務將使用該資源群組資源進行任務調度。配置說明,請參見配置離線整合式管線任務資源

步驟四:儲存並提交離線整合任務

  1. 單擊畫布上方的儲存表徵圖,儲存管道任務。

  2. 單擊畫布上方的提交表徵圖,在提交備忘對話方塊,填寫備忘資訊後,單擊確定並提交

    提交時,Dataphin將進行任務的血緣解析及提交檢查。更多資訊,請參見整合任務提交說明

後續步驟

  • 如果您的開發模式是Dev-Prod模式,則需要發布任務。更多資訊,請參見管理髮布任務

  • 如果您的開發模式是Basic模式,則提交成功後的任務,即可參與生產環境的調度。您可前往營運中心查看您發布的任務。更多資訊,請參見營運中心