全部產品
Search
文件中心

Dataphin:通過指令碼模式建立整合任務

更新時間:Jan 25, 2025

建立離線指令碼模式後,可以通過直接編寫資料同步的JSON指令碼來完成資料同步開發,為資料同步開發提供了更靈活的能力和更精細化的組態管理。本文為您介紹如何建立離線指令碼模式。

前提條件

已完成資料來源配置。您需要在配置整合任務前,配置好您需要整合的資料來源和目標資料庫,以便在開發配置離線整合指令碼過程中讀取和寫入資料庫。離線管道支援的資料來源詳情,請參見支援的資料來源

操作步驟

步驟一:建立離線指令碼

  1. 在Dataphin首頁,單擊頂部功能表列的研發->Data Integration

  2. 按照以下操作指引,進入建立離線指令碼對話方塊。

    選擇專案(Dev-Prod 模式需要選擇環境)->單擊離線整合->單擊image建立表徵圖->單擊離線指令碼

    image

  3. 建立離線指令碼對話方塊,配置參數。

    地區

    參數

    描述

    基本資料

    任務名稱

    填寫離線指令碼名稱。命名規則如下:

    • 除豎線(|)、半形冒號(:)、半形問號(?)、角括弧(<>)、星號(*)、半形引號(")、正斜線(/)、反斜線(\)外,其餘字元均支援。

    • 不能超過64個字元。

    調度類型

    選擇離線指令碼的調度類型。調度類型包括:

    • 周期性節點:指需定期執行的任務。

    • 手動節點:指沒有依賴關係,需手動觸發的任務。

    描述

    填寫離線指令碼的簡單描述,1000個字元以內。

    選擇目錄

    預設選擇為離線管道。同時您也可以在離線管道頁面建立目標檔案夾後,選擇該目標檔案夾為離線管道任務的目錄。

    image

    資料來源配置

    來源類型

    選擇來來源資料源類型。

    資料來源

    選擇來來源資料源。如果沒有對應的資料來源,可單擊建立,後續步驟請參見支援的資料來源

    說明

    僅可選擇有同步讀許可權的資料來源,如何申請,詳情請參見申請資料來源許可權

    目標類型

    選擇需要同步寫入資料的資料來源類型。

    資料來源

    選擇需要同步寫入資料的資料來源。如果沒有對應的資料來源,可單擊建立,後續步驟請參見支援的資料來源

    說明

    僅可選擇有同步寫入權限的資料來源,如何申請,詳情請參見申請資料來源許可權

  4. 單擊確定

步驟二:開發離線指令碼

離線指令碼採用代碼編碼的開發方式,通過編寫資料同步的JSON指令碼來完成資料同步開發,提供了更靈活的能力和更精細化的配置。如下圖所示:

說明

輸入的字元數最大上限為500000字元。

image

步驟三:管道調度配置

  1. 單擊開發畫布功能表列image按鈕,進行調度配置。

  2. 在調度配置頁面,配置整合式管線的基本資料調度配置調度依賴調度參數回合組態資源配置。各配置說明如下:

    • 基本資料:通過整合式管線基本資料,您可配置整合式管線任務開發負責人、營運負責人及描述。配置說明,請參見配置離線整合式管線基本資料

    • 調度配置:用於定義整合式管線任務在生產環境的調度方式。您可以通過調度屬性,配置整合式管線任務的調度類型、調度周期、調度邏輯與執行等。配置說明,請參見離線整合式管線調度配置

    • 調度依賴:用於定義整合式管線任務在調度任務中的依賴節點。Dataphin通過各個節點的調度依賴的配置結果,有序的運行商務程序中各個節點,保障業務資料有效、適時地產出。配置說明,請參見離線整合式管線調度依賴配置

    • 回合組態:您可根據業務情境為該整合式管線任務配置任務級的運行逾時時間和任務運行失敗時的重跑策略,杜絕因計算任務長時間資源佔用造成資源浪費的同時提高計算任務啟動並執行可靠性。配置說明,請參見離線整合式管線回合組態

    • 資源配置:您可為當前離線整合任務配置所屬資源群組,該離線整合任務將使用該資源群組資源進行任務調度。配置說明,請參見配置離線整合式管線任務資源

  3. 單擊確定

步驟四:儲存並提交離線整合任務

  1. 單擊畫布上方的儲存表徵圖,儲存管道任務。

  2. 單擊畫布上方的提交表徵圖,在提交備忘對話方塊,填寫備忘資訊後,單擊確定並提交

    提交時,Dataphin將進行任務的血緣解析及提交檢查。更多資訊,請參見整合任務提交說明

後續步驟

  • 如果您的開發模式是Dev-Prod模式,則需要發布任務。更多資訊,請參見管理髮布任務

  • 如果您的開發模式是Basic模式,則提交成功後的任務,即可參與生產環境的調度。您可前往營運中心查看您發布的任務。更多資訊,請參見營運中心