全部產品
Search
文件中心

Dataphin:配置離線管道運行參數

更新時間:May 29, 2025

運行參數配置是對離線管道中所涉及的變數進行賦值,以便在節點調度時,參數變數能夠自動被替換為相應的變數值。本文為您介紹如何配置離線管道的運行參數。

操作步驟

  1. 在Dataphin首頁的頂部功能表列中,選擇研發 > Data Integration

  2. 在頂部功能表列選擇專案(Dev-Prod專案還需選擇環境)。

  3. 在左側導覽列中選擇整合 > 離線整合,在離線整合列表中,單擊目標任務名稱。

  4. 在該任務頁簽下,單擊右側的屬性,開啟屬性面板。

  5. 單擊調度配置頁簽,在運行參數地區設定相關參數資訊。

    在離線整合式管線中通過運算式${變數名}配置的參數,系統將在運行參數地區進行展示。可以在運行參數列表中修改參數類型並對參數賦值。

    參數

    描述

    參數名稱

    離線管道中定義的參數名稱。建議變數名稱僅包含數字、字母和底線(_),長度不超過32個字元。

    參數類型

    包括全域變數空間名稱變數本地變數跨節點變數非變數類型更多資訊,請參見變數分類

    選中多個參數或全選後,單擊參數列表底部的修改參數類型,可批量修改參數類型。

    參數值

    • 全域變數:預設為全域變數所定義的變數值,不支援設定。更多資訊,請參見建立全域變數

    • 空間名稱變數:參數值即為空白間名稱。

    • 本地變數:最長支援258個字元或設定為空白值。如需輸入日期時間,可選擇或參考列表中運算式,詳情請參見變數賦值

    • 跨節點變數:設定上遊依賴後,可以選擇上遊的跨節點輸出參數作為參數值。

    • 非變數:不支援定義。

    說明

    若引用了開啟許可權管控的全域變數,系統將自動校正目前使用者是否擁有許可權,無許可權的全域變數將以image表徵圖標識,您可單擊申請許可權,跳轉至許可權管理 > 變數許可權管理頁面進行許可權申請。

變數分類

Dataphin中存在以下類型的變數:

變數類型

描述

全域變數

在Dataphin規劃 > 公用定義 > 全域變數中事先聲明定義的變數,可以在租戶內任何節點或代碼中引用,系統初始內建的全域變數有${bizdate}

說明
  • 全域變數暫不支援Realtime Compute和整合同步任務。

  • 全域變數設定具體操作,請參見建立全域變數

空間名稱變數

${生產/開發專案名稱}${生產/開發板塊名稱}

說明

空間名稱變數不支援轉換為其他類型變數。

本地變數

  • 無須事先聲明和定義,直接在離線管道中使用${variable_name},即可定義一個名為variable_name的本地變數。

  • 變數名建議只使用數字、字母和底線(_),且不要使用glb開頭,此為全域變數保留設定,長度不超過32個字元。

重要
  • 如果variable_name與某個全域變數名稱一致,會被系統優先視作引用了全域變數,可在參數配置中轉換類型為本地變數。

  • 如果variable_name與某個生產專案或者生產板塊的名稱一致,會被系統強制視作空間名稱變數。

  • 如果${variable_name}是代碼內容的一部分,而不是變數,可在參數類型配置中設定該變數為非變數

  • 如果${variable_name}是跨節點變數,可在參數類型配置中設定該變數為跨節點變數

  • 若需將本地變數的參數值設定為空白值,可單擊參數值處的設為空白值

跨節點變數

指當前變數為上遊節點透傳給本對象節點的變數參數。可用於以下情境:

  • 上遊節點A將某一個變數${var}傳遞給下遊節點B,${var}被B的計算邏輯引用。

  • 上遊節點A將某一個變數${var}傳遞給下遊節點B,B將根據${var}的取值來決定運行策略。

重要

引入跨節點參數變數後,對當前節點補資料時,建議同時補輸出跨節點參數的上遊節點和當前節點。

變數賦值

日期時間賦值

為本地變數賦值時,如需輸入日期時間,可選擇或參考以下格式。

  • ${yyyymmdd - 1}:上一個業務日期,yyyyMMdd格式 。

  • ${yyyy-mm-dd - 1}:上一個業務日期,yyyy-MM-dd格式 。

  • $[yyyymmdd - 1]:上一個調度日期 。

  • ${yyyy - 1} :上一個業務年。

  • ${yyyymm - 1} :上一個業務月。

  • $[yyyymmdd]:當前調度日期 。

  • $[HH - 1/24]:上一調度小時 。

  • $[HH:mm:ss - 1/24/60]:上一調度分鐘 。

  • $[yyyymmdd - 1/24]:上一調度小時,取日期部分 。

參數值配置完成後,可單擊預覽,在參數值預覽對話方塊中查看選定業務日期後的參數值,其中業務日期預設為當前業務日期。日期時間運算邏輯及樣本詳見下文。

日期時間計算運算式

為本地變數賦值時,如果需要針對日期時間進行運算,Dataphin支援以下快捷日期計算操作符:

  • Dataphin 提供基於兩個日期時間的運算

    • 基於業務日期${bizdate}的方式:${(yyyyMMdd|yyyy/MM/dd|yyyy-MM-dd) (+|-) n}

    • 基於預計執行時間(即節點任務設定的起調時間)的方式:${(yyyyMMddHHmmss|yyyy/MM/dd HH:mm:ss|yyyy-MM-dd HH:mm:ss) (+|-) n}

  • 日期時間各部分的標識符號

    • :yyyy。

    • :mm(日期時間只到天粒度時可使用)或MM(日期時間到分鐘粒度時必須使用大寫,以便和分鐘mm進行區分)。

    • :dd。

    • 小時:HH。

    • 分鐘:mm。

    • :ss。

  • 日期時間運算的單位 (interval) 是天

    • 1 小時使用1/24來表示,5小時為5/24。

    • 1 分鐘使用1/24/60來表示,30分鐘為30/24/60。

樣本參考

當前日期

基於業務日期(T-1)的配置

實際值

基於預計執行時間(T)的配置

實際值

2018-01-10

${yyyymmdd}

20180109

$[yyyymmdd]

20180110

2018-01-10

${yyyyMMdd}

20180109

$[yyyyMMdd]

20180110

2018-01-10

${yyyymmdd -1}

20180108

$[yyyymmdd -1]

20180109

2018-01-10

${yyyymmdd -7}

20180102

$[yyyymmdd -7]

20180103

2018-01-10

${yyyy-mm-dd}

2018-01-09

$[yyyy-mm-dd]

2018-01-10

2018-01-10

${yyyy-mm}

2018-01

$[yyyy-mm]

2018-01

2018-01-10

${yyyy-mm -1}

2017-12

$[yyyy-mm -1]

2017-12

2018-01-10

${yyyy}

2018

$[yyyy]

2018

2018-01-10

${yyyy+1}

2019

$[yyyy + 1]

2019

2018-01-10

${yyyy/MM/dd HH:mm:ss}

2018/01/09 00:00:00

$[yyyy/MM/dd HH:mm:ss]

2018/01/10 00:00:00

2018-01-10

${yyyy/MM/dd HH:mm:ss-1/24}

2018/01/08 23:00:00

$[HH:mm:ss-5/24/60]

23:55:00