運行參數配置是對離線管道中所涉及的變數進行賦值,以便在節點調度時,參數變數能夠自動被替換為相應的變數值。本文為您介紹如何配置離線管道的運行參數。
操作步驟
在Dataphin首頁的頂部功能表列中,選擇研發 > Data Integration。
在頂部功能表列選擇專案(Dev-Prod專案還需選擇環境)。
在左側導覽列中選擇整合 > 離線整合,在離線整合列表中,單擊目標任務名稱。
在該任務頁簽下,單擊右側的屬性,開啟屬性面板。
單擊調度配置頁簽,在運行參數地區設定相關參數資訊。
在離線整合式管線中通過運算式
${變數名}配置的參數,系統將在運行參數地區進行展示。可以在運行參數列表中修改參數類型並對參數賦值。參數
描述
參數名稱
離線管道中定義的參數名稱。建議變數名稱僅包含數字、字母和底線(_),長度不超過32個字元。
參數類型
包括全域變數、空間名稱變數、本地變數、跨節點變數和非變數類型。更多資訊,請參見變數分類。
選中多個參數或全選後,單擊參數列表底部的修改參數類型,可批量修改參數類型。
參數值
說明若引用了開啟許可權管控的全域變數,系統將自動校正目前使用者是否擁有許可權,無許可權的全域變數將以
表徵圖標識,您可單擊申請許可權,跳轉至許可權管理 > 變數許可權管理頁面進行許可權申請。
變數分類
Dataphin中存在以下類型的變數:
變數類型 | 描述 |
全域變數 | 在Dataphin規劃 > 公用定義 > 全域變數中事先聲明定義的變數,可以在租戶內任何節點或代碼中引用,系統初始內建的全域變數有 說明
|
空間名稱變數 | 即 說明 空間名稱變數不支援轉換為其他類型變數。 |
本地變數 |
重要
|
跨節點變數 | 指當前變數為上遊節點透傳給本對象節點的變數參數。可用於以下情境:
重要 引入跨節點參數變數後,對當前節點補資料時,建議同時補輸出跨節點參數的上遊節點和當前節點。 |
變數賦值
日期時間賦值
為本地變數賦值時,如需輸入日期時間,可選擇或參考以下格式。
${yyyymmdd - 1}:上一個業務日期,yyyyMMdd格式 。${yyyy-mm-dd - 1}:上一個業務日期,yyyy-MM-dd格式 。$[yyyymmdd - 1]:上一個調度日期 。${yyyy - 1}:上一個業務年。${yyyymm - 1}:上一個業務月。$[yyyymmdd]:當前調度日期 。$[HH - 1/24]:上一調度小時 。$[HH:mm:ss - 1/24/60]:上一調度分鐘 。$[yyyymmdd - 1/24]:上一調度小時,取日期部分 。
參數值配置完成後,可單擊預覽,在參數值預覽對話方塊中查看選定業務日期後的參數值,其中業務日期預設為當前業務日期。日期時間運算邏輯及樣本詳見下文。
日期時間計算運算式
為本地變數賦值時,如果需要針對日期時間進行運算,Dataphin支援以下快捷日期計算操作符:
Dataphin 提供基於兩個日期時間的運算
基於業務日期
${bizdate}的方式:${(yyyyMMdd|yyyy/MM/dd|yyyy-MM-dd) (+|-) n}。基於預計執行時間(即節點任務設定的起調時間)的方式:
${(yyyyMMddHHmmss|yyyy/MM/dd HH:mm:ss|yyyy-MM-dd HH:mm:ss) (+|-) n}。
日期時間各部分的標識符號
年:yyyy。
月:mm(日期時間只到天粒度時可使用)或MM(日期時間到分鐘粒度時必須使用大寫,以便和分鐘mm進行區分)。
日:dd。
小時:HH。
分鐘:mm。
秒:ss。
日期時間運算的單位 (interval) 是天
1 小時使用1/24來表示,5小時為5/24。
1 分鐘使用1/24/60來表示,30分鐘為30/24/60。
樣本參考
當前日期 | 基於業務日期(T-1)的配置 | 實際值 | 基於預計執行時間(T)的配置 | 實際值 |
2018-01-10 | ${yyyymmdd} | 20180109 | $[yyyymmdd] | 20180110 |
2018-01-10 | ${yyyyMMdd} | 20180109 | $[yyyyMMdd] | 20180110 |
2018-01-10 | ${yyyymmdd -1} | 20180108 | $[yyyymmdd -1] | 20180109 |
2018-01-10 | ${yyyymmdd -7} | 20180102 | $[yyyymmdd -7] | 20180103 |
2018-01-10 | ${yyyy-mm-dd} | 2018-01-09 | $[yyyy-mm-dd] | 2018-01-10 |
2018-01-10 | ${yyyy-mm} | 2018-01 | $[yyyy-mm] | 2018-01 |
2018-01-10 | ${yyyy-mm -1} | 2017-12 | $[yyyy-mm -1] | 2017-12 |
2018-01-10 | ${yyyy} | 2018 | $[yyyy] | 2018 |
2018-01-10 | ${yyyy+1} | 2019 | $[yyyy + 1] | 2019 |
2018-01-10 | ${yyyy/MM/dd HH:mm:ss} | 2018/01/09 00:00:00 | $[yyyy/MM/dd HH:mm:ss] | 2018/01/10 00:00:00 |
2018-01-10 | ${yyyy/MM/dd HH:mm:ss-1/24} | 2018/01/08 23:00:00 | $[HH:mm:ss-5/24/60] | 23:55:00 |