基於Dev-Prod開發模式,開發環境產生的規範建模、資料處理、Data Integration類任務,需要發布到生產環境進行調度。本文為您介紹如何發布任務及查看任務的發布記錄。
背景資訊
如果您選擇了Dev-Prod開發模式,提交後的任務進入發布模組的待發布對象列表。您需要在發布模組發布任務,發布成功的任務才會參與生產環境的營運調度。
如果您選擇的開發模式是Basic模式,提交後的任務直接進入生產環境。
發布任務
發布任務即從待發布對象列表中將待發布任務發布;如果開發環境的任務變更,發布後,生產環境中該任務已存在的版本將會受到影響。
單個任務發布或批量發布任務時,會先預檢一次本次發布需要消耗的資料處理單元數量是否會超出剩餘可用總量,如果超出阻斷髮布。
如果預檢通過,進入單個對象的發布校正流程,所有校正都通過後,還會再此校正每個對象發布後是否會超出資料處理單元額度,超出則當前對象發布失敗。
操作步驟
在Dataphin首頁的頂部功能表列中,選擇研發 > 任務發布。
在左側導覽列中選擇發布對象管理 > 待發布對象。
(可選)在待發布對象頁面單擊篩選,可根據專案、最近提交人、物件類型、最近提交時間、變更類型來篩選目標待發布對象,同時可選中我提交的和今日提交,來快速篩選目標待發布對象。
在待發布對象頁面,選擇單個發布待發布對象或批量發布待發布對象。
單個發布:單擊目標待發布對象操作列的
表徵圖,開啟發布配置對話方塊。批量發布
選中多個待發布對象,或單擊頁面底部的本頁全選。
單擊頁面底部的批量發布,開啟發布配置對話方塊。
在發布配置對話方塊中,填寫發布名稱和發布備忘,並選擇依賴對象和發布範圍。
依賴對象:列表中為所選待發布項所依賴的全部上遊待發布項,即所選對象的上遊對象的待發布項。若目前使用者沒有待發布項所依賴對象的發布許可權(不在列表中),系統將自動產生審批單。
發布範圍:可選擇必選依賴和可選依賴、僅必選依賴或僅已選(不發布上遊依賴),預設選擇僅已選(不發布上遊依賴)。選擇僅已選(不發布上遊依賴)後,系統將自動清空依賴對象列表,發布時僅發布使用者當前選擇的待發布項,不發布任務上遊依賴的待發布項。
說明假設對象A依賴對象B(例如任務A依賴任務B、原子指標A依賴其來源邏輯表B等情況),則發布時:
必選依賴:若B的變更類型為新增,且A為新增或變更(A添加新的上遊依賴B),則發布A時必須先發布B,否則A將發布失敗,此時B是A的必選依賴。當A和B的變更類型均為刪除時,A是B的必選依賴。
可選依賴:若B的變更類型為變更,且A為新增或變更,則不先發布B,A也可能發布成功,此時B是A的可選依賴。需注意,以上情況下若不發布B只發布A,A則基於B的舊邏輯運行,可能與預期不符。
如果目前使用者沒有B的發布許可權,則待發布對象列表將不包含B,此時受B影響的下遊發布項將有可能發布失敗。
單擊確定,完成發布。
發布時,系統將按照對象間的依賴順序進行發布。
例如當前單個發布待發布項A,系統檢測到對象A及其依賴關係為A <- L1 <- L2 <-L3(A依賴於L1、L1依賴於L2、L2依賴於L3),且每一層均為必選依賴。目前使用者若僅擁有L1和L3的發布許可權,沒有L2的發布許可權,則本次發布的發布清單中將含有L3、L1和A的發布記錄,其中L1和A均為發布失敗;不包含L2的發布記錄。
任務發布後,可在發布詳情裡查看校正詳情,請參見查看發布詳情。
重新發布
若任務發布失敗,可根據失敗提示修改,並在發布記錄列表進行重新發布。
針對需要進行發布審批的對象,如果該任務發布審批已經通過,重新發布無需重新進行發布審批,系統會自動通過。
每一次重新發布都會進行售賣檢查校正。
操作步驟
在Dataphin首頁的頂部功能表列中,選擇研發 > 任務發布。
在左側導覽列中選擇發布對象管理 > 發布記錄。
在發布記錄列表頁面,選中頁面右上方的發布失敗,快速篩選出所有發布失敗的對象。
(可選)單擊頁面右上方的篩選,根據專案、發布人、物件類型、發布時間、變更類型和發布狀態來篩選目標對象。
在發布記錄列表中,重新發布單個對象或多個對象。
重新發布單個對象:單擊目標對象操作列中的
表徵圖,對該對象重新發布。重新發布失敗及取消的對象:單擊目標對象發布名後的
表徵圖,發布該發布包所有發布失敗及取消的對象。
在彈出的對話方塊中,單擊確定,完成重新發布。
發布審批
Dataphin支援在專案粒度配置是否開啟發布審批,如果開啟了發布審批功能,則發布對象時會首先產生一個待審批的流程,審批通過後才會進入發布校正環節,以便更好地對發布流程進行管控。接下來為您介紹發布審批功能的開啟即對應的流程查看。
在Dataphin首頁的頂部功能表列中,選擇規劃 > 專案。
在專案管理頁面,單擊目標專案卡片中的資訊設定,開啟資訊設定對話方塊。
在資訊設定對話方塊中的發布設定地區,單擊開關來開啟或關閉發布審批。開啟後,還需配置以下參數:
審批人:可選擇專案系統管理員和自訂。選中專案系統管理員,即選中當前生產專案的所有管理員;選中自訂,則需選擇不超過10個的預設審批人。
審批策略:預設為並行審批,即任一審批人同意即通過,任一審批人駁回即終止。
在發布記錄頁面,單鍵發行名後的
表徵圖,查看發布審批次程序。發布審批次程序對話方塊中,可查看各審批單的審批狀態、審批人等資訊,您可單擊
表徵圖,前往工作中樞查看對應審批單詳情。審批人單擊頁面右上方的
表徵圖,在工作中樞,對發布任務進行審批,具體操作請參見查看並處理任務。
編輯任務
在待發布對象列表頁面,單擊目標對象操作列中的
表徵圖,選擇編輯跳轉至開發頁面的對應專案下。進入任務對應的模組,編輯任務。
移除對象
移除對象即從待發布對象列表中移除待發布任務,生產和開發環境該任務已存在的版本不受影響。如果生產和開發環境的任務需要變更,則需重新提交和發布任務。
操作步驟
(可選)在待發布對象頁面單擊篩選,可根據專案、最近提交人、物件類型、最近提交時間、變更類型來篩選目標待發布對象,同時可選中我提交的和今日提交,來快速篩選目標待發布對象。
在待發布對象頁面,移除單個或多個待發布對象。
移除單個待發布對象:單擊目標對象操作列中的
表徵圖,選擇移除。大量移除多個待發布對象:選中多個待發布對象,或單擊頁面底部的本頁全選,然後單擊頁面底部的大量移除。
在彈出的對話方塊中,單擊確定,完成移除。
查看發布記錄
在發布記錄頁面,您可以查看發行的任務(任務所有版本的發布記錄)。支援對發布記錄進行以下操作:
查看發布詳情:詳情請參見查看發布詳情。
重新發布:重新發布發布失敗的對象,詳情請參見重新發布。
查看版本詳情:單擊目標對象版本號碼列的數字,查看該發布對象目前的版本的詳細資料。
去營運:發布成功且發布類型不為刪除的對象支援去營運。單擊目標對象操作列的
表徵圖,跳轉至營運頁面下的對應模組。
在待發布對象頁面,可單擊目標對象操作列中的
表徵圖,查看改對象歷史版本的發布記錄詳情。
系統僅支援目前的版本號大於1的任務查看歷史版本發布記錄。
查看發布詳情
在發布記錄頁面,單擊目標對象操作列中的
表徵圖,開啟發布詳情對話方塊。可在發布詳情對話方塊中,查看當前對象的基本資料、流程校正和異常提醒資訊。
發布功能項
描述
發布審批
若該對象開啟了發布審批,則有該流程。當歷史已審批通過但發布失敗的對象重新發布時,發布審批環節自動通過。
管控規則檢查
若該對象命中了發布管控策略,則有該流程。若命中管控規則,則展示管控策略、管控規則、異常說明(如有)、檢查結果資訊,單擊操作列下的
表徵圖查看規則檢查詳情。執行條件檢查
不同物件類型有不同的校正條件,可在發布詳情裡查看校正詳情。展示執行條件檢查的類型、名稱、異常說明(如有)和檢查結果。如果校正不通過,您可以通過頁面提示及快捷操作按鈕進行修改後重新發布。如果發布審批已經通過,重新發布不需要重新進行發布審批。
售賣檢查
若該對象需要消耗資料處理單元,則有該流程。僅周期任務需要進行售賣檢查,手動任務無需進行售賣檢查。
整合同步包括離線管道任務、同步任務和即時整合任務。
資料處理包括離線計算任務、Realtime Compute任務。
規範建模包括維度邏輯表、事實邏輯表、派生指標、衍生指標。
發布成功的對象單擊關閉,來關閉發布詳情對話方塊;發布失敗的對象可單擊重新發布,來重新發布當前對象。