營運中心 - Dataphin

Data Integration、資料開發模組開發的任務提交或發布後，將進入開發環境或生產環境的營運中心。營運中心為您提供營運概覽、任務營運、執行個體營運、監控管理、系統配置5大功能模組，您可針對提交的任務和產生的執行個體進行多方位的營運管理。

應用情境

全域視角管控：Dataphin營運中心支援離線執行個體和即時執行個體的執行個體統計。異常統計情況，包括運行詳情、運行趨勢、運行失敗執行個體數排行、運行失敗執行個體對應任務數排行、失敗警示執行個體數排行、延時警示執行個體數排行、運行狀態統計、運行時間長度統計、失敗次數統計、延時時間長度統計和警示排行。協助您從全域視角管控執行個體的運行情況，及時同步異常資訊，提升營運效率。
資源成本節省：Dataphin營運中心資源大盤功能，支援全域整體及單個任務CPU和記憶體的分配值與實際消耗值之間的對比，在提升全域資源總量配置與單個任務資源分派的合理性上提供分析依據，您可以在任務擷取充足資源穩定啟動並執行前提下，靈活調整資源配置以節省成本，提升資源使用率。
任務營運管理：支援營運管理Data Integration、建模研發、編碼研發和資料萃模數塊產生的程式碼任務，同時包括單節點及其上下遊依賴任務或執行個體的狀態查看及管理操作。
運行資源管控：在計算引擎出現效能瓶頸、資源分派不足或需控制任務下發時間和順序等情境時，可配置限流規則配置進行限流，以保障系統穩定性及優先分配資源保障資料產出。
異常警示：基準營運支援配置物理任務和邏輯表欄位警示規則，如果被監控的任務或欄位異常，系統通過電話、簡訊、DingTalk或郵件警示給您。

功能概述

當您在Dataphin中完成節點開發，並提交或發布至生產環境後，即可在營運中心對任務進行營運操作。包括周期任務的補資料、手動任務的運行、任務運行詳情查看、任務運行狀態監控和警示配置、執行個體及資源使用統計查看、任務運行逾時或失敗的營運策略配置等。營運中心各功能模組說明如下：

image..png

下表為營運中心各模組功能使用的簡單說明：

功能模組	描述
營運概覽	執行個體統計：統計系統內離線執行個體和即時執行個體的運行詳情、運行趨勢、運行失敗執行個體數排行、失敗警示執行個體數排行等資訊，協助您從專案視角或全域視角，把控執行個體啟動並執行情況。異常統計：統計全域或已選專案下運行異常任務的統計資訊，包括運行出錯和運行總時間過長兩個視角，便於您及時擷取任務啟動並執行狀況，以判斷資源的消耗及影響，從而作出預算準備、資源擴容或規格升級的決策。調度資源大盤：為您提供全域任務資源分派、全域資源消耗、建議最佳化任務等，便於您及時擷取資源調度狀況、瞭解資源調度趨勢，以判斷資源的消耗及影響，從而作出預算準備、資源擴容或規格升級的決策。
任務營運	任務營運依照調度時效分為周期任務、即時任務和手動任務。周期任務包括指令碼任務、明細及匯總表任務和萃取任務。任務營運模組為您提供周期任務、即時任務和手動任務的營運和管理，包括查看DAG圖、查看執行個體、補資料、批量修改任務的責任人等。
執行個體營運	執行個體營運模組依照執行個體產生方式分為基準執行個體、周期執行個體、補資料執行個體、手動執行個體和即時執行個體。執行個體營運模組為您提供基準執行個體、周期執行個體、補資料執行個體、手動執行個體和即時執行個體的營運和管理，包括查看DAG、查看任務、查看作業記錄、批量重跑等操作。
監控管理	監控管理提供基準監控、離線任務監控功能。基準監控：基準營運為您提供基準監控、基準警示、基準執行個體、高優任務保障的營運和管理。包括查看DAG、批量開啟/關閉基準任務監控開關、批量轉讓基準負責人等操作。基準範圍內的任務可設定更高優先順序以優先分配資源。離線、即時任務監控：支援配置任務的多種監控警示規則。監控離線邏輯表任務支援配置欄位視角的監控警示。監控配置協助您及時瞭解任務運行動態，並監控異常任務，此外，支援針對需要重點保障的任務設定基準監控。說明僅Basic和Prod專案支援配置監控警示。限流配置和基準營運需單獨購買開通後使用。
系統配置	系統配置提供限流配置、回合組態功能。限流配置：限流規則配置是當計算引擎出現效能瓶頸、資源分派不足或需控制任務下發時間和順序等情境時，您可在開發或生產環境配置限流規則，以保障系統的穩定性及控制高優先任務優先分配資源、優先運行，保證資料按序、及時的產出。回合組態：Dataphin支援租戶級的回合組態。您可根據租戶類型和業務情境為不同的租戶配置運行執行個體的逾時時間和運行任務失敗時的重跑策略，杜絕因運行執行個體長時間資源佔用造成資源浪費的同時提高運行執行個體的可靠性。

任務執行個體產生邏輯

營運中心任務類型括周期任務、手動任務和即時任務。觸發任務啟動並執行方式包括周期調度和手動觸發。系統的周期調度時間包括分鐘、小時、日、周、月和年。觸發任務運行包括補資料周期任務、手動運行手動任務和啟動即時任務的運行。

重要

開發環境的所有任務預設不運行，需要您手動觸發任務的運行。
周期任務發布到生產環境後即可開始正常調度。

image..png

周期執行個體產生邏輯

當開發調度類型為周期任務的節點被提交或發布至營運中心後，您可以在營運中心的周期工作清單中看到該任務節點。周期任務可產生以下2種執行個體類型：

執行個體類型

執行個體產生時間

執行個體運行邏輯

執行個體運行條件

周期執行個體

周期任務每晚23點會自動產生次日需要啟動並執行周期執行個體，周期執行個體方式為T+1次日產生：

23:00之前提交發布的周期任務，次日即組建循環執行個體。
23:00之後提交發布的周期任務，第三個自然日才會產生執行個體。
說明
修改任務調度資源群組僅對新產生的執行個體生效，對已產生的執行個體不生效。如果您需要修改執行個體的調度資源群組，請在23點之前修改任務的資源配置並提交發布。特殊的，您還可以單獨修改已產生但是未開始啟動並執行執行個體的調度資源。

周期任務通過快照方式組建循環執行個體後，將根據周期任務的調度屬性資訊自動調度運行。

周期執行個體開始運行前需滿足以下條件：

依賴的所有父節點執行個體都為成功運行狀態。
已達到執行個體節點的定時已耗用時間。
調度資源滿足執行個體的運行。
執行個體和關聯的周期任務非暫停狀態。周期執行個體運行狀態圖如下：

關於運行狀態更多資訊，請參見執行個體運行診斷。

補資料執行個體

補資料執行個體需手動針對當前周期任務進行補資料操作，才可產生補資料執行個體。

手動產生補資料執行個體後，補資料執行個體將根據所配置的業務日期進行補資料。

說明

在生產環境下，您可以通過補資料周期任務，驗證開發環境周期任務是否能夠正常運行，資料是否能夠正常產出。

手動執行個體產生邏輯
當開發調度類型為手動業務的節點被提交或發布至營運中心後，您可以在營運中心的手動工作清單中看到該節點，當您需要運行該手動任務時，可以在手動工作清單對該任務執行運行操作，手動觸發任務運行後，會產生手動執行個體，您可以在手動執行個體頁面查看該執行個體執行詳情。
即時執行個體產生邏輯
當即時任務被提交或發布至營運中心後，您可以在營運中心的即時工作清單對即時任務進行啟動、修改資源配置等相關操作。在Basic模式和Dev-Prod模式的Prod環境下，即時任務提交後將自動產生即時執行個體，自動產生的執行個體為未啟動的停止狀態。即時任務營運分為Realtime Compute任務和即時整合任務。

營運中心入口

快捷入口（推薦）

在Dataphin首頁，您也可以單擊Dataphin產品使用路徑的營運調度，快速進入營運中心。

普通入口

在Dataphin首頁，單擊頂部功能表列的研發。
在資料開發頁面，單擊頂部功能表列的營運，進入營運中心頁面。