即時執行個體的全面營運管理-智能資料建設與治理 Dataphin-阿里雲

即時執行個體是即時任務提交到營運中心後產生的執行個體資料。Dataphin支援查看即時任務產生的執行個體資料，同時支援對即時執行個體進行營運管理，包括查看任務、查看執行個體代碼、查看執行個體參數等。本文為您介紹即時執行個體的狀態及如何營運管理即時執行個體。

即時執行個體頁面入口

在Dataphin首頁的頂部功能表列中，選擇研發 > 任務營運。
在頂部功能表列選擇生產或開發環境。
在左側導覽列中選擇執行個體營運 > 即時執行個體，開啟即時執行個體頁面。

即時執行個體頁面介紹

即時執行個體頁面以列表方式，為您展示系統已產生的即時執行個體，您可以在即時執行個體頁面進行相關的營運操作。

區塊	說明
①篩選及搜尋區	支援輸入執行個體對象名稱或ID來搜尋即時執行個體，適用於知道即時對象名稱或ID時進行快捷搜尋。我的停止執行個體：調度負責人為當前登入帳號，且已停止啟動並執行執行個體。我今日操作的執行個體：調度負責人為當前登入帳號，且當日已操作過的執行個體。專案：根據任務所在專案進行篩選，可選擇多個當前登入使用者擁有營運-訪問目錄許可權的專案。展開篩選：單擊篩選，可展開所有篩選項，篩選項包括：細分類型：包括Flink SQL、Flink Template SQL、Flink DataStream和即時整合。運行狀態：可選擇多個執行個體的運行狀態進行篩選，包括已完成、啟動中、啟動失敗、運行中、運行失敗、停止中和停止。最近操作人：根據執行個體的最近操作人進行篩選。負責人：根據執行個體的營運負責人進行篩選。引擎類型：根據引擎類型進行篩選，包含Ververica Flink、Blink、Flink和FusionInsight Flink。叢集：Ververica FlinkRealtime Compute引擎的叢集ID。引擎版本：執行個體使用的引擎版本。操作日期：操作該執行個體的時間。重設：開啟所有篩選項後，可單擊重設，快速清除已選篩選條件。
②列表操作	查看執行個體統計：單擊後跳轉至執行個體統計頁面查看詳情，詳情請參考查看執行個體統計。匯出執行個體列表：單擊後匯出篩選/搜尋後的執行個體，匯出表格格式為.csv。自訂欄表表頭：單擊表徵圖，可挑選清單展示項，並調整展示順序。說明首列和操作列不支援取消展示及調整順序。使用者清除瀏覽器緩衝或更換瀏覽器後，表頭將恢複預設設定。重新整理列表：單擊表徵圖，重新整理當前列表。
③即時執行個體列表	即時執行個體頁面以列表形式為您展示系統已產生的即時執行個體。即時執行個體列表中包含執行個體對象、運行狀態、最近操作人、最新動向時間、負責人、專案等資訊。執行個體對象：即時任務提交發布營運中心後即產生一個即時執行個體對象，初始運行狀態為停止，您可以手動啟動。運行狀態：該執行個體目前的運行狀態包括：啟動中、運行中、停止中、停止、運行失敗、啟動失敗。更多資訊，請參見即時執行個體運行狀態說明。消費延時（s）：任務的延遲，即資料來源消費的延遲。最近操作人：運行該執行個體時消耗的資源。最新動向時間：最近操作該執行個體的帳號。負責人：執行個體的營運負責人。專案：執行個體所屬的專案，展示格式為`專案英文名（專案中文名）`。引擎類型：當前即時執行個體所使用的引擎類型。叢集：該即時執行個體運行於哪個叢集中。僅適用於Ververica Flink即時引擎，其他引擎執行個體展示為空白。資源隊列：該即時執行個體運行在哪個資源隊列中。僅適用於Blink、Flink即時引擎，其他引擎執行個體展示為空白。引擎版本：該即時執行個體啟動並執行引擎版本。列表操作列為您展示即時執行個體支援的營運管理操作。即時執行個體支援的單個營運操作，請參見單個操作。
④大量操作	您可通過大量操作地區提供的啟動、停止、下線營運功能，對即時執行個體進行批量處理，提高操作效率。即時執行個體支援的批量營運操作，請參見大量操作。

即時執行個體運行狀態說明

狀態標識	狀態	說明
	已完成	對於有界流資料，已完成的執行個體。
	啟動中	已啟動執行個體的運行，但系統未開始運行。
	運行中	正在運行中的執行個體。
	停止中	已觸發停止執行個體的操作，系統正在執行停止執行個體。
	停止	停止正在啟動並執行執行個體。
	運行失敗	運行失敗的執行個體。
	啟動失敗	啟動失敗的執行個體。

管理即時執行個體

單個操作

操作項	描述
啟動	單擊目標即時執行個體操作列的表徵圖，啟動當前即時執行個體。具體操作，請參見啟動即時執行個體。
停止	單擊目標即時執行個體操作列的表徵圖，停止當前運行中的即時執行個體。支援無狀態停止和保留目前狀態停止兩種停止方式。無狀態停止：不保留目前狀態（Savepoint），下次啟動作業時將不帶狀態啟動。重要無狀態停止會清空之前儲存的Savepoint，但不清除Checkpoint。保留目前狀態停止：保留目前狀態（Savepoint），下次啟動作業時可以選擇從目前狀態啟動。說明 BlinkRealtime Compute引擎不支援選擇無狀態停止和保留目前狀態停止。即時整合執行個體僅支援無狀態停止。單擊停止後，停止即時增量任務並停止所有同步中的離線任務。
下線	單擊目標即時執行個體操作列的表徵圖，下線生產環境中的即時執行個體。系統支援下線停止、運行失敗、啟動失敗的即時執行個體。
查看運行分析	單擊目標即時執行個體操作列的表徵圖，查看當前即時執行個體的運行資訊、資料曲線、Failover等參數。計算引擎為Apache Flink。更多資訊，請參見查看運行分析。若即時執行個體為Ververica Flink、Blink即時引擎。更多資訊，請參見查看作業詳情。
查看即時任務	單擊目標即時執行個體操作列的表徵圖，選擇查看即時任務，進入產生當前執行個體的任務頁面，查看即時任務詳情。
查看執行個體代碼	單擊目標即時執行個體操作列的表徵圖，選擇查看執行個體代碼，查看產生當前執行個體的任務代碼。在Flink計算引擎下您可單擊邏輯代碼或物理代碼進行切換查看。邏輯代碼：編寫的任務代碼。物理代碼：編譯後產生的可在Flink引擎上啟動並執行代碼。
查看執行個體參數	單擊目標即時執行個體操作列的表徵圖，選擇查看執行個體參數，查看執行個體運行時的參數。例如`metrics.reporter.promappmgr.port`等參數。
查看同步對象	單擊目標即時執行個體操作列的表徵圖，選擇查看同步對象，開啟該即時執行個體詳情的同步對象頁簽，同步對象詳情包括增量同步處理和全量同步。增量同步處理：展示運行狀態、開始已耗用時間、延時和最新讀取位置資訊。支援啟動、停止、查看作業記錄和查看節點代碼操作。運行狀態：原即時整合任務的運行狀態，包含已完成、啟動中、啟動失敗、運行中、運行失敗、停止中和停止。當運行失敗時，可查看錯誤原因；當即時任務被暫停，此時任務狀態為運行中，但此處運行狀態展示為運行中（暫停）。開始已耗用時間：即時增量同步處理的起始時間。延時：即時增量任務的延時。最新讀取位置：讀取到的時間位點。全量同步：展示總同步狀態、同步進度、來來源物件、目標對象、狀態、同步時間、耗時、速度、資料量等資訊。支援輸入來源/目標對象名稱進行搜尋、根據對象同步狀態進行篩選。總同步狀態：全量同步所有來來源物件的總體同步狀態，包含未開始、同步中、同步完成和同步失敗。未開始：所有來來源物件同步狀態均為未開始。未開始狀態下，不展示同步進度。同步中：存在同步中的來來源物件。同步完成：所有來來源物件同步狀態僅包含同步完成、已忽略和已停止。同步失敗：存在同步失敗的來來源物件。同步進度：全量同步的整體進度，展示為`已完成數/總對象數`。來來源物件、目標對象：展示為`schema.來源/目標表名`、`來源/目標資料來源名`。狀態：包含未開始、停止中、已停止、已忽略、同步中、同步失敗和同步完成。未開始：未運行，等待增量任務暫停後開始同步。停止中：最後一次同步中的臨時任務被手動停止，但未完成停止。已停止：最後一次同步中的臨時任務被手動停止。已忽略：任務未開始或任務失敗時單擊忽略操作後，任務狀態將展示為已忽略。同步中：最後一次臨時任務正在運行中。同步失敗：最後一次臨時任務運行失敗。同步完成：最後一次臨時任務運行成功。同步時間：臨時任務的啟動/結束時間，展示為`開始時間～結束時間`，若未開始未結束則為-。耗時：臨時任務運行總耗時。速度：同步速度，計算公式為`最後一次臨時任務執行完成同步的總資料量/耗時`。資料量：最後一次臨時任務執行完成同步的總資料量。操作：僅當增量同步處理的運行狀態為運行中時，支援查看日誌、運行、停止和忽略操作。查看日誌：單擊查看日誌，開啟最後一次臨時任務的日誌查看頁面。運行、批量運行：僅當狀態為已忽略、已停止、同步失敗和同步完成時支援運行操作。同步對象全量同步時會清空對應目標表的資料，以及該任務的調度資源群組，可調整調度資源群組。停止、大量停止：僅同步中的同步對象支援停止操作，停止後不阻塞任務運行。忽略、批量忽略：僅未開始、同步失敗的同步對象支援忽略操作，忽略後不阻塞任務運行。說明僅開發環境下，同步方案為即時增量+全量的即時整合執行個體支援此項。
重新整理同步對象	單擊目標即時執行個體操作列的表徵圖，選擇重新整理同步對象，在重新整理同步對象對話方塊中單擊確定後，將按照新的同步範圍進行運行。僅同步物件範圍發生變更：新增同步對象：增量同步處理暫停（任務狀態仍然是運行中），運行新增對象的臨時全量任務，已運行成功的全量任務不再運行，所有新增的臨時全量任務執行完畢後，繼續運行增量同步處理。刪除同步對象：移除同步對象，增量同步處理任務減少同步範圍繼續執行。除同步物件範圍外還有其他變更（例如進行了任務配置調整、目標表調整等）：增量同步處理停止，若存在同步範圍變更，先完成新增對象的同步，再重新啟動增量同步處理任務。已存在的全量任務，使用者可按需在同步對象頁面根據對象進行手動處理。說明僅同步方案為即時增量+全量、狀態為運行中且同步內容發生變更的即時整合執行個體支援此項。

大量操作

操作項	描述
啟動	說明不同即時引擎支援啟動執行個體的狀態各不相同。 Flink：停止。 Ververica Flink：停止、運行失敗、運行成功。 Blink：停止、未啟動。 FusionInsight Flink：停止、運行失敗。啟動即時整合執行個體：選擇多個即時整合執行個體，或單擊本頁全選後，單擊啟動，選擇啟動即時整合執行個體。在大量啟動即時整合執行個體對話方塊中，配置啟動資訊。啟動n個執行個體：展示啟動執行個體的個數及執行個體名稱，多個執行個體間使用半形逗號（,）分隔。啟動範圍：選擇增量+全量（僅增全量即時整合任務可用）或僅增量。全量同步：僅當啟動範圍選取增量+全量時，支援配置此模組參數。重跑方式：可選擇從初始化或續跑。初始化：啟動所有同步對象的全量同步臨時任務，所有臨時任務執行完成後，啟動即時增量同步處理任務。續跑：啟動所有未同步完成（不包含已同步完成、已停止、已忽略）的同步對象的全量同步臨時任務，所有臨時任務執行完成後，啟動即時增量同步處理任務。記憶體（非必填）：不支援輸入小數和負數，最大記憶體不超過8192MB（8GB）。限流（非必填）：按照資料量大小進行速度限制，不支援輸入小數和負數，預設值為10M/s，若為空白則不限流。並發（非必填）：用於設定全量任務期望最大的並發數，不支援輸入小數和負數，預設值為10 ，若為空白則並發數為3。說明僅Prod環境可配置調度資源群組、記憶體、限流和並發。增量同步處理：僅當啟動範圍選取僅增量時，支援配置此模組參數。啟動方式：僅支援無狀態啟動，即不帶任何初始狀態啟動。讀取資料時點：設定指定開始時間會讓所有支援`startTime`的來源表（Log Service、Kafka、MySQL、MongoDB、OceanBase）均從該時刻開始讀取資料。說明 SQL任務中的代碼參數配置將優先於此指定的開始時間。單擊確定，開始啟動。啟動即時研發執行個體：選擇多個即時研發執行個體，或單擊本頁全選後，單擊啟動，選擇啟動即時研發執行個體。在大量啟動即時研發執行個體對話方塊中，配置啟動資訊。啟動n個執行個體：展示啟動執行個體的個數及執行個體名稱，多個執行個體間使用半形逗號（,）分隔。啟動方式：支援無狀態啟動和從有效狀態啟動。無狀態啟動：不帶任何初始狀態啟動。從有效狀態啟動：從已存在的有效狀態啟動。說明若選中的執行個體中包含無狀態的執行個體，則大量啟動執行個體時僅支援選擇無狀態啟動。讀取資料時點：設定指定開始時間會讓所有支援startTime的來源表（Log Service、Kafka、MySQL、MongoDB、OceanBase）均從該時刻開始讀取資料。說明 SQL作業中的代碼參數配置將優先於此指定的開始時間。業務日期：支援通過配置業務日期對時間變數賦值，時間類型的變數基於業務日期計算，預設為當天。說明 SQL作業中的代碼參數配置將優先於此指定的開始時間。單擊確定，開始啟動。
停止	說明僅運行失敗、運行中、啟動失敗、恢複失敗和完成狀態的執行個體支援停止操作。停止即時整合執行個體：選擇多個即時整合執行個體，或選中本頁全選後，單擊停止，選擇停止即時整合執行個體。在大量停止即時整合執行個體對話方塊中，配置啟動資訊。停止n個執行個體：展示停止執行個體的個數及執行個體名稱，多個執行個體間使用半形逗號（,）分隔。停止方式：當前僅支援無狀態停止，即不保留目前狀態，下次啟動時不帶狀態啟動。停止即時研發執行個體：選擇多個即時研發執行個體，或選中本頁全選後，單擊停止，選擇停止即時研發執行個體。在大量停止即時研發執行個體對話方塊中，配置啟動資訊。停止n個執行個體：展示停止執行個體的個數及執行個體名稱，多個執行個體間使用半形逗號（,）分隔。停止方式：無狀態停止：即不保留目前狀態，下次啟動時不帶狀態啟動。保留目前狀態停止：保留目前狀態，下次啟動時可以選擇從目前狀態啟動。
下線	下線當前選中的生產環境中的即時執行個體。說明僅停止狀態的即時執行個體支援下線。

即時執行個體DAG圖

單擊即時執行個體巨集指令清單執行個體對象名稱，頁面右側為您展示以當前節點為中心節點的DAG圖，預設展開上下各一層的父子節點的DAG圖。同時，您也可以調整DAG圖頁面範圍：

單擊表徵圖，隱藏即時執行個體列表，放大DAG圖。
單擊表徵圖，隱藏DAG圖。
滑鼠移至上方至表徵圖拖動，以擴大或縮小DAG圖的頁面範圍。

DAG圖支援可視化動態呈現該節點的上下遊依賴關係，同時支援對上下遊節點進行營運操作：

區塊	說明
①節點資訊列	展示當前選中節點的概要資訊。您還可以單擊查看節點詳情，查看更多節點資訊。 Ververica Flink即時引擎：包括節點詳情、同步對象（僅增量+全量即時整合任務產生的即時執行個體支援）、作業記錄、動作記錄、節點代碼和任務參數（僅計算任務執行個體支援）。 Flink即時引擎：包括節點詳情、同步對象（僅增量+全量即時整合任務產生的即時執行個體支援）、運行分析、日誌、動作記錄、節點代碼和任務參數（僅計算任務執行個體支援）。節點詳情：包含當前節點的基本資料和運行資訊，基本資料包含節點名稱、ID、執行個體ID、所屬專案等資訊，運行資訊包含運行狀態、已耗用時間等資訊。同步對象：包含來來源物件和目標對象，分別展示全量同步和增量同步處理的狀態等資訊。當增量同步處理任務狀態為運行中時，可手動運行、停止和忽略全量同步。運行時還需配置調度資源群組、記憶體、限流、並發和切分鍵（僅運行單個同步對象時支援）。調度資源群組：全量同步任務使用的調度資源，預設為專案預設資源群組。記憶體：通道配置，不支援輸入小數和負數，最大記憶體不超過16384MB（16GB），預設值為4096MB，若為空白則預設為1024MB。限流：按照資料量大小進行速度限制，不支援輸入小數和負數，預設值為10M/s，若為空白則不限流。並發：通道配置，用於設定全量任務期望最大的並發數，不支援輸入小數和負數，預設值為10 ，若為空白則並發數為3。切分鍵：根據配置的欄位進行資料分區，與並發配合使用，以實現並發讀取。預設為空白，為空白時系統將自動識別欄位。您可以將來源資料表中某一列作為切分鍵，該欄位須為整型數字或日期時間類型，否則可能會導致切分不準確。此外，建議使用主鍵或有索引的列作為切分鍵以保證傳輸效能。作業記錄：展示當前節點的作業記錄，若運行失敗產生髒資料時，可下載髒資料檔案。動作記錄：展示當前節點的動作記錄，包含操作時間、操作任和具體操作。運行分析：使用資料大盤展示選定時間內各類運行資料（例如失敗次數、反壓資料等）。日誌：分別展示開機記錄、作業記錄和異常資訊。節點代碼：展示當前節點的具體代碼資訊。任務參數：展示當前節點的任務參數。
②節點搜尋及篩選區域	快捷設定以Main節點為中心向上向下的展開層級。當展開節點較多不便查看時，您可以搜尋節點名稱以快速定位當前DAG圖展示範圍內的某個節點。
③調度依賴關係圖	展示執行個體的調度依賴關係圖，支援向上向下展開更多節點，同時支援對上下遊節點的營運操作。滑鼠移至上方至DAG節點上，可以查看該節點的名稱、類型、調度周期、營運負責人及其描述資訊。
④畫布調整區	快捷調整DAG顯示比例，包括設定顯示比例（預設為100%）、在當前比例基礎上放大（最大200%）、在當前比例基礎上縮小（最小20%）、適應畫布和全屏展示。同時，展示當前DAG圖中Main節點的節點ID和節點名稱。

即時執行個體DAG節點支援的操作

操作項	描述
展開父節點	展開DAG圖中Main節點不同層級的依賴節點。
展開子節點	展開DAG圖中Main節點不同層級的依賴節點。
查看即時任務	進入產生當前執行個體節點的任務節點DAG圖，查看任務節點詳情、上下遊節點資訊及對任務節點進行營運管理等，更多資訊，請參見查看並管理即時任務。
查看節點代碼	查看產生當前執行個體的任務代碼。在Flink計算引擎下您可單擊邏輯代碼或物理代碼進行切換查看。邏輯代碼：編寫的任務代碼。物理代碼：編譯後產生的可在Flink引擎上啟動並執行代碼。
查看作業記錄	可查看執行個體節點的作業記錄。同時，若任務存在髒資料時，您可以單擊下載髒資料檔案，將髒資料下載至本地進行查看，包括髒資料產生時間、報錯內容、報錯原因。檔案預設保留7天。在Flink計算引擎下支援分別看作業記錄的開機記錄、作業記錄、異常資訊，協助您進行錯誤定位和排查。開機記錄：Dataphin用戶端把Flink作業提交到Yarn的過程中的日誌資訊。作業記錄：Flink作業的Job Manager、TaskManager運行過程中的日誌資訊。說明日誌的儲存時間預設為7個自然日。日誌輸出層級包含Warning和Error層級的日誌資訊。異常資訊：任務運行中產生的exception錯誤資訊。包括異常發生的時間、異常的名稱、發生異常的Task、TaskManager節點的主機名稱或IP地址。單擊查看表徵圖可查看異常歷史資訊的詳情。
查看任務參數	查看當前執行個體節點的任務參數。例如，`execution.checkpointing.interval`等任務參數資訊。
編輯開發節點	進入Dev專案下產生當前執行個體節點的任務編輯頁面，編輯該任務。僅適用於Dev-Prod開發模式。
編輯節點	進入產生當前執行個體節點的任務編輯頁面，編輯該任務。僅適用於Basic模式。
查看產生節點	查看Prod專案中產生當前執行個體節點的任務配置。
查看動作記錄	查看當前執行個體的動作記錄。包括操作時間，操作人、操作內容。
查看運行分析	查看當前即時執行個體的運行資訊、資料曲線、Failover等參數。若即時執行個體為Ververica Flink、Alibaba Blink即時引擎。更多資訊，請參見查看作業詳情。若即時執行個體為Flink即時引擎。更多資訊，請參見查看運行分析。
查看同步對象	在當前即時執行個體詳情的同步對象頁簽中，查看同步對象詳情，包括增量同步處理和全量同步。各欄位詳情同管理即時執行個體-單個操作中的查看同步對象。說明僅增量+全量即時整合任務產生的即時執行個體支援此操作。
重新整理同步對象	單擊重新整理同步對象，在重新整理同步對象對話方塊中單擊確定後，將按照新的同步範圍運行當前即時執行個體。各欄位詳情同管理即時執行個體-單個操作中的重新整理同步對象。說明僅增量+全量即時整合任務產生的即時執行個體支援此操作。
啟動	啟動當前即時執行個體。具體操作，請參見啟動即時執行個體。
停止	停止當前運行中、已完成（僅支援無狀態停止）的即時執行個體。包括無狀態停止和保留目前狀態停止兩種停止方式。無狀態停止：不保留目前狀態（Savepoint），下次啟動作業時將不帶狀態啟動。保留目前狀態停止：保留目前狀態（Savepoint），下次啟動作業時可以選擇從目前狀態啟動。說明 BlinkRealtime Compute引擎不支援選擇無狀態停止和保留目前狀態停止。
下線	下線生產環境中的即時執行個體。系統支援下線已停止的即時執行個體。