完成即時任務的開發並發布後,您可以在營運中心啟動即時執行個體。本文將為您介紹如何啟動即時執行個體。
啟動即時執行個體入口
入口一:即時任務入口啟動即時執行個體
在Dataphin首頁的頂部功能表列中,選擇研發 > 任務營運。
在左側導覽列中選擇任務營運 > 即時任務,開啟即時任務頁面。
在即時任務頁面,單擊目標即時任務操作列的
啟動表徵圖。
入口二:即時執行個體入口啟動即時執行個體
在Dataphin首頁的頂部功能表列中,選擇研發 > 任務營運。
在左側導覽列中選擇執行個體營運 > 即時執行個體,開啟即時執行個體頁面。
在即時執行個體頁面,單擊目標即時任務操作列的
啟動表徵圖。
即時執行個體啟動說明
不同計算引擎、即時執行個體類型和環境(開發或生產環境)啟動即時方式不同,啟動說明如下:
Ververica Flink、Fusioninsight、開源Flink即時引擎
啟動Realtime Compute執行個體
生產環境
在啟動即時執行個體對話方塊中,配置啟動資訊。
參數
描述
啟動方式
支援無狀態啟動和從有效狀態啟動。
無狀態啟動:不帶任何初始狀態啟動。無狀態啟動時可指定來源表讀取資料時點。設定指定開始時間會讓所有支援startTime的來源表均從該時刻開始讀取資料。
重要目前支援Log Service、Kafka、MySQL、MongoDB、OceanBase指定來源表讀取資料時點。
SQL作業中的代碼參數配置將優先於此指定的開始時間。
Fusioninsight Flink引擎不支援讀取資料時點。
從有效狀態啟動:從已存在的有效狀態啟動。支援下拉選擇Checkpoint或Savepoint,僅支援選擇最近8個有效狀態(Checkpoint或Savepoint)。預設為最新狀態啟動。
說明即時執行個體不存在最近的有效狀態時,不支援從有效狀態啟動。
來來源資料時區
來來源資料源的時區,不支援修改。
業務日期
支援通過配置業務日期對時間變數賦值,時間類型的變數基於業務日期計算。預設為當天。
說明即時整合任務不支援業務日期配置。
說明若您專案的計算源為Ververica Flink,系統將自動判斷您的計算源Ververica Flink是否為最新介面。若為最新介面您還需選擇從啟動位點開始運行或從最新狀態開始運行選項。
從啟動位點開始運行:根據配置的讀取資料時點和業務日期啟動執行個體。
從最新狀態開始運行:從即時執行個體的原有狀態恢複運行。
單擊啟動。
開發環境
在測試執行個體參數配置對話方塊中,配置測試執行個體參數的具體值。
參數
描述
指定來源表讀取資料時點
設定讀取資料時點。設定指定開始時間會讓所有支援startTime的來源表均從該時刻開始讀取資料。
重要目前支援Log Service、Kafka、MySQL 、MongoDB、OceanBase指定來源表讀取資料時點。
SQL作業中的代碼參數配置將優先於此指定的開始時間。
Fusioninsight Flink引擎不支援讀取資料時點。
測試方式
即時任務為Flink測試方式包括列印日誌和寫測試表:
選擇列印日誌後,測試結果寫入日誌,不產生測試表。
選擇寫測試表,則測試結果不會寫入日誌,但會產生對應的測試表。
重要需要您確保物理資料庫(如MySQL等)上已有該測試表,否則會導致啟動即時執行個體的運行失敗。
輸入表
無需配置,為您展示當前即時執行個體的輸入表名稱。
業務日期
支援通過配置業務日期對時間變數賦值,時間類型的變數基於業務日期計算。預設為當天。
測試執行個體時系統讀取開發表還是生產環境的測試元表,根據元表的配置決定。查看元表配置,請參見建立元表。
元表的開發環境測試時讀取參數選中開發表。
任務中使用的是
Project_Name_dev.元表名,則讀取開發環境測試元表。任務中使用的是
Project_Name.元表名,則讀取生產元表。如果您沒有生產環境測試元表許可權,則會報錯。如何申請生產環境測試元表許可權,請參見申請、續期和交還表許可權。任務中使用的是
${Project_Name}.元表名或元表名,則讀取開發環境測試元表。
元表的開發環境測試時讀取參數選中生產表。
任務中使用的是
Project_Name_dev.元表名,則讀取開發環境測試元表。任務中使用的是
Project_Name.元表名,則讀取生產環境測試元表。任務中使用的是
${Project_Name}.元表名或元表名,則讀取生產環境測試元表。
元表的開發環境測試時寫入參數選擇為其他測試表。
任務中使用的是
Project_Name_dev.元表名,則寫入開發測試元表。任務中使用的是
Project_Name.元表名,則寫入生產環境測試元表。如果您沒有生產環境測試元表許可權,則會報錯。如何申請生產環境測試元表許可權,請參見申請、續期和交還表許可權。任務中使用的是
${Project_Name}.元表名或元表名,則寫入開發環境測試元表。
單擊啟動。
開發/生產環境啟動即時整合執行個體
在啟動即時執行個體對話方塊中, 根據不同的啟動範圍,配置不同參數。
增量+全量
參數
描述
啟動範圍
選擇增量+全量。
僅當即時整合任務的同步方案選擇為即時增量+全量時,支援選擇增量+全量。
重要同步對象全量同步時會清空對應目標表的資料。
啟動方式
支援續跑和初始化。
續跑:啟動所有未同步完成(不包含已同步完成、已停止、已忽略)的同步對象的全量同步臨時任務,所有臨時任務執行完成後,啟動即時增量同步處理任務。
初始化:啟動所有同步對象的全量同步臨時任務,所有臨時任務執行完成後,啟動即時增量同步處理任務。
調度資源群組
為當前即時執行個體設定調度資源群組,預設為任務建立時為全量同步指定的資源群組。
記憶體
不支援輸入小數和負數,最大記憶體不超過16384MB(16GB)。預設值為4096MB,若為空白則預設為1024MB。
限流
按照資料量大小進行速度限制,不支援輸入小數和負數,預設值為10M/s,若為空白則不限流。
並發
用於設定全量任務期望最大的並發數,不支援輸入小數和負數,預設值為10 ,若為空白則並發數為3。
僅增量
參數
描述
啟動範圍
選擇僅增量。
啟動方式
支援無狀態啟動啟動,即不帶任何初始狀態啟動。
僅啟動即時增量同步處理任務,未開始以及同步失敗的全量同步臨時任務狀態置為已忽略。
來來源資料時區
來來源資料源的時區,不支援修改。
讀取資料時點
設定指定開始時間會讓所有支援startTime的來源表(Log Service、Kafka、MySQL、MongoDB、OceanBase)均從該時刻開始讀取資料,預設為目前時間。
重要SQL作業中的代碼參數配置將優先於此指定的開始時間 。
Fusioninsight Flink引擎不支援讀取資料時點。
單擊啟動。
Alibaba Blink即時引擎
開發環境啟動即時執行個體
在測試執行個體參數配置對話方塊中,配置測試執行個體參數的具體值。
參數
描述
讀取資料時點
設定來來源資料的讀取消費時間。
測試方式
即時任務為Flink測試方式包括列印日誌和寫測試表:
選擇列印日誌後,測試結果寫入日誌,不產生測試表。
選擇寫測試表,則測試結果不寫入日誌,但會產生對應測試表。
重要需要您確保實體儲存體引擎(例如HBase、Kafka等)上已有該測試表,否則會導致啟動即時執行個體的運行失敗。
輸入表
無需配置,為您展示當前即時執行個體的輸入表名稱。
業務日期
支援通過配置業務日期對時間變數賦值,時間類型的變數基於業務日期計算。預設為當天。
測試執行個體時系統讀取開發表還是生產環境的測試元表,根據元表的配置決定。查看元表配置,請參見建立元表。
元表的開發環境測試時讀取參數選中開發表。
任務中使用的是
Project_Name_dev.元表名,則讀取開發環境測試元表。任務中使用的是
Project_Name.元表名,則讀取生產元表。如果您沒有生產環境測試元表許可權,則會報錯。如何申請生產環境測試元表許可權,請參見申請、續期和交還表許可權。任務中使用的是
${Project_Name}.元表名或元表名,則讀取開發環境測試元表。
元表的開發環境測試時讀取參數選中生產表。
任務中使用的是
Project_Name_dev.元表名,則讀取開發環境測試元表。任務中使用的是
Project_Name.元表名,則讀取生產環境測試元表。任務中使用的是
${Project_Name}.元表名或元表名,則讀取生產環境測試元表。
元表的開發環境測試時寫入參數選擇為其他測試表。
任務中使用的是
Project_Name_dev.元表名,則寫入開發測試元表。任務中使用的是
Project_Name.元表名,則寫入生產環境測試元表。如果您沒有生產環境測試元表許可權,則會報錯。如何申請生產環境測試元表許可權,請參見申請、續期和交還表許可權。任務中使用的是
${Project_Name}.元表名或元表名,則寫入開發環境測試元表。
單擊啟動。
生產環境啟動即時執行個體
在啟動即時執行個體對話方塊中,配置啟動資訊。
參數
描述
讀取資料時點
設定來來源資料的讀取消費時間。
業務日期
支援通過配置業務日期對時間變數賦值,時間類型的變數基於業務日期計算。預設為當天。
單擊啟動。