本文為您介紹基於開源Flink即時引擎如何建立FLINK_SQL任務。
前提條件
在開始執行操作前,請確認專案已開啟即時引擎並已配置Flink為計算源。具體操作,請參見建立通用專案。
許可權說明
僅支援超級管理員、專案系統管理員和開發人員建立FLINK_SQL計算任務。
步驟一:建立FLINK_SQL任務
在Dataphin首頁的頂部功能表列中,選擇研發 > 資料研發。
在頂部功能表列中選擇專案(Dev-Prod模式還需選擇環境)。
在左側導覽列中選擇資料處理 > 計算任務,在右側計算工作清單中單擊
表徵圖,選擇FLINK_SQL。在建立FLINK_SQL任務對話方塊,配置任務參數。
參數
說明
任務名稱
名稱的命名規則如下:
只能包含小寫英文字母、數字、底線(_)。
名稱的長度範圍為4~63個字元。
專案內的名稱不支援重複。
名稱僅支援以英文字母開頭。
生產環境資源隊列/開發環境資源隊列
專案綁定的Flink計算源的部署模式為Kubernetes時,支援選擇所有配置為即時任務的資源群組(包括外部註冊叢集中的資源群組)。
專案綁定的Flink計算源的部署模式為yarn時,支援選擇Flink SQL任務所在的生產環境叢集資源隊列或資源群組。
說明若您的專案空間為Basic模式,則僅支援配置生產環境資源隊列。
生產環境引擎版本/開發環境引擎版本
選擇任務啟動並執行Flink引擎版本。Dataphin支援的引擎版本如下:
1.20.1
1.15.3
1.14.2
1.13.1
說明若您的專案空間為Basic模式,則僅支援配置引擎版本。
儲存目錄
選擇任務所存放的目錄。
若未建立目錄,您可以建立檔案夾,操作方法如下:
在頁面左側計算工作清單上方單擊
表徵圖,開啟建立檔案夾對話方塊。在建立檔案夾對話方塊中輸入檔案夾名稱並根據需要選擇目錄位置。
單擊確定。
建立方式
支援空白建立、引用範例程式碼和使用模板。
空白建立:建立普通空白的FLINK_SQL任務。
引用範例程式碼:引用系統內建的範例程式碼快速建立任務。
使用模板:基於Realtime Compute工作範本快速建立任務。
描述
填寫對Flink SQL任務的簡單描述,1000字元以內。
單擊確定。
步驟二:開發及先行編譯FLINK_SQL任務代碼
在FLINK_SQL任務字碼頁面,編寫任務的代碼。
Dataphin支援原生DDL語句快速建立元表。當前Dataphin識別到原生
create table/create temporary table語句時,您可以單擊編輯器
提示表徵圖,快速建立元表。具體操作,請參見Flink_SQL任務開發方式。代碼編寫完成後,可單擊當前計算任務頂部功能表列中的格式化按鈕,使系統自動調整SQL代碼格式。
單擊頂部功能表列中的先行編譯,校正代碼任務的文法及許可權問題。
若先行編譯成功,系統將提示先行編譯成功;若先行編譯失敗,系統將提示先行編譯失敗,可單擊頁面底部的Console,查看先行編譯失敗日誌。
步驟三:配置FLINK_SQL任務
單擊編輯器側邊欄配置。
在配置對話方塊中,配置FLINK_SQL任務即時模式和離線模式的相關配置資訊。
說明DataphinRealtime Compute支援流批一體任務,使用統一的流批次計算引擎,在一份代碼上可同時配置流+批的任務配置,基於同一份代碼產生不同模式下的執行個體。開啟批處理需在任務配置頁面開啟離線模式並進行資源、調度依賴等相關配置。

即時模式
資源配置(必選):配置任務生產環境和開發環境對應的資源隊列、引擎版本以及任務的並行度、Task Manager 數量、Job Manager Memory和Task Manager Memory資訊。配置說明,請參見配置Ververica Flink即時模式資源。
變數配置:變數參數配置是對計算任務代碼中所用的變數進行賦值,從而支援變數參數可以自動被替換為相應的變數值。配置說明,請參見即時模式變數配置。
Checkpoint配置:配置Flink SQL任務的Checkpoint,可有效協助當前Flink SQL任務運行意外崩潰後,重新運行程式時恢複到崩潰前的狀態。配置說明,請參見即時模式Checkpoint配置。
State配置:配置State中資料自動清理的周期。配置說明,請參見即時模式State配置。
運行參數:可以通過配置運行參數,控制Flink應用程式的執行行為和效能。配置說明,請參見即時模式運行參數配置。
依賴檔案:配置任務依賴的資源檔。配置說明,請參見即時模式依賴檔案配置。
依賴關係:配置依賴關係可協助排查調試時快速瞭解資料的上下遊任務。配置說明,請參見即時模式依賴關係配置。
離線模式(Beta)
重要專案綁定的Realtime Compute源為開源Flink且部署模式為k8s(Kubernetes)不支援離線模式。
資源配置(必選):配置任務生產環境和開發環境對應的資源隊列、引擎版本以及任務的並行度、Task Manager數量、Job Manager Memory、Task Manager Memory資訊。配置說明,請參見配置開源Flink離線模式資源。
變數配置:變數參數配置是對計算任務代碼中所用的變數進行賦值,從而支援變數參數可以自動被替換為相應的變數值。配置說明,請參見離線模式變數配置。
運行參數:可以通過配置運行參數,控制Flink應用程式的執行行為和效能。配置說明,請參見離線模式運行參數配置。
依賴檔案:配置Flink SQL任務依賴的資源檔。配置說明,請參見離線模式依賴檔案配置。
調度配置(必選):調度配置用於定義節點在生產環境的周期調度方式。您可以通過調度配置中調度屬性,配置任務調度周期與生效日期等。配置說明,請參見離線模式調度配置。
依賴關係(必選):配置依賴關係可協助排查調試時快速瞭解資料的上下遊任務。配置說明,請參見離線模式依賴關係配置。
單擊確定。
步驟四:調試FLINK_SQL任務代碼
Dataphin支援調試已開發的Flink_SQL代碼。單擊頂部功能表列的調試按鈕,可以對代碼任務採樣資料並進行本地調試,確保代碼的正確性。
在調試配置對話方塊中選擇即時模式-FLINK Stream任務(即時模式調試)或離線模式-FLINK Batch任務(離線模式調試)。
當前僅支援單種模式調試,選擇模式後請採樣對應模式表資料進行調試。
步驟五:提交Flink SQL任務
單擊頂部功能表列的提交按鈕。
在提交對話方塊中查看提交內容和前置檢查資訊,並填寫提交備忘。
單擊確定並提交。
如果專案的模式為Dev-Prod,則您需要發布Flink SQL任務至生產環境。具體操作,請參見管理髮布任務。
後續步驟
提交成功後,您可在營運中心查看並營運Flink SQL任務,保證任務的正常運行。更多資訊,參見查看並管理即時任務。