全部產品
Search
文件中心

Dataphin:建立BLINK_SQL任務

更新時間:Jan 25, 2025

本文為您介紹如何基於Alibaba Blink即時引擎建立BLINK_SQL任務。

前提條件

在開始執行操作前,請確認專案已開啟即時引擎並已配置Alibaba Blink計算源。具體操作,請參見建立通用專案

許可權說明

僅支援超級管理員專案系統管理員開發人員建立BLINK_SQL計算任務。

步驟一:建立BLINK_SQL任務

  1. 在Dataphin首頁,單擊頂部功能表列研發

  2. 按照下圖操作指引,進入建立BLINK_SQL對話方塊。

    image.png

  3. 建立BLINK_SQL對話方塊,配置參數。

    參數

    說明

    任務名稱

    名稱的命名規則如下:

    • 只能包含小寫英文字母、數字、底線(_)。

    • 名稱的長度範圍為3~62個字元。

    • 專案內的名稱不支援重複。

    • 名稱僅支援以英文字母開頭。

    資源隊列

    選擇該專案所綁定Realtime Compute源中的資源隊列。

    引擎版本

    選擇當前資源隊列所支援的版本。

    儲存目錄

    預設為代碼管理,您也可以建立儲存目錄。image

    建立方式

    支援空白建立使用模板

    • 空白建立:建立普通空白的FLINK_SQL任務。

    • 使用模板:基於Realtime Compute工作範本快速建立任務。

    描述

    填寫簡單的描述,1000個字元以內。

步驟二:開發BLINK_SQL任務代碼

  1. 在BLINK_SQL任務字碼頁面,編寫任務的代碼。 image

    說明
    • 您可以單擊頁面右上方的image按鈕,系統自動調整SQL代碼格式。

    • Dataphin支援原生DDL語句快速建立元表。當前Dataphin識別到原生create table/create temporary table 語句時,您可以單擊編輯器image..png提示表徵圖,快速建立元表。具體操作,請參見Flink_SQL任務開發方式

  2. 單擊頁面左上方的先行編譯,校正代碼任務的文法及許可權問題。

    說明
    1. 先行編譯成功,在頁面上方出現1彈窗。

    2. 先行編譯失敗,在頁面上方出現2彈窗,單擊頁面底部Console,查看先行編譯失敗日誌。

步驟三:配置BLINK_SQL任務

  1. 單擊編輯器側邊欄配置

  2. 在配置對話方塊中,配置BLINK_SQL任務即時模式離線模式的相關配置資訊。

    說明

    DataphinRealtime Compute支援流批一體任務,使用統一的流批次計算引擎,在一份代碼上可同時配置流+批(即時模式+離線模式)的任務配置,基於同一份代碼產生不同模式下的執行個體。開啟批處理需在任務配置頁面開啟離線模式並進行資源、調度依賴等相關配置。

    image..png

    • 即時模式

      • 資源配置(必選):配置任務對應的資源隊列、引擎版本以及任務的並行度、Task Manager數量、Job Manager Memory和Task Manager Memory資訊。配置說明,請參見配置Alibaba Blink即時模式資源

      • 變數配置本對象節點使用的變數參數,無須聲明式預定義,可以在代碼中自由靈活定義,系統將自動解析至參數列表。可以在參數列表修改參數類型並對參數賦值。配置說明,請參見即時模式變數配置

      • Checkpoint配置:配置Flink SQL任務的Checkpoint,可有效協助當前Flink SQL任務運行意外崩潰後,重新運行程式時恢複到崩潰前的狀態。配置說明,即時模式Checkpoint配置

      • State配置:配置State中資料自動清理的周期。配置說明,即時模式State配置

      • 運行參數:可以通過配置運行參數控制Flink應用程式的執行行為和效能。配置說明,請參見即時模式運行參數配置

      • 依賴檔案:配置任務依賴的資源檔。配置說明,請參見即時模式依賴檔案配置

      • 依賴關係:配置依賴關係可協助排查調試時快速瞭解資料的上下遊任務。配置說明,請參見即時模式依賴關係配置

    • 離線模式(Bate)

      • 調度配置(必選):調度配置用於定義節點在生產環境的周期調度方式。您可以通過調度配置中調度屬性,配置任務調度周期與生效日期等。配置說明,請參見離線模式調度配置

      • 資源配置(必選):配置任務對應的資源隊列及引擎版本。配置說明,請參見配置Alibaba Blink離線模式資源

      • 運行參數:可以通過配置運行參數控制Flink應用程式的執行行為和效能。配置說明,請參見離線模式運行參數配置

      • 依賴檔案:配置Flink SQL任務依賴的資源檔。配置說明,請參見離線模式依賴檔案配置

      • 依賴關係(必選):配置依賴關係可協助排查調試時快速瞭解資料的上下遊任務。離線模式依賴關係配置

  3. 單擊確定

步驟四:調試BLINK_SQL任務代碼(可選)

Dataphin支援調試已開發的BLINK_SQL代碼。單擊頁面右上方的image調試按鈕,可以對代碼任務採樣資料並進行本地調試,保障代碼任務的正確性。同時支援即時模式調試離線模式調試

說明

當前僅支援單種模式調試,選擇模式後請採樣對應模式表資料進行調試。

  • 即時模式調試:採樣對應的即時物理資料,完成資料採樣後將在Flink Stream模式下進行本地調試。具體操作,請參見即時模式調試

  • 離線模式調試:採取對應的離線物理表資料,完成資料採樣後將在Flink Batch模式下進行本地調試。具體操作,請參見離線模式調試

步驟五:提交BLINK_SQL任務

  1. 單擊頁面左上方的image按鈕,並在提交備忘對話方塊中填寫備忘資訊。

  2. 單擊確定並提交

    說明

    如果專案的模式為Dev-Prod,則您需要發布Flink SQL任務至生產環境。具體操作,請參見管理髮布任務

後續步驟

在營運中心查看並營運BLINK_SQL任務,保證任務的正常運行。具體操作,請參見查看並管理即時任務