本文為您介紹如何基於Dataphin建立資料庫SQL任務。
使用限制
支援預存程序的建立及執行,但是Dataphin系統將不做文法校正及解析。
執行資料庫SQL需要擷取資料來源的執行許可權,不支援表級許可權校正。更多資訊,請參見申請、續期和交還資料來源許可權。
不支援基於MySQL、Oracle資料來源SQL資料更新觸發調度資料來源品質規則。更多資訊,請參見建立資料來源品質規則。
查詢結果不支援全量下載,僅支援下載範例資料。
離線計算模板節點類型不支援資料庫SQL。
在Dev-Prod模式的專案下使用僅配置了生產環境的資料來源,在開發環境下進行補資料或運行操作可能變更生產資料,請謹慎使用。
操作步驟
在Dataphin首頁的頂部功能表列中,選擇研發 > 資料研發。
在開發頁面的頂部功能表列選擇專案(Dev-Prod模式需要選擇環境)。
在左側導覽列中選擇資料處理 > 計算任務,在計算任務列表中單擊
表徵圖,選擇資料庫SQL。在建立資料庫SQL任務對話方塊中,配置以下參數。
參數
描述
基本資料
任務名稱
填寫代碼任務的名稱。
長度不超過256個字元,不支援豎線(|)、正斜線(/)、反斜線(\)、半形冒號(:)、半形問號(?)、角括弧(<>)、星號(*)和半形引號(")。
調度類型
選擇任務的調度類型。調度類型包括:
周期任務:自動參與系統的周期性調度。
手動任務:需要手動觸發任務的運行。
選擇目錄
選擇任務所存放的目錄。
若未建立目錄,您可以建立檔案夾,操作方法如下:
在頁面左側計算工作清單上方單擊
表徵圖,開啟建立檔案夾對話方塊。在建立檔案夾對話方塊中輸入檔案夾名稱並根據需要選擇目錄位置。
單擊確定。
使用模板
單擊使用模板開關來選擇是否使用代碼模板。若開啟使用模板,則還需選擇模板和模板版本,其中,模板版本預設選擇已選模板的最新版本。
引用代碼模板以實現高效研發,模板任務代碼為唯讀不可編輯,您只需配置模板參數即可完成代碼研發。更多資訊,請參見建立離線計算模板。
說明資料庫SQL計算任務(資料來源為AnalyticDB for PostgreSQL、StarRocks、Doris、SelectDB、GaussDB(DWS))引用離線計算模板後,不支援切換任務類型。
描述
填寫任務的簡單描述,1000個字元以內。
資料來源配置
資料來源類型
選擇SQL任務的資料來源類型。可選資料來源類型詳情請參見Dataphin支援的資料來源中的離線研發-資料庫SQL列。
若啟用模板,則資料來源類型將與所選模板的資料來源類型一致,且不可進行修改。
資料來源
選擇SQL任務的資料來源。若無可選資料來源,可以單擊+建立資料來源進行建立。
若啟用模板,則資料來源將與所選模板的資料來源一致,您可選擇其他資料來源。
Catalog
資料來源類型為Presto、Trino時,配置資料來源後,還需要配置Catalog。
Database/Schema
資料來源類型為MySQL、PostgreSQL、AnalyticDB for PostgreSQL、Oracle、Presto、GaussDB(DWS)、Microsoft SQL Server、ClickHouse、Hologres、Doris、openGauss、StarRocks、DM、OceanBase(Oracle租戶模式)、SelectDB、Trino、PolarDB-X2.0時,配置資料來源後,還需要配置Schema。
若啟用模板,則Schema將與所選模板的資料來源Schema一致,您可選擇其他Schema。
單擊確定。
在當前資料庫SQL任務頁簽下的代碼編輯地區,編寫資料庫SQL離線計算任務的代碼。資料庫SQL支援使用跨節點輸出參數,詳情請參見跨節點輸出參數賦值、跨節點參數最佳實務。代碼編輯完成後,單擊代碼編輯地區上方的運行。
單擊頁面右側邊欄的屬性,在屬性面板中配置任務的基本資料、運行參數、調度屬性(周期任務)、調度依賴(周期任務)、回合組態、資源配置。
基本資料
用於定義調度任務的名稱、對應責任人、描述等基本資料。配置說明,請參見配置任務基本資料。
運行參數
若您的任務中調用了參數變數,您可在屬性中對參數進行賦值,從而支援節點調度時,參數變數可以自動被替換為相應的變數值。配置說明,請參見參數配置及使用節點參數。
調度屬性(周期任務)
如果離線計算任務的調度類型為周期任務,除了基本資料外,還需要配置任務的調度屬性。配置說明,請參見配置調度屬性。
調度依賴(周期任務)
如果離線計算任務的調度類型為周期任務,除了基本資料外,還需要配置任務的調度依賴。配置說明,請參見配置調度依賴。
重要系統自動依賴解析可能不準確,請根據代碼確認。
回合組態
您可根據業務情境為離線計算任務配置任務級的運行逾時時間和任務運行失敗時的重跑策略。未配置則預設繼承租戶級設定的預設值。配置說明,請參見計算任務回合組態。
資源配置
任務產生的執行個體調度所消耗的資源,不同資源群組之間資源相互隔離互不影響。資料庫SQL為共用資源任務,不支援指定自訂資源群組。配置說明,請參見計算任務資源配置。
在當前資料庫SQL任務頁簽下,儲存並提交當前任務。
單擊代碼編輯地區上方的
表徵圖,儲存代碼。單擊代碼編輯地區上方的
表徵圖,提交代碼。
在提交詳情頁面中,需確認提交內容和前置檢查的結果,並填寫備忘資訊。更多資訊,請參見離線計算任務提交說明。
確認完成後,單擊確定並提交。
後續步驟
如果您的開發模式是Dev-Prod模式,任務提交成功後還需前往發布列表,將任務發布至生產環境。更多資訊,請參見管理髮布任務。
如果您的開發模式是Basic模式,則提交成功後的資料庫SQL任務,即可參與生產環境的調度。您可前往營運中心查看您發布的任務。更多資訊,請參見查看並管理指令碼任務、查看並管理手動任務。
附錄:修改任務類型
當資料庫SQL計算任務所選資料來源類型為AnalyticDB for PostgreSQL、StarRocks、Doris、SelectDB、GaussDB(DWS)時,支援修改為同離線計算引擎類型的SQL任務(AnalyticDB for PostgreSQL SQL、StarRocks SQL、Doris SQL、SelectDB SQL、GaussDB_SQL)。
在Dataphin首頁的頂部功能表列中,選擇研發 > 資料研發。
在開發頁面的頂部功能表列選擇專案(Dev-Prod模式需要選擇環境)。
在左側導覽列中選擇資料處理 > 計算任務,在計算任務列表中選擇目標資料庫SQL任務。
在資料庫SQL任務後單擊
表徵圖,選擇修改任務類型。在修改任務類型對話方塊中單擊確定,即可切換任務類型。
任務類型切換後,任務屬性(責任人、調度設定、上下遊依賴等)保持不變。
若資料庫SQL任務使用了離線計算模板,則不支援修改任務類型。
若當前專案不存在相應的SQL計算任務類型,則無法將資料庫SQL修改為相應的離線計算引擎SQL計算任務。
資料庫SQL任務轉換為同引擎類型計算SQL任務後,您可通過版本復原,復原至資料庫SQL任務。詳情請參見查看及管理離線任務歷史版本。