DolphinScheduler是一個分布式易擴充的可視化DAG工作流程工作調度開源系統,能高效地執行和管理巨量資料處理流程。您可以使用DolphinScheduler調度AnalyticDB for MySQL的XIHE SQL任務,提高資料處理的效率。
前提條件
-
已安裝DolphinScheduler。具體操作,請參見DolphinScheduler官方文檔。
-
已在 DolphinScheduler安裝目錄中 配置MySQL驅動程式 ,且MySQL驅動程式為8.0.0及以上版本。下載連結,請參見mysql-connector-java。
-
已將運行DolphinScheduler的伺服器IP地址添加至AnalyticDB for MySQL叢集的白名單中。具體操作,請參見白名單。
操作步驟
-
建立資料來源。
-
訪問DolphinScheduler Web介面,在頂部導覽列單擊源中心。
-
單擊建立源,選擇源類型為MYSQL。
-
在彈出的創建數據源對話方塊中配置如下參數:
參數
說明
資料來源
選擇為MYSQL。
源名稱
資料來源名稱。
IP主機名稱
AnalyticDB for MySQL叢集的串連地址。可通過控制台集群資訊頁面,查看串連資訊。
連接埠
AnalyticDB for MySQL叢集的連接埠號碼,固定為3306。
使用者名稱
AnalyticDB for MySQL叢集的資料庫帳號。
資料庫名
AnalyticDB for MySQL叢集的資料庫名稱。
說明其他參數為選填參數,詳情請參見MySQL資料來源。
-
單擊測試連接,測試成功後,單擊確定。
-
-
建立專案。
-
在頂部導覽列單擊項目管理。
-
單擊创建项目。
-
在彈出的创建项目對話方塊中配置項目名稱、所屬用戶等參數。詳情請參見建立專案。
-
-
建立工作流程。
-
單擊已建立的專案名稱,進入工作流定义頁面。
-
單擊创建工作流,進入工作流程DAG編輯頁面。
-
在頁面左側選擇SQL,並將其拖拽到右側空白畫布中。
-
在彈出的当前节点设置對話方塊中配置如下參數:
參數
說明
資料來源類型
選擇為MySQL。
資料來源執行個體
選擇步驟1建立的資料來源。
SQL類型
SQL作業的類型,例如查詢、非查詢。
SQL語句
業務具體的SQL語句。
-
單擊確認。
-
單擊頁面右上方保存,在彈出的基本信息對話方塊中配置工作流名稱等參數。
-
單擊確定。
-
-
運行工作流程。
-
單擊工作流程操作列的
按鈕,上線工作流程。 -
單擊工作流程操作列的
按鈕。 -
在彈出的启动前请先设置参数對話方塊中,配置對應參數。
-
單擊確定,運行工作流程。
-
-
查看工作流程詳細資料。
-
在左側導覽列單擊任務實例。
-
在 操作 列,單擊
按鈕
,查看工作流程執行結果和日誌資訊
。
-