DolphinScheduler による XIHE SQL ジョブのスケジューリング - AnalyticDB

DolphinScheduler は、ビッグデータ処理ワークフローを実行および管理するための強力な有向非巡回グラフ (DAG) ビジュアルインターフェイスを備えた、分散型で拡張可能なオープンソースのワークフローオーケストレーションプラットフォームです。DolphinScheduler を使用して AnalyticDB for MySQL の XIHE SQL タスクをスケジュールし、データ処理効率を向上させることができます。

前提条件

DolphinScheduler がインストールされていること。詳細については、「DolphinScheduler の公式ドキュメント」をご参照ください。
MySQL ドライバー (バージョン 8.0.0 以降) が DolphinScheduler のインストールディレクトリに設定されていること。ドライバーをダウンロードするには、mysql-connector-java をご参照ください。
DolphinScheduler サーバーの IP アドレスが、お客様の AnalyticDB for MySQL クラスターのホワイトリストに追加されています。詳細については、「ホワイトリスト」をご参照ください。

手順

データソースの作成

DolphinScheduler の Web UI で、上部メニューの [Datasource] をクリックします。
[データソースの作成] をクリックし、データソースタイプとして [MYSQL] を選択します。

データソースの作成 ダイアログボックスで、次のパラメーターを設定します。

パラメーター	説明
データソース	[MYSQL] を選択します。
データソース名	データソースの名前。
ホスト名	AnalyticDB for MySQL クラスターのホスト名です。ホスト名は、クラスター情報ページで確認できます。このページはコンソール内にあります。
ポート	AnalyticDB for MySQL クラスターのポート番号。固定値は 3306 です。
ユーザー名	AnalyticDB for MySQL クラスターのデータベースアカウント。
データベース名	AnalyticDB for MySQL クラスターのデータベース名。

説明

他のパラメーターはオプションです。詳細については、「MySQL データソースに関する DolphinScheduler の公式ドキュメント」をご参照ください。

接続のテスト をクリックします。接続テストが成功したら、を決定 をクリックします。

プロジェクトの作成
1. 上部メニューで プロジェクト管理 をクリックします。
2. Create Project をクリックします。
3. 表示される Create Project ダイアログボックスで、プロジェクト名 や ユーザー などのパラメーターを設定します。詳細については、「プロジェクトの作成」をご参照ください。

ワークフローの作成

作成したプロジェクトの名前をクリックして、Workflow Definition ページを開きます。
Create Workflow をクリックして、[workflow DAG edit] ページを開きます。
左側のタスク一覧から Sql ノードを右側のキャンバスにドラッグします。

Configure Current Node ダイアログボックスで、以下のパラメーターを設定します。

パラメーター	説明
データソースタイプ	MySQL を選択します。
データソースインスタンス	手順 1 で作成したデータソースを選択します。
SQL タイプ	SQL ジョブのタイプ。クエリや非クエリなどがあります。
SQL ステートメント	実行する SQL ステートメントを入力します。

確認をクリックします。
ページの右上隅の保存をクリックします。表示される 基本情報 ダイアログボックスで、ワークフロー名 などのパラメーターを設定します。
を決定 をクリックします。

ワークフローの実行
1. ワークフローの操作列で、アイコンをクリックして公開します。
2. ワークフローの操作列で、アイコンをクリックします。
3. 必要なパラメーターは、Configure Parameters ダイアログボックスで設定します。
4. を決定 をクリックしてワークフローを実行します。
ワークフロー詳細の表示
1. 左側メニューで、タスクインスタンス をクリックします。
2. [操作] 列で、アイコンをクリックして実行結果とログを表示します。