パイプラインの複雑さが増すにつれて、XIHE SQL ジョブを手動でスケジュールするとエラーが発生しやすく、スケーリングも困難になります。分散型オープンソースのワークフローオーケストレーションプラットフォームである Apache DolphinScheduler(ビジュアル Directed Acyclic Graph (DAG) エディター付き)を使用して、XIHE SQL ジョブの実行を自動化し、AnalyticDB for MySQL に対する大規模なデータ処理ワークフローを管理してください。
前提条件
作業を開始する前に、以下の要件を満たしていることを確認してください。
DolphinScheduler がインストールされていること。詳細については、「DolphinScheduler ドキュメント」をご参照ください。
DolphinScheduler のインストールディレクトリに MySQL ドライバー (v8.0.0 以降) が配置されていること。ダウンロード先:mysql-connector-java。
DolphinScheduler サーバーの IP アドレスが、ご利用の AnalyticDB for MySQL クラスターの IP アドレスホワイトリストに追加されていること。詳細については、「IP アドレスホワイトリスト」をご参照ください。
XIHE SQL ジョブのスケジュール
次の手順に従って操作します:データソースの作成、プロジェクトの作成、ワークフローの定義と実行、実行結果の確認。
ステップ 1:データソースの作成
DolphinScheduler の Web インターフェイスを開きます。上部のナビゲーションバーで、[Datasource] をクリックします。
[Create DataSource] をクリックします。[Choose DataSource Type] ダイアログボックスで、[MYSQL] を選択します。
[CreateDataSource] ダイアログボックスで、以下のパラメーターを設定します。
Parameter Required Description DataSource Required [MYSQL] を選択します。 Datasource Name Required データソースの名前。 IP Required AnalyticDB for MySQL クラスターのエンドポイントです。AnalyticDB for MySQL コンソール にログインし、[Cluster Information] ページでエンドポイントを確認できます。 Port Required AnalyticDB for MySQL クラスターのポート番号です。 3306を設定します。User Name Required AnalyticDB for MySQL クラスターのデータベースアカウント名です。 Database Name Required AnalyticDB for MySQL クラスターのデータベース名です。 オプションパラメーターの完全な一覧については、「MySQL datasource」をご参照ください。
[Test Connect] をクリックします。接続テストが成功したら、[Confirm] をクリックします。
ステップ 2:プロジェクトの作成
上部のナビゲーションバーで、[Project] をクリックします。
[プロジェクトの作成] をクリックします。
[Create Project] ダイアログボックスで、[Project Name]、[Owned Users] などのパラメーターを設定します。詳細については、「Project」をご参照ください。
ステップ 3:ワークフローの作成
作成したプロジェクトの名前をクリックします。左側のナビゲーションウィンドウで、[ワークフロー] > [ワークフロー定義] を選択します。
[Create Workflow] をクリックして、[workflow DAG edit] ページを開きます。
左側のノード一覧から、[SQL] を選択し、キャンバス上にドラッグします。
[Current node settings] ダイアログボックスで、以下のパラメーターを設定します。
Parameter Required Description Datasource types Required [MYSQL] を選択します。 Datasource instances Required ステップ 1 で作成したデータソースを選択します。 SQL Type Required SQL ジョブのタイプです。有効な値は、[Query] および [Non Query] です。 SQL Statement Required 実行する SQL ステートメントです。 [Confirm] をクリックします。
ページ右上隅の [Save] をクリックします。[Basic Information] ダイアログボックスで、[Workflow Name] などのパラメーターを設定し、[Confirm] をクリックします。
ステップ 4:ワークフローの実行
ワークフロー一覧で対象のワークフローを見つけ、[Operation] 列の
アイコンをクリックしてワークフローを公開します。「[操作]」列の
アイコンをクリックします。[Please set the parameters before starting] ダイアログボックスで、実行パラメーターを設定します。
ワークフローを開始するには、[確認] をクリックします。
ステップ 5:実行結果の確認
左側のナビゲーションウィンドウで、[Task] > [Task Instance] を選択します。
ワークフローに対応するタスクを見つけ、[Operation] 列の
アイコンをクリックして、実行結果とログを確認します。