SchedulerX における DataWorks ジョブのスケジュールとオーケストレーション - MSE

データパイプラインが複数のシステムにまたがる場合、DataWorks タスクを含むすべてのジョブを 1 つのタイムラインで調整するための単一のスケジューラが必要です。SchedulerX は DataWorks と統合されており、DataWorks ジョブを定期的にスケジュールし、他の SchedulerX ジョブとともに統合されたワークフローでオーケストレーションできます。たとえば、アップストリームの SchedulerX タスクが完了した後にのみ、DataWorks ジョブをトリガーできます。

前提条件

DataWorks Enterprise Edition が DataWorks コンソールでアクティブ化されていること。
DataWorks Enterprise Edition を操作する権限を持つ Alibaba Cloud アカウントの AccessKey ペア (AccessKey ID と AccessKey Secret)。

SchedulerX と DataWorks の接続

次のいずれかの方法で SchedulerX を DataWorks に接続します。

方法	使用するタイミング
SDK	SchedulerX SDK を使用して Spring Boot アプリケーションをすでに実行している場合
Agent	スタンドアロンプロセス、またはスクリプトか HTTP ジョブとして実行されるワークロードが必要です。

SDK

SchedulerX SDK クライアントを V1.3.4 以降にアップグレードし、次のプロパティを Spring Boot 起動構成に追加します。

# DataWorks アクセス用の AccessKey ペア
spring.schedulerx2.aliyunAccessKey=<your-access-key-id>
spring.schedulerx2.aliyunSecretKey=<your-access-key-secret>

プレースホルダー	説明
`<your-access-key-id>`	ご利用の Alibaba Cloud アカウントの AccessKey ID
`<your-access-key-secret>`	ご利用の Alibaba Cloud アカウントの AccessKey Secret

Agent

SchedulerX エージェントは、SchedulerX エージェントを使用してアプリケーションを SchedulerX に接続する (スクリプトまたは HTTP ジョブ) の手順に従ってデプロイします。エージェントは、インストールパッケージまたは Docker イメージからデプロイできます。

インストールパッケージ

エージェントインストールパッケージをダウンロードします。
agent.properties ファイルに次の AccessKey ペアを追加します。
プレースホルダー 説明
<your-access-key-id> ご利用の Alibaba Cloud アカウントの AccessKey ID
<your-access-key-secret> ご利用の Alibaba Cloud アカウントの AccessKey Secret
```
   # DataWorks アクセス用の AccessKey ペア
   aliyunAccessKey=<your-access-key-id>
   aliyunSecretKey=<your-access-key-secret>
```

Docker イメージ

ネットワークタイプと CPU アーキテクチャに基づいて Docker イメージを選択します。

ネットワークタイプ	x86_64	arm64
インターネット	`registry.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-amd64`	`registry.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-arm64`
中国 (杭州) の VPC	`registry-vpc.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-amd64`	`registry-vpc.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-arm64`

Docker コンテナを起動するときに、ALIYUN_ACCESS_KEY と ALIYUN_SECRET_KEY 環境変数を設定します。

DataWorks ジョブの作成とスケジュール

スケジュールされた DataWorks ジョブを作成するには、2 つのコンソールで作業が必要です。DataWorks でワークフローを準備し、SchedulerX でオーケストレーションを構築します。

ステップ 1: DataWorks でのワークフロー準備

手動トリガーワークフローを作成します。詳細については、「手動トリガーワークフローの作成」をご参照ください。
依存関係を構成せずにノードを作成します。詳細については、「ノードの作成とノード依存関係の構成」をご参照ください。
ワークフローをコミットします。詳細については、「ワークフローのコミット」をご参照ください。

ステップ 2: SchedulerX でのオーケストレーション構築

ワークフローを作成し、DataWorks ノードを追加します。詳細については、「ワークフローの作成」をご参照ください。
接続ポイントをあるジョブから別のジョブにドラッグして、ジョブ間の依存関係を定義します。
ワークフローのスケジュールされたトリガーを構成します。詳細については、「Cron」をご参照ください。

ワークフローの検証

ワークフローがトリガーされた後、ワークフローインスタンスリストを開いて、ワークフローの進行状況と各ノードのステータスを確認します。特定のノードの実行詳細を表示するには、ノードを右クリックします。

次のステップ

ジョブ実行の監視: SchedulerX ジョブインスタンスリストで、実行詳細を表示したり、ジョブを終了したり、ジョブを再実行したりします。
DataWorks ノードインスタンスの追跡: DataWorks オペレーションセンターで、SchedulerX を介してスケジュールされた DataWorks ノードインスタンスに関する情報をクエリします。