SchedulerX を使用すると、DataWorks ジョブを定期的にスケジュールし、SchedulerX の他のジョブと DataWorks ジョブを調整してデータを処理できます。
前提条件
DataWorks コンソール にログインし、DataWorks Enterprise Edition をアクティブ化していること。
クライアントアクセス手順
SDK 依存関係の使用
SchedulerX SDK クライアントの依存関係を使用します。
SchedulerX クライアントを V1.3.4 以降にアップグレードします。
クライアントを DataWorks Enterprise Edition に接続する場合は、Alibaba Cloud アカウントの AccessKey ID と AccessKey シークレットを起動構成に書き込みます。 Alibaba Cloud アカウントに DataWorks Enterprise Edition の操作権限があることを確認してください。
# Account information that is used to access DataWorks. spring.schedulerx2.aliyunAccessKey=AccessKey ID of the Alibaba Cloud account spring.schedulerx2.aliyunSecretKey=AccessKey secret of the Alibaba Cloud account
エージェントの使用
アクセスにエージェントを使用する場合は、「SchedulerX エージェントを使用してアプリケーションを SchedulerX に接続する (スクリプトまたは HTTP ジョブ)」の手順に従って、エージェントをデプロイし、エージェントを使用して DataWorks にアクセスします。次の項目が必要です。
インストールパッケージ。リンクをクリックしてダウンロードします。
DataWorks を操作する権限を持つ Alibaba Cloud アカウントの AccessKey ID と AccessKey シークレットを、agent.properties ファイルの起動パラメーターに追加します。
# Account information that is used to access DataWorks. aliyunAccessKey={ALIYUN_ACCESS_KEY} aliyunSecretKey={ALIYUN_SECRET_KEY}Docker イメージ
ネットワークタイプと CPU アーキテクチャに基づいて Docker イメージを選択します。
ネットワークタイプ
x86_64
arm64
インターネット
registry.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-amd64
registry.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-arm64
中国 (杭州) の仮想プライベートクラウド (VPC)
registry-vpc.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-amd64
registry-vpc.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-arm64
Docker イメージを使用して起動する場合は、起動環境変数
ALIYUN_ACCESS_KEYとALIYUN_SECRET_KEYを構成します。
DataWorks ジョブの作成
DataWorks コンソールで次の操作を実行します。
手動トリガーワークフローを作成します。詳細については、「手動トリガーワークフローの作成」をご参照ください。
依存関係を構成せずにノードを作成します。詳細については、「ノードの作成とノードの依存関係の構成」をご参照ください。
ワークフローをコミットします。詳細については、「ワークフローのコミット」をご参照ください。
SchedulerX コンソールで次の操作を実行します。
結果
ワークフローがトリガーされると、ワークフローインスタンスリストでワークフローの進行状況と各ノードのステータスを確認できます。ノードを右クリックすると、ノードの実行結果の詳細を表示できます。
次のステップ
SchedulerX ジョブインスタンスリストでは、ジョブノードの実行の詳細の表示、ジョブの終了、またはジョブの再実行ができます。
DataWorks オペレーションセンターでは、スケジュールされている DataWorks ノードインスタンスに関する情報をクエリできます。