SchedulerX を使用すると、DataWorks ジョブを作成し、SchedulerX 内の他のジョブと連携させてデータを処理できます。
前提条件
DataWorks コンソールにログインし、DataWorks Enterprise Edition をアクティベートします。
クライアントアクセス手順
SDK 依存関係の使用
SchedulerX SDK クライアントの依存関係を使用します。
SchedulerX クライアントを V1.3.4 以降にアップグレードします。
クライアントを DataWorks Enterprise Edition に接続する場合は、起動構成に Alibaba Cloud アカウントの AccessKey ID と AccessKey シークレットを書き込みます。 Alibaba Cloud アカウントに DataWorks Enterprise Edition の操作権限があることを確認してください。
# DataWorks にアクセスするために使用されるアカウント情報。 spring.schedulerx2.aliyunAccessKey=Alibaba Cloud アカウントの AccessKey ID spring.schedulerx2.aliyunSecretKey=Alibaba Cloud アカウントの AccessKey シークレット
エージェントの使用
エージェントを使用してアクセスする場合は、SchedulerX エージェントを使用してアプリケーションを SchedulerX に接続する (スクリプトまたは HTTP タスク) の手順に従って、エージェントをデプロイし、エージェントを使用して DataWorks にアクセスします。以下の項目が必要です。
インストールパッケージ。リンク をクリックしてダウンロードします。
DataWorks を操作する権限を持つ Alibaba Cloud アカウントの AccessKey ID と AccessKey シークレットを、agent.properties ファイルの起動パラメータに追加します。
# DataWorks にアクセスするために使用されるアカウント情報。 aliyunAccessKey={ALIYUN_ACCESS_KEY} aliyunSecretKey={ALIYUN_SECRET_KEY}Docker イメージ
ネットワークと CPU アーキテクチャに基づいて Docker イメージを選択します。
ネットワーク
x86_64
arm64
中国 (杭州) (インターネット)
schedulerx-registry.cn-hangzhou.cr.aliyuncs.com/schedulerx2/agentilatest-amd64
schedulerx-registry.cn-hangzhou.cr.aliyuncs.com/schedulerx2/agent:latest-arm64
シンガポール (インターネット)
schedulerx-registry.ap-southeast-1.cr.aliyuncs.com/schedulerx2/agent:latest-amd64
schedulerx-registry.ap-southeast-1.cr.aliyuncs.com/schedulerx2/agent:latest-arm64
Docker イメージを起動する際に、
ALIYUN_ACCESS_KEYとALIYUN_SECRET_KEY環境変数を設定します。
ジョブの作成
DataWorks コンソールで次の操作を実行します。
手動トリガーワークフローを作成します。詳細については、「手動トリガーワークフローの作成」をご参照ください。
依存関係を構成せずにノードを作成します。詳細については、「ノードの作成とノードの依存関係の構成」をご参照ください。
ワークフローを送信します。詳細については、「ワークフローのコミット」をご参照ください。
SchedulerX コンソールで次の操作を実行します。
結果
ワークフローがトリガーされると、ワークフローインスタンスリストでワークフローの進行状況と各ノードのステータスを確認できます。ノードを右クリックすると、ノードの実行結果の詳細を表示できます。
次のステップ
SchedulerX タスクインスタンスリストでは、タスクノードの実行の詳細の表示、タスクの終了、タスクの再実行を行うことができます。
[DataWorks オペレーションセンター] では、スケジュールされている DataWorks ノードインスタンスに関する情報をクエリできます。