SchedulerX を使用すると、DataWorks ジョブを定期的にスケジュールしたり、SchedulerX 内の他のジョブと DataWorks ジョブをオーケストレーションしてデータを処理したりできます。
前提条件
-
DataWorks コンソールにログインし、DataWorks Enterprise Edition をアクティベートします。
クライアントのアクセス手順
SDK の依存関係の使用
SchedulerX SDK クライアントの依存関係を使用します。
SchedulerX クライアントを V1.3.4 以降にアップグレードします。
クライアントを DataWorks Enterprise Edition に接続する際に、お使いの Alibaba Cloud アカウントの AccessKey ID と AccessKey Secret を起動設定に書き込みます。お使いの Alibaba Cloud アカウントが DataWorks Enterprise Edition の操作権限を持っていることを確認してください。
# DataWorks へのアクセスに使用されるアカウント情報。 spring.schedulerx2.aliyunAccessKey=AccessKey ID of the Alibaba Cloud account spring.schedulerx2.aliyunSecretKey=AccessKey secret of the Alibaba Cloud account
エージェントの使用
エージェントを使用してアクセスする場合は、「SchedulerX エージェントを使用してアプリケーションを SchedulerX に接続する (スクリプトまたは HTTP ジョブ)」の手順に従ってエージェントをデプロイし、エージェントを使用して DataWorks にアクセスします。次の項目が必要です:
インストールパッケージ。リンクをクリックしてダウンロードします。
DataWorks を操作する権限を持つ Alibaba Cloud アカウントの AccessKey ID と AccessKey Secret を、agent.properties ファイルの起動パラメーターに追加します。
# DataWorks へのアクセスに使用されるアカウント情報。 aliyunAccessKey={ALIYUN_ACCESS_KEY} aliyunSecretKey={ALIYUN_SECRET_KEY}Docker イメージ
ネットワークタイプと CPU アーキテクチャに基づいて Docker イメージを選択します。
ネットワークタイプ
x86_64
arm64
インターネット
registry.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-amd64
registry.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-arm64
中国 (杭州) の Virtual Private Cloud (VPC)
registry-vpc.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-amd64
registry-vpc.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-arm64
Docker イメージを使用して起動する場合は、起動環境変数
ALIYUN_ACCESS_KEYとALIYUN_SECRET_KEYを設定します。
DataWorks ジョブの作成
DataWorks コンソールで、次の操作を実行します:
手動トリガーワークフローを作成します。詳細については、「手動トリガーワークフローの作成」をご参照ください。
依存関係を設定せずにノードを作成します。詳細については、「ノードの作成とノードの依存関係の設定」をご参照ください。
ワークフローをコミットします。詳細については、「ワークフローのコミット」をご参照ください。
-
SchedulerX コンソールで、次の操作を実行します:
-
ワークフローを作成し、DataWorks ノードをワークフローに追加します。詳細については、「ワークフローの作成」をご参照ください。
[ジョブの作成] ページで、次のパラメーターを設定します:ジョブタイプを [dataworks] に、実行モードを [スタンドアロン] に、優先度を [中] に設定します。ジョブパラメーターには、
schedulerX 2.0と入力します。説明、アプリケーション ID、ワークフロー名、ジョブ ID、プロジェクト名、デプロイリージョンなどの他の必須パラメーターを設定し、[次へ] をクリックします。 ジョブが追加されたら、ジョブの両端のポイントを別のジョブのポイントにドラッグアンドドロップして、依存関係を作成します。これにより、完全なワークフローが作成されます。
作成したワークフローの定期的なトリガーを設定します。詳細については、「Cron」をご参照ください。
-
結果
ワークフローがトリガーされると、ワークフローインスタンスリストでワークフローの進行状況と各ノードのステータスを表示できます。ノードを右クリックすると、ノードの実行結果の詳細を表示できます。
次のステップ
SchedulerX のジョブインスタンスリストでは、ジョブノードの実行詳細の表示、ジョブの終了、またはジョブの再実行ができます。
DataWorks オペレーションセンターでは、スケジュールされた DataWorks ノードインスタンスに関する情報を照会できます。