SchedulerX を使用して、DataWorks ジョブを作成し、SchedulerX の他のジョブと DataWorks ジョブを組み合わせてデータを処理できます。
前提条件
-
DataWorks コンソールにログインし、DataWorks Enterprise Edition をアクティブ化します。
クライアントアクセス手順
SDK 依存関係の使用
SchedulerX SDK クライアントの依存関係を使用します。
SchedulerX クライアントを V1.3.4 以降にアップグレードします。
クライアントを DataWorks Enterprise Edition に接続する際、Alibaba Cloud アカウントのアクセスキー ID とアクセスキーシークレットを起動設定に記述します。Alibaba Cloud アカウントに DataWorks Enterprise Edition の操作権限があることを確認してください。
# DataWorks へのアクセスに使用するアカウント情報 spring.schedulerx2.aliyunAccessKey=Alibaba Cloud アカウントのアクセスキー ID spring.schedulerx2.aliyunSecretKey=Alibaba Cloud アカウントのアクセスキーシークレット
エージェントの使用
エージェントを使用する場合、エージェントをデプロイし、SchedulerX エージェントを使用してアプリケーションを SchedulerX に接続する (スクリプトまたは HTTP ジョブ) の手順に従って、エージェントを使用して DataWorks にアクセスします。以下の項目が必要です。
インストールパッケージ。リンクをクリックしてダウンロードします。
agent.properties ファイルの起動パラメータに、DataWorks の操作権限を持つ Alibaba Cloud アカウントのアクセスキー ID とアクセスキーシークレットを追加します。
# DataWorks へのアクセスに使用するアカウント情報 aliyunAccessKey={ALIYUN_ACCESS_KEY} aliyunSecretKey={ALIYUN_SECRET_KEY}-
Docker イメージ
ネットワークと CPU アーキテクチャに基づき、Docker イメージを選択します。
ネットワーク
x86_64
arm64
(パブリックネットワーク) 中国 (杭州)
schedulerx-registry.cn-hangzhou.cr.aliyuncs.com/schedulerx2/agent:latest-amd64
schedulerx-registry.cn-hangzhou.cr.aliyuncs.com/schedulerx2/agent:latest-arm64
(パブリックネットワーク) シンガポール
schedulerx-registry.ap-southeast-1.cr.aliyuncs.com/schedulerx2/agent:latest-amd64
schedulerx-registry.ap-southeast-1.cr.aliyuncs.com/schedulerx2/agent:latest-arm64
-
Docker イメージから起動する際、
ALIYUN_ACCESS_KEYとALIYUN_SECRET_KEYの起動環境変数を設定します。
DataWorks ジョブの作成
DataWorks コンソールで以下の操作を実行します。
手動トリガーのワークフローを作成します。詳細については、「手動トリガーのワークフローの作成」をご参照ください。
依存関係を設定せずにノードを作成します。詳細については、「ノードの作成とノード依存関係の設定」をご参照ください。
ワークフローをコミットします。詳細については、「ワークフローのコミット」をご参照ください。
-
SchedulerX コンソールで以下の操作を実行します。
-
ワークフローを作成し、DataWorks ノード (ジョブ) をワークフローに追加します。詳細については、「ワークフローの作成」をご参照ください。
[Create Job] ページでパラメータを設定します。[Job Type] で [dataworks] を選択します。[Application ID]、[Workflow Name]、[Job ID]、[Project Name]、[Region] を入力します。[Execution Mode] で [Standalone] を選択します。[Priority] で [Medium] を選択します。その後、[Next] をクリックします。
ジョブの追加後、ジョブの両端のポイントを別のジョブのポイントにドラッグアンドドロップして、依存関係を作成します。これにより、完全なワークフローが完成します。
作成したワークフローのスケジュールトリガーを設定します。詳細については、「Cron」をご参照ください。
-
結果
ワークフローがトリガーされた後、ワークフローインスタンスリストでワークフローの進行状況と各ノードのステータスを確認できます。ノードを右クリックして、ノードの実行結果の詳細を表示できます。
次のステップ
SchedulerX ジョブインスタンスリストで、ジョブノードの実行詳細を表示したり、ジョブを終了したり、ジョブを再実行したりできます。
DataWorks Operation Center で、スケジュールされた DataWorks ノードインスタンスに関する情報を照会できます。