すべてのプロダクト
Search
ドキュメントセンター

Microservices Engine:DataWorks ジョブ

最終更新日:Mar 13, 2025

SchedulerX を使用すると、DataWorks ジョブを定期的にスケジュールし、SchedulerX の他のジョブと DataWorks ジョブを調整してデータを処理できます。

前提条件

クライアントアクセス手順

SDK 依存関係の使用

SchedulerX SDK クライアントの依存関係を使用します。

  1. SchedulerX クライアントを V1.3.4 以降にアップグレードします。

  2. クライアントを DataWorks Enterprise Edition に接続する場合は、Alibaba Cloud アカウントの AccessKey ID と AccessKey シークレットを起動構成に書き込みます。 Alibaba Cloud アカウントに DataWorks Enterprise Edition の操作権限があることを確認してください。

    # Account information that is used to access DataWorks.
    spring.schedulerx2.aliyunAccessKey=AccessKey ID of the Alibaba Cloud account
    spring.schedulerx2.aliyunSecretKey=AccessKey secret of the Alibaba Cloud account

エージェントの使用

アクセスにエージェントを使用する場合は、「SchedulerX エージェントを使用してアプリケーションを SchedulerX に接続する (スクリプトまたは HTTP ジョブ)」の手順に従って、エージェントをデプロイし、エージェントを使用して DataWorks にアクセスします。次の項目が必要です。

  • インストールパッケージ。リンクをクリックしてダウンロードします。

    DataWorks を操作する権限を持つ Alibaba Cloud アカウントの AccessKey ID と AccessKey シークレットを、agent.properties ファイルの起動パラメーターに追加します。

    # Account information that is used to access DataWorks.
    aliyunAccessKey={ALIYUN_ACCESS_KEY}
    aliyunSecretKey={ALIYUN_SECRET_KEY}
  • Docker イメージ

    1. ネットワークタイプと CPU アーキテクチャに基づいて Docker イメージを選択します。

    ネットワークタイプ

    x86_64

    arm64

    インターネット

    registry.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-amd64

    registry.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-arm64

    中国 (杭州) の仮想プライベートクラウド (VPC)

    registry-vpc.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-amd64

    registry-vpc.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-arm64

    1. Docker イメージを使用して起動する場合は、起動環境変数 ALIYUN_ACCESS_KEYALIYUN_SECRET_KEY を構成します。

DataWorks ジョブの作成

  1. DataWorks コンソールで次の操作を実行します。

    1. 手動トリガーワークフローを作成します。詳細については、「手動トリガーワークフローの作成」をご参照ください。

    2. 依存関係を構成せずにノードを作成します。詳細については、「ノードの作成とノードの依存関係の構成」をご参照ください。

    3. ワークフローをコミットします。詳細については、「ワークフローのコミット」をご参照ください。

  2. SchedulerX コンソールで次の操作を実行します。

    1. ワークフローを作成し、ワークフローに DataWorks ノードを追加します。詳細については、「ワークフローの作成」をご参照ください。

    2. ジョブが追加されたら、ジョブの両端のポイントを別のジョブのポイントにドラッグアンドドロップして、依存関係を作成します。このようにして、完全なワークフローが作成されます。

    3. 作成したワークフローのスケジュールトリガーを構成します。詳細については、「Cron」をご参照ください。

結果

ワークフローがトリガーされると、ワークフローインスタンスリストでワークフローの進行状況と各ノードのステータスを確認できます。ノードを右クリックすると、ノードの実行結果の詳細を表示できます。

次のステップ

  • SchedulerX ジョブインスタンスリストでは、ジョブノードの実行の詳細の表示、ジョブの終了、またはジョブの再実行ができます。

  • DataWorks オペレーションセンターでは、スケジュールされている DataWorks ノードインスタンスに関する情報をクエリできます。