すべてのプロダクト
Search

このプロダクト

    DataWorks:チェックノード

    ドキュメントセンター

    DataWorks:チェックノード

    最終更新日:Aug 26, 2026

    DataWorks のチェックノードは、対象オブジェクトが利用可能かどうかを確認できます。サポート対象のオブジェクトは、MaxCompute パーティションテーブル、FTP ファイル、OSS ファイル、HDFS ファイル、OSS_HDFS ファイル、DLF テーブル、リアルタイム同期タスクです。チェックポリシーを満たすと、チェックノードは成功します。タスクが対象オブジェクトに依存している場合、チェックノードを使用してそのオブジェクトを監視し、タスクを下流ノードとして設定できます。チェックポリシーを満たすと、チェックノードは成功し、下流ノードをトリガーします。このトピックでは、チェックノードが監視できるオブジェクト、利用可能なチェックポリシー、チェックノードの設定方法について説明します。

    概要

    チェックノードは、MaxCompute パーティションテーブル、FTP ファイル、OSS ファイル、HDFS ファイル、OSS_HDFS ファイル、DLF テーブル、リアルタイム同期タスクを監視できます。典型的なシナリオは次の通りです。

    DataWorks スケジューリングシステム内のタスクが外部データベースにアクセスする必要があります。そのデータベースの書き込みタスクは DataWorks の外部で実行されるため、DataWorks はデータが完全に書き込まれ、読み取り可能になるタイミングを判断できません。書き込みタスクが完了する前に DataWorks タスクがデータを読み取ると、不完全なデータセットを読み取ったり、失敗したりする可能性があります。下流タスクが正しく実行されるように、チェックノードを使用してテーブル、ファイル、または同期タスクを監視し、データが利用可能であることを確認できます。

    使用制限

    この機能は、DataWorks Professional Edition 以降でのみ利用できます。

    前提条件

    • 使用する RAM ユーザーがワークスペースに追加されていること。

      RAM ユーザーを使用してタスクを開発する場合、RAM ユーザーをメンバーとしてワークスペースに追加し、[開発] ロールまたは [ワークスペース管理者] ロールを RAM ユーザーに割り当てる必要があります。 ワークスペース管理者ロールには、必要以上の権限があります。 ワークスペース管理者ロールを割り当てる場合は注意してください。 メンバーを追加してロールを割り当てる方法の詳細については、「ワークスペースメンバーを追加してロールを割り当てる」をご参照ください。

    • サーバーレス リソースグループがワークスペースに関連付けられていること。 詳細については、「サーバーレス リソースグループを使用する」ディレクトリのトピックをご参照ください。

    • チェックノードを開発する前に、ノードを作成してください。詳細については、「定期ワークフロー用のノードの作成」をご参照ください。

    • チェックノードを使用してデータソースを検証する場合は、チェックノードを使用する前に対応するデータソースを作成してください。次の表に、必要な準備を示します。

      オブジェクトタイプ

      準備

      参考情報

      MaxCompute パーティションテーブル

      1. MaxCompute データソースが作成され、DataStudio に関連付けられていること。

        MaxCompute プロジェクト内のデータにアクセスするには、まずプロジェクトを DataWorks に MaxCompute データソースとして登録する必要があります。

      2. MaxCompute パーティションテーブルが作成されていること。

      FTP ファイル

      FTP データソースが作成されていること。

      FTP サービスからデータにアクセスするには、まずサービスを DataWorks に FTP データソースとして登録する必要があります。

      FTP データソース

      OSS ファイル

      アクセスモードが AccessKey に設定された OSS データソースが作成されていること。

      OSS バケット内のデータにアクセスするには、まずバケットを DataWorks に OSS データソースとして登録する必要があります。

      説明

      チェックノードは現在、AccessKey 認証モードを使用する OSS データソースのみをサポートしています。RAM ロール認証で設定された OSS データソースは、チェックノードでは使用できません。

      HDFS ファイル

      HDFS データソースが作成されていること。

      HDFS ファイルシステム内のデータにアクセスするには、まずファイルシステムを DataWorks に HDFS データソースとして登録する必要があります。

      HDFS

      OSS_HDFS ファイル

      OSS_HDFS データソースが作成されていること。

      OSS_HDFS サービスからデータにアクセスするには、まずサービスを DataWorks に OSS_HDFS データソースとして登録する必要があります。

      OSS-HDFS

      DLF テーブル

      Data Lake Formation データソースが作成されていること。Paimon パーティションテーブルのみサポートされます。

      Data Lake Formation データソース

    • チェックノードを使用してリアルタイム同期タスクを検証する場合、Kafka から MaxCompute へのリアルタイム同期タスクのみサポートされます。チェックノードを使用する前に、対応するリアルタイム同期タスクを作成してください。詳細については、「リアルタイム同期タスクの設定 (レガシー)」をご参照ください。

    注意事項

    • 上流の遅延によりチェックノードが設定されたチェック期限後に開始された場合でも、チェックノードは実行されますが、チェックは 1 回のみ実行されます。

    • チェックノードの最大実行時間は 24 時間です。

    ステップ1：チェックノードの開発

    1. 作成したチェックノードを開き、画面の指示に従って設定します。チェックノードは、データソースまたはリアルタイム同期タスクをチェックできます。

      データソース

      チェック対象がデータソースの場合、次の表に示すパラメータを設定します。

      パラメータ

      説明

      チェック対象

      データソース

      データソースタイプ

      次のデータソースタイプをサポートしています。

      • MaxCompute

      • OSS

      • FTP

      • HDFS

      • OSS_HDFS

      • DLF

      データソース名

      選択したデータソースタイプに一致するデータソースを選択します。必要なデータソースが表示されていない場合は、右側のデータソースの新規作成をクリックします。

      テーブル名/パス

      • データソースタイプが MaxCompute または DLF の場合、チェック対象のテーブル名を指定します。

        説明

        パーティションテーブルのみサポートされます。

      • データソースタイプがOSS、FTP、HDFS、または OSS_HDFS の場合、ターゲットファイルのパスを指定します。

      成功条件

      チェック対象がテーブルの場合、パーティションの存在、または LastModifiedTime プロパティの更新が一定期間行われていないことをチェックできます。

      チェック対象がファイルの場合、ファイルの存在のみをチェックできます。

      停止ポリシー

      • 停止時刻：ノードは、指定された時刻まで設定された間隔でチェックを実行します。

      • N 回のチェック後に停止：ノードは、指定されたチェック回数に達するまで設定された間隔でチェックを実行します。

      説明

      タスクは停止ポリシーに基づいて実行されます。停止条件に達したときに成功条件が満たされていない場合、チェックノードは自動的に終了し、失敗状態になります。

      リアルタイム同期タスク

      チェック対象がリアルタイム同期タスクの場合、次の表に示すパラメータを設定します。

      パラメータ

      説明

      チェック対象

      リアルタイム同期タスク

      リアルタイム同期タスク

      既存のリアルタイム同期タスクを選択します。

      停止ポリシー

      • 停止時刻：ノードは、指定された時刻まで設定された間隔でチェックを実行します。

      • N 回のチェック後に停止：ノードは、指定されたチェック回数に達するまで設定された間隔でチェックを実行します。

      説明

      タスクは停止ポリシーに基づいて実行されます。停止条件に達したときに成功条件が満たされていない場合、チェックノードは自動的に終了し、失敗状態になります。

    2. チェックポリシーを設定した後、ノードのスケジューリングを設定します。詳細については、「ノードスケジューリングの設定」をご参照ください。

    ステップ2：ノードのデプロイと運用

    1. スケジューリングプロパティを設定した後、チェックノードを送信して本番環境にデプロイします。詳細については、「ノードとワークフローのデプロイ」をご参照ください。

    2. タスクがデプロイされると、設定されたスケジュールに基づいて実行されます。 デプロイされた定期タスクは オペレーションセンター > タスクの運用保守 > 定期タスクの運用保守 > 定期タスク で表示し、O&M 操作を実行できます。 詳細については、「運用センターの使用を開始する」をご参照ください。