DataWorks の Check ノードは、MaxCompute パーティションテーブル、FTP ファイル、OSS オブジェクト、Hadoop 分散ファイルシステム (HDFS) ファイル、OSS-HDFS ファイル、リアルタイム同期タスクなどのターゲットオブジェクトの可用性を検証します。ノードは、そのチェックポリシーが満たされたときに成功と見なされます。タスクがターゲットオブジェクトに依存している場合、そのタスクを Check ノードの下流タスクとして設定できます。下流タスクは、Check ノードが成功した後にのみ実行されます。このトピックでは、Check ノードがチェックできるオブジェクト、利用可能なチェックポリシー、および Check ノードの設定方法について説明します。
ノードの概要
Check ノードを使用して、MaxCompute パーティションテーブル、FTP ファイル、OSS オブジェクト、HDFS ファイル、OSS-HDFS オブジェクト、リアルタイム同期タスクなどのオブジェクトの可用性を検証できます。Check ノードは、次のシナリオで使用されます:
Check ノードは、MaxCompute パーティションテーブル、FTP ファイル、OSS オブジェクト、HDFS ファイル、OSS-HDFS オブジェクト、リアルタイム同期タスクなどのオブジェクトをモニターします。たとえば、DataWorks スケジューリングシステムのタスクが外部データベースにアクセスする必要がある場合があります。このデータベースにデータを書き込むタスクが DataWorks によって管理されていない場合、DataWorks は書き込みタスクがいつ完了し、データが準備できたかを判断できません。DataWorks タスクがデータが完全に書き込まれる前に読み取ろうとすると、読み取り操作が失敗したり、部分的なデータしか返されなかったりする可能性があります。これを防ぐために、Check ノードを使用して、テーブル、ファイル、または同期タスクのステータスを検証できます。これにより、下流タスクが実行されるときに完全なデータを読み取ることが保証されます。
前提条件
使用する RAM ユーザーがワークスペースに追加されていること。
RAM ユーザーを使用してタスクを開発する場合、RAM ユーザーをメンバーとしてワークスペースに追加し、[開発] または [ワークスペース管理者] ロールを RAM ユーザーに割り当てる必要があります。ワークスペース管理者ロールには必要以上の権限があります。ワークスペース管理者ロールを割り当てる際は注意してください。メンバーの追加方法とロールの割り当て方法の詳細については、「ワークスペースにメンバーを追加する」をご参照ください。
サーバーレスリソースグループがワークスペースに関連付けられていること。詳細については、「サーバーレスリソースグループの使用」ディレクトリのトピックをご参照ください。
Check ノードを設定する前に、Check ノードを作成する必要があります。詳細については、「自動トリガータスクの作成」をご参照ください。
Check ノードがデータソースをチェックする場合、Check ノードを設定する前にデータソースを作成する必要があります。要件は次のとおりです:
チェックするオブジェクトタイプ
準備操作
リファレンス
MaxCompute パーティションテーブル
MaxCompute データソースが作成され、DataStudio にバインドされている。
DataWorks では、まず MaxCompute プロジェクトを MaxCompute データソースとして追加して、MaxCompute プロジェクト内のデータにアクセスします。
MaxCompute パーティションテーブルが作成されている。
FTP ファイル
FTP データソースが作成されている。
DataWorks では、まず FTP サービスを FTP データソースとして追加して、FTP サービスからデータにアクセスします。
OSS ファイル
OSS データソースが作成され、そのアクセスモードが AccessKey に設定されている。
DataWorks では、まず OSS バケットを OSS データソースとして追加して、バケット内のデータにアクセスします。
説明Check ノードは AccessKey モードでのみ OSS データソースへのアクセスをサポートします。RAM ロール権限付与で設定された OSS データソースは、Check ノードでは使用できません。
HDFS ファイル
HDFS データソースが作成されている。
DataWorks では、まず HDFS ファイルを HDFS データソースとして追加して、HDFS ファイルからデータにアクセスします。
OSS-HDFS ファイル
OSS-HDFS データソースが作成されている。
DataWorks では、まず OSS-HDFS サービスを OSS-HDFS データソースとして追加して、OSS-HDFS サービスからデータにアクセスします。
Check ノードがリアルタイム同期タスクをチェックする場合、Kafka から MaxCompute にデータを同期するリアルタイム同期タスクのみがサポートされます。Check ノードを設定する前に、リアルタイム同期タスクを作成する必要があります。詳細については、「DataStudio でリアルタイム同期タスクを設定する」をご参照ください。
使用上の注意
上流タスクが遅延した場合、Check ノードは設定された終了時刻後に実行を開始することがあります。この場合、Check ノードは実行されますが、チェックは 1 回だけ実行されます。
Check ノードの最大実行時間は 24 時間です。
ステップ 1: Check ノードの開発
作成した Check ノードを開き、プロンプトに従って設定します。Check ノードは、データソースまたはリアルタイム同期タスクをチェックできます。
データソース
次の表に、データソースをチェックするための設定項目を示します。
設定項目
設定内容
チェックするオブジェクト
データソース
データソースタイプ
サポートされているデータソース:
MaxComputeOSSFTPHDFSOSS_HDFS
データソース名
データソースタイプに一致するデータソースを選択します。利用可能なデータソースがない場合は、右側の [データソースの作成] をクリックして作成します。
テーブル名/パス
データソースタイプが
MaxComputeに設定されている場合、テーブル名でチェックします。説明パーティションテーブルのみがサポートされています。
データソースタイプが
OSS、FTP、HDFS、またはOSS_HDFSに設定されている場合、オブジェクトファイルのパスを設定します。
成功条件
チェックするオブジェクトがテーブルの場合、テーブルパーティションまたは LastModifiedTime の更新なしイベントに基づいて検証できます。
チェックするオブジェクトがファイルの場合、ファイルの存在有無のみに基づいて検証できます。
停止ポリシー
終了時刻: チェックは、指定された時刻まで設定された間隔で実行されます。
チェック回数: チェックは、指定された回数、設定された間隔で実行されます。
説明タスクは停止ポリシーに基づいて実行されます。停止ポリシーの条件でチェックが成功しない場合、Check ノードは自動的に終了し、そのステータスは失敗に設定されます。
リアルタイム同期タスク
次の表に、リアルタイム同期タスクをチェックするための設定項目を示します。
設定項目
設定内容
チェックするオブジェクト
リアルタイム同期タスク
リアルタイム同期タスク
作成済みのリアルタイム同期タスクを選択します。
停止ポリシー
終了時刻: チェックは、指定された時刻まで設定された間隔で実行されます。
チェック回数: チェックは、指定された回数、設定された間隔で実行されます。
説明タスクは停止ポリシーに基づいて実行されます。停止ポリシーの条件でチェックが成功しない場合、Check ノードは自動的に終了し、そのステータスは失敗に設定されます。
Check ノードのチェックポリシーを設定した後、そのスケジューリングプロパティを設定します。詳細については、「ノードのスケジューリングプロパティを設定する」をご参照ください。
ステップ 2: ノードの公開と管理
スケジューリングプロパティを設定した後、Check ノードを本番環境に送信して公開します。詳細については、「ノードまたはワークフローの公開」をご参照ください。
公開されたタスクは、そのスケジュールに基づいて実行されます。公開された自動トリガータスクは、オペレーションセンターで表示できます。左側のナビゲーションウィンドウで、 を選択します。その後、タスクに対して O&M 操作を実行できます。詳細については、「オペレーションセンターの概要」をご参照ください。