DataWorks は、MaxCompute パーティションテーブル、FTP ファイル、OSS ファイル、HDFS ファイル、OSS_HDFS ファイル、リアルタイム同期タスクなどのターゲットオブジェクトの可用性を確認するためのチェックノードを提供します。チェックノードのポリシーが満たされると、ノードは成功ステータスを返します。タスクがターゲットオブジェクトに依存している場合、チェックノードを使用してオブジェクトを確認し、そのタスクを下流依存関係として設定できます。チェックノードのポリシーが満たされると、ノードは正常に実行され、下流タスクをトリガーします。このトピックでは、チェックノードがサポートするオブジェクト、そのチェックポリシー、およびチェックノードの設定方法について説明します。
サポート対象のチェックオブジェクトとチェックポリシー
チェックノードは、データソースとリアルタイム同期タスクのチェックをサポートします。チェックポリシーは次のとおりです：
データソース
MaxCompute パーティションテーブルと DLF (Paimon パーティションテーブル)
説明チェックノードは MaxCompute パーティションテーブル をサポートしますが、MaxCompute 非パーティションテーブル はサポートしません。
チェックノードは、MaxCompute パーティションテーブルのデータが利用可能かどうかを判断するために、2 つのチェックポリシーを提供します。
ポリシー 1：ターゲットパーティションが存在するかどうかを確認する
チェックノードが MaxCompute パーティションテーブルのターゲットパーティションが存在することを確認した場合、プラットフォームはデータが準備完了で利用可能であると見なします。
ポリシー 2：指定された期間内にターゲットパーティションが更新されたかどうかを確認する
チェックノードが指定された期間内にターゲットパーティションが更新されていないことを確認した場合、プラットフォームはデータの書き込みが完了し、テーブルが利用可能であると見なします。
FTP、OSS、HDFS、または OSS_HDFS ファイル
チェックノードがターゲットの FTP、OSS、HDFS、または OSS_HDFS ファイルが存在することを確認した場合、プラットフォームはそのファイルが利用可能であると見なします。
リアルタイム同期タスク
このチェックは、チェックノードのスケジュールされた開始時刻を基準とします。リアルタイム同期タスクがその時点までにデータの書き込みを完了している場合、プラットフォームはチェックが成功したと見なします。
また、チェックノードにはチェック間隔と停止条件を指定する必要があります。チェック間隔は、チェックとチェックの間の時間です。停止条件は、最大チェック回数または終了時刻のいずれかです。停止条件が満たされるまでにタスクがチェックに合格しない場合、チェックノードは失敗して終了します。ポリシーの設定方法の詳細については、「ステップ 2：チェックポリシーの設定」をご参照ください。
チェックノードは、ターゲットオブジェクトを定期的にチェックできます。チェックの予想開始時刻に基づいて、チェックノードのスケジュール時刻を設定できます。スケジューリング条件が満たされると、チェックノードは実行中の状態に入り、その状態を維持します。ノードは、チェック条件が満たされると停止して成功ステータスを返し、長期間チェックが成功しなかった場合は失敗して停止します。スケジューリング設定の詳細については、「ステップ 3：スケジューリングプロパティの設定」をご参照ください。
チェックノードは、チェックが完了するまでスケジューリングリソースを占有します。
制限事項
リソースグループの制限：チェックノードタスクは、Serverless リソースグループでのみ実行できます。Serverless リソースグループの購入と使用方法については、「Serverless リソースグループの使用」をご参照ください。
データソースの制限: プロトコルが
SFTPに設定されており、認証に [キー] を使用する FTP データソース は、チェックノードではサポートされていません。ノード機能の制限
1 つのチェックノードでチェックできるオブジェクトは 1 つだけです。タスクが複数の MaxCompute パーティションテーブルなど、複数のオブジェクトに依存している場合は、オブジェクトごとに個別のチェックノードを作成する必要があります。
チェックノードのチェック間隔は、
1分から30分の間でなければなりません。
DataWorks エディションの制限：チェックノードは、DataWorks Professional Edition 以降でのみ利用可能です。DataWorks のスペックアップについては、「DataWorks のスペックアップ」をご参照ください。
サポート対象リージョン：チェックノードは、中国 (杭州)、中国 (上海)、中国 (北京)、中国 (深セン)、中国 (成都)、中国 (香港)、日本 (東京)、シンガポール、マレーシア (クアラルンプール)、インドネシア (ジャカルタ)、ドイツ (フランクフルト)、イギリス (ロンドン)、米国 (シリコンバレー)、および米国 (バージニア) の各リージョンにあるワークスペースで使用できます。
前提条件
チェックノードを使用してデータソースのチェックを実行する前に、チェックしたいオブジェクトタイプのデータソースを作成する必要があります。
チェックオブジェクトタイプ
事前準備
リファレンス
MaxCompute パーティションテーブル
MaxCompute コンピュートエンジンが作成され、DataStudio にバインドされていること。
DataWorks で MaxCompute コンピュートエンジンを作成してバインドすると、MaxCompute データソースが自動的に作成されます。
MaxCompute パーティションテーブルが作成されていること。
FTP ファイル
FTP データソースが作成されていること。
DataWorks では、まず FTP サービス用の FTP データソースを作成する必要があります。その後、そのデータソースを使用してサービスのデータにアクセスできます。
OSS ファイル
OSS データソースが作成され、そのアクセスモードが Access Key に設定されていること。
DataWorks では、まず OSS バケット用の OSS データソースを作成する必要があります。その後、そのデータソースを使用してバケット内のデータにアクセスできます。
説明現在、チェックノードは Access Key モード の OSS データソースにのみアクセスできます。RAM ロールベースの権限付与で設定された OSS データソースは、チェックノードでは使用できません。
HDFS ファイル
HDFS データソースが作成されていること。
DataWorks では、まず HDFS ファイル用の HDFS データソースを作成する必要があります。その後、そのデータソースを使用して HDFS ファイルのデータにアクセスできます。
OSS_HDFS ファイル
OSS_HDFS データソースが作成されていること。
DataWorks では、まず OSS_HDFS サービス用の OSS_HDFS データソースを作成する必要があります。その後、そのデータソースを使用してサービスのデータにアクセスできます。
チェックノードを使用してリアルタイム同期タスクをチェックする場合、そのタスクは Kafka から MaxCompute への同期タスクである必要があります。チェックノードを使用する前に、リアルタイム同期タスクを作成する必要があります。詳細については、「DataStudio でのリアルタイム同期タスクの設定」をご参照ください。
ステップ 1：チェックノードの作成
DataStudio ページに移動します。
DataWorks コンソールにログインします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、 を選択します。表示されたページで、ドロップダウンリストから目的のワークスペースを選択し、[データ開発へ] をクリックします。
アイコンをクリックし、 を選択します。表示されたダイアログボックスで、ノードのパスと名前を入力します。
ステップ 2：チェックポリシーの設定
ビジネス要件に基づいて、データソースまたはリアルタイム同期タスクのチェックを選択し、対応するポリシーを設定します。
データソース
MaxCompute パーティションテーブルのチェックポリシーの設定
以下にパラメーターを説明します。
パラメーター | 説明 |
データソースタイプ | MaxCompute を選択します。 |
データソース名 | チェックしたい MaxCompute パーティションテーブルが属するデータソース。 利用可能なデータソースがない場合は、[新しいデータソース] をクリックして作成します。MaxCompute データソースの作成方法の詳細については、「MaxCompute コンピュートエンジンのバインド」をご参照ください。 |
テーブル名 | チェックしたい MaxCompute パーティションテーブル。 説明 指定されたデータソースに属する MaxCompute パーティションテーブルのみを選択できます。 |
パーティション | チェックしたい MaxCompute テーブルのパーティション。 [テーブル名] パラメーターを設定した後、テーブル情報をプレビューしてパーティション名を確認できます。スケジューリングパラメーターを使用してパーティション名を取得することもできます。スケジューリングパラメーターの使用方法の詳細については、「サポートされているスケジューリングパラメーターのフォーマット」をご参照ください。 |
[チェック合格条件] | パーティションテーブルのチェック方法と合格条件を定義します。次の 2 つのチェック方法のいずれかを選択できます：
|
ポリシーチェック停止 | チェックノードタスクの停止ポリシーを設定します。停止時間または最大チェック回数を設定できます。チェック頻度も設定できます：
|
FTP ファイルのチェックポリシーの設定
次の表にパラメーターを説明します。
パラメーター | 説明 |
データソースタイプ | FTP を選択します。 |
データソース名 | チェックしたい FTP ファイルが属するデータソース。 利用可能なデータソースがない場合は、[新しいデータソース] をクリックして作成します。FTP データソースの作成方法の詳細については、「FTP データソース」をご参照ください。 |
ファイルパス | チェックする FTP ファイルのパス。例： 入力されたパスが存在する場合、そのパスに同じ名前のファイルが存在します。 パスを直接入力するか、スケジューリングパラメーターを使用してパスを取得できます。スケジューリングパラメーターの使用方法の詳細については、「サポートされているスケジューリングパラメーターのフォーマット」をご参照ください。 |
チェック合格の条件 | FTP ファイルチェックの合格条件を定義します。
|
停止ポリシーの確認 | チェックノードタスクの停止ポリシーを設定します。停止時間または最大チェック回数を設定できます。チェック頻度も設定できます：
|
OSS ファイルのチェックポリシーの設定
以下にパラメーターを説明します。
パラメーター | 説明 |
データソースタイプ | OSS を選択します。 |
データソース名 | チェックしたい OSS ファイルが属するデータソース。 利用可能なデータソースがない場合は、[新しいデータソース] をクリックして作成します。OSS データソースの作成方法の詳細については、「OSS データソース」をご参照ください。 |
[ファイルパス] | チェックする OSS ファイルのパス。OSS コンソールにログインし、ターゲットバケットの詳細ページに移動し、 ページでパスを確認できます。 説明 プラットフォームは、[データソース名] で選択した OSS データソースのバケット情報をデフォルトで使用します。 パスを入力する際、 パスは OSS ファイルパスのフォーマット定義に従う必要があります：
フォルダーが存在するかどうかをチェックする場合、次の 2 つのケースに注意してください：
|
チェック合格条件 | OSS ファイルチェックの合格条件を定義します。
|
停止ポリシーチェック | チェックノードタスクの停止ポリシーを設定します。停止時間または最大チェック回数を設定できます。チェック頻度も設定できます：
|
HDFS ファイルのチェックポリシーの設定
次の表にパラメーターを説明します。
パラメーター | 説明 |
データソースタイプ | HDFS を選択します。 |
データソース名 | チェックしたい HDFS ファイルが属するデータソース。 利用可能なデータソースがない場合は、[新しいデータソース] をクリックして作成します。HDFS データソースの作成方法の詳細については、「HDFS データソース」をご参照ください。 |
ファイルパス | チェックする HDFS ファイルのパス。例： 入力されたパスが存在する場合、そのパスに同じ名前のファイルが存在します。 パスを直接入力するか、スケジューリングパラメーターを使用してパスを取得できます。スケジューリングパラメーターの使用方法の詳細については、「サポートされているスケジューリングパラメーターのフォーマット」をご参照ください。 |
[チェック合格条件] | HDFS ファイルチェックの合格条件を定義します。
|
停止ポリシー | チェックノードタスクの停止ポリシーを設定します。停止時間または最大チェック回数を設定できます。チェック頻度も設定できます：
|
OSS_HDFS ファイルのチェックポリシーの設定
次の表にパラメーターを説明します。
パラメーター | 説明 |
データソースタイプ | OSS_HDFS を選択します。 |
データソース名 | チェックしたい OSS_HDFS ファイルが属するデータソース。 利用可能なデータソースがない場合は、[新しいデータソース] をクリックして作成します。OSS_HDFS データソースの作成方法の詳細については、「OSS-HDFS データソース」をご参照ください。 |
ファイルパス | チェックする OSS_HDFS ファイルのパス。OSS コンソールにログインし、ターゲットバケットの詳細ページに移動し、 ページでパスを確認できます。 パスは OSS_HDFS ファイルパスのフォーマット定義に従う必要があります：
|
チェック合格の条件 | OSS_HDFS ファイルチェックの合格条件を定義します。
|
ポリシーチェックの停止 | チェックノードタスクの停止ポリシーを設定します。停止時間または最大チェック回数を設定できます。チェック頻度も設定できます：
|
リアルタイム同期タスク
以下にパラメーターを説明します。
パラメーター | 説明 |
オブジェクトのチェック | [リアルタイム同期タスク] を選択します。 |
リアルタイム同期タスク | チェックするリアルタイム同期タスク。 説明
|
ポリシーチェックの停止 | チェックノードタスクの停止ポリシーを設定します。停止時間または最大チェック回数を設定できます。チェック頻度も設定できます：
|
ステップ 3：スケジューリングプロパティの設定
パーティションデータを定期的にチェックするには、ノードエディターページの右側パネルで [スケジューリング] をクリックします。必要に応じてノードのスケジューリングプロパティを設定します。詳細については、「タスクスケジューリングプロパティの概要」をご参照ください。
通常のスケジューリングノードと同様に、チェックノードにはスケジューリング依存関係とスケジュールされた時間が必要です。DataWorks の各ノードには上流依存関係が必要です。チェックノードに実際の上流依存関係がない場合は、ビジネスの複雑さに応じて、その依存関係をゼロロードノードまたはワークスペースのルートノードに設定できます。詳細については、「ゼロロードノード」をご参照ください。
ノードをコミットする前に、ノードの [再実行] および [親ノード] プロパティを設定する必要があります。
ステップ 4：タスクのコミットと公開
ノードを設定した後、コミットして公開します。ノードが公開されると、スケジューリング設定に基づいて定期的に実行されます。
ツールバーの
アイコンをクリックしてノードを保存します。ツールバーの
アイコンをクリックしてノードをコミットします。[コミット] ダイアログボックスで、[変更内容の説明] を入力します。必要に応じて、ノードのコミット後にコードレビューとスモークテストを実行するかどうかを選択します。
説明ノードをコミットする前に、ノードの [再実行] および [親ノード] プロパティを設定する必要があります。
コードレビューは、タスクのコード品質を管理するのに役立ちます。これにより、レビューなしで不正なコードが本番環境に公開されることによって発生する可能性のあるタスクエラーを防ぎます。コードレビューを使用する場合、コミットされたノードコードは、公開される前にレビュー担当者によって承認される必要があります。詳細については、「コードレビュー」をご参照ください。
スケジューリングノードが期待どおりに実行されることを確認するために、ノードを公開する前にスモークテストを実行することを推奨します。詳細については、「スモークテスト」をご参照ください。
標準モードのワークスペースを使用している場合は、ノードをコミットした後、ノードエディターページの右上隅にある [公開] をクリックする必要もあります。これにより、ノードが本番環境に公開されます。詳細については、「タスクの公開」をご参照ください。
次のステップ
チェックノードがコミットされ公開されると、その設定に基づいてオペレーションセンターで定期的に実行されます。DataWorks オペレーションセンターでチェック結果を表示し、関連する O&M 操作を実行できます。詳細については、「定期タスクの基本的な O&M 操作」をご参照ください。