DataWorks では、チェックノードを使用して、チェックポリシーに基づいて MaxCompute パーティションテーブル、ファイル転送プロトコル ( FTP ) ファイル、Object Storage Service ( OSS ) オブジェクト、Hadoop Distributed File System ( HDFS ) ファイル、OSS-HDFS オブジェクト、およびリアルタイム同期タスクの可用性をチェックできます。チェックノードのチェックポリシーで指定された条件が満たされると、チェックノードのタスクは正常に実行されます。タスクの実行がオブジェクトに依存している場合は、チェックノードを使用してオブジェクトの可用性をチェックし、タスクをチェックノードの子孫タスクとして構成できます。チェックノードのチェックポリシーで指定された条件が満たされると、チェックノードのタスクは正常に実行され、その後、その子孫タスクが実行されるようにトリガーされます。このトピックでは、サポートされているチェックオブジェクトとチェックポリシー、およびチェックノードの構成方法について説明します。
サポートされているチェックオブジェクトとチェックポリシー
チェックノードは、データソースとリアルタイム同期タスクのみに基づいてチェックを実行するために使用できます。以下の情報は、DataWorks でサポートされているチェックポリシーについて説明しています。
データソース
MaxCompute パーティションテーブル
説明チェックノードを使用して、MaxCompute 非パーティションテーブルではなく、MaxCompute パーティションテーブルの可用性をチェックできます。
MaxCompute パーティションテーブルの可用性をチェックするために、チェックノードでは次のチェックポリシーが提供されています。
ポリシー 1：指定されたパーティションが存在するかどうかをチェックします。
パーティションが存在する場合、システムはパーティションへのデータ書き込み操作が完了し、MaxCompute パーティションテーブルが使用可能であると見なします。
ポリシー 2：指定されたパーティションのデータが指定された期間内に更新されたかどうかをチェックします。
パーティション内のデータが指定された期間内に更新されない場合、システムはパーティションへのデータ書き込み操作が完了し、MaxCompute パーティションテーブルが使用可能であると見なします。
FTP ファイル、OSS オブジェクト、HDFS ファイル、または OSS-HDFS オブジェクト
指定された FTP ファイル、OSS オブジェクト、HDFS ファイル、または OSS-HDFS オブジェクトが存在する場合、システムはそのファイルまたはオブジェクトが使用可能であると見なします。
リアルタイム同期タスク
このタイプのチェックオブジェクトの場合、チェックノードのスケジュールが開始される時点が判断の時間として使用されます。リアルタイム同期タスクがその時点で生成されたデータとそれ以前に生成されたデータの同期を完了した場合、システムはリアルタイム同期タスクがチェックに合格し、使用可能であると見なします。
さらに、チェックがトリガーされる間隔と、チェックノードのチェックタスクを停止するための条件を指定する必要があります。条件は、チェックの終了時刻またはチェックの最大回数です。指定された時間が経過するか、チェックの最大回数に達した後もリアルタイム同期タスクがチェックに失敗した場合、チェックノードは終了し、失敗状態になります。ポリシー構成の詳細については、このトピックの手順 2：チェックノードのチェックポリシーを構成するセクションをご参照ください。
上記のチェックオブジェクトは、チェックノードを使用して定期的にチェックできます。チェックの開始予定時刻に基づいて、チェックノードでタスクを実行するようにスケジュール時間を構成する必要があります。ノードスケジュールの条件が満たされると、チェックノードは実行状態のままになります。チェックポリシーの条件が満たされると、チェックノードのタスクは正常に実行されます。チェックが長時間合格しない場合、チェックノードのタスクは失敗します。スケジュール構成の詳細については、手順 3：チェックノードのスケジュールプロパティを構成するセクションをご参照ください。
チェックノードは、チェックが完了するまで、実行プロセス中にスケジュールリソースを占有します。
制限事項
リソースグループの制限：チェックノードのタスクを実行するには、サーバーレスリソースグループのみを使用できます。サーバーレスリソースグループを使用することをお勧めします。サーバーレスリソースグループの購入と使用方法については、6. サーバーレスリソースグループの作成と使用をご参照ください。
データソースの制限：
SFTPプロトコルとキーペアを認証に使用する FTP データソースをチェックするためにチェックノードを使用することはできません。詳細については、FTP データソースをご参照ください。ノード機能の制限
チェックノードは、1 つのオブジェクトのみをチェックするために使用できます。タスクが複数のオブジェクト（複数の MaxCompute パーティションテーブルなど）に依存している場合は、複数のチェックノードを作成して、これらのオブジェクトを個別にチェックする必要があります。
チェックノードのチェック間隔は、
1分から30分です。
DataWorks エディションの制限：チェックノードは、DataWorks Professional Edition 以降のエディションでのみ使用できます。DataWorks Basic Edition または DataWorks Standard Edition を使用している場合は、チェックノードを使用する前に、DataWorks サービスを DataWorks Professional Edition 以降にアップグレードする必要があります。詳細については、「DataWorks エディションの課金」トピックのエディションのアップグレードとダウングレードセクションをご参照ください。
リージョンの制限：DataWorks では、中国 (杭州)、中国 (上海)、中国 (北京)、中国 (深セン)、中国 (成都)、中国 (香港)、日本 (東京)、シンガポール、マレーシア (クアラルンプール)、インドネシア (ジャカルタ)、ドイツ (フランクフルト)、英国 (ロンドン)、米国 (シリコンバレー)、米国 (バージニア) のリージョンにあるワークスペースでのみチェックノードを使用できます。
前提条件
チェックノードを使用してデータソースに基づいてチェックを実行する前に、使用するデータソースを最初に準備する必要があります。次の表で詳細を説明します。
チェック対象オブジェクトタイプ
準備
参考
MaxCompute パーティションテーブル
MaxCompute データソースが DataWorks に追加され、DataStudio に関連付けられます。
MaxCompute プロジェクトのデータにアクセスするには、MaxCompute プロジェクトを MaxCompute データソースとして DataWorks ワークスペースに追加する必要があります。
MaxCompute パーティションテーブルが作成されます。
FTP ファイル
FTP データソースが追加されます。
FTP サービスのデータにアクセスするには、まず FTP サービスを FTP データソースとして DataWorks ワークスペースに追加する必要があります。
OSS オブジェクト
OSS データソースが追加され、AccessKey ペアが OSS データソースにアクセスするように構成されます。
バケット内のデータにアクセスするためにデータソースを使用する前に、OSS バケットを DataWorks ワークスペースに OSS データソースとして追加する必要があります。
説明Check ノードでは、AccessKey ペアを使用してのみ OSS データソースにアクセスできます。RAM ロールベースの権限付与モードで追加された OSS データソースは、Check ノードでは使用できません。
HDFS ファイル
HDFS データソースが追加されます。
HDFS ファイルのデータにアクセスするには、HDFS ファイルを HDFS データソースとして DataWorks ワークスペースに追加する必要があります。
OSS-HDFS オブジェクト
OSS-HDFS データソースが追加されます。
OSS-HDFS サービスのデータにアクセスするには、まず OSS-HDFS サービスを DataWorks ワークスペースに OSS-HDFS データソースとして追加する必要があります。
リアルタイム同期タスク を使用してチェックノードでチェックを実行する場合は、リアルタイム同期タスクが Kafka から MaxCompute へのデータ同期に使用されていることを確認する必要があります。チェックを実行する前に、まずこのようなリアルタイム同期タスクを作成する必要があります。詳細については、「DataStudio でリアルタイム同期タスクを設定する」をご参照ください。
ステップ 1：Check ノードを作成する
DataStudio ページに移動します。
DataWorks コンソール にログオンします。 上部のナビゲーションバーで、目的のリージョンを選択します。 左側のナビゲーションウィンドウで、 を選択します。 表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[データ開発に移動] をクリックします。
ポインターを
アイコンの上に移動し、 を選択します。[ノードの作成] ダイアログボックスで、指示に従って Path パラメーターと Name パラメーターを設定し、[確認] をクリックします。
ステップ 2：設定 チェックノードのチェックポリシー
データソースまたはリアルタイム同期タスクに基づいてチェックを実行するように、チェックポリシーを設定できます。
データソース
MaxCompute パーティションテーブルのチェックポリシーを設定する
次の表にパラメーターを示します。
パラメーター | 説明 |
データソースタイプ | MaxCompute を選択します。 |
データソース名 | チェックする MaxCompute パーティションテーブルが属するデータソースの名前。 データソースがない場合は、[新しいデータソース] をクリックしてデータソースを追加します。 MaxCompute データソースを追加する方法の詳細については、「MaxCompute 計算リソースをバインドする」をご参照ください。 |
テーブル名 | チェックする MaxCompute パーティションテーブルの名前。 説明 指定したデータソースに属する MaxCompute パーティションテーブルのみを選択できます。 |
パーティション | チェックする MaxCompute パーティションテーブル内のパーティションの名前。 [テーブル名] の横にある [テーブル情報をプレビュー] をクリックすると、パーティション名を取得できます。 スケジューリングパラメーターを使用してパーティション名を取得することもできます。 スケジューリングパラメーターの使用方法の詳細については、「スケジューリングパラメーターのサポートされている形式」をご参照ください。 |
チェック合格の条件 | パーティションテーブルのチェック方法とチェック合格条件を指定します。 有効値：
|
チェック停止ポリシー | 現在のチェックノードでのチェックタスクの停止ポリシー。 DataWorks では、チェックを停止する時点またはチェックの最大回数を指定できます。 チェック頻度を指定することもできます。
|
FTP ファイルのチェックポリシーを設定する
次の表にパラメーターを示します。
パラメーター | 説明 |
データソースタイプ | FTP を選択します。 |
データソース名 | チェックする FTP ファイルが属するデータソースの名前。 データソースがない場合は、[新しいデータソース] をクリックしてデータソースを追加します。 FTP データソースを追加する方法の詳細については、「FTP データソース」をご参照ください。 |
ファイルパス | チェックする FTP ファイルのストレージパス。 例： 指定されたパスがすでに存在する場合は、同じ名前のファイルが存在します。 パスを直接入力するか、スケジューリングパラメーターを使用してパスを取得できます。 スケジューリングパラメーターの使用方法の詳細については、「スケジューリングパラメーターのサポートされている形式」をご参照ください。 |
チェック合格の条件 | FTP ファイルのチェック合格条件を指定します。
|
チェック停止ポリシー | 現在のチェックノードでのチェックタスクの停止ポリシー。 DataWorks では、チェックを停止する時点またはチェックの最大回数を指定できます。 チェック頻度を指定することもできます。
|
OSS オブジェクトのチェックポリシーを設定する
次の表にパラメーターを示します。
パラメーター | 説明 |
データソースタイプ | OSS を選択します。 |
データソース名 | チェックする OSS オブジェクトが属するデータソースの名前。 データソースがない場合は、[新しいデータソース] をクリックしてデータソースを追加します。 OSS データソースを追加する方法の詳細については、「OSS データソース」をご参照ください。 |
ファイルパス | チェックする OSS オブジェクトのストレージパス。 OSS オブジェクトのストレージパスを表示するには、次の操作を実行します。 OSS コンソール にログインします。 目的のバケットの詳細ページに移動します。 詳細ページの左側のナビゲーションウィンドウで、 を選択します。 パスは OSS のオブジェクトパス形式に準拠している必要があります。
フォルダが存在するかどうかをチェックする場合は、次の点に注意してください。
説明 データソースを選択すると、システムはデータソースに設定されているバケットを自動的に使用します。 パスにバケット情報を指定する必要はありません。 パスを入力した後、[完全なパス情報を表示] をクリックすると、開発環境の OSS データソースのエンドポイントとバケット情報を表示できます。 |
チェック合格の条件 | OSS オブジェクトのチェック合格条件を指定します。
|
チェック停止ポリシー | 現在のチェックノードでのチェックタスクの停止ポリシー。 DataWorks では、チェックを停止する時点またはチェックの最大回数を指定できます。 チェック頻度を指定することもできます。
|
HDFS ファイルのチェックポリシーを設定する
次の表にパラメーターを示します。
パラメーター | 説明 |
データソースタイプ | HDFS を選択します。 |
データソース名 | チェックする HDFS ファイルが属するデータソースの名前。 データソースがない場合は、[新しいデータソース] をクリックしてデータソースを追加します。 HDFS データソースを追加する方法の詳細については、「HDFS データソース」をご参照ください。 |
ファイルパス | チェックする HDFS ファイルのストレージパス。 例： 指定されたパスがすでに存在する場合は、同じ名前のファイルが存在します。 パスを直接入力するか、スケジューリングパラメーターを使用してパスを取得できます。 スケジューリングパラメーターの使用方法の詳細については、「スケジューリングパラメーターのサポートされている形式」をご参照ください。 |
チェック合格の条件 | HDFS ファイルのチェック合格条件を指定します。
|
チェック停止ポリシー | 現在のチェックノードでのチェックタスクの停止ポリシー。 DataWorks では、チェックを停止する時点またはチェックの最大回数を指定できます。 チェック頻度を指定することもできます。
|
OSS-HDFS オブジェクトのチェックポリシーを設定する
次の表にパラメーターを示します。
パラメーター | 説明 |
データソースタイプ | OSS_HDFS を選択します。 |
データソース名 | チェックする OSS-HDFS オブジェクトが属するデータソースの名前 データソースがない場合は、[新しいデータソース] をクリックしてデータソースを追加します。 OSS-HDFS データソースを追加する方法の詳細については、「OSS-HDFS データソース」をご参照ください。 |
ファイルパス | チェックする OSS-HDFS オブジェクトのストレージパス。 OSS-HDFS オブジェクトのストレージパスを表示するには、次の操作を実行します。 OSS コンソール にログインします。 目的のバケットの詳細ページに移動します。 詳細ページの左側のナビゲーションウィンドウで、 を選択します。 パスは OSS-HDFS のオブジェクトパス形式に準拠している必要があります。
|
チェック合格の条件 | OSS-HDFS オブジェクトのチェック合格条件を指定します。
|
チェック停止ポリシー | 現在のチェックノードでのチェックタスクの停止ポリシー。 DataWorks では、チェックを停止する時点またはチェックの最大回数を指定できます。 チェック頻度を指定することもできます。
|
リアルタイム同期タスク
次の表にパラメーターを示します。
パラメーター | 説明 |
チェックオブジェクト | リアルタイム同期タスク を選択します。 |
リアルタイム同期タスク | チェックするリアルタイム同期タスクの名前。 説明
|
チェック停止ポリシー | 現在のチェックノードでのチェックタスクの停止ポリシー。 DataWorks では、チェックを停止する時点またはチェックの最大回数を指定できます。 チェック頻度を指定することもできます。
|
ステップ 3：Check ノードのスケジューリングプロパティを構成する
パーティションデータをチェックするために Check ノードでタスクを定期的に実行する場合は、Check ノードの構成タブの右側ナビゲーションウィンドウにある [プロパティ] をクリックして、ビジネス要件に基づいてノードのプロパティを構成できます。詳細については、「概要」をご参照ください。
Check ノードのスケジューリングの依存関係やスケジューリング時間などのスケジューリングプロパティは、他のタイプのノードのスケジューリングプロパティを構成するのと同じ方法で構成する必要があります。DataWorks の各ノードは、上流の依存関係を使用して構成する必要があります。Check ノードに祖先ノードがない場合は、ビジネスの複雑さに基づいて、現在のワークスペースのゼロロードノードまたはルートノードを Check ノードの祖先ノードとして選択できます。詳細については、「ゼロロードノードを作成して使用する」をご参照ください。
ノードでタスクをコミットする前に、[再実行] および [親ノード] パラメーターを [プロパティ] タブで構成する必要があります。
ステップ 4：ノードでタスクをコミットおよびデプロイする
ノードが構成された後、ノードをコミットおよびデプロイする必要があります。ノードをコミットおよびデプロイすると、システムはスケジュール構成に基づいてノードでタスクを定期的に実行します。
トップツールバーの
アイコンをクリックして、ノードを保存します。トップツールバーの
アイコンをクリックして、ノードのタスクをコミットします。[送信] ダイアログボックスで、[変更の説明] パラメーターを構成します。次に、ビジネス要件に基づいて、タスクのコミット後にタスクコードを確認し、スモークテストを実行するかどうかを決定します。
説明ノードでタスクをコミットする前に、[プロパティ] タブで [再実行] パラメーターと [親ノード] パラメーターを構成する必要があります。
コードレビュー機能を使用して、ノードのコード品質を確保し、無効なノードコードによって発生する実行エラーを防ぐことができます。コードレビュー機能を有効にすると、コミットされたタスクコードは、コードレビューに合格した後にのみデプロイできます。詳細については、「コードレビュー」をご参照ください。
作成したノードのタスクが期待どおりに実行されるように、タスクをデプロイする前にスモークテストを実行することをお勧めします。詳細については、「スモークテストを実行する」をご参照ください。
使用しているワークスペースが標準モードの場合、ノードのタスクをコミットした後、ノード構成タブの右上隅にある [デプロイ] をクリックして、ノードのタスクを実行環境にデプロイする必要があります。詳細については、「タスクのデプロイ」をご参照ください。
参考資料
本番環境の Operation Center の Check ノードにタスクをコミットしてデプロイした後、DataWorks はノードのスケジュール構成に基づいて Check ノードでタスクを定期的に実行します。ノードのチェック結果を表示し、Operation Center で O&M 操作を実行できます。詳細については、「自動トリガーされたタスクで基本的な O&M 操作を実行する」をご参照ください。