DataStudio で FTP チェックノードを作成して、FTP に基づいて特定のファイルが存在するかどうかを定期的に検出できます。FTP チェックノードがファイルが存在することを検出すると、スケジューリングシステムは FTP チェックノードの子孫ノードを実行します。そうでない場合、FTP チェックノードは構成された検出間隔に基づいてファイルを検出します。 FTP チェックノードは、検出を停止する条件が満たされるまで再試行を停止します。ほとんどの場合、FTP チェックノードは DataWorks スケジューリングシステムと外部スケジューリングシステム間の通信に使用されます。このトピックでは、FTP チェックノードの使用方法と関連する注意事項について説明します。
注意事項
旧バージョンの DataStudio では、FTP チェックノードはお勧めしません。できるだけ早くビジネスで FTP チェックノードをチェックノードに置き換えることをお勧めします。 詳細については、「チェックノードを構成する」をご参照ください。
新バージョンの Data Studio では、FTP チェックノードはサポートされなくなりました。
前提条件
FTP データソースが追加されています。
SFTPプロトコルとキーペアを認証に使用する FTP データソースをチェックするために FTP チェックノードを使用することはできません。詳細については、「FTP データソース」をご参照ください。ワークフローが作成されています。詳細については、「自動トリガーワークフローを作成する」をご参照ください。
背景情報
FTP チェックノードは、通常、次のシナリオで使用されます。DataWorks スケジューリングシステムのタスクは、外部スケジューリングシステムの外部データベースにアクセスする必要がありますが、データベースの進行中のデータ書き込みタスクは DataWorks によって実行されません。この場合、データ書き込みタスクが完了する時刻とデータベースにアクセスできる時刻は DataWorks には不明です。タスクがデータベースにアクセスすると、データ書き込みタスクが完了していないために、データベースから読み取られるデータが不完全であるか、データの読み取りが失敗する可能性があります。タスクが外部データベースからデータを正常に読み取れるようにするには、データ書き込みタスクが完了したことを示すマークを生成するように外部スケジューリングシステムを有効にすることができます。たとえば、データ書き込みタスクが完了したことを示すために、ファイルシステムに接尾辞 .done を持つマーカーファイルを生成するように外部スケジューリングシステムを有効にすることができます。次に、DataWorks スケジューリングシステムで FTP チェックノードを作成して、接尾辞 .done を持つマーカーファイルが存在するかどうかを定期的に検出できます。ファイルが存在する場合、外部データベースにアクセスする必要のあるノードをスケジュールできます。
マーカーファイルを保存するために使用できるファイルシステムを指定できます。
この例では、接尾辞
.doneを持つマーカーファイルが使用されています。マーカーファイルの形式や名前などの情報をカスタマイズできます。
次の図と説明は詳細情報を提供します。
外部スケジューリングシステムの外部データベースのデータ書き込みタスクが完了し、データベースにアクセスできるようになった後、スケジューリングシステムは、指定されたファイルシステムに
xxxx2021-03-03.doneなどのマーカーファイルを生成します。この例では、接尾辞.doneを持つマーカーファイルが使用されています。ビジネス要件に基づいて、マーカーファイルの情報をカスタマイズできます。FTP データソースは、ファイルシステム内のマーカーファイルを読み取ります。
FTP チェックノードは、構成された検出ポリシーに基づいて、FTP データソースにマーカーファイルが存在するかどうかを定期的に検出します。
FTP チェックノードがマーカーファイルが存在することを検出した場合、外部データベースのデータ書き込みタスクは完了し、データベースにアクセスできます。次に、FTP チェックノードは検出結果をその子孫ノードに返します。
FTP チェックノードがマーカーファイルが存在しないことを検出した場合、外部データベースのデータ書き込みタスクは完了しておらず、データベースにアクセスできません。この場合、FTP チェックノードは検出結果とその子孫ノードがスケジュールされないという情報を子孫ノードに返します。次に、FTP チェックノードは、検出を停止するための指定された条件が満たされるまで、構成された検出ポリシーに基づいて検出を続けます。
FTP チェックノードの検出ポリシーの構成方法の詳細については、このトピックの「FTP チェックノードを作成する」セクションの 手順 6 を参照してください。
FTP チェックノードの子孫ノードは、FTP チェックノードによって返された検出結果に基づいて、外部データベースにアクセスするかどうかを決定します。
FTP チェックノードがマーカーファイルが存在することを検出した場合、子孫ノードは外部データベースにアクセスします。
FTP チェックノードがマーカーファイルが存在しないことを検出した場合、子孫ノードは外部データベースにアクセスしません。
子孫ノードは外部データベースにアクセスします。
外部データベースには、Oracle、MySQL、SQL Server などが含まれますが、これらに限定されません。
制限
リソースグループの制限:FTP チェックノードは、スケジューリングのためにサーバーレスリソースグループまたは旧バージョンの排他的リソースグループで実行できます。サーバーレスリソースグループでタスクを実行することをお勧めします。サーバーレスリソースグループの購入方法の詳細については、「サーバーレスリソースグループを作成して使用する」をご参照ください。
データソースの制限:
SFTPプロトコルとキーペアを認証に使用する FTP データソースをチェックするために FTP チェックノードを使用することはできません。詳細については、「FTP データソース」をご参照ください。FTP チェックノードが分または時間でスケジュールされている場合、ノードの [チェック停止ポリシー] パラメーターを [チェックノードが停止する前に許可されるチェック] にのみ設定できます。
リージョンの制限:このタイプのノードは、中国 (杭州)、中国 (上海)、中国 (北京)、中国 (深セン)、中国 (成都)、中国 (香港)、日本 (東京)、シンガポール、マレーシア (クアラルンプール)、インドネシア (ジャカルタ)、ドイツ (フランクフルト)、英国 (ロンドン)、米国 (シリコンバレー)、米国 (バージニア) の各リージョンでサポートされています。
FTP チェックノードを作成する
DataWorks コンソールにログオンします。
[DataStudio] ページで、
アイコンにポインターを移動し、 を選択します。または、目的のワークフローを見つけて、ワークフロー名を右クリックし、 を選択することもできます。
[ノードの作成] ダイアログボックスで、[名前] パラメーターと [パス] パラメーターを指定します。
説明ノード名は 1 ~ 128 文字で、文字、数字、アンダースコア (_)、ピリオド (.) を使用できます。
- [確認] をクリックします。
右側の [プロパティ] タブをクリックし、ノードのスケジューリングプロパティを構成します。
プロパティには、[基本プロパティ]、[時間プロパティ]、[リソースプロパティ]、[スケジューリングの依存関係] が含まれます。詳細については、「基本プロパティを構成する」、「時間プロパティを構成する」、「リソースプロパティを構成する」、「同一サイクルのスケジューリング依存関係を構成する」をご参照ください。
検出オブジェクトと検出ポリシーを構成します。

[FTP データソースの選択] ドロップダウンリストから、検出する FTP データソースを選択します。
FTP または SFTP データソースを選択できます。使用可能なデータソースがない場合は、データソースを追加する必要があります。詳細については、「FTP データソースを追加する」をご参照ください。
[チェックするファイル] フィールドにマーカーファイルのパスを指定します。指定したファイルパスが動的な場合は、スケジューリングパラメーターを使用してファイルパスに変数パスを構成できます。詳細については、「スケジューリングパラメーターのサポートされている形式」をご参照ください。
[チェック間隔 (秒)] フィールドに、検出を実行する間隔を指定します。
[チェック停止ポリシー] のポリシーを選択します。次のポリシーを使用できます。
[チェック停止時間]: 検出を停止する時点です。
hh24:mi:ss形式でこのパラメーターを指定します。時間形式は 24 時間制です。FTP チェックノードが実行されるたびにマーカーファイルが検出されない場合、検出は失敗します。この場合、システムは FTP チェックノードの子孫ノードをスケジュールしません。システムは、検出が成功した後にのみ子孫ノードのスケジュールを開始します。前回の検出が失敗した場合、ノードは構成済みの検出間隔に基づいて検出を続行し、検出の停止に指定した時間に達するまで検出を停止します。ノードログを表示して、失敗の詳しい原因を確認できます。説明FTP チェックノード のスケジューリングサイクルは、ノードの停止ポリシーに影響します。
FTP チェックノードが [分] または [時間] でスケジュールされている場合、「チェックの停止ポリシー」パラメーターは、ノードに対して [チェックノードが停止する前に許可されるチェック数] のみに設定できます。詳細については、「FTP チェックノードの検出ポリシーを設定する」をご参照ください。
[チェック停止時間] が設定されている FTP チェックノードのスケジュールサイクルを [日] から [分] または [時間] に変更する場合、[チェック停止時間] ポリシーは無効になります。この場合、[チェックの停止ポリシー] を [チェックノードが停止するまでに許可されるチェック数] に設定する必要があります。そうしないと、FTP チェックノードをコミットできません。
[チェックノードが停止する前に許可されるチェック]:検出を実行できる最大回数。FTP チェックノードが実行されるたびにマーカーファイルが検出されない場合、検出は失敗します。この場合、システムは FTP チェックノードの子孫ノードをスケジュールしません。システムは、検出が成功した後でのみ子孫ノードのスケジュールを開始します。検出が失敗した場合、ノードは指定された検出間隔に基づいて検出を続行し、検出を実行できる最大回数に達すると検出を停止します。ノードログを表示して、失敗の詳しい原因を見つけることができます。
ノードを保存してコミットします。
説明タスクをコミットする前に、[再実行] パラメーターと [親ノード] パラメーターを [プロパティ] タブで構成する必要があります。
上部のツールバーの
アイコンをクリックして、ノードを保存します。リアルタイム同期ノードの構成タブの上部ツールバーで、
アイコンをクリックしてノードを保存します。[送信] ダイアログボックスで、[変更の説明] フィールドにコメントを入力します。
[OK] をクリックします。
使用しているワークスペースが標準モードの場合、コミット後に構成タブの右上隅にある [デプロイ] をクリックしてノードをデプロイする必要があります。詳細については、「自動トリガーノードの基本的な O&M 操作を実行する」をご参照ください。
- ノードで O&M 操作を実行します。詳細については、「自動トリガーノードの基本的な O&M 操作を実行する」をご参照ください。