DataWorks:スケジューリング依存関係

スケジューリング依存関係とは何ですか？

スケジューリング依存関係が必要なのはなぜですか？

スケジューリング依存関係により、現在のノードがスケジュールされて実行されるときに、現在のノードが必要なデータを上位ノードから取得できるようになります。現在のノードの上位ノードが正常に実行されると、DataWorks は、上位ノードのステータスに基づいて、上位ノードが関連テーブルに最新のデータを生成したことを検出できます。その後、現在のノードはデータを正常に取得できます。これにより、現在のノードの上位ノードが期待どおりにデータを生成する前に、ノードが無効なデータを取得したり、データを取得できなかったりするのを防ぎます。

ノードのスケジューリング依存関係を設定するにはどうすればよいですか？

どのシナリオでスケジューリング依存関係がサポートされていませんか？

スケジューリング依存関係により、自動トリガーノードが上位ノードから最新のデータを定期的に正常に取得できるようになります。DataWorks は、自動トリガーノードによって生成されたデータのみを監視できます。

ノードが依存していないテーブルを削除するにはどうすればよいですか？

ノードをコミットすると、ノードの上位ノードの出力名が 존재하지 않는다는 エラーが報告されます。どうすればよいですか？

ノードをコミットすると、ノードの上位ノードの出力名が 존재하지 않는다는 エラーが報告されます。この問題の原因と解決策については、「ノード A をコミットすると、ノード A の依存上位ノードの出力名が 존재하지 않는다는 エラーが報告されます。どうすればよいですか？」をご参照ください。

ノードをコミットすると、ノードの入力と出力が、ノード用に開発されたコードのデータ系列と一致しないというエラーが報告されます。どうすればよいですか？

ノードをコミットすると、ノードの入力と出力が、ノード用に開発されたコードのデータ系列と一致しないというエラーが報告されます。この問題の原因と解決策については、「ノードをコミットすると、ノードの入力と出力がノード用に開発されたコードのデータ系列と一致しないというエラーが報告されます。どうすればよいですか？」をご参照ください。

システムは、自動解析機能に基づいて、ノードの親ノードに出力名を自動的に追加しますが、出力名で表される出力が存在しないことを示すエラーメッセージが表示されます。どうすればよいですか？

システムは、出力名に基づいて出力を生成するノードを見つけることができません。

自分のノードの子孫ノードの名前と ID が空であり、自分のノードの出力で指定できません。これはなぜ発生しますか?

ノードの出力を別のノードの入力として構成した後、2 つのノード間にスケジューリング依存関係が確立されます。ノードに子孫ノードがない場合、子孫ノードの名前と ID は空です。ノードの子孫ノードを構成すると、子孫ノードの名前と ID が自動的に表示されます。

ノードが依存していないテーブルを削除するにはどうすればよいですか?

ノードが実行するために祖先ノードに依存する必要がある場合、どのようなルールが使用されますか?

DataWorks のスケジューリングシステムでは、ノードが別のノードによって生成された必要なデータを正常に取得できるように、スケジューリング依存関係が構成されます。ノードによって生成されたテーブルのデータ系列に基づいて、ノード間にスケジューリング依存関係を構成するかどうかを決定できます。詳細については、「スケジューリング依存関係構成ガイド」をご参照ください。

ノードの出力名はどのように使用されますか？

ノードの出力名は、別のノードとの依存関係を確立するために使用されます。たとえば、ノード A の出力名が ABC で、ノード B が入力名として ABC を使用する場合、ノード A とノード B の間に依存関係が確立されます。

ノードは複数の出力名を持つことができますか?

はい、ノードは複数の出力名を持つことができます。ノードの出力名は、ノードを定義します。あるノード (ノード A) が別のノード (ノード B) に依存する必要がある場合、ノード A はノード B の出力名をその入力名として参照できます。このようにして、ノード A とノード B の間に依存関係が確立されます。

複数のノードが同じ出力名を持つことはできますか?

いいえ、複数のノードが同じ出力名を持つことはできません。各ノードの出力名は一意である必要があります。このように、あるノードが別のノードの出力を参照する場合、システムは一意の出力名と自動解析機能に基づいて出力を生成するノードを見つけることができ、2 つのノード間に依存関係を確立できます。複数のノードが同じテーブルにデータを生成する場合、テーブルにデータを生成する最後のノードを決定し、残りのノードの出力名を変更して、すべてのノードの出力名が確実に一意になるようにする必要があります。これにより、別のノードがテーブルから必要なデータを正常に取得できるようになります。

同じワークスペース内の 2 つの自動トリガーノードが同じテーブルにデータを生成する場合、システムは自動解析シナリオでノードの 1 つに対して次のエラーメッセージを報告します。${projectname} ワークスペース内の ${nodename1} ノードと ${nodename2} ノードは、同じ出力名 ${node_outputname} を使用しています。複数のノードが同じ出力名を持つことはできません。

DataWorks がノードのスケジューリング依存関係を解析する際に一時テーブルを解析しないようにするにはどうすればよいですか?

ノードの構成タブで、ノードの SQL コード内の一時テーブル名を右クリックし、[入力の削除] または [出力の削除] を選択します。[プロパティ] タブの [依存関係] セクションで、[コードから入出力を解析] をクリックして、ノードの入出力を解析します。

ワークフローの開始ノードに祖先ノードを設定するにはどうすればよいですか?

ワークフローの開始ノードに祖先ノードを設定する場合、ワークフローにゼロ負荷ノードを作成し、そのゼロ負荷ノードをワークフローの開始ノードとして使用できます。次に、ワークスペースのルートノードをゼロ負荷ノードの祖先ノードとして設定できます。ゼロ負荷ノードの使用方法については、[ゼロ負荷ノードの作成と使用] をご参照ください。

ノード A の祖先ノードを検索するため出力名を入力すると、存在しないノード B の出力名が見つかるのはなぜですか?

DataWorks は、自動解析機能に基づいて、コミットされ、スケジューリングシステムにデプロイされたノードの出力名の中から、ノードの祖先ノードを検索します。ノード B がコミットされた後、ノード B の出力名を削除し、ノード B をスケジューリングシステムに再度コミットしないと、削除されたノード B の出力名は引き続き見つかる可能性があります。

ノードをアンデプロイすると、子ノードが存在するためアンデプロイできないというエラーメッセージが表示されます。ただし、[プロパティ] タブでノードの子ノードは見つかりません。なぜですか？

開発環境と本番環境でノードに依存するノードがなくなった後にのみ、ノードをアンデプロイできます。開発環境 および 本番環境 のオペレーションセンターに移動して、まだノードに依存しているノードがあるかどうかを確認できます。

一部のノードのスケジューリング依存関係がオペレーションセンターで破線で表示されるのはなぜですか?

ノードのスケジューリング依存関係が破線で表示される場合、そのノードにはサイクル間スケジューリング依存関係が設定されています。 サイクル間スケジューリング依存関係の詳細については、「シナリオ 2： 前のサイクルのインスタンスに依存するノードのスケジューリング依存関係を設定する」をご参照ください。

ノードの下位ノードの名前と ID が空であり、ノードの出力で指定できません。なぜですか？

• 現在のノードへの影響: 現在のサイクルのノードに対して生成されたインスタンスは、前のサイクルのノードに対して生成されたインスタンスが正常に実行された後にのみ実行を開始できます。

  シナリオ: 1 時間ごとにスケジュールされているノードが 00:00 に実行を開始し、1 時間ごとに実行する必要がある場合、2 番目のサイクルのノードに対して生成されたインスタンスは、最初のサイクルのノードに対して生成されたインスタンスが正常に実行された後にのみ実行を開始できます。

• 現在のノードの子孫ノードへの影響: 現在のノードに日単位でスケジュールされている子孫ノードがある場合、子孫ノードに対して生成されたインスタンスは、現在のノードに対して生成された複数のインスタンスに直接依存しなくなりますが、代わりに現在のノードに対して生成された特定のインスタンスにのみ直接依存します。 この場合、子孫ノードに対して生成されたインスタンスは、現在のノードに対して生成された複数のインスタンスに間接的に依存します。

ノードが依存していないテーブルを削除するにはどうすればよいですか？

• シナリオ 1：日単位でスケジュールされたノードに対して生成されたインスタンスが、時間単位でスケジュールされたノードの当日に生成されたすべてのインスタンスに依存するように構成します。

  日単位でスケジュールされたノードが、時間単位でスケジュールされたノードに直接依存するように構成します。このようにして、日単位でスケジュールされたノードに対して生成されたインスタンスは、時間単位でスケジュールされたノードの当日に生成されたすべてのインスタンスに依存します。

• シナリオ 2：日単位でスケジュールされたノードに対して生成されたインスタンスが、時間単位でスケジュールされたノードの当日に生成された特定のインスタンスに依存するように構成します。

  • 時間単位でスケジュールされたノードの場合、現在のサイクルでノードに対して生成されたインスタンスが、前のサイクルでノードに対して生成されたインスタンスに依存するように構成します。これは、DataWorksコンソールの [プロパティ] タブの [依存関係] セクションで、時間単位でスケジュールされたノードの [サイクル間の依存関係（元の前のサイクルの依存関係）] パラメーターを [現在のノードのインスタンス] に設定する必要があることを意味します。

  • 日単位でスケジュールされたノードの場合、ノードが時間単位でスケジュールされたノードに依存するように構成します。これは、DataWorksコンソールの [プロパティ] タブの [依存関係] セクションで、日単位でスケジュールされたノードの [親ノード] に時間単位でスケジュールされたノードの出力名を追加する必要があることを意味します。

  

• シナリオ 3：日単位でスケジュールされたノードに対して生成されたインスタンスが、時間単位でスケジュールされたノードの前日に生成されたすべてのインスタンスに依存するように構成します。

  • 日単位でスケジュールされたノードの [プロパティ] タブの [依存関係] セクションで、[サイクル間の依存関係（元の前のサイクルの依存関係）] パラメーターを [他のノード] に設定し、表示されるフィールドに時間単位でスケジュールされたノードの ID を入力します。

  • 日単位でスケジュールされたノードの [プロパティ] タブの [依存関係] セクションで、日単位でスケジュールされたノードの [親ノード] から時間単位でスケジュールされたノードの出力名を削除します。

時間単位でスケジュールされたノードを日単位でスケジュールされたノードの祖先ノードとして設定した場合、日単位でスケジュールされたノードはいつ実行を開始しますか?

原則: 時間単位でスケジュールされたノードが日単位でスケジュールされたノードの祖先ノードとして設定されている場合、日単位でスケジュールされたノードに対して生成されるインスタンスは、時間単位でスケジュールされたノードの当日生成されるすべてのインスタンスに依存します。これは、日単位でスケジュールされたノードに対して生成されるインスタンスは、時間単位でスケジュールされたノードの当日生成される最後のインスタンスが正常に実行された後にのみ実行を開始できることを意味します。

日単位でスケジュールされたノードに対して生成されるインスタンスを、時間単位でスケジュールされたノードの当日生成される特定のインスタンスに依存させるにはどうすればよいですか?

原則: 日単位でスケジュールされたノードに対して生成されるインスタンスを、時間単位でスケジュールされたノードの当日生成される特定のインスタンスに依存させるには、時間単位でスケジュールされたノードの当サイクルで生成されるインスタンスを前サイクルで生成されるインスタンスに依存させ、日単位でスケジュールされたノードに対して生成されるインスタンスのスケジュール時刻を、時間単位でスケジュールされたノードに対して生成される特定のインスタンスのスケジュール時刻に設定する必要があります。

日単位でスケジュールされたノードに対して生成されたインスタンスを、時間単位でスケジュールされたノードの当日ではなく前日に生成されたすべてのインスタンスに依存させるにはどうすればよいですか？

原則: 日単位でスケジュールされたノードに対して生成されたインスタンスを、時間単位でスケジュールされたノードの前日に生成されたすべてのインスタンスに依存させるには、日単位でスケジュールされたノードに対して、時間単位でスケジュールされたノードにサイクル間依存関係を設定する必要があります。

どのようなシナリオで、現在のサイクルでノードに対して生成されたインスタンスを、前のサイクルで同じノードに対して生成されたインスタンスに依存させる必要がありますか?

ノードを実行するために上位ノードに依存する必要がある場合、どのようなルールが使用されますか？

ノードが複数のノードに依存する必要がある場合、ノードとこれらのノード間にスケジューリング依存関係を設定するかどうかを決定する必要があります。ノードがこれらのノードによって生成されたテーブルデータに強く依存している場合は、ノードとこれらのノード間にスケジューリング依存関係を設定することをお勧めします。ノード間にスケジューリング依存関係を設定するかどうかを決定する方法の詳細については、「スケジューリングの依存関係が必要な理由」をご参照ください。

たとえば、ノード A は時間ごとにスケジュールされ、テーブル A を生成し、ノード B は日ごとにスケジュールされ、テーブル B を生成します。ノード C はノード A とノード B に依存し、テーブル A とテーブル B のデータを使用する必要があります。

ノード A の出力名をノード C の[親ノード] に追加しても、ノード B の出力名をノード C の[親ノード] に追加しない場合、ノード B がまだ実行中であってもノード C が実行を開始することがあります。その結果、ノード C はテーブル B のデータを取得できず、ノード C でエラーが発生します。この問題を解決するには、ノード A とノード B の両方の出力名をノード C の[親ノード] に追加する必要があります。

ノードが別のノードによって生成されたテーブルデータに強く依存しておらず、最新のデータが別のノードによって生成されていなくてもデータを取得できる場合、2 つのノード間にスケジューリング依存関係を設定する必要はありません。

ノード A が時間単位でスケジュールされ、ノード B が日単位でスケジュールされる場合、ノード B は、ノード A の現在の日付のすべてのインスタンスが正常に実行された後にのみ実行を開始します。ノード A が翌日も実行されている場合、ノード B の実行は影響を受けますか?

ノード B 用に生成されたインスタンスは、ノード A の現在の日付に生成されたすべてのインスタンスに依存します。ノード B は、ノード A のすべてのインスタンスが正常に実行された後、毎日自動的に実行されます。ノード A の最後のインスタンスが翌日正常に実行された場合、ノード B は引き続き実行されますが、指定された時刻とは異なる時刻に実行されます。スケジューリング パラメーターは期待どおりに置き換えることができます。

ノード A は毎時 0 分に実行され、ノード B は 1 日に 1 回実行されます。ノード B が毎日ノード A の最初のインスタンスが正常に実行された後に自動的に実行されるように構成するにはどうすればよいですか?

[プロパティ] タブの [依存関係] セクションでノード A の時間プロパティを構成する場合は、[サイクルをまたぐ依存関係 (以前は前サイクルの依存関係)] パラメーターを [現在のノードのインスタンス] に設定する必要があります。さらに、ノード B のスケジュール時刻を 00:00 に設定する必要があります。このようにして、ノード B 用に生成されたインスタンスは、ノード A 用に毎日 00:00 に生成される最初のインスタンスのみに依存します。このインスタンスは、ノード A の最初のインスタンスです。

ノードの出力名は何に使用されますか？

1. 依存関係: ノード A の出力をノード B の入力として、ノード B の出力をノード C の入力として構成します。

2. スケジュールサイクル: ノード A、ノード B、およびノード C が 1 時間ごとにスケジュールされるように構成します。

ノードに複数の出力名を含めることはできますか？

原則: あるノードの出力を別のノードの入力として使用して、2 つのノード間に依存関係を確立します。ノード間の依存関係を確立するには、あるノードの出力名を別のノードの親ノードに追加する必要があります。ノードは、異なるワークスペースおよびワークフローに属することができます。

複数のノードに同じ出力名を含めることはできますか？

• 問題の説明:

  [プロパティ] タブの [スケジュール] セクションの [再実行] パラメーターが、ノードに対して [実行状態に関係なく許可] または [失敗時にのみ許可] に設定されています。ただし、ノードは失敗後に再実行されず、ノードの実行時に Task Run Timed Out, Killed by System!!! というエラーメッセージが表示されます。

• 考えられる原因:

  [プロパティ] タブの [スケジュール] セクションで、[タイムアウト定義] パラメーターがノードに対して構成されています。ノードの実行時間がタイムアウト定義パラメーターの値を超えると、ノードは自動的に停止し、再実行されません。タイムアウトが原因で実行に失敗したノードは再実行できません。

• 解決策:

  ノードを手動で再実行します。