孤立ノードは先祖ノードへの依存関係がないため、自動スケジューリングが実行されず、ダウンストリームのパイプライン障害を引き起こす可能性があります。孤立ノードの特定方法と解決方法を確認してください。
孤立ノードとは
孤立ノードとは、いずれの先祖ノードにも依存関係を持たないノードです。その結果、この状態の [定期タスク] または [定期インスタンス] は自動スケジューリングシステムによってトリガーされず、実行されません。孤立ノードに多数のダウンストリームの依存関係がある場合、深刻なパイプライン障害を引き起こす可能性があります。DataWorks は孤立ノードを検出すると自動的にアラートを送信します。孤立ノードのアラートを受信した場合は、直ちに問題を解決してください。アラートの仕組みの詳細については、「孤立ノードのモニタリングとアラート」をご参照ください。
DataWorks では、カスタム自動トリガーノードがスケジュールされ、実行されるためには、先祖ノードへの依存関係を必ず設定する必要があります。
孤立ノードの解決
|
シナリオ |
説明 |
解決策 |
|
上流ノードとダウンストリームのノードのインスタンス生成モードが一致していない。 |
上流ノードとダウンストリームのノードの両方が新規の場合、ダウンストリームのノードの依存先がインスタンス生成モードの異なる上流ノードのみである場合、ダウンストリームのノードが孤立する可能性があります。たとえば、上流ノードが [T+1] (翌日) モードに設定され、ダウンストリームのノードがデプロイ直後にインスタンスを生成するように設定されている場合、上流ノードは当日にインスタンスを生成しないため、ダウンストリームのノードが孤立します。 |
上流ノードのインスタンス生成モードを調整し、再デプロイします。このシナリオの詳細については、「シナリオ 3:インスタンス生成モードの不一致」をご参照ください。 |
|
上流ノードが有効期間外である。 |
DataWorks は、指定された有効期間外のノードに対してインスタンスを生成しません。ダウンストリームのノードの依存先が、有効期間外の上流ノードのみである場合、ダウンストリームのノードは孤立します。 |
上流ノードのスケジューリング設定に移動し、有効期間を更新します。詳細については、「有効期間」をご参照ください。 |
|
上流ノード出力が変更された。 |
上流ノードのビジネスロジックの変更によりノード出力が変わり、ダウンストリームのノードの依存関係が失われる場合があります。これがダウンストリームのノードの唯一の依存関係である場合、ダウンストリームのノードは孤立します。 |
ダウンストリームのノードの依存関係を再設定します。詳細については、「ノード出力の削除または変更の影響」をご参照ください。 |
|
クロスワークスペースの依存関係が存在し、上流ノードのワークスペースでスケジューリングが無効になっている。 |
単一のクロスワークスペース依存関係を持つノードは、上流ノードのワークスペースでスケジューリングが無効になっている場合に孤立します。 |
上流ノードのワークスペースの所有者に連絡してスケジューリングを有効にするか、クロスワークスペースの依存関係を削除します。スケジューリングを有効にする方法の詳細については、「スケジューリング設定」をご参照ください。 |
|
中間タスクがデータバックフィルの指定時間範囲外である。 |
データバックフィルを実行する際、スケジューリング依存関係チェーン内の中間タスクがバックフィルの時間範囲外にある場合、このタスクに依存するダウンストリームのノードが孤立する場合があります。中間タスクは上流とダウンストリームの両方に依存関係を持ちます。 例:
ノード A とノード C に対して時間範囲 |
同じ時間範囲で中間タスクのデータバックフィルを実行します。詳細については、「データバックフィル」をご参照ください。 この例では、ノード B に対しても対応する日付のデータバックフィルを実行する必要があります。 |
モニタリングとアラート
DataWorks は毎晩、設定済みの [定期タスク] に基づいて翌日の [定期インスタンス] を生成します。DataWorks は組み込みのアラートルールを使用して、自動トリガーノードを定期的にスキャンし、孤立ノードなどの問題を検出します。問題が検出されると、アラートが自動的にトリガーされます。パイプライン障害を防ぐため、これらのアラートは直ちに対処してください。
-
DataWorks は毎日 09:00、12:00、16:00 に自動トリガーノードのステータスをスキャンします。スキャン開始前の 10 分間に問題が発生した場合、次回のスキャンまで検出されません。
-
分離ノードアラートは組み込みのシステムルールであるため、手動で作成する必要はありません。デフォルトでは、DataWorks はノードの所有者に SMS およびメールでアラートを送信します。このグローバルルールのアラート受信者は、[ルール管理] ページで変更できます。詳細については、「ルール管理」をご参照ください。
孤立ノードの特定
オペレーションセンター に移動して [概要ページ] を開きます。[ハイライト] セクションには、隔離されたノードの数と詳細が表示されます。