DataWorks:タスクが実行されない

制限事項

自動スケジューリングは、本番環境のオペレーションセンターでのみサポートされています。ノードが本番環境に公開されていることを確認してください。詳細については、「タスクの公開」をご参照ください。

ノードの実行条件

オペレーションセンターでは、さまざまなステータスインジケーターを使用してインスタンスのステータスを識別します。

スケジュールされたノードは、スケジューリングリソースが利用可能である、スケジューリング時刻に達している、すべての先祖ノードが正常に完了している、ノードが一時停止またはフリーズされていない、というすべての条件が満たされた場合にのみ実行されます。

• 紫 (凍結): インスタンスは凍結されています。ノードは実行されず、下流ノードをブロックします。詳細の表示 > 操作ログ をクリックして、関連レコードを表示できます。
• 詳細の表示プロパティ黄 (待機中)：ノードはスケジューリング時刻を待機しています。右下の をクリックし、 タブを確認します。
  説明

  • ステータスが リソース待機中 の場合、プロジェクトで実行中のノード数が上限に達しています。インスタンス詳細ページの右側にある [診断の実行] カードをクリックし、スケジューリングリソースセクションでどのノードがリソースを消費しているかを確認します。詳細については、「リソース待機中」をご参照ください。
  • 待機時間ステータスが の場合、インスタンスのスケジューリング時刻にまだ達していません。
• グレー (未実行): グレーのインスタンスを右クリックし、診断の実行 と アップストリーム分析 を使用して、その先祖ノードのステータスを確認します。
• 青 (実行中)：インスタンスは実行中です。ノードが長期間完了しない場合は、「リソース待機中」をご参照ください。
  説明 どの先祖ノードも前述のいずれかの状態になく、ワークフロー全体がグレーの場合、先祖ノードの依存関係が変更され、ワークフローが孤立している可能性があります。詳細については、「シナリオ：孤立ノード」をご参照ください。

遅延実行の理由

• 現象

  自動トリガーされたインスタンスが実行される際、そのスケジューリング時刻と実際の開始時刻が異なる場合があります。ノードは、スケジューリング時刻を過ぎても実行されないことがあります。

  例えば、ある ODPS SQL ノードインスタンスのスケジューリング時刻が 2022-04-07 00:08:00、リソース待機開始時刻が 2022-04-07 00:59:50、開始時刻が 2022-04-07 01:21:02 であったとします。このインスタンスはリソースを 21 分 12 秒待機しており、3 つのタイムスタンプ間に大きな隔たりがあることがわかります。
• トラブルシューティング
  まず、先祖ノード解析機能を使用して、現在のノードをブロックしているキーインスタンスを特定します。次に、診断の実行を使用して、ノードがブロックされている理由を判断します。
  DataWorks のノードが実行されない一般的な理由として、4 つが考えられます。以下の例では、説明のために 3 階層の依存関係を使用していますが、より複雑な依存関係にも同じロジックが適用されます。

  • 未実行シナリオ 1：すべての先祖ノードが正常に実行されていない (ノードステータス：グレーの )。

    シナリオ：現在時刻が 01:00 であると仮定します。ノード A2 は 01:00 に、ノード A3 は 03:00 に、ノード B は 00:00 にスケジュールされています。ノード B はノード A2 と A3 に依存しています。

    分析: ノード B のスケジューリング時間 (00:00) はすでに過ぎています。しかし、先祖ノードがまだスケジューリング時間に達していないため、ノード B はノード A2 とノード A3 の両方が実行されて成功するのを待つ必要があります。A2 または A3 のいずれかが失敗した場合、ノード B は実行されません。したがって、ノード B の現在のインスタンスステータスは未実行です。

    結論：ノードは、そのすべての先祖ノードが正常に実行された後にのみ実行されます。

    説明 先祖ノードが長期間実行中のままである場合は、以下のソリューションをお試しください。

    • DingTalk でサポートを受けるには、まず このリンク をクリックして「Alibaba Cloud Big Data & AI Platform」グループに参加します。次に、QR コードをスキャンして DataWorks プロダクトグループに参加すると、インテリジェントアシスタントまたは担当者に問い合わせることができます。
    • バッチ同期ノードが実行中のままである場合、実行リソースを待機しているか、処理が遅い可能性があります。詳細については、「長時間実行されるバッチ同期ノードのトラブルシューティング方法」をご参照ください。
  • 待機時間シナリオ 2：ノードのスケジューリング時刻に達していない (ノードステータス：黄色の )。

    シナリオ：現在時刻が 04:00 であると仮定します。ノード A2 は 01:00 に、ノード A3 は 03:00 に、ノード B は 05:00 にスケジュールされています。ノード B はノード A2 と A3 に依存しています。

    分析: 先祖ノード A2 と A3 はすでに正常に実行されています。しかし、ノード B のスケジューリング時間 (05:00) にまだ達していないため、現在のインスタンスステータスは 待機時間 です。

    結論：ノードは、そのスケジューリング時刻に達した後にのみ実行されます。

  • リソース待機中シナリオ 3：プロジェクトのスケジューリングリソースが不足している (ノードステータス：黄色の )。

    シナリオ：現在時刻が 04:00 であると仮定します。ノード A2 は 01:00 に、ノード A3 は 03:00 に、ノード B は 00:00 にスケジュールされています。ノード B はノード A2 と A3 に依存しています。

    分析：ノード B はスケジューリング時間を経過し、その先祖ノードである A2 と A3 は正常に完了しています。しかし、リソースグループのリソースが不足しているため、このノードはスケジューリングリソースを取得できません。このため、現在のインスタンスステータスはリソース待機中になっています。

    結論：ノードは、十分なスケジューリングリソースが利用可能な場合にのみ実行されます。ノードがリソースを待機しているとき、ログにはプロジェクト内のノードの同時実行数上限に達し、ノードがゲートウェイリソースを待機していることが示されます。

    説明 ノードが専用リソースグループで実行されている場合は、DataWorks コンソールでリソースグループを表示できます。リソースグループを確認して、実行中のノードとリソースウォーターマークを表示します。また、インスタンス詳細ページの右側にある 診断の実行カードをクリックして、現在のノードが待機中にどのノードがリソースを消費しているかを確認することもできます。詳細については、「リソース待機中」をご参照ください。
  • シナリオ 4：ノードがフリーズされている (ノードステータス：紫色の [フリーズ])。

    シナリオ：現在時刻が 04:00 であると仮定します。01:00 にスケジュールされているノード A2 は、スケジューリングが一時停止されています。ノード A3 は 03:00 に、ノード B は 00:00 にスケジュールされています。ノード B はノード A2 と A3 に依存しています。

    分析：最初のシナリオで説明したように、ノードはすべての先祖ノードが正常に完了した後にのみ実行されます。左の図では、先祖ノード A2 がフリーズされているため、ノード B は実行されません。右の図では、先祖ノードが正常に完了しているにもかかわらず、ノード B 自体がフリーズされているため、実行されません。

    結論：ノード自体またはいずれかの先祖ノードがフリーズされている場合、そのノードは実行されません。