DataWorks:インテリジェント診断機能を使用する

インスタンスが期待どおりに実行されない場合は、オペレーションセンターでインスタンスを見つけて、インスタンスの診断ページに移動し、理由を特定できます。インスタンスは、自動トリガーノードインスタンス、データバックフィルインスタンス、または テストインスタンス のいずれかです。次の図は、インスタンスの診断ページに移動する方法を示しています。

インスタンスが正常に実行できるかどうかは、アップストリームの依存関係、スケジュール時間、インスタンスの実行に使用されるリソースグループのリソース使用量、インスタンスの実行の詳細など、複数の要因の影響を受けます。スケジュール時間が経過してもインスタンスが実行されない場合、またはインスタンスの実行に失敗した場合は、DataWorks が提供するインテリジェント診断機能を使用して理由を特定できます。

インテリジェント診断ページでは、次の表で説明されている操作を実行できます。

依存関係が構成されているノードは、すべての上流ノードの実行が完了した後にのみ実行を開始できます。現在のインスタンスの先祖インスタンスは、現在のインスタンスの実行に次の影響を与えます。

• 現在のインスタンスを実行できるかどうかは、現在のインスタンスの先祖インスタンスが正常に実行されるかどうかに依存します。

  DataWorks でインスタンス間のスケジューリングの依存関係を構成すると、インスタンスのデータ間の依存関係がデフォルトで確立されます。現在のインスタンスの先祖インスタンスが実行されていない場合、現在のインスタンスが依存するデータは生成されません。この場合、現在のインスタンスが実行されると、データ品質の問題が発生します。現在のインスタンスを実行するには、現在のインスタンスに指定されたスケジュール時間が到来し、現在のインスタンスのすべての上流インスタンスの実行が完了していることを確認する必要があります。

• 現在のインスタンスが実行を開始する最も早い時刻は、現在のインスタンスの先祖インスタンスのスケジュール時間によって異なります。

  現在のインスタンスの先祖インスタンスは、先祖インスタンスに指定されたスケジュール時間が到来した後にのみ実行を開始できます。現在のインスタンスの実行がスケジュールされている時刻が、現在のインスタンスの先祖インスタンスのスケジュール時間よりも早く、現在のインスタンスのスケジュール時間が到来した場合、現在のインスタンスは、現在のインスタンスの先祖インスタンスの実行が完了するまで実行を開始できません。したがって、現在のインスタンスの実行がスケジュールされている最も早い時刻は、現在のインスタンスの先祖インスタンスのスケジュール時間によって異なります。詳細については、「タスク間の依存関係がタスクの実行に及ぼす影響」をご参照ください。

現在のインスタンスのステータスアイコンが の場合、現在のインスタンスは保留中（先祖）状態です。次の操作を実行して、実行されていない先祖インスタンスを表示できます。現在のインスタンスの DAG を開きます。DAG 内の現在のインスタンスを右クリックし、ショートカットメニューから [インスタンス診断] を選択します。診断ページの [実行の詳細] タブで、[アップストリームノード] をクリックします。

特別なケース:

• 孤立ノード: ノードが先祖ノードに依存していない場合、ノードは孤立ノードです。詳細については、「シナリオ: 孤立ノード」をご参照ください。このタイプのノードは、スケジュールどおりに実行できません。現在のインスタンスが生成されるノードが孤立ノードの場合は、できるだけ早く孤立ノードの先祖ノードを構成します。

• フリーズされた先祖インスタンス: 現在のインスタンスの先祖インスタンスがフリーズされている場合、現在のインスタンスの実行もブロックされます。この場合、現在のインスタンスの先祖インスタンスを担当するオーナーに連絡して、先祖インスタンスがフリーズされている理由を特定し、できるだけ早くビジネスを調整します。

DataStudio でノードに 定義されたスケジュール時間 は、ノードに対して生成されるインスタンスの予想実行時間です。現在のインスタンスに指定されたスケジュール時間の自動チェックは、現在のインスタンスのすべての上流インスタンスが正常に実行された後にのみトリガーされます。この条件により、現在のインスタンスに必要なデータが生成されます。ほとんどの場合、手動チェックを実行すると、次のいずれかの結果が得られます。

• 現在のインスタンスのスケジュール時間が到来しました。ただし、現在のインスタンスの先祖インスタンスはまだ実行中です。

  このシナリオでは、現在のインスタンスの先祖インスタンスの実行が完了すると、現在のインスタンスのスケジューリングリソースが十分であれば、現在のインスタンスはすぐに実行されます。

• 現在のインスタンスの先祖インスタンスの実行が完了しました。ただし、現在のインスタンスのスケジュール時間はまだ到来していません。

  このシナリオでは、現在のインスタンスは、現在のインスタンスのスケジュール時間が到来した後にのみ実行を開始できます。現在のインスタンスのステータスアイコンが の場合、現在のインスタンスは保留中（スケジュール）状態です。[インテリジェント診断] ページの [エンドツーエンド診断] タブの [タイミングチェック] ステップで、現在のインスタンスに関する詳細情報を表示できます。

現在のインスタンスは、次の条件が満たされると実行を開始できます。現在のインスタンスの先祖インスタンスの実行が完了する、および 現在のインスタンスのスケジュール時間が到来する。ただし、スケジューリングリソースは限られています。現在のインスタンスに使用されるスケジューリング用リソースグループの残りのリソースが不足している場合、現在のインスタンスはリソース待機状態になります。

ノードが長時間期待どおりに実行されていたにもかかわらず、そのインスタンスの 1 つが突然リソース待機状態になった場合は、次の表で説明されているシナリオのいずれかが存在するかどうかを確認します。

現在のインスタンスのステータスアイコンが の場合、現在のインスタンスは失敗状態です。診断ページの [実行の詳細] タブの [実行] ステップで、現在のインスタンスが実行に失敗した理由を特定できます。 ほとんどの場合、インスタンスは次のシナリオで実行に失敗します。

• インスタンスのコードの実行に失敗しました。これは、データ同期ロジックまたはデータ処理ロジックの実行に失敗したことを示します。

• インスタンスによって生成されたテーブルデータが、構成されたデータ品質監視ルールを満たしていません。

• インスタンスがフリーズされています。

同期ノードの実行が開始されると、DataWorks のスケジューリングシステムは同期ノードのスケジュールを開始します。ただし、データの同期が開始されたかどうかは、ログデータの詳細に基づいてのみ判断できます。詳細については、「バッチ同期タスクに対して生成された実行ログの分析」をご参照ください。データ同期中に次の問題が発生する可能性があります。

• データ同期中に、ログデータに WAIT が長時間表示されます。

  データ同期中に、ログデータに WAIT が長時間表示される場合、DataWorks のスケジューリングシステムは同期ノードを発行しています。同期ノードの実行に使用されるリソースグループのリソースが不足しているため、同期ノードはリソース待機状態になります。

  たとえば、4 vCPU と 8 GiB のメモリを使用するデータ統合専用リソースグループは、最大 8 つのパラレル スレッドをサポートします。3 つの同期ノードがデータ統合専用リソースグループで実行されるように構成されています。各同期ノードに 3 つのパラレル スレッドが構成されています。2 つのノードがリソースグループで並列に実行されている場合、データ統合用リソースグループはさらに 2 つのパラレル スレッドをサポートできます。この場合、残りのノードはリソースが不足しているためリソースグループのリソースを待機する必要があり、ノードのログにはノードが WAIT 状態であることが示されます。この場合、診断ページの Data Integration実行[実行の詳細] タブの ステップの タブに移動して、次の情報を表示できます。現在のインスタンスがリソース待機状態にあるときにデータ統合用リソースグループで実行されているインスタンス、および各インスタンスで使用されているリソースの量。

  説明

  • 各同期ノードは 1 つのスケジューリングリソースを占有します。同期ノードが長時間期待どおりに実行されない場合、他のノードの実行がブロックされる可能性があります。

  • リソース使用率が高いにもかかわらずノードが実行されていない場合、またはリソースグループで実行されているノードの数が上限に達していないにもかかわらず現在のノードを実行できない場合は、アプリケーションリンク をクリックするか、以下の QR コードをスキャンして DataWorks DingTalk グループに参加し、プリセールスおよびアフターセールス担当者に連絡してください。インテリジェントチャットボットまたはオンデューティ担当者に連絡して相談できます。

  説明

  データ統合専用リソースグループでサポートされるパラレル スレッドの最大数は、リソースグループの仕様によって異なります。詳細については、「データ統合専用リソースグループ」をご参照ください。

• データ同期に失敗しました。

  同期ノードの実行に失敗した場合は、エラーメッセージと特定のプラグインの説明に基づいて失敗の原因を特定できます。詳細については、「ネットワーク接続とリソースグループの操作に関するよくある質問」をご参照ください。

監視ルールまたはベースラインが構成されているインスタンスの場合、次の操作を実行して、インスタンスが属する監視ルールまたはベースラインと、監視ルールまたはベースラインのステータスを表示できます。インスタンスのインテリジェント診断ページに移動します。次に、[実行の詳細] タブに表示されるプロンプトメッセージの横にある [詳細の表示] をクリックします。