DataWorks:付録：DAG 機能

ノードの横にある Dagダイアグラム をクリックすると、その DAG ビューが開きます。DAG インターフェイスには、ノードグラフを表示する中央のキャンバス、ノードを選択するための左側のノードリスト、および上部にノード集約、アップストリーム分析、ダウンストリーム分析などの機能のコントロールがあります。DAG ビューでは、以下の操作を実行できます。このトピックでは、自動トリガーインスタンスを例に説明します。

• ノード集約

  自動トリガーインスタンスに多数のノードまたは依存関係レベルがある場合、ノードステータス、ワークスペース、所有者、優先度などのディメンションでノードを集約し、特定のディメンションのノード数を表示できます。これにより、ノードの分布を把握し、実行をより効果的に管理できます。以下の例は、ノードが 集約なし の場合と、[優先度で集約] された場合の表示を示しています。

  説明

  ステータスでノードを集約できるのは、インスタンスの DAG のみです。インスタンスは、自動トリガーインスタンス、データバックフィルインスタンス、またはテストインスタンスのいずれかです。

  • ノードが集約されていない場合、各ノードは DAG に個別に表示されます。各ノードには、[仮想ノード]、[ODPS SQL]、[バッチ同期] などの名前とタイプが表示されます。ノード間の線は依存関係を示します。下部のメッセージは、現在のビューに 8 つの依存関係レベルにわたる 10 個のノードが含まれていることを示しています。

  • ノードが優先度で集約されると、表示は次のようになります。現在のノードに、優先度が 1 の 6 つの子ノードがあることがすぐにわかります。集約された DAG は依存関係パスを示し、上部の [fanyi_test_root] (仮想ノード) から始まり、[User Behavior Analysis Case Description] (仮想ノード)、[table_ddl_ods_raw_log_d] (ODPS SQL)、それぞれ 2 つのノードを含む 2 つの集約グループ、次に [dws_user_info_all_di] (ODPS SQL)、[ads_user_info_1d] (ODPS SQL)、最後に [User Behavior Analysis Result Query] (ODPS SQL) へと続きます。ノード間の矢印はスケジュール依存関係を示します。左側のパネルにはすべてのタスク名が一覧表示され、チェックボックスを使用してノードを選択できます。

• アップストリーム分析

  ノードが長時間保留されている場合、アップストリーム分析を実行できます。これにより、ブロッキングしている上流ノードが明らかになるため、実行時エラーを迅速に特定して解決し、実行効率を向上させることができます。

  説明

  • アップストリーム分析機能を使用できるのは、インスタンスの DAG のみです。インスタンスは、自動トリガーインスタンス、データバックフィルインスタンス、またはテストインスタンスのいずれかです。

  • アップストリーム分析 を実行できるのは、実行中でないノードのみです。最大 6 レベルが表示されます。さらに多くのレベルを表示するには、左上隅の 分析を続ける をクリックします。

  • アップストリーム分析により、現在のノードが依存しているが正常に実行されていない祖先ノードをすばやく見つけることができます。これらのノードは、実行中、失敗、保留中 (時間)、保留中 (リソース)、またはフリーズ状態である可能性があります。これらの状態の祖先ノードは、下流の実行をブロックします。

  例のノードが長時間実行されていない場合、ノードを選択して左上隅の アップストリーム分析 をクリックできます。分析結果は、ブロッキングしている上流ノードが old_work_root ノードであることを示しています。この結果により、ブロッキングしているノードを迅速に特定し、関連するエラーを処理できます。

  説明

  次のステップ：

  • キーインスタンスを特定した後、集約ディメンションでフィルタリングして、現在のノードのデータ出力に影響を与えるキーインスタンスのワークスペースまたは所有者を表示できます。これにより、運用効率が向上します。

  • ブロッキングしているインスタンスを特定した後、そのインスタンスを右クリックして 診断を実行する を選択し、正常に実行されなかった理由を迅速に分析することもできます。詳細については、「インテリジェント診断」をご参照ください。

  アップストリーム分析結果では、[old_work_root] は仮想ノードであり、その下流の依存ノードは ODPS SQL タイプの [sd] ノードです。

• ダウンストリーム分析

  デフォルトでは、DAG ビューには 3 つのレベルが表示されます。現在のノード、その直接の祖先ノード (1 レベル上)、および直接の子孫ノード (1 レベル下) です。自動トリガーインスタンスに多数のノードまたはレベルがある場合、影響の全範囲を確認することが困難になる可能性があります。ダウンストリーム分析機能を使用すると、ノードステータス、ワークスペース、所有者、優先度などの基準でフィルタリングできます。これにより、特定のディメンションの異なるレベルのノード数またはすべてのレベルにわたるノードの総数をカウントできます。

  説明

  • 集約された状態でのマージビューまたは階層ビュー：ダウンストリーム分析をクリックすると、デフォルトでノードは所有者で集約され、すべてのレベルにわたるそのディメンションのノードの総数が計算されます。

  • 集約なしのグループ化ビュー：下流ノードが 10 を超える場合、デフォルトでグループ化されて表示されます。このビューにより、ノードのビジネスへの影響をより直感的に理解できます。

  • グループ化解除ビュー：集約されていないビューでは、グループ化解除をクリックしてグループ化されたノードを展開できます。これにより、すべてのノードの上流および下流の関係を確認できます。

  • ダウンストリーム分析 の レイヤード ビューには、最大 6 レベルが表示されます。さらに多くのレベルを表示するには、左上隅の 分析を続ける をクリックします。

  以下の例は、[tag] ノードのダウンストリーム分析の結果を示しています。

  • マージビュー：現在の集約ディメンションに基づいて、分析された下流ノードをマージします。集約されていない状態では、下流ノードはグループ化されて表示されます。この例では、合併 方法が使用され、ノードは [ワークスペースで集約] されています。すべての下流ノードは単一のレイヤーにマージされ、異なるワークスペースに属するノードの数が表示されます。DAG ビューで [マージ] ボタンをクリックすると、tag ノードのダウンストリーム分析結果がマージモードで表示されます。7 つの下流ノードが集約グループに表示され、各グループには異なる数の子孫ノードが含まれています。下部のステータスバーには、現在 42 個のノードと 5 つのレベルが表示されていることが示されています。

  • 階層ビュー：現在の集約ディメンションに基づいて、分析された下流ノードを依存関係レベルごとに表示します。この例では、レイヤード 方法が使用され、ノードは [ワークスペースで集約] され、異なるレベルの異なるワークスペースのノード数が表示されます。[DAG] ビューを選択して [階層] ボタンをクリックすると、下流ノードは上から下にレベルごとに配置されます。各レベルには含まれるノード数が表示され、ページの下部には表示されているノードとレベルの総数が表示されます (例：「42 個のノードと 5 つのレベルが表示されています」)。

• DAG 表示スタイル

  DAG ビューの右上隅にある機能アイコンをクリックして、表示スタイルを調整できます。たとえば、フルスクリーン または 適応スクリーン を使用できます。

  以下の例は、グループの分割ビューとグループビューにおける、あるノードの下流ノードのDAGを示しています。

  • グループの分割 DAG：このビューは、すべてのノードの上流および下流の関係を明確に理解するのに役立ちます。グループ化解除モードでは、各下流ノードは依存関係レベルごとに配置された個別のカードとして表示され、合計 15 個のノードと 2 つのレベルが表示されます。右側のツールバーの [スナップショット] アイコンをクリックして、現在の DAG を画像として保存できます。

  • グループ DAG：このビューでは、下流ノードが1行あたり5つずつ整然と表示されるため、下流ノードの総数をすばやく確認できます。

  • [グループの分割] DAG: This view helps you clearly understand the upstream and downstream relationships of all nodes. In ungrouped mode, each downstream node is displayed as an individual card arranged by dependency level, showing a total of 15 nodes and 2 levels. You can click the Snapshot icon in the right-side toolbar to save the current DAG as an image.

  • [グループ] DAG: This view displays downstream nodes in an orderly manner, with five nodes per row, making it easy to quickly see the total number of downstream nodes.