実行診断機能を使用して、タスクをエンドツーエンドで分析します。タスクが期待どおりに実行されない場合、この機能を使用して問題を迅速に特定できます。
背景情報
実行診断機能は、以下のディメンションに基づいてタスクを分析します。
-
実行詳細の表示：定期タスクは、上流の依存関係がすべて成功し、スケジュール時刻に達し、十分なスケジューリングリソースが利用可能で、かつタスクがまだ実行中でない場合にのみ実行されます。詳細については、「ノードの実行条件」をご参照ください。
-
基本情報の表示：現在のタスクインスタンスの主要なタイムスタンプを表示できます。
-
影響を受けるベースライン：現在のタスクを監視するベースラインのリストを表示し、その運用ステータスを確認できます。インテリジェントベースラインの詳細については、「インテリジェントベースラインの概要」をご参照ください。
-
履歴インスタンスの実行ステータス：過去 15 日間のタスクの実行履歴をチャートとリストで表示できます。
制限事項
-
実行診断機能は、DataWorks Professional Edition 以上で利用できます。より多くのプロダクト機能にアクセスするために、Professional Edition へのスペックアップを推奨します。エディションのスペックアップの詳細については、「DataWorks の各エディションの機能」をご参照ください。
-
実行診断機能は、中国 (杭州)、中国 (上海)、中国 (北京)、中国 (張家口)、中国 (深セン)、中国 (香港)、日本 (東京)、シンガポール、マレーシア (クアラルンプール)、インドネシア (ジャカルタ)、ドイツ (フランクフルト)、米国 (シリコンバレー)、米国 (バージニア)、UAE (ドバイ) の各リージョンでサポートされています。
実行診断へのアクセス
-
[DataWorks コンソール]にログインします。 対象のリージョンで、左側のナビゲーションウィンドウから をクリックします。 ドロップダウンリストからワークスペースを選択し、移動 オペレーションセンター をクリックします。
-
オペレーションセンター を開いた後、2 つの方法のいずれかで 診断の実行 ページにアクセスできます。
-
方法 1：インスタンスの実行診断にアクセスする。
-
左側のナビゲーションウィンドウで、 を選択します。インスタンスビュー タブで、ターゲットインスタンスをクリックし、インスタンス詳細ページの右側にある 診断の実行 をクリックして実行診断ページに移動します。
-
左側のナビゲーションウィンドウで、 を選択します。インスタンスビュー タブで、ターゲットインスタンスの 操作 列にある DAG グラフ をクリックします。DAG ビューで、ターゲットインスタンスの DAG ノードを選択し、右側のノード情報パネルで [詳細を展開] をクリックし、ノード詳細パネルの上部にある 診断の実行 カードをクリックして実行診断ページに移動します。
-
-
方法 2：左側のナビゲーションウィンドウで、 を選択して実行診断ページに移動します。
説明実行診断は、インスタンス ID による特定のインスタンスの特定のみをサポートします。
-
実行詳細の表示
タスク実行の前提条件に基づき、DataWorks は上流タスクの実行ステータス、現在のタスクのスケジュール時刻、スケジューリングリソースの使用量、および現在のタスクの実行ステータスを順次チェックします。
-
上流依存関係
上流依存関係 ページでは、実行診断が上流タスクの実行ステータスをチェックします。上流タスクが正常に実行されていない場合、現在のタスクはブロックされます。上流タスクの 操作 列にある AI 診断 をクリックして、失敗の原因を特定できます。
説明上流タスクが未実行状態で、上流の依存関係の階層が深い場合は、まず DAG パネルの 上流分析機能を使用して、現在のタスクをブロックしている主要な上流タスクを迅速に特定し、次に AI 診断 を使用して主要なタスクが実行されなかった理由を診断することを推奨します。これにより、O&M の効率が向上します。
-
定期チェック
定期チェック は、現在のタスクがスケジュール時刻に達したかどうかをチェックします。このチェックは、上流の依存関係チェックが合格した後にのみトリガーされます。
説明DataStudio モジュールでタスクのスケジューリング属性を定義する際、スケジューリング環境でタスクの期待実行時刻を設定する必要があります。ただし、上流タスクの失敗などの問題により、実際の実行時刻はスケジュール時刻より遅れることがあります。
-
リソースのスケジューリング
実行診断の リソースのスケジューリング ページには、リソース使用量と、現在のタスクが待機中にリソースを占有しているタスクのリストが表示されます。チェックが失敗した場合、リソースが不足しており、タスクは他のタスクがリソースを解放するまで待機します。リソース使用量の傾向に基づいてタスクのスケジュール時刻を調整し、ピーク時間をずらすことができます。
説明タスクのスケジュール時刻が
00:00頃で、待機時間がわずか数分である場合、これは通常、スケジューリングのピーク期間中に正常な現象です。毎日00:00頃に多数のタスクがトリガーされ、この遅延はタスクのトリガーフェーズで発生します。スケジュール時刻を00:00以降の時点にずらすことを推奨します。機能
説明
リソーススケジューリング情報
現在のタスクが使用するスケジューリングリソースグループの名前、そのリソースグループで現在実行中のタスク数、およびそのリソースグループで実行を待機しているタスク数を表示します。
説明リソース不足を緩和するために、サーバーレスリソースグループの使用を推奨します。
共有スケジューリングリソースグループを使用する場合、毎日 00:00 から 09:00 までは DataWorks タスクのピーク時間です。共有スケジューリングリソースが不足し、タスクが利用可能なリソースを待つ必要がある場合があります。
診断結果
現在のタスクの実行ステータスを表示します。
リソース使用量の推移
共有スケジューリングリソースグループを使用する場合、このセクションには、現在のスケジューリングリソースグループの時間帯ごとのリソース使用率と、現在のタスクがリソースを待機した時間が表示されます。
-
タスク実行
タスク実行 には、実行ログ、関連するデータ品質ルールの実行詳細、および現在のタスクのコード詳細が表示されます。失敗したタスクについては、実行診断がログ情報に基づいて診断の提案を提供し、エラーの原因を迅速に特定するのに役立ちます。
機能
説明
ログ
タスクの詳細な実行プロセスを表示します。
実行の詳細 の タスク実行 セクションで、ログ に表示される EMR Web UI の URL をクリックして対応する EMR コンポーネントの Web ページに移動し、右下隅の [実行診断] ボタンをクリックして新しいウィンドウで実行診断ページを開き、エラー情報を分析できます。
診断の実行
大規模言語モデル (LLM) を使用してタスクのエラーログを分析します。Qwen、DeepSeek、DW ナレッジベースのモデルがサポートされています。
Qwen または DeepSeek を使用してエラーログを分析し、エラーログを解析してエラー分析と解決策の提案を生成し、DW ナレッジベースで推奨されるソリューションを表示できます。
説明LLM がエラーログ分析を完了した後、コードの変更、インスタンスの再実行、インスタンスを成功に設定、インスタンスのスケジューリングリソースグループの変更、インスタンスのデータ統合リソースグループの変更、チケットの送信、テーブル権限の申請などの操作を迅速に実行できます。
DQC
データ品質ルールがタスクに関連付けられている場合、タスクの実行時にルールがトリガーされます。ここでデータ品質ルールの詳細な実行結果を表示できます。
コードの詳細
現在のタスクのコード詳細を表示します。
基本情報の表示
基本情報 ページでは、現在のタスク実行の主要なタイムスタンプと基本情報を表示できます。属性の詳細については、「スケジューリング属性の設定」をご参照ください。
影響を受けるベースラインの表示
影響を受けるベースライン ページでは、現在のタスクを監視するベースラインのリストとその実行ステータスを表示できます。インテリジェントベースラインの詳細については、「概要」をご参照ください。
履歴インスタンスの表示
インスタンス履歴 ページでは、次の情報を確認できます。
-
現在のタスクのディメンションごとのメトリックの傾向：ビジュアルチャートには、過去 15 日間の現在のタスクの 実行時間、実行開始時刻、リソース待機時間、および 完了時間 の傾向が表示されます。
-
現在のタスクの履歴インスタンスの実行ステータス：リストには、現在のタスクの履歴インスタンスの実行詳細が表示されます。これには、開始時刻、終了時刻、実行時間、リソース待機時間が含まれます。[操作] 列の AI 診断 をクリックすると、ページ右側の Data O&M Agent パネルで診断結果を表示できます。