インテリジェント診断機能を使用して、タスクをエンドツーエンドで分析します。タスクが期待どおりに実行されない場合、この機能を使用して問題を迅速に特定できます。
背景情報
インテリジェント診断機能は、次のディメンションに基づいてタスクを分析します：
-
実行詳細の表示：スケジュールされたタスクは、上流の依存関係が成功し、スケジュールされた時刻に達し、十分なスケジューリングリソースが利用可能で、かつすでに実行中でない場合にのみ実行されます。詳細については、「ノードの実行条件」をご参照ください。
-
基本情報の表示：現在のタスクインスタンスの主要なタイムスタンプを表示できます。
-
影響を受けるベースライン：現在のタスクを監視するベースラインのリストと、その運用状況を確認できます。インテリジェントベースラインの詳細については、「インテリジェントベースラインの概要」をご参照ください。
-
履歴インスタンスの実行ステータス：過去 15 日間のタスクの実行履歴をグラフとリストで表示できます。
制限事項
-
「診断の実行」機能は、DataWorks Professional Edition 以降でのみ利用可能です。現在、この機能は無料でお試しいただけますが、より多くの製品機能をご利用いただくには、Professional Edition にアップグレードすることを推奨します。エディションのアップグレードの詳細については、「DataWorks の各エディションの機能」をご参照ください。
-
インテリジェント診断機能は、次のリージョンでサポートされています：中国 (杭州)、中国 (上海)、中国 (北京)、中国 (張家口)、中国 (深圳)、中国 (香港)、日本 (東京)、シンガポール、マレーシア (クアラルンプール)、インドネシア (ジャカルタ)、ドイツ (フランクフルト)、米国 (シリコンバレー)、米国 (バージニア)、アラブ首長国連邦 (ドバイ)。
インテリジェント診断へのアクセス
[オペレーションセンター] ページに移動します。
DataWorks コンソールにログインします。 左側のナビゲーションウィンドウで、 を選択します。 表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[オペレーションセンターに移動] をクリックします。
-
[オペレーションセンター]を開いた後、2 つの方法のいずれかで インテリジェント診断 ページにアクセスできます。
-
方法 1：インスタンスのインテリジェント診断にアクセスする。
-
左側メニューで、 を選択します。インスタンスビュー タブで、対象インスタンスの 操作 列にある 診断の実行 をクリックして、インテリジェント診断ページに移動します。
-
左側メニューで、 を選択します。インスタンスビュー タブで、対象インスタンスの 操作 列にある DAG グラフ をクリックします。DAG ビューで、対象インスタンスの DAG ノードを右クリックし、コンテキストメニューから 診断の実行 を選択して、インテリジェント診断ページに移動します。
-
-
方法 2：左側メニューで、 を選択して、インテリジェント診断ページに移動します。
説明インテリジェント診断では、インスタンス ID によってのみ特定のインスタンスを検索できます。
-
実行詳細の表示
DataWorksは、タスク実行の前提条件に基づき、上流タスクの実行ステータス、現在のタスクのスケジュール時刻、スケジューリングリソースの使用状況、現在のタスクの実行ステータスを順次チェックします。
-
[上流依存関係]
上流依存関係 ページでは、インテリジェント診断が上流タスクの実行ステータスをチェックします。上流タスクが正常に実行されていない場合、現在のタスクはブロックされます。上流タスクの 操作 列にある 診断の実行 をクリックして、失敗の原因を特定できます。
説明上流タスクが未実行状態で、上流の依存関係の階層が深い場合は、まず DAG パネルの [上流分析] 機能を使用して現在のタスクをブロックしている主要な上流タスクを迅速に特定し、次に インテリジェント診断 を使用してその主要タスクが実行されなかった理由を診断することを推奨します。これにより、運用保守の効率が向上します。
-
[定期チェック]
定期チェック は、現在のタスクがスケジュールされた時刻に達したかどうかをチェックします。このチェックは、上流の依存関係のチェックがパスした後にのみトリガーされます。
説明DataStudio モジュールでタスクのスケジューリングプロパティを定義する際、スケジューリング環境でのタスクの期待実行時刻を設定する必要があります。ただし、上流タスクの失敗などの問題により、実際の実行時刻がスケジュールされた時刻より遅れることがあります。
-
[リソースのスケジューリング]
インテリジェント診断の リソースのスケジューリング ページには、リソースの使用状況と、現在のタスクが待機中にリソースを占有しているタスクのリストが表示されます。チェックが失敗した場合、リソースが不足しており、タスクは他のタスクがリソースを解放するまで待機します。リソース使用量の傾向に基づいてタスクのスケジュール時刻を調整し、ピーク時間をずらすことができます。
説明タスクのスケジュール時刻が
00:00頃で、待機時間がわずか 数分 の場合、これは通常、スケジューリングのピーク時間帯には正常な動作です。毎日00:00頃に多数のタスクがトリガーされ、この遅延はタスクのトリガーフェーズで発生します。スケジュール時刻を00:00以降の時点にずらすことを推奨します。機能
説明
[リソーススケジューリング情報]
現在のタスクが使用するスケジューリングリソースグループの名前、そのリソースグループで現在実行中のタスク数、およびそのリソースグループで実行を待機しているタスク数を表示します。
説明リソース不足を緩和するために、サーバーレスリソースグループの使用を推奨します。
共有スケジューリングリソースグループを使用する場合、毎日 00:00 から 09:00 までの期間は DataWorks タスクのピーク時間です。共有スケジューリングリソースが不足し、タスクが利用可能なリソースを待機する必要がある場合があります。
[診断結果]
現在のタスクの実行ステータスを表示します。
[リソース使用量の推移]
共有スケジューリングリソースグループを使用する場合、このセクションには、現在のスケジューリングリソースグループの時間帯ごとのリソース使用率と、現在のタスクがリソースを待機していた時間が表示されます。
-
[タスク実行]
タスク実行 には、実行ログ、関連するデータ品質ルールの実行詳細、および現在のタスクのコード詳細が表示されます。失敗したタスクに対して、インテリジェント診断はログ情報に基づいて診断の提案を提供し、エラーの原因を迅速に特定するのに役立ちます。
機能
説明
[ログ]
タスクの詳細な実行プロセスを表示します。
実行の詳細 の タスク実行 セクションで、ログ に表示される EMR Web UI の URL をクリックして対応する EMR コンポーネントの Web ページに移動し、右下隅の インテリジェント診断 ボタンをクリックしてインテリジェント診断ページに移動し、エラー情報を分析できます。
[インテリジェント診断]
大規模言語モデル (LLM) を使用して、タスクのエラーログを分析します。サポートされているモデルは、[Qwen]、[DeepSeek]、[DW ナレッジベース] です。
[Qwen] または [DeepSeek] を使用してエラーログを分析・解析し、エラー分析と解決策の提案を生成して、推奨される解決策を [DW ナレッジベース] で表示できます。
説明LLM がエラーログ分析を完了した後、[コードの変更]、[インスタンスの再実行]、[インスタンスを成功に設定]、[インスタンスのスケジューリングリソースグループの変更]、[インスタンスの Data Integration リソースグループの変更]、[チケットの送信]、[テーブル権限の申請] などのアクションを迅速に実行できます。
[DQC]
データ品質ルールがタスクに関連付けられている場合、タスクの実行時にルールがトリガーされます。ここでデータ品質ルールの詳細な実行結果を表示できます。
[コードの詳細]
現在のタスクのコード詳細を表示します。
基本情報の表示
基本情報 ページでは、現在のタスクの実行に関する主要なタイムスタンプと基本情報を表示できます。プロパティの詳細については、「スケジューリングプロパティの設定」をご参照ください。
影響を受けるベースラインの表示
影響を受けるベースライン ページでは、現在のタスクを監視するベースラインのリストとその実行ステータスを表示できます。インテリジェントベースラインの詳細については、「インテリジェントベースラインの概要」をご参照ください。
履歴インスタンスの表示
インスタンス履歴 ページでは、次の情報を表示できます：
-
現在のタスクのディメンションごとのメトリックの傾向：ビジュアルチャートには、過去 15 日間の現在のタスクの 実行時間、実行開始時刻、リソース待機時間、完了時間 の傾向が表示されます。
-
現在のタスクの履歴インスタンスの実行ステータス：リストには、開始時刻、終了時刻、実行期間、リソース待機時間など、現在のタスクの履歴インスタンスの実行詳細が表示されます。診断の実行 列の [診断の実行] をクリックすると、対応するインスタンスの診断詳細ページに移動できます。