DataWorks のタスクモニタリング - DataWorks - Alibaba Cloud ドキュメントセンター

機能

次の表では、モニタリング機能について説明します。

機能	説明
インテリジェントベースライン	インテリジェントベースラインは、タスク完了を遅延させる可能性のある例外を検出して早期に警告を発し、複雑な依存関係シナリオでタイムリーなデータ生成を保証します。ベースラインの作成と管理。ベースラインの管理。ベースラインインスタンスのステータス表示。ベースラインインスタンスの管理。イベントアラートの表示。イベントの管理。
ルール管理	モニタリングアラーム > ルール管理ページでグローバルルールを管理できます。ビジネス要件に基づいてカスタムモニタリングルールを作成することもできます。グローバルルール：組み込みのアラートルール (ワークスペースレベルのルールとは異なる) は、定期ノードのステータスを監視して、スケジューリングの中断を防ぎます。定期ノードのステータスの監視。カスタムモニタリングルール： DataWorks が定期ノードを周期的にスケジューリングすると、定期ノードインスタンスが生成されます。 DataWorks では、定期タスクのカスタムモニタリングルールを設定して、インスタンスの実行ステータスを監視できます。定期ノードインスタンスの実行ステータスの監視。実行ステータスを監視するには、カスタムルールを作成し、ルールオブジェクトをリアルタイムコンピューティングジョブに設定します。リアルタイムコンピューティングタスクの実行ステータスの監視。カスタムルールを作成し、オブジェクトタイプをデータ統合専用リソースグループまたは専用スケジューリングリソースグループに設定して、使用状況を監視できます。リソース使用量の監視。
アラート	モニタリングアラーム > アラーム情報ページで、カスタムルール、グローバルルール、インテリジェントベースラインからのアラートを表示できます。
シフトスケジュール	モニタリングアラーム > オンコールスケジュールページでシフトスケジュールを定義します。モニタリングルールを設定するときにスケジュールを選択して、アラートを当番エンジニアにルーティングします。説明シフトスケジュールでは、プライマリとセカンダリの当番エンジニアを定義します。アラートはデフォルトでプライマリエンジニアに送信されます。同じ問題で 2 回アラートが通知された後、3 回目以降のアラートは両方のエンジニアに送信されます。
自動 O&M	専用リソースグループの O&M ルールを作成し、モニタリングルールに関連付けます。ルールがトリガーされると、システムはフィルター条件に一致するターゲットリソースグループで実行されているタスクに対して自動的に O&M を実行します。説明現在、O&M ルールはスケジューリングリソースのモニタリングルールにのみ関連付けることができます。

タスクステータスの監視

監視対象

モニタリングルール (カスタムルールとインテリジェントベースライン) は、定期ノードのステータス、定期ノードインスタンスのステータス、トリガーされたワークフローインスタンスのステータス、リアルタイムコンピューティングノードのステータス、およびリソース使用量を対象とします。

定期ノードのステータスの監視

毎晩、DataWorks は 定期タスク に基づいて翌日の 定期インスタンス を生成します。これらのインスタンスが期待どおりに生成および実行されるように、DataWorks は組み込みのグローバルアラートルール (ワークスペースレベルではない) を提供して、定期タスク のステータスを監視します。例外が発生した場合、システムは自動的にアラートを送信します。アラートは、孤立ノード と ノードループ に対してトリガーされます。

ルールタイプ	監視対象	トリガー条件	説明
グローバルルール	孤立ノード：親の依存関係がないノード。	孤立ノードが検出されると、アラートが自動的にトリガーされます。すぐに問題を解決してください。説明ワークスペースのルートノードを除くすべての定期ノードは、スケジューリングおよび実行されるには親の依存関係を持つ必要があります。孤立ノードは自動的に実行されず、多くの下流の依存関係がある場合、深刻な問題を引き起こす可能性があります。	DataWorks は、毎日 09:00、12:00、16:00 に定期ノードのステータスをスキャンします。孤立ノードや依存関係ループなどの異常が見つかった場合、システムはアラートを送信します。スキャン開始前 10 分以内に発生した例外は、次のサイクルで処理されます。グローバルルールは組み込まれています。デフォルトでは、アラートはテキストメッセージとメールでノード所有者に送信されます。ルール管理ページでアラート受信者を変更できます。ルール管理ページでグローバルアラートルールを無効にできます。
グローバルルール	ノード依存関係ループ：上流タスクでありながら、自身の下流タスクのいずれかにも依存し、循環依存を形成するノード。	依存関係ループが検出されると、アラートが自動的にトリガーされます。すぐに問題を解決してください。説明自動スケジューラーは、依存関係ループ内のノードを実行しません。

定期ノードインスタンスの実行ステータスの監視

定期ノードは、周期的にスケジューリングされるとインスタンスを生成します。 定期タスク のカスタムモニタリングルールを設定して、定期インスタンス の実行ステータスを監視できます。これには、特定のオブジェクトに対するカスタムルールベースのアラートと、重要なタスクに対するプロアクティブな警告を行うインテリジェントベースラインアラートが含まれます。

ルールタイプ	監視対象	トリガー条件
カスタムルール	指定されたタスクノード、ベースライン、ワークスペース、または業務フロー内のタスク。	タスクが完了、未完了、エラー、エポック未完了、タイムアウト、または自動再実行後もエラーの場合にアラートがトリガーされます。オブジェクトタイプがワークスペースの場合、追加のトリガー条件にはタスクからインスタンスへの変換が完了しました。とインスタンス数の変動が含まれます。
インテリジェントベースライン	監視範囲には、ベースライン内のタスク、およびそれらのタスクのすべての上流の依存関係が含まれます。説明ベースラインの優先度を設定して、その中のタスクが時間どおりに実行され、期待どおりにデータが生成されるようにすることができます。タスクがクリティカルで、複雑な上流の依存関係がある場合は、ベースラインに追加してその安定性を確保できます。	ベースラインアラート：システムがベースラインタスクが所定の時間内に完了しないと予測した場合、設定された通知方法に基づいてベースラインアラートを送信します。コアロジック：ベースラインアラート。イベントアラート：ベースラインタスクまたは上流タスクが失敗した場合、またはクリティカルパスタスクが遅延した場合、システムはイベントを生成してアラートを送信します。イベントの管理。

リアルタイムコンピューティングノードの実行ステータスの監視
- ルールタイプ：カスタムルール。
- 監視対象：リアルタイムコンピューティングノード。
- トリガー条件：タスクに エラー が発生すると、アラートがトリガーされます。
リソース使用量の監視
- ルールタイプ：カスタムルール。
- 監視対象：スケジューリング専用リソースグループ、データ統合専用リソースグループ。
- トリガー条件：
  - リソースグループの 使用率 が指定された期間、指定された値を超えるとアラートがトリガーされます。
  - リソースグループ内の リソースグループなどのリソースインスタンス数 が指定された期間、指定された値を超えるとアラートがトリガーされます。

通知方法

モニタリングルールがトリガーされると、プラットフォームはメール、SMS、電話、または DingTalk グループメッセージで通知を送信します。

ルールタイプ	通知方法	アラートの頻度制御
カスタムルール、グローバルルール、およびインテリジェントベースライン	特定のユーザーに通知：メール、ショートメッセージ、[電話] で、ノード所有者、他の指定されたユーザー、またはシフトスケジュールの当番エンジニアにアラートを送信できます。電話通知は中国本土の携帯電話番号でのみ利用できます。グループへの通知：DingTalk グループボットおよび Webhook をサポートします。説明 DataWorks Basic Edition は、グループ Webhook を使用して DingTalk、Feishu、WeCom グループにアラートを送信することをサポートします。 Basic Edition で利用可能な機能に加えて、DataWorks Enterprise Edition は、アラートを受信するためのカスタム Webhook の設定をサポートします。カスタム Webhook を使用する必要がある場合は、申請リンクをクリックして Alibaba Cloud Big Data & AI Platform コミュニケーショングループに参加してください。その後、QR コードをスキャンして DataWorks 製品 DingTalk グループに参加すると、プリセールスおよびアフターセールスのご相談いただけます。そこでは、インテリジェントチャットボットにメンションするか、サービス時間中に当番スタッフに連絡することができます。。	最大アラート回数、最小アラーム間隔、応答不可時間を設定することで、アラートの頻度を制御できます。説明最大アラート数：送信できるアラートの最大数。この制限に達すると、それ以上のアラートは生成されません。最小アラート間隔：2 つの連続したアラート間の最小時間。この間隔中にタスクが正常状態に戻った場合、残りのアラートはトリガーされません。サイレント期間：指定された期間中、システムはアラートを送信しません。たとえば、タスクにタイムアウト、エラー、または未完了が発生したときにトリガーされるアラートを設定し、サイレント期間を `00:00` から `08:00` に設定した場合、この期間中はアラートは送信されません。 08:00 にタスクがまだ異常状態にある場合、アラートが送信されます。

リソースの自動 O&M

自動 O&M は、事前に設定されたモニタリングおよび O&M ルールを使用してタスクを自動的に管理します。

トリガー条件：関連するモニタリングルールがトリガーされます。
説明
- 現在、リソースグループの使用率 と [リソースグループでリソースを待機しているインスタンス数] のモニタリングがサポートされています。
- 自動 O&M は現在、スケジューリング専用リソースグループでのみサポートされています。
ターゲットインスタンス：自動 O&M は、タイプ、スケジューリング周期、優先度、ステータス、ワークスペース などの フィルター条件 に一致するインスタンスに対して実行されます。
O&M アクション：実行中のインスタンスを終了します。

説明
一度に最大 2,000 個のインスタンスを終了できます。

タスクアラートの診断

DAG または実行診断ページでタスクアラート情報を表示できます。

タスク DAG での表示

インスタンスが過去 24 時間にモニタリングアラートをトリガーした場合、定期タスクの運用保守 > 定期インスタンス ページに移動します。インスタンスの DAG を開き、インスタンスの右上隅にある赤いアラートアイコンをクリックします。 モニタリングの詳細 パネルが表示され、タスクを監視するルールまたはベースラインのリストとそのトリガーステータスが表示されます。右上隅の アラート情報の表示 をクリックしてアラートページでアラートの詳細を表示するか、ルール/ベースライン名 をクリックしてその設定の詳細を表示できます。

説明
過去24時間でアラートが発生したノード チェックボックスを選択して、インスタンスをフィルタリングできます。
実行診断ページでの表示

モニタリングアラートが設定されているタスクの場合、インテリジェント診断 ページの通知エリアで 詳細を表示 をクリックすることもできます。表示される モニタリングの詳細 ウィンドウに、現在のタスクを監視するルールまたはベースラインのリストと、それぞれのトリガーステータスが表示されます。右上隅の アラート情報の表示 をクリックしてアラート情報ページに移動してアラートの詳細を表示するか、ルール/ベースライン名 をクリックしてそのルールの設定ページに移動して設定の詳細を表示できます。
アラートページでの表示

インテリジェントモニタリングモジュールからのすべてのアラートをアラートページで表示できます。アラートの詳細には、ルール、条件、アラートの理由など、トリガープロセスが表示されます。