オペレーションセンターは、ビッグデータの運用保守 (O&M) のためのワンストッププラットフォームです。タスクのリアルタイムステータスを表示し、インテリジェント診断や再実行などの O&M 操作を提供してタスクの問題を解決します。スマートベースライン機能を備えており、重要なタスクの完了時間が予測できない、大量のタスクの監視が困難であるといった課題に対処し、タイムリーなデータ出力を保証します。また、このセンターは、エンジン、リソース、スケジューリングに対する包括的な O&M 機能も提供します。
オペレーションセンターの機能モジュール
Data Studio でタスクを開発、コミット、デプロイした後、オペレーションセンターを使用して、自動トリガーノード、手動トリガーノード、リアルタイムノードの O&M を実行できます。これらの操作には、本番タスクの実行、タスク実行問題の診断、タスクステータスの監視、主要な O&M メトリックの表示、エンジンタスクリストの確認などが含まれます。
オペレーションセンターは、デスクトップ版の Chrome ブラウザ (Chromium エンジン 69 以降) が必要です。
注意事項
タスクは、本番環境にデプロイされた後にのみ自動的にスケジュールされ、実行されます。開発環境のタスクは自動的にスケジュールされません。
オペレーションセンターへのアクセス
DataWorks コンソールにログインします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、 を選択します。表示されたページで、ドロップダウンリストから目的のワークスペースを選択し、[オペレーションセンターへ移動] をクリックします。
タスク O&M
タスク O&M モジュールは、自動トリガーノード O&M、リアルタイムノード O&M、手動トリガーノード O&M の 3 種類のタスクに対する O&M 機能を提供します。O&M ダッシュボードを使用してタスク実行の主要なメトリックを表示したり、O&M アシスタントのデータバックフィル、インテリジェント診断、自動 O&M などの機能を使用して、幅広い O&M 操作を実行したりできます。
モジュール | 説明 | 環境の可用性 | |
スケジュールされたタスクの主要な O&M メトリックをレポートで表示し、Data Integration のバッチおよびリアルタイム同期タスク専用の O&M ページを提供します。 | このモジュールは、開発オペレーションセンターでは利用できません。 | ||
自動トリガーノード O&M | スケジュールされたタスクの DAG を表示し、[テスト] や [データ補填] などの操作を実行できます。 | 開発オペレーションセンターは、スケジュールされたインスタンスを自動的にスケジュールおよび生成できません。 | |
スケジュールされたタスクがスケジューリングシステムに送信された後に生成されたインスタンスを一覧表示します。このページでは、インスタンスの DAG を表示し、[診断を実行] を使用し、インスタンスを [再実行] できます。 | |||
スケジュールされたタスクをテストした後に生成されたインスタンスを一覧表示します。テストインスタンスの実行ステータスを確認し、インスタンスの DAG を表示し、[診断を実行] を使用し、インスタンスを [再実行] できます。 | |||
リアルタイムノード O&M | リアルタイムタスクの [開始]、[終了]、[デプロイ解除]、および [モニタリング設定] の構成が可能です。これにより、タスク実行中の例外を迅速に検出して処理できます。 | - | |
リアルタイム同期タスクの [開始]、[停止]、[デプロイ解除]、[所有者の変更]、および [モニタリング設定] の構成が可能です。これにより、タスク実行中の例外を迅速に検出して処理できます。 | - | ||
手動トリガーノード O&M | 手動タスク、手動トリガーワークフロー、およびイベントトリガーワークフローの DAG をクエリして表示できます。また、タスクの [実行]、[インスタンスの表示] などの操作を手動で実行できます。 | - | |
DAG を使用してインスタンスの詳細情報をすばやく表示し、[ランタイムログの表示]、[診断を実行]、[コードの表示]、[リネージの表示] などの操作を実行できます。 | - | ||
O&M アシスタント | データバックフィルタスクを管理できます。 | - | |
タスクのエンドツーエンドの分析機能を提供し、問題の原因を迅速に特定するのに役立ちます。タスクの [実行詳細]、[基本情報]、[影響ベースライン]、[履歴インスタンス] を表示できます。 | このモジュールは、開発オペレーションセンターでは利用できません。 | ||
カスタム O&M ルールを作成できます。ターゲットリソースグループで実行されているインスタンスのモニタリングメトリックとルールを定義できます。ルールがトリガーされると、事前に定義された O&M 操作が自動的に実行されます。 | - | ||
スケジュールされたインスタンス内のタスクが実行されるには、次の条件を満たす必要があります：
タスクのすべての先祖ノードインスタンスが成功状態であること。
タスクのスケジュールされた実行時間に達していること。
十分なスケジューリングリソースが利用可能であること。
タスクが中断または凍結状態でないこと。
オペレーションセンターでは、異なる色が異なるインスタンスステータスを示します。詳細については、「付録：インスタンスの実行ステータスと実行診断」をご参照ください。
タスクのモニタリング
タスクモニタリングモジュールには、スマートベースラインとアラームが含まれます。スマートベースラインを設定して、タスクの異常を検出し、アラートを送信できます。また、[ルール管理]、[アラート管理]、[スケジュール] 機能を使用して、O&M アラートをタイムリーに処理できます。
モジュール | 説明 | 環境の可用性 | |
ベースライン上のタスクが時間通りに完了するのを妨げる可能性のある例外を検出し、早期警告を送信します。これにより、重要なデータが期待される時間枠内に生成されることを保証し、設定コストの削減、不要なアラートの回避、すべての重要なタスクの自動監視に役立ちます。 | このモジュールは、開発オペレーションセンターでは利用できません。 | ||
アラーム | カスタムモニタリングルールを設定できます。これらのルールを使用してタスクの実行ステータスやリソース使用量を監視し、例外を迅速に検出して処理するのに役立ちます。 | ||
[ノードアラーム] モジュールによって生成されたすべてのアラートを一元管理します。これには、スマートベースラインからのベースライン警告メッセージやイベントアラート、およびカスタムルールやグローバルルールからのアラートが含まれます。 | |||
O&M アラートを処理するための当番表を提供し、アラートが発生した場合やインスタンスのメンテナンスが必要な場合にタイムリーな対応を保証します。当番スケジュールを設定すると、DataWorks は [アラート情報] を当番担当者に送信し、問題を迅速に特定して解決できるようにします。 | |||
その他の O&M 機能
タスク O&M とインテリジェントモニタリングに加えて、オペレーションセンターでは、コンピューティングエンジン (E-MapReduce) ジョブの詳細の表示、リソースグループの使用状況の監視、スケジューリングパラメーターのカスタマイズが可能です。これらの機能は、便利で包括的な O&M 機能を提供します。
モジュール | 説明 | 環境の可用性 | |
コンピューティングエンジン (E-MapReduce) ジョブの詳細を表示できます。これにより、エラーで実行されたジョブを迅速に発見して対処し、下流タスクをブロックして通常のインスタンス実行を妨げるのを防ぎます。 | このモジュールは、開発オペレーションセンターでは利用できません。 | ||
リソースグループの使用状況とインスタンスタスクの実行を可視化します。リソースグループとインスタンスタスクのインテリジェントな監視と自動 O&M を可能にし、手作業を削減し、管理効率を向上させます。 | - | ||
[スケジューリングカレンダー] と [ワークスペースレベルのパラメーター] を作成および管理するプラットフォームを提供し、タスクスケジューリングのカスタマイズを容易にします。 | - | ||
付録：インスタンスの実行ステータスと実行診断
オペレーションセンターでは、さまざまな色とアイコンがタスク実行中のステータスを表します。次の表では、各ステータスとそれに対応するアイコンについて説明します。タスク実行の前提条件の詳細については、「インテリジェント診断」をご参照ください。
No. | ステータス | ステータスアイコン | 実行フローチャート |
1 | 成功 |
|
|
2 | 未実行 |
| |
3 | 失敗 |
| |
4 | 実行中 |
| |
5 | 待機中 |
| |
6 | 中断/凍結 |
|
