オペレーションセンターは、ビッグデータの運用保守 (O&M) のためのワンストッププラットフォームです。タスクのランタイムステータスをリアルタイムで表示し、インテリジェント診断や再実行などの O&M 機能を提供してタスクの例外を処理します。インテリジェントベースラインを使用すると、重要なタスクの予測不能な完了時間を管理し、多数のタスクを効率的に監視して、タイムリーなデータ出力を保証できます。このプラットフォームは、コンピュートエンジン、リソース、スケジューリングのための包括的な O&M 機能も提供します。
オペレーションセンターのモジュール
Data Studio でタスクを開発、送信、デプロイした後、オペレーションセンターに移動して、定期タスク、手動タスク、リアルタイムタスクの O&M 操作を実行できます。これらの操作には、本番タスクの実行、タスクの問題の特定と解決、タスクの実行ステータスの監視、主要な O&M メトリックの表示、エンジンタスクリストの確認などが含まれます。
オペレーションセンターは、Chrome 69 以降のデスクトップバージョンでのみサポートされています。
注
タスクは、本番環境にデプロイされた後にのみ自動的にスケジューリングされ、実行されます。開発環境のタスクは自動的にスケジューリングされません。
オペレーションセンターへのアクセス
DataWorks コンソールにログインします。 対象のリージョンで、左側のナビゲーションウィンドウのをクリックします。 ドロップダウンリストからワークスペースを選択し、入力 操作とメンテナンスセンター をクリックします。
タスク O&M
タスク O&M モジュールは、定期タスク、リアルタイムタスク、手動タスクの 3 種類のタスクに対する O&M 機能を提供します。O&M ダッシュボードを使用してタスク実行の主要なメトリックを表示したり、O&M アシスタントのデータバックフィル、インテリジェント診断、自動 O&M などの機能を使用して、広範な O&M 操作を実行したりできます。
|
モジュール |
説明 |
利用可否 |
|
|
レポートで 定期タスク の主要な O&M メトリックを表示します。また、Data Integration のバッチおよびリアルタイム同期タスク専用の O&M ページも提供します。 |
このモジュールは、開発環境のオペレーションセンターでは利用できません。 |
||
|
Auto Triggered Task O&M |
「定期タスク」では、定期タスクに対して Dagダイアグラム ビュー、タスクの テスト、補完データ、およびその他の操作が提供されます。 |
開発環境のオペレーションセンターでは、定期インスタンスを自動的に生成できません。 |
|
|
定期インスタンスには、定期タスクがスケジューリングシステムに送信された後に生成されたインスタンスのリストが表示されます。リストでは、Dagダイアグラム の表示、診断を実行する、定期インスタンスの 再実行、およびその他の操作を実行できます。 |
|||
|
テストインスタンスリストには、定期タスクでテスト操作を実行した後に生成されるテストインスタンスが表示されます。リストでは、テストインスタンスの実行ステータスを確認し、Dagダイアグラム の表示、診断を実行する、インスタンスの 再実行、およびその他の操作を実行できます。 |
|||
|
Real-time Task O&M |
リアルタイムコンピューティングタスクページでは、リアルタイムコンピューティングタスクの Start、停止、オフライン、および 監視のセットアップ アラートの構成を行い、タスクの例外を迅速に検出して処理できます。 |
- |
|
|
リアルタイム同期タスクページでは、リアルタイム同期タスクの Start、停止、オフライン、責任者を修正するが可能です。アラーム設定 をサポートしており、タスクの例外を迅速に検出して処理できます。 |
- |
||
|
Manually Triggered Task O&M |
「手動タスク」では、手動タスク、手動ワークフロー、トリガーベースのワークフローの照会や、Dagダイアグラム の表示、走る の手動トリガー、インスタンスの表示 などの操作を実行できます。 |
- |
|
|
手動インスタンスでは、DAG を通じてインスタンスの詳細情報を迅速に表示し、実行ログの表示、コードを表示する、系統を見る などの操作を実行できます。 |
- |
||
|
O&M Assistant |
データバックフィルページでは、データバックフィルタスクを管理できます。 |
- |
|
|
インテリジェント診断は、タスクのフルリンク分析機能を提供し、問題を迅速に特定できます。Operation Details、基本情報、インパクトベースライン、履歴インスタンス を表示できます。 |
このモジュールは、開発環境のオペレーションセンターでは利用できません。 |
||
|
自動 O&M はカスタム O&M ルールを提供します。対象のリソースグループで実行されているインスタンスの監視メトリックとカスタム O&M ルールを定義できます。ルールがトリガーされると、対応する O&M 操作が自動的に実行され、自動 O&M が実現します。 |
- |
||
定期インスタンスのタスクを例にとると、タスクの実行が開始される前に、以下の条件を満たす必要があります：
-
タスクが依存するすべての親ノードインスタンスが成功状態であること。
-
タスクノードに設定された定期実行時間に達していること。
-
十分なスケジューリングリソースが利用可能であること。
-
タスクが凍結ステータスでないこと。
オペレーションセンターでは、インスタンスの色によってインスタンスのステータスが異なります。インスタンスの実行ステータスの詳細については、「インスタンスの実行ステータスと診断」をご参照ください。
タスク監視
タスク監視モジュールには、インテリジェントベースラインと監視アラート機能が含まれています。インテリジェントベースライン機能を設定してタスクの例外を検出し、早期警告を送信できます。また、監視ルール、アラート情報、勤務表を設定および管理して、O&M アラートにタイムリーに対応することもできます。
|
モジュール |
説明 |
利用可否 |
|
|
Intelligent Baselinesは、ベースライン上のタスクが時間通りに完了するのを妨げる可能性のある例外を迅速に検出し、早期警告を送信して、重要なデータが期待される時間内に生成されることを保証します。この機能は、設定コストの削減、不要なアラートの回避、すべての重要なタスクの自動監視に役立ちます。 |
このモジュールは、開発環境のオペレーションセンターでは利用できません。 |
||
|
Monitoring and Alerting |
ルール管理では、カスタム監視ルールを設定できます。監視ルールを使用して、タスクの実行ステータスやリソース使用量を監視し、タスクの例外を迅速に検出して処理できます。 |
||
|
アラート機能は、Task Monitoringモジュールによって生成されたすべてのアラートを統合管理します。これには、Intelligent Baselinesによって生成されたベースライン早期警告アラート、イベントアラート、カスタムルールアラート、グローバルルールアラートが含まれます。 |
|||
|
勤務表は、O&M アラートを処理するためのスケジューリングの取り決めを提供し、アラートがトリガーされたり、インスタンスのメンテナンスが必要になったりした場合にタイムリーな対応を保証します。勤務表を設定すると、DataWorks は対応する勤務担当者に Alerts を送信し、問題を迅速に検出して処理できるようにします。 |
|||
その他の O&M
タスク O&M とインテリジェント監視に加えて、DataWorks ではコンピュートエンジン (E-MapReduce) の詳細の表示、リソースグループ使用量の監視と管理、スケジューリングパラメーターのカスタマイズが可能で、日常業務にさらに便利で包括的な O&M 機能を提供します。
|
モジュール |
説明 |
利用可否 |
|
|
エンジン O&M では、コンピュートエンジン (E-MapReduce) ジョブの詳細情報を表示し、誤って実行されているジョブを迅速に特定してクリーンアップし、そのようなジョブがダウンストリームタスクをブロックして通常のインスタンス実行に影響を与えるのを防ぎます。 |
このモジュールは、開発環境のオペレーションセンターでは利用できません。 |
||
|
リソース O&M は、リソースグループの使用量とインスタンスタスクの実行を視覚的に表示し、リソースグループとインスタンスタスクのインテリジェントな監視と自動 O&M を可能にして、手動操作を削減し、O&M 効率を向上させます。 |
- |
||
|
スケジューリング設定は、Scheduling Calendarと Workspace-level Parametersを作成および管理するためのプラットフォームを提供し、タスクスケジューリングのカスタマイズを容易にします。 |
- |
||
付録：インスタンスの実行ステータスと診断
オペレーションセンターでは、タスクの実行プロセスにおける段階を示すために、さまざまな色とアイコンが使用されます。インスタンスの色とアイコンが異なれば、ステータスも異なります。次の表に、各インスタンスの色とアイコンに対応するタスクのステータスを示します。タスク実行の前提条件の詳細については、「タスク実行の前提条件」をご参照ください。
|
No. |
ステータスタイプ |
ステータスアイコン |
実行フローチャート |
|
1 |
成功 |
|
|
|
2 |
未実行 |
|
|
|
3 |
失敗 |
|
|
|
4 |
実行中 |
|
|
|
5 |
待機中 |
|
|
|
6 |
一時停止/凍結 |
|
