オペレーションセンターは、ビッグデータの運用保守 (O&M) のためのワンストッププラットフォームです。タスクの実行状況をリアルタイムで確認でき、インテリジェント診断や再実行などの O&M 機能を提供し、タスクの例外を処理します。インテリジェントベースラインを使用すると、重要なタスクの予測不能な完了時間を管理し、大量のタスクを効率的に監視することで、データが期待どおりの時間内に出力されることを保証できます。また、コンピュートエンジン、リソース、スケジューリングに関する包括的な O&M 機能も提供しています。
オペレーションセンターのモジュール
Data Studio でタスクを開発、送信、デプロイした後、オペレーションセンターで、スケジュールされたタスク、手動タスク、リアルタイムタスクの O&M 操作を実行できます。これらの操作には、本番タスクの実行、タスクの問題の特定と解決、タスクの実行状況の監視、主要な O&M メトリクスの確認、エンジンタスクリストの確認などが含まれます。
オペレーションセンターは、デスクトップ版の Chrome 69 以降でのみサポートされています。
注意事項
タスクは、本番環境にデプロイした後にのみ、自動的にスケジュールされ、実行されます。開発環境のタスクは自動的にスケジュールされません。
オペレーションセンターへのアクセス
DataWorks コンソールにログインします。 左側のナビゲーションウィンドウで、 を選択します。 表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[オペレーションセンターに移動] をクリックします。
タスク O&M
タスク O&M モジュールは、スケジュールされたタスク、リアルタイムタスク、手動タスクの 3 種類のタスクの O&M 機能を提供します。O&M ダッシュボードを使用してタスク実行の主要メトリクスを確認し、データバックフィル、インテリジェント診断、自動化 O&M などの O&M アシスタント機能を使用して、幅広い O&M 操作を実行できます。
モジュール | 説明 | 利用可否 | |
レポートで定期タスクの主要な O&M メトリクスを表示します。また、Data Integration のバッチおよびリアルタイム同期タスク向けに専用の O&M ページも提供します。 | このモジュールは、開発環境のオペレーションセンターでは利用できません。 | ||
[定期タスクの運用保守] | スケジュールされたタスクでは、DAG グラフ ビュー、タスクの テスト、データバックフィル などの操作を提供します。 | 開発環境のオペレーションセンターでは、スケジュールインスタンスを自動的に生成できません。 | |
スケジュールインスタンスには、スケジュールされたタスクがスケジューリングシステムに送信された後に生成されるインスタンスのリストが表示されます。リスト内で、DAG グラフ の表示、診断の実行、スケジュールインスタンスの 再実行 などの操作を実行できます。 | |||
テストインスタンスリストには、スケジュールされたタスクに対してテスト操作を実行した後に生成されるテストインスタンスが表示されます。テストインスタンスの実行状況を確認し、リスト内で、DAG グラフ の表示、診断の実行、インスタンスの 再実行 などの操作を実行できます。 | |||
[リアルタイムジョブの運用保守] | リアルタイムコンピューティングタスクページでは、リアルタイムコンピューティングタスクの 起動、停止、非公開、および「モニタリングの設定」でアラートを設定し、タスクの例外を迅速に検出して処理できます。 | - | |
リアルタイム同期タスクページでは、リアルタイム同期タスクの 起動、停止、非公開、所有者の変更 を実行できます。また、アラーム設定 により、タスクの例外を迅速に検出して処理できます。 | - | ||
[ワンタイムタスクの運用保守] | [手動タスク] | 手動タスクでは、手動タスク、手動ワークフロー、トリガーベースワークフローを照会し、DAG グラフ の表示、インスタンスの表示、実行 などの操作を実行できます。 | - |
[手動インスタンス] | 手動インスタンスでは、DAG でインスタンスの詳細情報を迅速に確認し、運用ログの表示、コードの表示、データリネージの表示 などの操作を実行できます。 | - | |
[O&M アシスタント] | データバックフィルページでは、データバックフィルタスクを管理できます。 | - | |
インテリジェント診断は、タスクのフルリンク分析機能を提供し、問題を迅速に特定できます。また、実行の詳細、基本情報、影響を受けるベースライン、インスタンス履歴 を表示できます。 | このモジュールは、開発環境のオペレーションセンターでは利用できません。 | ||
[自動化 O&M] | 自動化 O&M は [カスタム O&M ルール] を提供します。対象のリソースグループで実行されるインスタンスに対して、監視メトリクスとカスタム O&M ルールを定義できます。ルールがトリガーされると、対応する O&M アクションが自動的に実行され、O&M を自動化します。 | - | |
スケジュールインスタンスを例にとると、タスクが実行を開始する前に、以下の条件を満たす必要があります。
タスクが依存するすべての祖先ノードインスタンスが成功状態であること。
タスクノードに設定されたスケジュール実行時間に到達していること。
十分なスケジューリングリソースが利用可能であること。
タスクが凍結状態ではないこと。
オペレーションセンターでは、インスタンスのステータスが色で区別されます。インスタンスの実行ステータスの詳細については、「インスタンスの実行ステータスと診断」をご参照ください。
タスク監視
タスク監視モジュールには、インテリジェントベースラインと監視アラート機能が含まれます。インテリジェントベースライン機能を設定してタスクの例外を検出し、早期警告を送信できます。また、監視ルール、アラート情報、シフトスケジュールを設定および管理して、O&M アラートを適時に処理できます。
モジュール | 説明 | 利用可否 | |
[インテリジェントベースライン]は、ベースライン上のタスクが予定時刻までに完了しない可能性のある例外を迅速に検出し、早期警告を送信して、重要なデータが期待どおりの時間内に生成されることを保証します。この機能により、設定コストを削減し、不要なアラートを回避し、すべての重要なタスクを自動的に監視できます。 | このモジュールは、開発環境のオペレーションセンターでは利用できません。 | ||
[モニタリングアラーム] | [ルール管理] | ルール管理では、カスタム監視ルールを設定できます。監視ルールを使用して、タスクの実行状況やリソース使用状況を監視し、タスクの例外を迅速に検出して処理できます。 | |
[アラート情報] | アラート機能は、[タスクのモニタリング]モジュールによって生成されたすべてのアラートを統一的に管理します。これには、[ベースライン早期警告アラート]、[イベントアラート]、[カスタムルールアラート]、および [グローバルルールアラート] が含まれ、後者は [インテリジェントベースライン]によって生成されます。 | ||
シフトスケジュールは、O&M アラートを処理するためのスケジュール体制を提供し、アラートがトリガーされたときやインスタンスがメンテナンスを必要とするときに、適時に対応できるようにします。シフトスケジュールを設定すると、DataWorks は対応する当番者に アラーム情報 を送信し、問題を迅速に検出して処理できるようにします。 | |||
その他の O&M
DataWorks は、タスク O&M とインテリジェント監視に加えて、コンピュートエンジン (E-MapReduce) の詳細を確認し、リソースグループの使用状況を監視および管理し、スケジューリングパラメータをカスタマイズでき、日常業務に役立つ、より便利で包括的な O&M 機能を提供します。
モジュール | 説明 | 利用可否 | |
[エンジン O&M] | エンジン O&M では、コンピュートエンジン (E-MapReduce) ジョブの詳細情報を確認し、誤って実行されているジョブを迅速に特定してクリーンアップし、そのようなジョブがダウンストリームタスクをブロックして通常のインスタンス実行に影響を与えることを防ぎます。 | このモジュールは、開発環境のオペレーションセンターでは利用できません。 | |
[リソース O&M] | リソース O&M は、リソースグループの使用状況とインスタンスタスクの実行を視覚的に表示し、リソースグループとインスタンスタスクのインテリジェント監視と自動化 O&M を可能にし、手動操作を削減し、O&M 効率を向上させます。 | - | |
スケジューリング設定は、スケジュールカレンダー と ワークスペースパラメーター を作成および管理するためのプラットフォームを提供し、タスクスケジューリングのカスタマイズを容易にします。 | - | ||
付録: インスタンスの実行ステータスと診断
オペレーションセンターでは、実行プロセスにおけるタスクの段階を示すために、異なる色とアイコンを使用します。インスタンスの色とアイコンは、それぞれ異なるステータスを表しています。次の表に、各インスタンスの色とアイコンに対応するタスクステータスを示します。タスクを実行するための前提条件の詳細については、「タスクを実行するための前提条件」をご参照ください。
番号 | ステータスタイプ | ステータスアイコン | 実行フローチャート |
1 | 成功 |
|
|
2 | 未実行 |
| |
3 | 失敗 |
| |
4 | 実行中 |
| |
5 | 保留中 |
| |
6 | 一時停止/凍結 |
|






