オペレーションセンターは、ビッグデータの運用保守 (O&M) のためのワンストッププラットフォームです。タスクのリアルタイムステータスを表示し、インテリジェント診断や再実行などの O&M 操作を提供してタスクの問題を解決します。スマートベースライン機能を備えており、重要なタスクの完了時間が予測できない、大量のタスクの監視が困難であるといった課題に対処し、タイムリーなデータ出力を保証します。また、このセンターは、エンジン、リソース、スケジューリングに対する包括的な O&M 機能も提供します。
オペレーションセンターの機能モジュール
Data Studio でタスクを開発、コミット、デプロイした後、オペレーションセンターを使用して、自動トリガーノード、手動トリガーノード、リアルタイムノードの O&M を実行できます。これらの操作には、本番タスクの実行、タスク実行問題の診断、タスクステータスの監視、主要な O&M メトリックの表示、エンジンタスクリストの確認などが含まれます。
オペレーションセンターには、Chrome ブラウザ (Chromium エンジン 69 以降) のデスクトップ版が必要です。
重要な考慮事項
タスクは、本番環境にデプロイされた後にのみ自動的にスケジューリングおよび実行されます。開発環境のタスクは自動的にスケジューリングされません。
オペレーションセンターへのアクセス
DataWorks コンソールにログインします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、 を選択します。表示されたページで、ドロップダウンリストから目的のワークスペースを選択し、[オペレーションセンターへ移動] をクリックします。
タスク O&M
タスク O&M モジュールは、自動トリガーノード O&M、リアルタイムノード O&M、手動トリガーノード O&M の 3 種類のタスクに対する O&M 機能を提供します。O&M ダッシュボードを使用してタスク実行の主要なメトリックを表示したり、O&M アシスタントのデータバックフィル、インテリジェント診断、自動 O&M などの機能を使用して、幅広い O&M 操作を実行したりできます。
モジュール | 説明 | 環境の可用性 | |
スケジュールされたタスクの主要な O&M メトリックをレポートに表示し、Data Integration のバッチおよびリアルタイム同期タスク専用の O&M ページを提供します。 | このモジュールは開発オペレーションセンターでは利用できません。 | ||
自動トリガーノード O&M | スケジュールされたタスクの DAG を表示し、[テスト] や [データバックフィル] などの操作を実行できます。 | 開発オペレーションセンターは、スケジュールされたインスタンスを自動的にスケジューリングおよび生成できません。 | |
スケジュールされたタスクがスケジューリングシステムに送信された後に生成されたインスタンスを一覧表示します。このページでは、インスタンスの DAG を表示し、[診断を実行] し、インスタンスを [再実行] できます。 | |||
スケジュールされたタスクをテストした後に生成されたインスタンスを一覧表示します。テストインスタンスの実行ステータスを確認し、インスタンスの DAG を表示し、[診断を実行] し、インスタンスを [再実行] できます。 | |||
リアルタイムノード O&M | リアルタイムタスクの [開始]、[終了]、[デプロイ解除]、および [モニタリング設定] の構成が可能です。これにより、タスク実行中の例外を迅速に検出し、対処できます。 | - | |
リアルタイム同期タスクの [開始]、[停止]、[デプロイ解除]、[所有者の変更]、および [モニタリング設定] の構成が可能です。これにより、タスク実行中の例外を迅速に検出し、対処できます。 | - | ||
手動トリガーノード O&M | 手動タスク、手動トリガーワークフロー、イベントトリガーワークフローの DAG をクエリして表示できます。また、タスクの [実行]、[インスタンスの表示] などの操作を手動で実行できます。 | - | |
DAG を使用してインスタンスの詳細情報を迅速に表示し、[ランタイムログの表示]、[診断を実行]、[コードの表示]、[系列の表示] などの操作を実行できます。 | - | ||
O&M アシスタント | データバックフィルタスクの管理が可能です。 | - | |
タスクのエンドツーエンドの分析機能を提供し、問題の原因を迅速に特定するのに役立ちます。タスクの [実行詳細]、[基本情報]、[影響ベースライン]、[履歴インスタンス] を表示できます。 | このモジュールは開発オペレーションセンターでは利用できません。 | ||
カスタム O&M ルールの作成が可能です。対象のリソースグループで実行されているインスタンスの監視メトリックとルールを定義できます。ルールがトリガーされると、事前に定義された O&M 操作が自動的に実行されます。 | - | ||
スケジュールされたインスタンス内のタスクが実行されるには、次の条件を満たす必要があります：
タスクのすべての先祖ノードインスタンスが成功状態であること。
タスクのスケジュールされた実行時間に達していること。
十分なスケジューリングリソースが利用可能であること。
タスクが停止中または凍結中の状態でないこと。
オペレーションセンターでは、異なる色が異なるインスタンスのステータスを示します。詳細については、「付録：インスタンスの実行ステータスと実行診断」をご参照ください。
タスク監視
タスク監視モジュールには、[スマートベースライン] と [アラーム] が含まれます。スマートベースラインを設定して、タスクの異常を検出し、アラートを送信できます。また、[ルール管理]、[アラート管理]、[スケジュール] 機能を使用して、O&M アラートをタイムリーに処理できます。
モジュール | 説明 | 環境の可用性 | |
ベースライン上のタスクが時間通りに完了するのを妨げる可能性のある例外を検出し、早期警告を送信します。これにより、重要なデータが期待される時間枠内に生成されることを保証し、構成コストの削減、不要なアラートの回避、すべての重要なタスクの自動監視に役立ちます。 | このモジュールは開発オペレーションセンターでは利用できません。 | ||
アラーム | カスタム監視ルールの構成が可能です。これらのルールを使用してタスクの実行ステータスやリソース使用量を監視し、例外を迅速に検出して対処するのに役立ちます。 | ||
[ノードアラーム] モジュールによって生成されたすべてのアラートを一元管理します。これには、スマートベースラインからのベースライン警告メッセージやイベントアラート、およびカスタムルールやグローバルルールからのアラートが含まれます。 | |||
O&M アラートを処理するための勤務表を提供し、アラートが発生した場合やインスタンスのメンテナンスが必要な場合にタイムリーな対応を保証します。勤務スケジュールを設定すると、DataWorks は [アラート情報] を勤務担当者に送信し、問題を迅速に特定して解決できるようにします。 | |||
その他の O&M 機能
タスク O&M とインテリジェント監視に加えて、オペレーションセンターでは、コンピュートエンジン (E-MapReduce) ジョブの詳細の表示、リソースグループの使用状況の監視、スケジューリングパラメーターのカスタマイズが可能です。これらの機能は、便利で包括的な O&M 機能を提供します。
モジュール | 説明 | 環境の可用性 | |
コンピュートエンジン (E-MapReduce) ジョブの詳細の表示が可能です。これにより、エラーで実行されたジョブを迅速に発見して対処し、下流タスクをブロックして通常のインスタンス実行を妨げるのを防ぎます。 | このモジュールは開発オペレーションセンターでは利用できません。 | ||
リソースグループの使用状況とインスタンスタスクの実行を可視化します。リソースグループとインスタンスタスクのインテリジェントな監視と自動 O&M を可能にし、手作業を削減し、管理効率を向上させます。 | - | ||
[スケジュールカレンダー] と [ワークスペースレベルのパラメーター] を作成および管理できるプラットフォームを提供し、タスクスケジューリングのカスタマイズを容易にします。 | - | ||
付録：インスタンスの実行ステータスと実行診断
オペレーションセンターでは、さまざまな色とアイコンがタスクの実行中のステータスを表します。次の表では、各ステータスとそれに対応するアイコンについて説明します。タスク実行の前提条件の詳細については、「インテリジェント診断」をご参照ください。
No. | ステータス | ステータスアイコン | 実行フローチャート |
1 | 成功 |
|
|
2 | 未実行 |
| |
3 | 失敗 |
| |
4 | 実行中 |
| |
5 | 待機中 |
| |
6 | 停止中/凍結中 |
|
