オペレーションセンターは、ビッグデータの O&M 監視プラットフォームです。リアルタイムのタスク実行状況の確認、異常なタスクの診断と再実行、スマートベースラインを使用した重要なタスクの時間どおりの完了を保証します。また、オペレーションセンターは、エンジン、リソース、スケジューリングに関する O&M 機能も提供します。
機能モジュール
DataStudio からノードをデプロイした後、オペレーションセンターを使用して定期実行ノード、手動実行ノード、およびリアルタイムノードを管理し、本番タスクの実行、問題のトラブルシューティング、ステータスの監視、O&M メトリクスの確認を行います。
オペレーションセンターには、Chrome 69 以降のカーネルを搭載したデスクトップブラウザが必要です。
注意事項
ノードは、本番環境にデプロイされた後にのみスケジュールに従って実行されます。開発環境のノードは自動的にスケジューリングされません。
オペレーションセンターへのアクセス
DataWorks コンソールにログインします。 左側のナビゲーションウィンドウで、 を選択します。 表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[オペレーションセンターに移動] をクリックします。
タスク O&M
タスク O&M は、定期実行ノード、リアルタイムノード、手動実行ノードの 3 種類のノードを対象とします。主要な実行メトリクスには O&M ダッシュボードを使用し、包括的なメンテナンスにはデータバックフィル、インテリジェント診断、自動 O&M などのツールを使用します。
|
モジュール |
説明 |
環境での利用可否 |
|
|
定期実行タスクの主要な O&M メトリクスをレポート形式で表示します。[Data Integration] のオフラインタスクとリアルタイム同期タスク専用のページも用意されています。 |
開発環境では利用できません。 |
||
|
[定期タスクの運用保守] |
[定期実行ノード] |
定期実行ノードの [DAG グラフ] を表示し、ノードの テスト と データバックフィル を行います。 |
開発環境では、自動スケジューリングや定期実行インスタンスの生成は行われません。 |
|
定期実行ノードがスケジューリングシステムに送信された後に生成されたインスタンスを一覧表示します。インスタンスの [DAG グラフ] を表示し、診断の実行 や定期実行インスタンスの 再実行 を行います。 |
|||
|
定期実行ノードをテストした後に生成されたテストインスタンスを一覧表示します。実行ステータスを確認し、インスタンスの [DAG グラフ] を表示し、診断の実行 やインスタンスの 再実行 を行います。 |
|||
|
[リアルタイムジョブの運用保守] |
リアルタイム計算ノードの 起動、停止、非公開 を実行します。モニタリングの設定 でアラートを設定し、例外を適時に処理します。 |
- |
|
|
リアルタイム同期ノードの 起動、停止、非公開、オーナーの変更 を実行します。モニタリングの設定 でアラートを設定し、例外を適時に処理します。 |
- |
||
|
[ワンタイムタスクの運用保守] |
[手動実行ノード] |
手動実行ノード、手動ビジネスワークフロー、イベントトリガーワークフローを照会します。[DAG グラフ] を表示し、手動でノードを 実行 し、インスタンスの表示 します。 |
- |
|
DAG を使用してインスタンスの詳細を表示します:運用ログの表示、診断の実行、コードの表示、データリネージの表示。 |
- |
||
|
[O&M アシスタント] |
データバックフィルのタスクを管理します。 |
- |
|
|
エンドツーエンドの分析により、問題を迅速に診断します。ノードの 実行の詳細、基本情報、影響を受けるベースライン、インスタンス履歴 を表示します。 |
開発環境では利用できません。 |
||
|
[自動 O&M] |
カスタム O&M ルールを作成し、対象リソースグループにおけるインスタンスの監視メトリクスを定義します。トリガーされると、システムは事前定義されたアクションを自動的に実行します。 |
- |
|
定期的にスケジュールされたノードインスタンスは、次の条件がすべて満たされた場合にのみ実行されます:
-
依存するすべての先祖ノードインスタンスが正常に実行されていること。
-
ノードのスケジュール実行時刻に到達していること。
-
十分なスケジューリングリソースが利用可能であること。
-
ノードが凍結状態でないこと。
オペレーションセンターでは、インスタンスのステータスが色で区別されます。インスタンスステータスの詳細については、「付録:インスタンス実行ステータスと診断」をご参照ください。
タスク監視
タスク監視には、スマートベースラインとアラート監視が含まれます。スマートベースラインを設定してノードの例外を検出し、早期警告を送信します。監視ルール、アラート通知、当番スケジュールを管理して、アラートを適時に処理します。
|
モジュール |
説明 |
環境での利用可否 |
|
|
[インテリジェントベースライン]は、ベースラインノードが時間内に完了しない例外を検出し、早期警告を送信することで、重要なデータが予定通りに生成されることを保証します。メリット:設定コストの削減、不要なアラートの回避、すべての重要なタスクの自動監視。 |
開発環境では利用できません。 |
||
|
[モニタリングアラーム] |
[ルール管理] |
ノードの実行ステータスやリソース使用量に関するカスタム監視ルールを設定し、例外を迅速に検出して処理します。 |
|
|
[アラート情報] |
タスクのモニタリング モジュールからのすべてのアラートを一元管理します:[ベースライン警告] と [イベントアラート] ([インテリジェントベースライン]からの) 、および [カスタムルール] と [グローバルルール] のアラート。 |
||
|
[当番スケジュール] |
O&M アラート対応のシフトを管理します。設定後、DataWorks は [アラーム情報] を当番担当者に送信し、迅速な解決を促します。 |
||
その他の O&M
タスク O&M と監視に加えて、DataWorks では E-MapReduce エンジンの詳細を表示し、リソースグループの使用状況を監視し、スケジューリングパラメータをカスタマイズできます。
|
モジュール |
説明 |
環境での利用可否 |
|
|
[エンジン O&M] |
E-MapReduce ジョブの詳細を表示します。エラーが発生したジョブを見つけてクリーンアップし、ダウンストリームノードがブロックされるのを防ぎます。 |
開発環境では利用できません。 |
|
|
[リソース O&M] |
リソースグループの使用状況とインスタンスの実行ステータスを可視化します。リソースグループとインスタンスのインテリジェント監視と自動 O&M を有効にします。 |
- |
|
|
スケジュールカレンダー と ワークスペースパラメーター を作成および管理し、タスクのスケジューリングをカスタマイズします。 |
- |
||
付録:インスタンス実行ステータスと診断
オペレーションセンターでは、インスタンスの実行ステータスが、以下のように色とアイコンで示されます。タスク実行の前提条件については、「タスク実行の診断」をご参照ください。
|
No. |
ステータスタイプ |
ステータスアイコン |
実行フローチャート |
|
1 |
成功 |
|
|
|
2 |
未実行 |
|
|
|
3 |
失敗 |
|
|
|
4 |
実行中 |
|
|
|
5 |
待機中 |
|
|
|
6 |
一時停止/凍結 |
|






