オペレーションセンターは、ビッグデータ O&M モニタリングプラットフォームです。リアルタイムのタスク実行ステータスを表示し、異常なタスクを診断して再実行し、スマートベースラインを使用して重要なタスクが時間通りに完了することを保証します。オペレーションセンターは、エンジン、リソース、スケジューリングのための O&M 機能も提供します。
機能モジュール
DataStudio からノードをデプロイした後、オペレーションセンターを使用して、自動トリガーノード、手動トリガーノード、リアルタイムノードを管理します。これには、本番タスクの実行、問題のトラブルシューティング、ステータスのモニタリング、O&M メトリックの表示が含まれます。
オペレーションセンターには、Chrome 69 カーネル以降を搭載したデスクトップブラウザが必要です。
注意事項
ノードは、本番環境にデプロイされた後にのみ、スケジュールに従って実行されます。開発環境のノードは自動的にスケジュールされません。
オペレーションセンターへのアクセス
DataWorks コンソールにログインします。対象のリージョンで、左側のナビゲーションウィンドウにある をクリックします。ドロップダウンリストからワークスペースを選択し、移動 オペレーションセンター をクリックします。
タスク O&M
タスク O&M は、自動トリガーノード、リアルタイムノード、手動トリガーノードの 3 種類のノードを対象としています。O&M ダッシュボードで主要な実行メトリックを確認し、データバックフィル、診断の実行、自動 O&M などのツールを使用して包括的なメンテナンスを行います。
|
モジュール |
説明 |
環境の可用性 |
|
|
レポートで 定期タスク の主要な O&M メトリックを表示します。Data Integration のオフラインおよびリアルタイム同期タスク専用のページがあります。 |
開発環境では利用できません。 |
||
|
定期タスクの運用保守 |
自動トリガーノードの DAG グラフ を表示し、ノードの テスト と データバックフィル を行います。 |
開発環境では、自動トリガーインスタンスを自動的にスケジュールしたり生成したりすることはできません。 |
|
|
自動トリガーノードがスケジューリングシステムに送信された後に生成されたインスタンスを一覧表示します。インスタンスの DAG グラフ を表示し、AI 診断 を実行し、自動トリガーインスタンスを 再実行 します。 |
|||
|
自動トリガーノードをテストした後に生成されたテストインスタンスを一覧表示します。実行ステータスを確認し、インスタンスの DAG グラフ を表示し、AI 診断 を実行し、インスタンスを 再実行 します。 |
|||
|
リアルタイムジョブの運用保守 |
リアルタイムコンピューティングノードを 起動、停止、非公開 します。モニタリングの設定 アラートにより、タイムリーな例外処理が可能です。 |
- |
|
|
リアルタイム同期ノードの 起動、停止、非公開、オーナーの変更 を行います。モニタリングの設定 アラートにより、タイムリーな例外処理が可能です。 |
- |
||
|
ワンタイムタスクの運用保守 |
手動トリガーノード、手動ビジネスワークフロー、およびイベントトリガーワークフローを照会します。DAG グラフ を表示し、ノードを 実行 し、インスタンスの表示 を行います。 |
- |
|
|
DAG を使用してインスタンスの詳細を表示します:運用ログの表示、AI 診断、コードの表示、データリネージの表示。 |
- |
||
|
O&M アシスタント |
データバックフィルタスクを管理します。 |
- |
|
|
エンドツーエンド分析により、迅速な問題診断が可能です。ノードの 実行の詳細、基本情報、影響を受けるベースライン、インスタンス履歴 を表示します。 |
開発環境では利用できません。 |
||
|
対象のリソースグループ上のインスタンスの監視メトリックを定義するカスタム O&M ルールを作成します。トリガーされると、システムは事前定義されたアクションを自動的に実行します。 |
- |
||
定期的にスケジュールされたノードインスタンスは、次の条件が満たされた場合にのみ実行されます。
-
依存するすべての先祖ノードインスタンスが正常に実行された。
-
ノードのスケジュールされた実行時間に達した。
-
十分なスケジューリングリソースが利用可能である。
-
ノードが凍結ステータスではない。
オペレーションセンターでは、インスタンスのステータスが色で区別されます。インスタンスのステータスの詳細については、「付録:インスタンスの実行ステータスと診断」をご参照ください。
タスクモニタリング
タスクモニタリングには、スマートベースラインとアラートモニタリングが含まれます。スマートベースラインを設定してノードの例外を検出し、早期警告を送信します。監視ルール、アラート通知、勤務スケジュールを管理して、タイムリーなアラート処理を実現します。
|
モジュール |
説明 |
環境の可用性 |
|
|
インテリジェントベースライン は、ベースラインノードが時間通りに完了するのを妨げる例外を検出し、早期警告を送信して、重要なデータがスケジュール通りに生成されるようにします。メリット:設定コストの削減、不要なアラートの回避、すべての重要なタスクの自動モニタリング。 |
開発環境では利用できません。 |
||
|
モニタリングアラーム |
ノードの実行ステータスまたはリソース使用量に関するカスタム監視ルールを設定して、例外を迅速に検出して処理します。 |
||
|
タスクのモニタリング モジュールからのすべてのアラートを集中管理します:インテリジェントベースライン からのベースライン警告とイベントアラート、さらにカスタムルールとグローバルルールのアラート。 |
|||
|
O&M アラート対応シフトを管理します。設定後、DataWorks は アラーム情報 を勤務中の担当者に送信し、迅速な解決を促します。 |
|||
その他の O&M
タスク O&M とモニタリングに加えて、DataWorks では E-MapReduce エンジンの詳細の表示、リソースグループの使用量のモニタリング、スケジューリングパラメーターのカスタマイズが可能です。
|
モジュール |
説明 |
環境の可用性 |
|
|
E-MapReduce ジョブの詳細を表示します。エラーが発生したジョブを検索してクリーンアップし、下流ノードをブロックするのを防ぎます。 |
開発環境では利用できません。 |
||
|
リソースグループの使用量とインスタンスの実行ステータスを可視化します。リソースグループとインスタンスのインテリジェントなモニタリングと自動 O&M を可能にします。 |
- |
||
|
スケジュールカレンダー と ワークスペースパラメーター を作成および管理して、タスクスケジューリングをカスタマイズします。 |
- |
||
付録:インスタンスの実行ステータスと診断
オペレーションセンターでは、色とアイコンが以下のようにインスタンスの実行ステータスを示します。タスク実行の前提条件については、「タスク実行診断」をご参照ください。
|
No. |
ステータスタイプ |
ステータスアイコン |
実行フローチャート |
|
1 |
成功 |
|
|
|
2 |
未実行 |
|
|
|
3 |
失敗 |
|
|
|
4 |
実行中 |
|
|
|
5 |
待機中 |
|
|
|
6 |
中断/凍結 |
|






