スケジュールリソースの監視とタスクパフォーマンスの最適化 - Dataphin

スケジュールリソースダッシュボードでは、Dataphin クラスターのスケジューリングリソースの割り当て状況と消費状況を可視化します。グローバルなリソース割り当て状況および個別のタスク単位のリソース割り当て状況の両方を確認・分析できます。これにより、リソース利用率の向上、コスト削減、スケジューリングリソース不足によるタスクの滞留防止、およびプラットフォームの安定性向上が実現されます。

前提条件

スケジュールリソースダッシュボードをご利用になる前に、Dataphin のデプロイメントチームに連絡し、Prometheus モニタリングのデプロイメントおよびモニタリングデータの収集を実施してください。

メタデータウェアハウステナントにおいて、マネジメントハブ > リソース設定 > リソース監視 で「スケジュールリソースダッシュボード」のトグルを有効化していることを確認してください。詳細については、「リソース監視」をご参照ください。

権限

スケジュールリソースダッシュボードで表示されるデフォルトクラスターを変更できるのは、スーパー管理者、システム管理者、および「開発 – リソースダッシュボード用デフォルトクラスターの変更」権限を持つカスタムグローバルロールのみです。

機能

スケジュールリソースダッシュボードは、Dataphin クラスターのスケジューリングリソースについて、リソース割り当ておよびリソース消費という 2 つの観点から統計分析を提供します。CPU およびメモリのメトリックに焦点を当てています。リソース利用率が低く（無駄のリスクあり）または高すぎる（メモリ不足エラーのリスクあり）タスクは、「推奨最適化タスク」リストに表示されます。これにより、プラットフォームの安定性向上およびリソースコスト削減のために、問題の迅速な特定と解決が可能になります。
ダッシュボードは、リソース割り当て、リソース消費、推奨最適化タスクの 3 つのセクションで構成されています。最新のスナップショット値を活用して、過剰なリソースを消費しタスクの滞留を引き起こすブロッキングタスクを素早く特定できます。また、時間経過に伴う傾向をレビューすることで、リソース利用率の改善機会を把握できます。

データ統計頻度

データは 1 分ごとに収集されます。割り当てリソースについては、ダッシュボードが現在のスナップショット値を使用します。消費リソースについては、過去 1 分間におけるピーク値を使用します。各ページのリフレッシュ時に表示されるデータが更新されます。

スケジュールリソースダッシュボードへのアクセス

Dataphin のホームページで、上部のメニューバーにある開発をクリックし、続いて タスク O&M をクリックします。
左側のナビゲーションウィンドウで概要をクリックし、その後 スケジュールリソースダッシュボード をクリックして、スケジュールリソースダッシュボード ページを開きます。

テナントリソースダッシュボードの概要

説明

Mesos アーキテクチャ上で実行される Dataphin インスタンスでは、テナントリソースダッシュボードはサポートされていません。

セクション	説明
①ソースクラスター	デフォルトでは、デフォルトスケジューリングクラスターが選択されています。メトリック収集が有効化され、ステータスが「Normal」であるクラスターに切り替えることができます。また、スケジュールリソースダッシュボードで表示されるデフォルトクラスターを変更することも可能です。
②リソース概要	選択されたソースクラスターに対して割り当てられたリソース（CPU 割り当ておよびメモリ割り当て）を表示・集約します。 CPU 割り当て: ソースクラスターがデフォルトクラスターの場合: 現在のテナントに対する CPU 割り当て値 (c) を表示します。さらに、現在のテナントに対して設定された利用可能範囲（上限および下限）、利用可能量 (c)、および割り当て率 (%) を表示しますソースクラスターが登録済みスケジューリングクラスターの場合: 選択されたソースクラスターに対して、テナント内のすべてのリソースグループにおける CPU 割り当ての合計値を表示します（「リソース消費」セクションで「すべてのリソースグループ」を選択した場合に表示される割り当て値と同じ）。また、利用可能範囲も表示します。上限は選択されたソースクラスターの総リソース量と等しく、下限は選択されたソースクラスターに対してテナント内のすべてのリソースグループで設定された可用性下限の合計値と等しくなります。メモリ割り当て: ソースクラスターがデフォルトクラスターの場合: 現在のテナントに対するメモリ割り当て値 (G) を表示します。さらに、現在のテナントに対して設定された利用可能範囲（上限および下限）、利用可能量 (G)、および割り当て率 (%) を表示しますソースクラスターが登録済みスケジューリングクラスターの場合: 選択されたソースクラスターに対して、テナント内のすべてのリソースグループにおけるメモリ割り当ての合計値を表示します（「リソース消費」セクションで「すべてのリソースグループ」を選択した場合に表示される割り当て値と同じ）。また、利用可能範囲も表示します。上限は選択されたソースクラスターの総リソース量と等しく、下限は選択されたソースクラスターに対してテナント内のすべてのリソースグループで設定された可用性下限の合計値と等しくなります。説明 Kubernetes アーキテクチャ上で実行される Dataphin インスタンスにおいて、カスタムリソースグループがサポートされていない場合は、CPU およびメモリの割り当て値のみが表示されます。
③リソース消費	選択された期間およびリソースグループ内におけるテナントの CPU およびメモリ消費状況を表示します。時間フィルター: デフォルトは 3 時間です。直近の 3 時間、6 時間、12 時間、24 時間、3 日、7 日のいずれかを選択するか、カスタムの期間を定義できます。カスタム期間は `10 分～15 日間` の範囲で指定する必要があります。リソースグループフィルター: デフォルトはすべてのリソースグループです。選択されたソースクラスター配下のリソースグループを選択できます。デフォルトスケジューリングクラスター配下のリソースグループと、登録済みスケジューリングクラスター配下のリソースグループを混在させることはできません。説明「すべてのリソースグループ」を選択した場合、オフラインタスクに使用されるリソースグループのみが表示されます。 CPU 割り当て/メモリ割り当て: 各サンプリングポイントにおけるタスクへの CPU/メモリの総割り当て量です。チャートには、選択された期間における最大値および最小値が「Max」「Min」としてマークされます。利用可能下限/利用可能下限: リソースグループフィルターの選択に基づき、テナントまたは選択されたリソースグループに対する CPU/メモリの利用可能上限および下限を表示します。実行中のインスタンス数: 各サンプリングポイントにおける「実行中」ステータスのインスタンスの総数です（定期インスタンス、データバックフィルインスタンス、ワンタイムインスタンスを含む）。待機中のインスタンス数: 各サンプリングポイントにおいて、スケジューリングリソースを待機中のインスタンス数です。説明 Kubernetes アーキテクチャ上で実行される Dataphin インスタンスにおいて、カスタムリソースグループがサポートされていない場合は、リソースグループフィルターは利用不可であり、チャートには利用可能上限および下限は表示されません。
④推奨最適化タスク	テナント向けの推奨最適化タスクを、CPU およびメモリの 2 つに分類して一覧表示します。対象となるのは、選択されたスケジューリングクラスターを使用する本番環境の定期タスクのみです。SQL タスクなどの共有コンテナタスクは除外されます。各タスクには以下の情報が表示されます。タスク名: タスク名および ID を表示します。名前をクリックすると、「タスク O&M > 定期タスク」ページに移動します。運用担当者: このタスクの運用責任者です。プロジェクト: このタスクが所属するプロジェクトです。最新 CPU 割り当て/最新メモリ割り当て: 最近の実行時におけるこのタスクへの CPU/メモリの総割り当て量です。最新 CPU 消費/最新メモリ消費: 最近の実行時におけるこのタスクによる CPU/メモリの実際の総消費量です。最新消費率: 最近の実行時における、実際のリソース消費量と割り当てリソース量の比率です（`消費率 = 実際のリソース消費量 / 割り当てリソース量`）。最新実行時間: 最近の実行時の実行時間です。過去 7 回の消費値: このタスクの定期インスタンスおよびデータバックフィルインスタンスについて、過去 7 回の実行におけるリソース消費値です。過去 7 回の平均実行時間: このタスクの定期インスタンスおよびデータバックフィルインスタンスについて、過去 7 回の実行における平均実行時間です。操作: 操作列のアイコンをクリックして、タスクの「リソース詳細の表示」または「リソースの構成」を行います。リソース詳細の表示: アイコンをクリックすると、「タスクリソース詳細」ダイアログボックスが開きます。タスクの基本情報、リソース詳細（最近の実行時の詳細または過去 7 回の傾向）、およびリソース割り当て vs. 消費傾向を確認できます。リソースの構成: アイコンをクリックすると、このタスクの開発ページに移動します。リスト右上隅のフィルターを使用して、該当するタスクを検索できます。サポートされるフィルターは以下のとおりです。最新消費率 >> 以下 >> 25%/50%/75% 最新消費率 >> 以上 >> 50%/75%/90% 最新 CPU 割り当て/最新メモリ割り当て >> 上位 20/上位 50/上位 100 最新 CPU 消費/最新メモリ消費 >> 上位 20/上位 50/上位 100 リスト右上隅のエクスポートをクリックすると、フィルター適用後のタスクリストを Excel にエクスポートできます。「過去 7 回の消費値」列では、値がカンマ (,) で区切られて 1 つのセルに表示されます。

推奨最適化タスク：推奨事項

タスクが割り当てたリソース量に対して実際の消費量が極端に少なく、かつ実行時間が長い場合、注意深く監視してください。このようなタスクは、アドホッククエリやサブシステムのビジネス運用を遅延させる可能性があります。
タスクが割り当てたリソース量に対して実際の消費量が極端に少なく、かつ実行時間が短い場合、監視してください。未使用のリソースを、リソース不足に直面している他のタスクに再割り当てできます。
タスクのリソース消費量が割り当て量に近づいている場合、監視してください。余裕が小さいと、処理の遅延や失敗が発生する可能性があります。
タスクのメモリ消費量が 100 % に達した、またはそれを超えた場合、厳重に監視してください。メモリ不足エラーおよびデータ出力に影響を与える実行失敗を回避するために、メモリ割り当て量を増加させてください。

クラスターリソースダッシュボードの概要

セクション	説明
①ソースクラスター	デフォルトでは、デフォルトスケジューリングクラスターが選択されています。メトリック収集が有効化され、ステータスが「Normal」であるクラスターに切り替えることができます。また、スケジュールリソースダッシュボードで表示されるデフォルトクラスターを変更することも可能です。
②リソース概要	選択されたソースクラスターに対して割り当てられたリソース（CPU 割り当ておよびメモリ割り当て）を表示・集約します。 CPU 割り当て: デフォルトスケジューリングクラスターに対する CPU 割り当て量 (c)、利用可能量 (c)、および割り当て率 (%) を表示します。メモリ割り当て: デフォルトスケジューリングクラスターに対するメモリ割り当て量 (G)、利用可能量 (G)、および割り当て率 (%) を表示します。
③リソース消費	デフォルトスケジューリングクラスターにおける CPU およびメモリの消費状況を表示します。時間フィルター: デフォルトは 3 時間です。直近の 3 時間、6 時間、12 時間、24 時間、3 日、7 日のいずれかを選択できます。 CPU 割り当て/メモリ割り当て: 各サンプリングポイントにおけるタスクへの CPU/メモリの総割り当て量です。チャートには、選択された期間における最大値および最小値が「Max」「Min」としてマークされます。 CPU 消費/メモリピーク消費: 各サンプリングポイントにおけるタスクによる CPU/メモリの実際の総消費量です。実行中のインスタンス数: 各サンプリングポイントにおける「実行中」ステータスのインスタンスの総数です（定期インスタンス、データバックフィルインスタンス、ワンタイムインスタンスを含む）。
④推奨最適化タスク	消費量と割り当て量に大きな差がある場合、推奨最適化タスクの一覧を活用して、消費率が低いタスクを特定します。これらのタスクのリソース構成を調整することで、全体的なリソース利用率を向上させることができます。詳細については、「推奨最適化タスク」および「推奨最適化タスク：推奨事項」をご参照ください。説明推奨最適化タスクは、Mesos アーキテクチャ上で実行される Dataphin インスタンスでのみサポートされます。