スケジュールリソースダッシュボードの表示 - Dataphin

スケジュールリソースダッシュボードには、Dataphin クラスターで構成されたスケジュールリソースの使用状況と割り当てが表示されます。グローバルリソース構成と個別のタスクリソース割り当てを表示および分析できます。これにより、リソース使用率の向上、コストの削減、リソース不足によるタスクのバックログのリスクの低減が可能になり、プラットフォームの安定性が向上します。

前提条件

スケジュールリソースダッシュボードを使用する前に、Dataphin デプロイメントチームに連絡して Prometheus モニタリングをデプロイし、モニタリングデータを収集する必要があります。

メタデータウェアハウステナントの 管理センター > リソース設定 > リソース監視 で、スケジュールリソースダッシュボードのスイッチをオンにする必要があります。詳細については、「リソース監視」をご参照ください。

権限の説明

スーパー管理者、システム管理者、および 開発 - リソースダッシュボードのデフォルトクラスターの変更 権限を持つカスタムグローバルロールのみが、スケジュールリソースダッシュボードに表示されるデフォルトクラスターを変更できます。

機能の説明

スケジュールリソースダッシュボードは、CPU とメモリのメトリックに焦点を当て、リソース割り当てとリソース消費の 2 つの観点から Dataphin クラスターのスケジュールリソースを分析します。ダッシュボードには、最適化が推奨されるタスクも一覧表示されます。これらのタスクは、リソース使用率が低くリソースを浪費しているか、使用率が高くメモリオーバーフローのリスクがある可能性があります。これらの問題を迅速に特定して解決することで、プラットフォームの安定性が向上し、コストが削減されます。
リソースダッシュボードは、リソース割り当て、リソース消費、および推奨される最適化タスクの 3 つのモジュールで構成されています。最新のスナップショット値を表示して、過剰なリソースを消費してタスクのバックログを引き起こしているブロッキングタスクを迅速に特定して解決できます。また、時間の経過に伴う傾向を分析して、最適化の機会を特定し、リソース使用率を向上させることもできます。

データ統計頻度

データは 1 分に 1 回収集されます。割り当てられたリソースについては、ダッシュボードに現在の値のスナップショットが表示されます。消費されたリソースについては、過去 1 分間のピーク値が表示されます。ページ上のデータは、リフレッシュするたびに更新されます。

スケジュールリソースダッシュボードのエントリ

Dataphin のホームページで、上部のメニューバーから [開発] > [タスク O&M] を選択します。
左側のナビゲーションウィンドウで、[概要] > [スケジュールリソースダッシュボード] を選択して、[スケジュールリソースダッシュボード] ページを開きます。

テナントリソースダッシュボードページの概要

説明

Mesos アーキテクチャを使用する Dataphin インスタンスは、テナントリソースダッシュボードをサポートしていません。

セクション	説明
①ソースクラスター	デフォルトのスケジュールクラスターがデフォルトで選択されています。メトリック収集が有効になっている任意の正常ステータスのクラスターに切り替えることができます。スケジュールリソースダッシュボードのデフォルト表示クラスターを変更することもできます。
②リソース概要	選択したソースクラスターによって割り当てられたリソースを表示および分析します。これには、[CPU 割り当て値] と [メモリ割り当て値] が含まれます。 CPU 割り当て値: ソースクラスターがデフォルトクラスターの場合: 現在のテナントの CPU 割り当て値 (c)、現在のテナントに設定された使用可能な範囲 (上限と下限) を表示します。ソースクラスターが登録済みのスケジュールクラスターである場合: 現在のテナントで選択されたソースクラスターのすべてのリソースグループに割り当てられた CPU 値の合計を表示します。この値は、[リソース消費] セクションで [すべてのリソースグループ] が選択されている場合に表示される割り当て値と同じです。また、使用可能な範囲も表示されます。使用可能な範囲の上限は、選択されたソースクラスターの総リソースです。下限は、現在のテナントで選択されたソースクラスターのすべてのリソースグループの使用可能な下限の合計です。メモリ割り当て値: ソースクラスターがデフォルトクラスターの場合: 現在のテナントのメモリ割り当て値 (G)、現在のテナントに設定された使用可能な範囲 (上限と下限) を表示します。ソースクラスターが登録済みのスケジュールクラスターである場合: 現在のテナントで選択されたソースクラスターのすべてのリソースグループに割り当てられたメモリ値の合計を表示します。この値は、[リソース消費] セクションで [すべてのリソースグループ] が選択されている場合に表示される割り当て値と同じです。また、使用可能な範囲も表示されます。使用可能な範囲の上限は、選択されたソースクラスターの総リソースです。下限は、現在のテナントで選択されたソースクラスターのすべてのリソースグループの使用可能な下限の合計です。説明カスタムリソースグループをサポートしない K8s アーキテクチャの Dataphin インスタンスでは、CPU とメモリの割り当て値のみが表示されます。
③リソース消費	指定された時間内および特定のリソースグループについて、現在のテナントの CPU とメモリの消費量を表示します。時間フィルター: デフォルトの選択は [3h] です。過去 [3h]、[6h]、[12h]、[24h]、[3d]、[7d]、またはカスタム時間範囲を選択できます。カスタム時間範囲のスパンは 10 分から 15 日 (`[10 分, 15 日]`) です。リソースグループフィルター: デフォルトの選択は [すべてのリソースグループ] です。選択したソースクラスターからリソースグループを選択できます。デフォルトのスケジュールクラスターのリソースグループはサポートされています。登録済みのスケジュールクラスターのリソースグループはサポートされていません。 CPU 割り当て値/メモリ割り当て値: 各統計時点においてタスクに割り当てられた CPU またはメモリの総量。グラフでは、選択した時間範囲内の最大値と最小値が Max と Min としてマークされます。使用可能な下限/使用可能な下限: リソースグループフィルターの選択に基づいて、現在のテナントまたは選択されたリソースグループの CPU またはメモリの使用可能な上限と下限を表示します。実行中のインスタンスの合計: 各統計時点において実行状態にあるインスタンスの総数。これには、定期インスタンス、データバックフィルインスタンス、およびワンタイムインスタンスが含まれます。待機中のインスタンスの合計: 各統計時点においてスケジュールリソースを待機しているインスタンスの数。説明カスタムリソースグループをサポートしない K8s アーキテクチャの Dataphin インスタンスでは、リソースグループのフィルタリングはサポートされておらず、グラフに使用可能な上限と下限は表示されません。
④推奨される最適化タスク	[CPU] と [メモリ] のディメンション別に、現在のテナントに推奨される最適化タスクを表示します。選択したスケジュールクラスターのリソースを使用する本番環境の定期タスクのみが含まれます。SQL およびその他の共有コンテナータスクは含まれません。タスクリストには、次のパラメーターが含まれます: タスク名: タスク名とタスク ID を表示します。タスク名をクリックすると、[タスク O&M] > [定期タスク] ページに移動します。運用オーナー：タスクの運用保守オーナーです。プロジェクト: タスクが属するプロジェクト。 [最後に割り当てられた CPU]/[最後に割り当てられたメモリ]: 最新の実行中にこのタスクに割り当てられたリソースの合計量です。最終消費 CPU/最終消費メモリ: タスクの直近の実行時に消費されたリソースの総量。最終消費率: タスクの直近の実行時のリソース消費率 (`リソース消費率 = タスク実行中に消費された総リソース / タスク実行中にタスクに割り当てられた総リソース`)。最終実行時間: タスクの直近の実行の実行時間。過去 7 回の消費値: このタスクの定期インスタンスとデータバックフィルインスタンスの過去 7 回の実行におけるリソース消費値。過去 7 回の平均実行時間: このタスクの定期インスタンスとデータバックフィルインスタンスの過去 7 回の実行の平均実行時間。アクション: [アクション] 列で、タスクの [リソース詳細の表示] および [リソース構成] 操作を実行します。リソース詳細の表示: アイコンをクリックして [タスクリソース詳細] ダイアログボックスを開きます。タスクの [基本情報]、[リソース詳細] (最後の実行の詳細または過去 7 回の実行の傾向)、および [リソース割り当て消費トレンド] を表示できます。リソース構成: アイコンをクリックして、タスクの開発ページに移動します。リストの右上隅でタスクをフィルターできます。サポートされているフィルターオプションは次のとおりです: [最終消費率] >> [以下] >> [25%]/[50%]/[75%] [最後の消費率] >> [より高い] >> [50%]/[75%]/[90%] [最後に割り当てられた CPU]/[最後に割り当てられたメモリ] >> [TOP20]/[TOP50]/[TOP100] 最終消費 CPU/最終消費メモリ >> TOP20/TOP50/TOP100 リストの右上隅にある [エクスポート] をクリックして、現在のフィルターが適用されたタスクリストを Excel ファイルにエクスポートします。[過去 7 回の消費値] 列の各値はコンマ (,) で区切られ、同じセルに配置されます。

最適化タスクに関する推奨事項

タスクに割り当てられたリソースが常に消費リソースを上回り、タスクの実行時間が長い場合は、注意深く監視してください。これにより、タスクがアドホッククエリや他のタスクに影響を与え、ダウンストリームサービスに影響が及ぶのを防ぐことができます。
タスクに割り当てられたリソースが常に消費リソースを上回るが、タスクの実行時間が短い場合は、余剰リソースを必要とする他のタスクに再割り当てすることを検討してください。
タスクの消費リソースが常に割り当てリソースに近づいている場合は、リソース不足による遅延や障害を防ぐために監視してください。
タスクのメモリ使用量が 100% に達した場合は、注意深く監視してください。メモリオーバーフローによる障害がデータ出力に影響を与えるのを防ぐために、メモリ割り当てを増やす必要があります。

クラスタリソースダッシュボードページの概要

セクション	説明
①ソースクラスター	デフォルトのスケジュールクラスターがデフォルトで選択されています。メトリック収集が有効になっている任意の正常ステータスのクラスターに切り替えることができます。スケジュールリソースダッシュボードのデフォルト表示クラスターを変更することもできます。
②リソース概要	選択したソースクラスターによって割り当てられたリソースを表示および分析します。これには、[CPU 割り当て値] と [メモリ割り当て値] が含まれます。 CPU 割り当て値: デフォルトのスケジュールクラスターの CPU 割り当て値 (c)、使用可能量 (c)、および割り当て率 (%) を表示します。メモリ割り当て値: デフォルトのスケジュールクラスターのメモリ割り当て値 (G)、使用可能量 (G)、および割り当て率 (%) を表示します。
③リソース消費	デフォルトのスケジュールクラスターの CPU とメモリの消費量を表示します。時間フィルター: デフォルトの選択は [3h] です。過去 [3h]、[6h]、[12h]、[24h]、[3d]、または [7d] を選択できます。 CPU 割り当て値/メモリ割り当て値: 各統計時点においてタスクに割り当てられた CPU またはメモリの総量。グラフでは、選択した時間範囲内の最大値と最小値が Max と Min としてマークされます。 CPU 消費値/メモリ消費ピーク: 各統計時点においてタスク実行によって消費された CPU またはメモリの総量。実行中のインスタンスの合計: 各統計時点において実行状態にあるインスタンスの総数。これには、定期インスタンス、データバックフィルインスタンス、およびワンタイムインスタンスが含まれます。
④推奨される最適化タスク	消費値が割り当て値と大きく異なる場合は、最適化タスクリストを使用して消費率の低いタスクを見つけます。リソース構成を調整して、全体的なリソース使用率を向上させます。詳細については、「推奨される最適化タスク」および「最適化タスクに関する推奨事項」をご参照ください。説明 Mesos アーキテクチャを持つ Dataphin インスタンスのみが、推奨される最適化タスクをサポートします。