スケジュール リソース ダッシュボードには、Dataphin クラスタで構成されているスケジュール リソースの使用状況と割り当てが表示されます。 グローバル リソース構成と個々のタスク リソース割り当てを表示および分析できるため、リソース使用率が効果的に向上し、コストが削減されます。 また、スケジュール リソースの逼迫によるタスクのスタックの可能性も低減し、プラットフォームの安定性が向上します。
前提条件
スケジュール リソース ダッシュボードを適切に使用するには、Dataphin デプロイメント チームに連絡して Prometheus モニタリングをデプロイし、モニタリング データを収集する必要があります。
スケジュール リソース ダッシュボード スイッチは、メタデータ ウェアハウス テナントの [管理ハブ] > [リソース設定] > [リソース監視] でオンになっています。 詳細については、「リソース監視」をご参照ください。
機能の説明
スケジュール リソース ダッシュボードは、[リソース割り当て] と [リソース消費] の 2 つの観点から Dataphin クラスタ スケジュール リソースの統計分析を提供し、CPU とメモリのメトリックに焦点を当てています。 さらに、リソースの浪費につながる可能性のあるリソース使用率の低いタスク、またはメモリ オーバーフローのリスクにつながる可能性のある使用率の高いタスクは、最適化タスク リストに表示されるため、迅速に発見して処理し、プラットフォームの安定性を高め、リソース消費コストを削減できます。
リソース ダッシュボードには、3 つのモジュール（リソース割り当て、リソース消費、推奨される最適化タスク）があります。 現在の最新のスナップショット値を表示することで、より多くのリソースを占有してタスクのスタックを引き起こしているブロッキング タスクをすばやく特定し、迅速に処理できます。 また、一定期間のトレンドの変化に基づいて最適化の余地があるかどうかを判断し、リソース使用率を向上させることもできます。
データ統計頻度
統計は 1 分ごとに収集されます。 割り当てられたリソースについては、現在の時点のスナップショット値が取得されます。 消費されたリソースについては、過去 1 分間のピーク値が取得されます。 ページをリフレッシュするたびに、ページ データが更新されます。
スケジュール リソース ダッシュボードのエントリ
Dataphin ホームページの上部のメニューバーで、[開発] > [タスク O&M] を選択します。
左側のナビゲーションバーで、[概要] > [スケジュールリソースダッシュボード] を選択して、[スケジュールリソースダッシュボード] ページに移動します。
テナント リソース ダッシュボード ページの概要
mesos アーキテクチャの Dataphin インスタンスは、テナント リソース ダッシュボードをサポートしていません。
セクション | 説明 |
①[リソース概要] | デフォルトのスケジュール クラスタCPU割り当て値[メモリ割り当て値]によって割り当てられたリソースの表示と統計のみをサポートし、 と が含まれます。
説明 カスタム リソース グループをサポートしていない K8s アーキテクチャの Dataphin インスタンスの場合、CPU とメモリの割り当て値のみが表示されます。 |
②[リソース消費量] | 指定された時間とリソース グループ内における、現在のテナントの CPU とメモリの消費量を表示します。
説明 カスタム リソース グループをサポートしていない K8s アーキテクチャの Dataphin インスタンスの場合、リソース グループのフィルタリングはサポートされておらず、使用可能な上限と下限はチャートに表示されません。 |
③[推奨される最適化タスク] | [CPU] と [メモリ] の両方のディメンションから、現在のテナントに対して推奨される最適化タスクを表示します。 デフォルトのスケジューリングクラスタリソース を使用する 本番環境 の反復タスク（SQL タスクを除く）のみがカウントされます。タスクリストには、次のパラメーターが含まれています。
リストの右上隅で、要件を満たすタスクをフィルタリングできます。 サポートされているフィルター オプションは次のとおりです。
リストの右上隅にある [エクスポート] をクリックすると、現在のフィルター条件下のタスクリストを Excel にエクスポートできます。過去 7 日間の消費値 の各値はコンマ (,) で区切られ、同じセルに配置されます。 |
アイコンをクリックすると、[タスクリソースの詳細] ダイアログボックスが開き、[基本情報]、[リソースの詳細] (最終実行の詳細または過去 7 回の実行の傾向)、および現在のタスクの [リソース割り当て消費トレンド] を表示できます。
アイコンをクリックすると、現在のタスクの対応する開発ページに移動します。最適化タスクのフォローアップ推奨事項
タスクのリソース割り当て値が一定期間にわたって消費値よりもはるかに大きく、ランタイムが長い場合は、アドホック クエリやその他のタスクの実行に影響を与えないように注意深く監視することをお勧めします。これにより、ダウンストリームのビジネス使用に影響を与える可能性があります。
タスクのリソース割り当て値が一定期間にわたって消費値よりもはるかに大きいものの、ランタイムが短い場合は、適度に注意することをお勧めします。 余剰リソースを他のリソース集中型のタスクに割り当てることができます。
タスクのリソース消費値が一定期間にわたって割り当て値に近い場合は、リソース不足によるランタイムの遅延や障害が発生しないように適度に注意することをお勧めします。
タスクのメモリ消費率が 100% に達した場合は、メモリ オーバーフローやその他の異常によるその後の障害を回避するために、注意深く監視し、メモリ割り当てを適切に増やすことをお勧めします。これにより、データ出力に影響を与える可能性があります。
クラスタ リソース ダッシュボード ページの概要
セクション | 説明 |
①[リソース概要] | デフォルトのスケジューリング クラスターによって割り当てられたリソースの表示と統計のみをサポートします。これには、[CPU 割り当て値] と [メモリ割り当て値] が含まれます。
|
②[リソース消費量] | デフォルトのスケジュール クラスタでの CPU とメモリの消費量を表示します。
|
③[推奨される最適化タスク] | 消費値と割り当て値の間に大きな差がある場合は、最適化タスク リストを使用して消費率の低いタスクをクエリし、リソース構成を調整して全体的なリソース使用率を向上させることをお勧めします。 詳細については、「推奨される最適化タスク」および「最適化タスクのフォローアップ推奨事項」をご参照ください。 説明 Mesos アーキテクチャの Dataphin インスタンスのみが、推奨される最適化タスクをサポートしています。 |