MaxCompute:リソースの観測

操作手順

1. MaxCompute コンソールにログインし、左上隅でリージョンを選択します。

2. 左側のナビゲーションペインで、[リソース監視] をクリックします。

3. [リソース監視] ページで、[コンピューティングリソース] タブをクリックします。

4. レベル 1 クォータ、時間範囲、時間間隔を選択します。

   時間間隔は、データポイントの頻度を指定します。アダプティブ間隔、または 1 分、5 分、15 分の間隔を選択できます。パフォーマンスを確保するため、時間範囲が 72 時間を超える場合、システムは間隔を自動的に「アダプティブ」に設定します。

5. 対象のレベル 2 クォータの左側にある アイコンをクリックし、リソース消費のトレンドチャートを参照します。複数のチャートを同時に展開できます。

6. 各レベル 2 クォータに対応するプロジェクトのリストを参照します。

メトリクス

クォータと関連プロジェクトのリストには、対応するレベル 2 クォータをデフォルトのコンピューティングクォータとして設定しているプロジェクトが表示されます。

操作手順

1. MaxCompute コンソールにログインし、左上隅でリージョンを選択します。

2. 左側メニューで、[リソース観察] をクリックします。

3. [リソース観察] ページで、[ストレージリソース] タブをクリックして、当日の合計ストレージ使用量とストレージ分布を表示します。

4. (オプション) 時間範囲 (デフォルトは7日間) とプロジェクト (デフォルトはすべてのプロジェクト、最大8つまで選択可能) を選択して、[ストレージトレンド]を表示します。

5. (オプション) [ストレージの詳細]エリアの[商品の詳細]タブで、日付 (デフォルトは当日) を選択して、各プロジェクトのストレージ使用量を表示します。

6. (オプション) [ストレージの詳細]エリアの[テーブル/パーティションの詳細]タブで、日付 (デフォルトは当日) とプロジェクトを選択して、そのプロジェクト内のテーブルおよびパーティションの詳細なストレージ使用量を表示します。

メトリクス

MaxCompute では、列ごとのストレージ使用量の表示をサポートしていません。列レベルのストレージを推定するには、テーブルデータをエクスポートして、各列の使用量を計算してください。

手順

1. MaxCompute コンソールにログインし、左上隅でリージョンを選択します。

2. 左側のナビゲーションウィンドウで、ワークスペース > リソース観察 を選択します。

3. [Resource Observation] ページで、伝送サービス タブをクリックします。

4. クォータ、プロジェクト、時間範囲、集約アルゴリズムを選択し、各メトリクスの使用量を照会します。

使用上の注意

メトリクス

操作手順

1. MaxCompute コンソールにログインし、左上隅でリージョンを選択します。

2. 左側のナビゲーションペインで、リソース観察 をクリックします。

3. リソース観察 ページで、操作パフォーマンス観察 タブをクリックします。

4. 次のパラメータを選択してジョブをフィルタリングおよびグループ化します。これにより、特定のジョブを表示したり、異なるディメンションでグループ化されたメトリックデータをチャートで表示したりできます。

   パラメータ	説明
   [Time range]	必須。指定した時間範囲 (開始時刻と終了時刻) に基づいて、完了したジョブをフィルタリングします。 プリセットの時間範囲を選択するか、カスタムの時間範囲を設定できます。 1d：過去 1 日間。 3d：過去 3 日間。 7d：過去 7 日間。 特定の期間を選択：時間範囲のドロップダウンリストをクリックし、目的の日付を選択してから、時刻を選択 をクリックして対象の期間を選択します。 説明 デフォルトの時間範囲は過去 1 日間です。時間範囲は最大 7 日間、最小 1 時間です。過去 45 日間のジョブを検索できます。
   プロジェクト選択	MaxCompute プロジェクト名でフィルタリングします。 説明 デフォルトでは、すべてのプロジェクトが選択されています。最大 8 つのプロジェクトを選択できます。
   クォータの選択	コンピューティングクォータでフィルタリングします。 説明 デフォルトでは、すべてのコンピューティングクォータが選択されています。最大 8 つのレベル 2 クォータを選択できます。コンピューティングクォータの詳細については、「Manage computing quotas」をご参照ください。
   [グループ化]	必須。チャートタイプに応じて、チャートビュー内のデータを複数のディメンションでグループ化できます。 グループ化の有効な値： グループ化されていない (デフォルト)：フィルタリングされた範囲内のすべてのジョブについて、さまざまなメトリックの経時的な推移を表示します。 プロジェクト：フィルタリングされた範囲内のすべてのジョブについて、プロジェクト別にグループ化されたさまざまなメトリックを表示します。 説明 プロジェクトでグループ化する場合、フィルターパラメータでプロジェクトを指定する必要があります。最大 8 つのプロジェクトを指定できます。 クォータ (クォータ)：フィルタリングされた範囲内のすべてのジョブについて、レベル 2 クォータ別にグループ化されたさまざまなメトリックを表示します。 説明 クォータでグループ化する場合、フィルターパラメータでクォータを指定する必要があります。最大 8 つのレベル 2 クォータを指定できます。 [Job type]：フィルタリングされた範囲内のすべてのジョブについて、ジョブタイプ別にグループ化されたさまざまなメトリックを表示します。 SQL：SQL ジョブ。 SQLRT：MaxCompute クエリアクセラレーション (MCQA) SQL ジョブ。 LOT：MapReduce ジョブ。 CUPID：Spark または Mars ジョブ。 ALgoTask：機械学習ジョブ。 GRAPH：グラフコンピューティングジョブ。 ジョブ終了ステータス：フィルタリングされた範囲内のすべてのジョブについて、最終ステータス別にグループ化されたさまざまなメトリックを表示します。 Success：ジョブは正常に実行されました。 失敗：ジョブの実行に失敗しました。 キャンセル済み：ジョブはキャンセルされました。

5. Query をクリックして、各メトリックの統計を表示します。

6. (オプション) データの概要 の粒度を選択して、選択した時間ディメンションに基づいて各メトリックの統計を表示します。

   パラメータ	説明
   時間単位のサマリー	1 時間間隔でデータを集計します。現在の 1 時間で実行が完了したジョブの統計が表示されます。これがデフォルト設定です。 例えば、現在の時刻が 2024 年 5 月 6 日 14:00 の場合、時間別の集計では、2024 年 5 月 6 日 14:00 から 15:00 までの間に完了したジョブの統計が表示されます。
   日別の合計	1 日間隔でデータを集計します。当日に実行が完了したジョブの統計が表示されます。 例えば、現在の日付が 2024 年 5 月 6 日の場合、日別の集計では、2024 年 5 月 6 日 00:00 から 2024 年 5 月 7 日 00:00 までの間に完了したジョブの統計が表示されます。

7. (オプション) 比較サイクル を選択して、以前の日付または時刻の履歴統計を表示します。

   デフォルトは コントラストなし です。オプションには、30日前、前の7日間、1日前 があります。例えば、2024 年 5 月 6 日 14:00 の場合、30 日前の比較データは 2024 年 4 月 6 日 14:00 の統計を指します。

メトリック

• [CU消費のトレンド] (単位：Core*H)

  メトリック	説明
  [CPU时] (単位：Core*H)	選択したフィルター範囲内で完了したジョブが消費した CPU 時間です。 1 CPU 時間とは、1 つの CPU コアが 1 時間使用されることを意味します。CPU 時間 = CPU コア数 × 期間。
  [メモリ] (単位：GB*H)	選択したフィルター範囲内で完了したジョブが消費したメモリ時間です。 1 メモリ時間とは、1 GB のメモリが 1 時間使用されることを意味します。メモリ時間 = メモリサイズ × 期間。
  [CPU时]/[トップ10分析時のメモリ消費]	CPU 時間またはメモリ時間の消費量でトップ 10 のジョブをランク付けします。また、選択したフィルター範囲内で合計または平均消費量が最も高いトップ 10 の Signatures と ExtNodeIds も一覧表示します。

• [ジョブ実行時間] (単位：秒)

  メトリック	説明
  [平均]	選択したフィルター範囲内で完了したジョブの平均ランタイムです。
  [最大]	選択したフィルター範囲内で完了したジョブの最長ランタイムです。
  [最小]	選択したフィルター範囲内で完了したジョブの最短ランタイムです。
  [Quantile]	選択したフィルター範囲内で完了したジョブの特定の分位数 (1、5、10、50、90、95、99 パーセンタイルを含む) におけるジョブランタイムを示します。 例えば、99 パーセンタイルは、99% のジョブがこのランタイム内に完了したことを示します。
  [仕事の実行時間のトップ10分析]	選択したフィルター範囲内で、合計ランタイムが最も長いトップ 10 のジョブ、および合計または平均ランタイムが最も長いトップ 10 の Signatures と ExtNodeIds を表示します。

• [ジョブ数のトレンド] (単位：件数)：選択したフィルター範囲内で完了したジョブの数です。

• [ジョブスキャンのボリュームトレンド] (単位：GB、チャートのスケールに基づいて自動調整)：選択したフィルター範囲内で完了したジョブがスキャンしたデータ量です。

• [CUごとに処理されるジョブスキャン量のトレンド] (単位：GB、チャートのスケールに基づいて自動調整)：選択したフィルター範囲内で、ジョブが CU 時間あたりにスキャンしたデータの平均サイズです。1 CU 時間には、1 つの CPU コアと 4 GB のメモリが含まれます。この値は、式 MAX(CPU-hour, CEILING(memory-hour / 4)) で計算されます。

テナントレベルの Information Schema を使用して、前述のメトリックの統計を収集することもできます。Information Schema task_history テーブルには、操作から生じるすべてのタスクインスタンスが含まれていますが、コンソールの Job Performance Observation タブのメトリックは、コンピューティングリソースを消費するジョブのみをカウントします。そのため、統計結果が異なる場合があります。

以下にサンプルクエリを示します。

SET odps.namespace.schema=TRUE;
SELECT to_char (end_time, 'yyyy-mm-dd hh'), -- ジョブが完了した時間。
       -- to_char (end_time, 'yyyy-mm-dd'), -- 日単位で集計する場合は、この行を前の行の代わりに使用します。ジョブが完了した日付を示します。
       sum(cast(cost_cpu/100/3600 as DECIMAL(18,5) )) cost_cpuh, -- CPU 時間
       sum(cast(cost_mem/1024/3600 as DECIMAL(18,5) )) cost_memh, -- メモリ時間
       avg(datediff(end_time, start_time, 'ss')), -- 平均ジョブランタイム
       min(datediff(end_time, start_time, 'ss')), -- 最小ジョブランタイム
       max(datediff(end_time, start_time, 'ss'))  -- 最大ジョブランタイム
       -- status, -- グループ化の基準：status：ジョブステータス、project：task_catalog、job type：task_type。
FROM SYSTEM_CATALOG.INFORMATION_SCHEMA.tasks_history
WHERE ds>=to_char(date_add(getdate(),-7),'yyyymmdd')  -- 必要に応じて、他のフィルター条件を変更または追加します。
and task_type in ('SQL','SQLRT','LOT','CUPID','ALgoTask')
GROUP BY to_char (end_time, 'yyyy-mm-dd hh')
         -- to_char (end_time, 'yyyy-mm-dd'), -- 日単位で集計する場合は、この行を前の行の代わりに使用します。ジョブが完了した日付を示します。
         -- status, -- グループ化の基準：status：ジョブステータス、project：task_catalog、job type：task_type。
order BY to_char (end_time, 'yyyy-mm-dd hh') ASC;
         -- to_char (end_time, 'yyyy-mm-dd'); -- 日単位で集計する場合は、この行を前の行の代わりに使用します。ジョブが完了した日付を示します。

よくある質問

• 質問 1：

  • Q： グループ化後、チャートの凡例に一部のプロジェクトまたはクォータが表示されないのはなぜですか?

  • A： 選択した時間範囲内で、そのプロジェクトまたはクォータのジョブ数がゼロであるためです。

• 質問 2：

  • Q： 以前の期間の比較データが表示されないのはなぜですか?

  • A： 比較期間中にプロジェクトまたはクォータが存在しなかった場合や、ジョブがなかった場合に、データが表示されないことがあります。