MaxCompute:リソース観測

操作手順

1. MaxCompute コンソールにログインし、左上隅でリージョンを選択します。

2. 左側メニューで、[Resource Observation] をクリックします。

3. [Resource Observation] ページで、[Computing Resource] タブをクリックします。

4. レベル 1 クォータ、期間、時間間隔を選択します。

   時間間隔はデータポイントの頻度を指定します。自動、または 1 分、5 分、15 分の間隔を選択できます。パフォーマンスを確保するため、期間が 72 時間を超える場合、システムは自動的に間隔を「自動」に設定します。

5. 対象のレベル 2 クォータの左側にある アイコンをクリックして、リソース消費量の推移チャートを表示します。複数のチャートを同時に展開できます。

6. 各レベル 2 クォータに関連付けられているプロジェクトのリストを表示します。

メトリクス

クォータと関連プロジェクトのリストには、対応するレベル 2 クォータをデフォルトのコンピューティングクォータとして設定したプロジェクトが表示されます。

操作手順

1. MaxCompute コンソールにログインし、左上隅でリージョンを選択します。

2. 左側メニューで、リソース監視 をクリックします。

3. リソース監視 ページで、ストレージリソース タブをクリックして、当日の合計ストレージ使用量とストレージ分布を表示します。

4. (任意) 期間 (デフォルトは 7 日) とプロジェクト (デフォルトはすべてのプロジェクト。最大 8 つのプロジェクトを選択可能) を選択して、ストレージトレンド を表示します。

5. (任意) ストレージ明細 エリアの プロジェクト明細 タブで、日付 (デフォルトは当日) を選択して、各プロジェクトのストレージ使用量を表示します。

6. (任意) ストレージ明細 エリアの テーブル/パーティション明細 タブで、日付 (デフォルトは当日) とプロジェクトを選択して、プロジェクト内の詳細なテーブルとパーティションのストレージ使用量を表示します。

メトリクス

MaxCompute は、列ごとのストレージ使用量の表示をサポートしていません。列レベルのストレージを推定するには、テーブルデータをエクスポートして、各列の使用量を計算します。

操作手順

1. MaxCompute コンソールにログインし、左上隅でリージョンを選択します。

2. 左側メニューで、監視・運用保守 > リソース監視 を選択します。

3. [Resource Observation] ページで、転送サービス タブをクリックします。

4. クォータ、プロジェクト、期間、集約アルゴリズムを選択して、各メトリクスの使用量をクエリします。

注意事項

メトリクス

操作手順

1. MaxCompute コンソールにログインし、左上隅でリージョンを選択します。

2. 左側メニューで、リソース監視 をクリックします。

3. リソース監視 ページで、ジョブパフォーマンス監視 タブをクリックします。

4. 次のパラメータを選択して、ジョブをフィルタリングおよびグループ化します。これにより、特定のジョブを表示し、さまざまな次元でチャート内のメトリクスデータをグループ化できます。

   パラメータ	説明
   [時間範囲]	必須です。指定した期間 (開始時刻と終了時刻) に基づいて、完了したジョブをフィルタリングします。 事前設定された期間を選択するか、カスタム期間を設定できます。 1d：過去 1 日です。 3d：過去 3 日です。 7d：過去 7 日です。 特定の期間を選択：期間のドロップダウンリストをクリックし、目的の日付を選択してから、時刻を選択 をクリックして対象の期間を選択します。 説明 デフォルトの期間は過去 1 日です。最大期間は 7 日、最小期間は 1 時間です。過去 45 日間のジョブを検索できます。
   [プロジェクトの選択]	MaxCompute プロジェクト名でフィルタリングします。 説明 デフォルトでは、すべてのプロジェクトが選択されています。最大 8 つのプロジェクトを選択できます。
   [クォータの選択]	コンピューティングクォータでフィルタリングします。 説明 デフォルトでは、すべてのコンピューティングクォータが選択されています。最大 8 つのレベル 2 クォータを選択できます。コンピューティングクォータの詳細については、「コンピューティングクォータの管理」をご参照ください。
   [グループ化項目]	必須です。チャートタイプに応じて、チャート内のデータを複数の次元でグループ化できます。 グループ化の有効な値： [グループなし] (デフォルト) ：フィルタリングされた範囲内のすべてのジョブのさまざまなメトリクスの経時的な推移を表示します。 [プロジェクト]：フィルタリングされた範囲内のすべてのジョブのさまざまなメトリクスを、プロジェクト別にグループ化して表示します。 説明 プロジェクト別にグループ化する場合は、フィルターパラメータでプロジェクトを指定する必要があります。最大 8 つのプロジェクトを指定できます。 [クォータ]フィルタリングされた範囲内のすべてのジョブのさまざまなメトリクスを、レベル 2 クォータ別にグループ化して表示します。 説明 クォータ別にグループ化する場合は、フィルターパラメータでクォータを指定する必要があります。最大 8 つのレベル 2 クォータを指定できます。 [ジョブタイプ]：フィルタリングされた範囲内のすべてのジョブのさまざまなメトリクスを、ジョブタイプ別にグループ化して表示します。 SQL：SQL ジョブです。 MCQA：MaxCompute Query Acceleration (MCQA) SQL ジョブです。 LOT：MapReduce ジョブです。 CUPID：Spark または Mars ジョブです。 Algo_Task：機械学習ジョブです。 GRAPH：グラフコンピューティングジョブです。 [ジョブ終了ステータス]：フィルタリングされた範囲内のすべてのジョブのさまざまなメトリクスを、最終ステータス別にグループ化して表示します。 成功：ジョブが正常に実行されました。 失敗：ジョブが失敗しました。 キャンセル：ジョブがキャンセルされました。

5. Query をクリックして、各メトリクスの統計を表示します。

6. (任意) データ集計 の粒度を選択して、選択した時間次元に基づいて各メトリクスの統計を表示します。

   パラメータ	説明
   [時間別集計]	1 時間間隔でデータを集約します。現在の時間内に実行が終了したジョブの統計が表示されます。これがデフォルト設定です。 たとえば、現在の時刻が 2024 年 5 月 6 日の 14:00 の場合、時間別に集約すると、2024 年 5 月 6 日の 14:00 から 15:00 の間に終了したジョブの統計が表示されます。
   [日単位]	1 日間隔でデータを集約します。現在の日に実行が終了したジョブの統計が表示されます。 たとえば、現在の日付が 2024 年 5 月 6 日の場合、日別に集約すると、2024 年 5 月 6 日の 00:00 から 2024 年 5 月 7 日の 00:00 の間に終了したジョブの統計が表示されます。

7. (任意) 比較期間 を選択して、過去の日付または時間からの履歴統計を表示します。

   デフォルトは 比較なし です。オプションには、30日前、7 日前、前日 があります。たとえば、2024 年 5 月 6 日 14:00 の場合、「過去30日間」の比較データは 2024 年 4 月 6 日 14:00 の統計です。

メトリクス

• [CU 使用量の推移] (単位：Core*H)

  メトリクス	説明
  [CPU 時間] (単位：Core*H)	選択したフィルター範囲内で完了したジョブによって消費された CPU 時間の数です。 1 CPU 時間は、1 つの CPU コアが 1 時間消費されることと定義されます。CPU 時間 = CPU コア数 × 期間です。
  [メモリ時間] (単位：GB*H)	選択したフィルター範囲内で完了したジョブによって消費されたメモリ時間の量です。 1 メモリ時間は、1 GB のメモリが 1 時間消費されることと定義されます。メモリ時間 = メモリサイズ × 期間です。
  [CPU 時間]/[メモリ使用量 TOP 10 分析]	CPU 時間またはメモリ時間の消費量で上位 10 件のジョブをランク付けします。また、選択したフィルター範囲内で合計または平均消費量が最も高い上位 10 件の Signature と ExtNodeId もリストします。

• [ジョブの実行時間] (単位：秒)

  メトリクス	説明
  [平均値]	選択したフィルター範囲内で完了したジョブの平均実行時間です。
  [最大値]	選択したフィルター範囲内で完了したジョブの最長実行時間です。
  [最小値]	選択したフィルター範囲内で完了したジョブの最短実行時間です。
  [分位数]	選択したフィルター範囲内で完了したジョブの特定の分位数 (1 パーセンタイル、5 パーセンタイル、10 パーセンタイル、50 パーセンタイル、90 パーセンタイル、95 パーセンタイル、99 パーセンタイルを含む) のジョブ実行時間です。 たとえば、99 パーセンタイルは、ジョブの 99% がこの実行時間内に終了したことを示します。
  [ジョブランタイム TOP 10 分析]	選択したフィルター範囲内で、合計実行時間が最も長い上位 10 件のジョブ、および合計または平均実行時間が最も長い上位 10 件の Signature と ExtNodeId を表示します。

• [ジョブ数の推移] (単位：カウント) ：選択したフィルター範囲内で完了したジョブの数です。

• [ジョブのスキャン量の推移] (単位：GB、チャートのスケールに基づいて自動調整) ：選択したフィルター範囲内で完了したジョブによってスキャンされたデータの量です。

• [CU 時間あたりのジョブスキャン量の推移] (単位：GB、チャートのスケールに基づいて自動調整) ：選択したフィルター範囲内で、CU時間あたりにジョブによってスキャンされたデータの平均サイズです。1CU時間には、1つのCPUコアと 4 GB のメモリが含まれます。計算式 MAX(CPU-hour, CEILING(memory-hour/4)) を使用して計算されます。

テナントレベルの INFORMATION_SCHEMA を使用して、前述のメトリクスの統計を収集することもできます。INFORMATION_SCHEMA の task_history テーブルには、操作によって生じたすべてのタスクインスタンスが含まれていますが、コンソールの[ジョブパフォーマンス観測]タブのメトリクスは、コンピューティングリソースを消費するジョブのみをカウントします。そのため、統計結果が異なる場合があります。

以下はサンプルクエリです。

SET odps.namespace.schema=TRUE;
SELECT to_char (end_time, 'yyyy-mm-dd hh'), -- ジョブが終了した時間
       -- to_char (end_time, 'yyyy-mm-dd'), -- 日次粒度の場合、この行を使用して前の行を置き換えます。これはジョブが終了した日付を示します。
       sum(cast(cost_cpu/100/3600 as DECIMAL(18,5) )) cost_cpuh, -- CPU 時間
       sum(cast(cost_mem/1024/3600 as DECIMAL(18,5) )) cost_memh, -- メモリ時間
       avg(datediff(end_time, start_time, 'ss')), -- 平均ジョブ実行時間
       min(datediff(end_time, start_time, 'ss')), -- 最小ジョブ実行時間
       max(datediff(end_time, start_time, 'ss'))  -- 最大ジョブ実行時間
       -- status, -- グループ化基準：status：ジョブステータス；project：task_catalog；ジョブタイプ：task_type。
FROM SYSTEM_CATALOG.INFORMATION_SCHEMA.tasks_history
WHERE ds>=to_char(date_add(getdate(),-7),'yyyymmdd')  -- 必要に応じて他のフィルター条件を変更または追加します。
and task_type in ('SQL','SQLRT','LOT','CUPID','Algo_Task')
GROUP BY to_char (end_time, 'yyyy-mm-dd hh')
         -- to_char (end_time, 'yyyy-mm-dd'), -- 日次粒度の場合、この行を使用して前の行を置き換えます。これはジョブが終了した日付を示します。
         -- status, -- グループ化基準：status：ジョブステータス；project：task_catalog；ジョブタイプ：task_type。
order BY to_char (end_time, 'yyyy-mm-dd hh') ASC;
         -- to_char (end_time, 'yyyy-mm-dd'); -- 日次粒度の場合、この行を使用して前の行を置き換えます。これはジョブが終了した日付を示します。

よくある質問

• 質問1：

  • Q：グループ化後、チャートの凡例から一部のプロジェクトまたはクォータが欠落しているのはなぜですか？

  • A：これは、選択した期間内でプロジェクトまたはクォータのジョブ数がゼロの場合に発生します。

• 質問2：

  • Q：以前の期間の比較データが欠落しているのはなぜですか？

  • A：比較期間中にプロジェクトまたはクォータが存在しなかった場合、またはジョブがなかった場合、データが欠落している可能性があります。