MaxCompute:ジョブレベルのリソース分析のベストプラクティス

状況の診断

詳細な調査を行う前に、症状と根本原因を照合してください：

このドキュメントの診断手順は、典型的なケースに合わせて簡略化されています。実際のワークロードに基づいてジョブ属性を調整し、変更後の効果を監視してください。

シナリオ 1：予約済みリソースの不足によるジョブの実行遅延

50 CU のサブスクリプション容量を持つチームが、毎日 10 バッチ以上のジョブ (1,000 ジョブ以上) を実行しています。ジョブ 20240717020015831xxxxxxxxxxxx の実行時間が長すぎ、ダウンストリーム処理をブロックしています。

ジョブの診断：

1. MaxCompute コンソールにログインします。

2. 左側のナビゲーションウィンドウで、[ワークスペース] > [ジョブ] を選択します。

3. インスタンス ID でジョブを検索し、[操作] 列の [分析] をクリックします。

確認事項： 50 CU すべてが占有されており、現在のジョブがそのほとんどを消費しています。クォータレベルでジョブが待機している CU 数は高いままです。クォータには追加のジョブリクエストに対する残りの容量がないため、現在のジョブは必要とするリソースよりも少ないリソースしか受け取れず、実行が遅くなります。

問題の解決： 次のいずれかの方法で問題を解決します：

• ジョブの開始時刻を再スケジュールして、ピーク期間から需要を分散させ、固定 CU プールでの競合を減らします。

• サブスクリプション CU を増やします。コスト最適化ページに移動し、期待されるジョブ完了時間を指定して、推奨されるリソース割り当て計画を確認します。

シナリオ 2：リソース競合によるジョブリソースの待機

同じ設定 (50 CU のサブスクリプション容量と 1,000 以上のデイリージョブ) を使用して、ジョブ 20240717020020365xxxxxxxxxxxx は 21 分 17 秒間実行され、その時間の半分以上がリソースの待機に費やされました。

ジョブの診断：

1. MaxCompute コンソールにログインします。

2. 左側のナビゲーションウィンドウで、[ワークスペース] > [ジョブ] を選択します。

3. インスタンス ID でジョブを検索し、[操作] 列の [分析] をクリックします。

確認事項： ジョブは送信後の最初の 13 分間、リソースを待機します。この期間中、クォータレベルのリソース使用量は上限に達し、他のジョブが利用可能なすべての CU を確保しています。13 分後、ジョブは徐々にリソースを取得しますが、クォータレベルの使用量はもはや上限に達しません。

リソースをブロックしているジョブの特定：

X 軸上の時点をクリックすると、その時点でのクォータレベルのリソース割り当てが表示されます。これには、すべての実行中および待機中のジョブが含まれます。10:04 の時点では、現在のジョブにはリソースがありません。優先度 9 の 3 つのジョブが CU を消費しており、5 つのジョブが待機中です。

[待機ジョブのリソース割り当て] カラーバーをクリックして、リソースを待機しているジョブを一覧表示します。ジョブ 20240717020015831gza7jdf21uv3 はこの時点で CU の大部分を保持しています。

ジョブ 20240717020015831gza7jdf21uv3 のリソース消費量は、この時点で多数の計算リソースを占有していることを示しています。

問題の解決： 次のいずれかの方法で問題を解決します：

• 競合するジョブ間の重複を減らすために、ジョブの開始時刻を再スケジュールします。

• ジョブの優先度を調整します。複数のジョブが同時にリソースを要求した場合、MaxCompute はまず優先度の高いジョブに CU を割り当てます。時間に敏感なジョブの優先度を上げて、優先度の低いバッチ処理の前にリソースを確保できるようにします。

• サブスクリプション CU を増やします。コスト最適化ページに移動し、期待されるジョブ完了時間を指定して、推奨されるリソース割り当て計画を確認します。

優先度調整後の結果： タスクの優先度を 0 に変更した後、待機時間は大幅に短縮され、ジョブはほぼ即座に予約済み CU の 50% を取得しました。合計ランタイムは 21 分から 6 分に短縮されました。