複数の MaxCompute プロジェクトで異なる量のコンピューティングリソース(CU)が必要な場合、MaxCompute コンソールのクォータ管理機能を使用して、プロジェクト単位でサブスクリプション CU を分離し、リソース利用率を最大化できます。
背景情報
MaxCompute コンソールのクォータ管理機能を使用して、購入済みのサブスクリプション CU を分離できます。クォータ (Quota) 管理機能は、以下のタイプのクォータグループをサポートしています。
-
デフォルト サブスクリプション クォータ:このクォータグループは、サブスクリプション コンピューティングリソースを購入した際に自動的に作成されます。このクォータグループは変更できません。リソースの設定を変更すると、このクォータグループ内の CU 数がそれに応じて増減します。
-
カスタム クォータグループ:カスタム クォータグループの場合、リザーブド CU [minCU, maxCU] の値がデフォルト サブスクリプション クォータグループから差し引かれます。maxCU は、購入済みの予約済み CU の合計数に設定できます。パラメーターは以下のとおりです。
-
minCU:保証される最小 CU 数。
-
maxCU:そのクォータグループが使用できる最大 CU 数。複数のクォータグループで minCU < maxCU を設定すると、あるクォータグループが他のグループからアイドル状態の CU を借用できます。これにより、現在のアカウントおよびリージョン内のすべてのクォータグループが共通のリソースプールを共有できます。
-
すべてのクォータグループにおける minCU 値の合計は、購入済みの予約済み CU の合計数と等しくなければなりません。
ユースケース
シナリオ
データウェアハウスチームは、データウェアハウスの開発・本番運用、運用分析、アルゴリズムマイニングに MaxCompute を使用しています。チームは、それぞれの活動ごとに個別の MaxCompute プロジェクトを作成しています。
-
データウェアハウスの開発・本番運用:データウェアハウスモデルのレイヤーに基づいて、開発環境と本番環境にプロジェクトを分割しています。
-
運用分析:各部門が日々の運用データを取得・分析するために専用のプロジェクトを作成しています。
-
アルゴリズムマイニング:ジョブサイクルの特性に基づいて、開発と本番にプロジェクトを分けています。
初期のビジネス評価に基づき、チームは 1,000 CU の予約済みリソースを購入し、プロジェクト単位で割り当て・分離して、リソース利用率を最大化する必要があります。
CU の割り当て
CU を割り当てる際は、以下の点を考慮してください。
-
リソースの乱用を防ぐため、実際の要件に基づいて 予約 CU 量 の minCU を設定します。
-
高可用性を必要としないが大量の CU をリクエストする可能性のある低優先度のプロジェクトについては、対応するクォータグループ内の 予約 CU 量 の maxCU を制限し、他のクォータグループへの影響を回避します。
-
長時間実行されるジョブを持つ MaxCompute プロジェクトについては、専用のクォータグループを作成し、そのクォータグループ内の 予約 CU 量 の maxCU を制限します。
-
時間帯別構成機能を使用して、CU 利用率を最大化できます。詳細については、「コンピューティングリソース - クォータ管理」をご参照ください。
-
デフォルト サブスクリプション クォータグループの CU クォータは変更できません。特定のプロジェクトのジョブが利用可能なすべての CU を消費してしまうことを防ぐため、どのプロジェクトもデフォルト サブスクリプション クォータグループに関連付けないでください。デフォルト サブスクリプション クォータグループの 予約 CU 量 の minCU は 0 にできません。このグループには 1 CU を確保し、他のクォータグループでは minCU < maxCU を設定することで、他のクォータグループがこの 1 CU を利用できるようにします。
クォータグループの設計
|
クォータグループ |
特徴 |
予約 minCU |
予約 maxCU |
関連付けられたプロジェクト |
時間帯構成 |
|
データウェアハウス 本番クォータグループ |
ピーク時間帯に大きな CU 需要があり、時間帯ごとの CU 需要が安定している高保証ワークロード。 |
|
|
データウェアハウス 本番プロジェクト |
|
|
データウェアハウス 開発クォータグループ |
オフピーク時間帯に大きな CU 需要がある高保証ワークロード。 |
|
|
データウェアハウス 開発プロジェクト |
|
|
アルゴリズム 本番クォータグループ |
一部の長時間実行かつリソース集約型ジョブを含む高保証ワークロード。 |
300 |
300 |
アルゴリズム 本番プロジェクト |
00:00:00–23:59:59 |
|
アルゴリズム 開発クォータグループ |
一部の長時間実行かつリソース集約型ジョブを含む高保証ワークロード。 |
50 |
50 |
アルゴリズム 開発プロジェクト |
00:00:00–23:59:59 |
|
運用分析クォータグループ |
営業時間中に需要がピークを迎え、時折長時間実行かつリソース集約型のジョブが含まれる。 |
|
|
運用分析プロジェクト |
|
これらのビジネス特性を踏まえ、各クォータグループの reserved CUs の maxCU 値を上限として設定し、他のグループの最小保証に影響を与えないようにしています。この設計では、デフォルト サブスクリプション クォータグループはどの MaxCompute プロジェクトにも関連付けられていません。その 予約 CU 量 の minCU はゼロより大きくなければならないため、1 CU に設定しています。合計を調整するために、データウェアハウス開発プロジェクトの minCU を 1 減らしています。
操作手順
-
時間帯を構成します。00:00:00–09:00:00 および 09:00:00–23:59:59 の 2 つの期間を追加します。詳細については、「コンピューティングリソース - クォータ管理」をご参照ください。
-
計画に基づき、データウェアハウス 本番、データウェアハウス 開発、アルゴリズム 本番、アルゴリズム 開発、および運用分析の各クォータグループを作成します。詳細については、「クォータの構成」をご参照ください。
-
プロジェクトを対応するクォータグループに関連付けます。購入時に作成されたデフォルト サブスクリプション クォータは、自動的にはどのプロジェクトにも関連付けられず、手動で関連付ける必要があります。
参照情報
-
ビジネスの進化に伴い、クォータグループの使用状況を定期的にモニタリングし、必要に応じて割り当てを調整してください。使用状況を追跡するには、CloudMonitor の MaxCompute サブスクリプション クォータグループ リソース メトリックを使用できます。詳細については、「モニタリングとアラート」をご参照ください。
-
より詳細なリソース制御については、「Elastically Reserved CUs ベストプラクティス」、「コンピューティングリソースのクォータ使用」、および「ジョブ優先度」をご参照ください。
-
コンピューティングリソース(CU)の使用量をクエリする方法については、「リソース観測」をご参照ください。