複数のチームやワークフローが同じ Lindorm コンピュートエンジンを共有すると、リソース競合が発生し、遅延の急増や予測不能なジョブの失敗を引き起こす可能性があります。ETL リソースグループを使用すると、計算リソースをパーティション分割し、各チームやワークフローに専用の割り当てを行うことができます。リソースグループを使用すると、次のことが可能になります:
特定のチームやワークフローに専用の CPU、メモリ、および 1 日あたりのコンピューティングクォータを割り当てる
サーバーレスエラスティックコンピューティング (リソースはオンデマンドでスケール) と常駐コンピューティング (リソースは割り当てられたまま) から選択する
各リソースグループにジョブを送信できるユーザーを制御する
ワークロードの変更に応じてグループを削除または再設定する
前提条件
開始する前に、以下の内容を確認してください。
有効化された LindormTable インスタンス
有効化済みの Lindorm コンピュートエンジン
リソースグループタイプの選択
ETL リソースグループは 2 つのタイプをサポートしています。ご利用のワークロードの特性に基づいて選択してください:
| 非常駐 (サーバーレス) | 在住者 | |
|---|---|---|
| リソースの仕組み | オンデマンドで要求され、ジョブ終了後に解放されます | 事前に割り当てられ、実行状態が維持されます |
| 最適な用途 | 断続的または予測不能なワークロード | 安定した、遅延の影響を受けやすいワークロード |
| 主要なパラメーター | 1 日あたりのクォータ (CU 時間)、CPU コア数の上限、メモリ上限、許可されるユーザー | ノード仕様、ワーカーノード数 |
CU 時間 (CUH): 1 コンピューティングユニット (CU) を 1 時間実行した場合の単位です。
ETL リソースグループの作成
Lindorm コンソールにログインします。左上隅で、インスタンスのリージョンを選択します。[インスタンス] ページで、インスタンス ID をクリックするか、[操作] 列の [インスタンスの詳細を表示] をクリックします。
「インスタンスの詳細」ページの「設定」セクションで、「操作」列の Compute Engine に対して「リソース グループ」をクリックします。
[リソースグループ詳細] ページで、[リソースグループの作成] をクリックします。
[リソースグループの種類] を [ETL] に設定します。
「[リソースグループ名]」フィールドに名前を入力します。名前には小文字の英字と数字のみを使用でき、最大63文字までです。例:
etlcg0。[在宅有無]を設定し、選択したタイプのパラメーターを設定してください。
非常駐:
パラメーター 説明 1 日あたりのリソース割り当て量 1 日あたりに消費可能な最大リソース量 (単位:CU 時間 (CUH))。有効範囲:0~100,000。値が 0 の場合は制限がないことを意味します。1 日の上限に達すると、その日は追加のジョブを送信できなくなります。 CPU コアの最大数 グループ内で利用可能な CPU コアの最大数。最小値:100。実行中のジョブがこの上限を超えると、追加のジョブを送信できなくなります。 最大メモリサイズ グループ内で利用可能な最大メモリ量 (単位:GB)。最小値:400 GB。実行中のジョブがこの上限を超えると、追加のジョブを送信できなくなります。 ユーザーの権限付与 このリソースグループにジョブを送信できるユーザー。すべてのユーザーを許可するには *を入力します。常駐:
パラメーター 説明 ノード仕様 Spark クラスター内のワーカーノードの仕様。 ジョブのワーカーノード Spark クラスター内のワーカーノード数。 [OK] をクリックします。
特定の ETL リソースグループへのジョブの送信
ジョブを特定のリソースグループにルーティングするには、ジョブ設定に compute-group パラメーターを追加します:
compute-group=${ETLComputeGroupName}${ETLComputeGroupName} をご利用のリソースグループの名前に置き換えます。
リソースグループの編集
ETL リソースグループを作成した後、1 日あたりのリソースクォータ、CPU 上限、メモリ上限、および許可されるユーザーを更新できます。
[リソースグループ詳細] ページで、[操作] 列の [編集] をクリックします。
[リソースグループの更新] ページで、必要に応じて設定を変更します。
[OK] をクリックします。
Alibaba Cloud DataWorks からの ETL リソースグループへのアクセス
DataWorks は、インテリジェントなビッグデータ開発と管理のためのワンストッププラットフォームです。これを使用して、Spark または Spark SQL タスクを Lindorm コンピュートエンジンに送信し、オフラインタスクのスケジューリングのためのワークフローをオーケストレーションできます。詳細については、以下をご参照ください:
リソースグループの削除
リソースグループの削除は元に戻せません。削除後は、そのリソースグループにジョブを送信できなくなります。削除する前に、インスタンスコンソールで [コンピュートエンジン] > [インスタンスモニタリング] に移動し、リソースグループ内で現在実行中のジョブがないことを確認してください。
リソースグループを削除するには:
[リソースグループ詳細] ページで、[アクション] 列の
をクリックします。確認ダイアログで、[削除] をクリックします。
「[OK]」をクリックします。