ワークスペースは、EMR Serverless Spark でジョブ、メンバー、ロール、権限を管理するための基本単位です。すべての設定、ジョブ、ワークフローは、特定のワークスペース内で実行されます。管理者はメンバーを追加し、ワークスペース管理者、データアナリスト、データデベロッパー、ゲストなどのロールを割り当てて、ロールベースのコラボレーションを行うことができます。
前提条件
Alibaba Cloud アカウントを登録し、実名認証を完了していること。
ワークスペースを作成するために必要な権限を持つアカウントが必要です。
Alibaba Cloud アカウントを使用する場合、権限付与の詳細については、「Alibaba Cloud アカウントへのロールの割り当て」をご参照ください。
RAM ユーザーまたは RAM ロールを使用する場合、AliyunEMRServerlessSparkFullAccess、AliyunOSSFullAccess、および AliyunDLFFullAccess アクセス権限ポリシーが RAM ユーザーまたは RAM ロールにアタッチされていることを確認してください。 次に、Access Control ページで RAM ユーザーまたは RAM ロールを追加し、管理者ロールを付与します。 詳細については、「RAM ユーザーへの権限付与」および「ユーザーとロールの管理」をご参照ください。
Data Lake Formation (DLF) がアクティブ化されていること。詳細については、「クイックスタート」をご参照ください。DLF をサポートするリージョンの一覧については、「リージョンとエンドポイント」をご参照ください。
Object Storage Service (OSS) がアクティブ化され、バケットが作成されていること。詳細については、「OSS のアクティブ化」および「バケットの作成」をご参照ください。
ワークスペースの作成
-
EMR Serverless Spark のワークスペースページに移動します。
-
E-MapReduce コンソールにログインします。
-
左側メニューで、[EMR Serverless] > [Spark] の順に選択します。
-
-
Spark ページで、ワークスペースの作成 をクリックします。
-
ワークスペースの作成 ダイアログボックスで、次のパラメーターを設定します。
パラメーター
説明
[Region]
データが所在するリージョンを選択します。リージョンは作成後に変更できません。
[Billing Method]
サポートされている課金方法は、[Subscription]と[Pay-as-you-go]です。
[ワークスペース名]
名前は 1~64 文字で、漢字、英字、数字、ハイフン (-)、アンダースコア (_) のみ使用できます。
説明既に使用されている名前を入力すると、別の名前を入力するように求めるプロンプトが表示されます。
[瞬時クォータ上限]
ワークスペース内でジョブを同時に実行するために使用できるコンピューティングユニット (CU) の最大値です。
[ワークスペースの基本パス]
ジョブログ、ランタイムイベント、リソースなどのデータファイルを格納します。O&M 中にほぼリアルタイムで増分ログを表示するには、OSS-HDFS が有効化されたバケットを選択します。
[メタデータサービスとしての DLF]
メタデータを格納および管理します。ワークスペースに関連付けるデータカタログを選択します。データカタログを作成するには:
-
Create Catalog をクリックします。表示されたダイアログボックスで Catalog Name を入力し、[OK] をクリックします。
-
ドロップダウンリストから、作成したデータカタログを選択します。
説明ワークスペースを作成した後、既存の DLF データカタログを追加できます。「データカタログ」をご参照ください。
[実行ロール]
Serverless Spark がジョブを実行するために引き受けるロールを指定します。デフォルトのロールは AliyunEMRSparkJobRunDefaultRole です。
Serverless Spark はこのロールを使用して、OSS や DLF などの他のサービスのリソースにアクセスします。実行ロールの権限を制御したい場合は、カスタム実行ロールを使用できます。詳細については、「実行ロール」をご参照ください。
[Advanced Settings]
[Tags]: タグは、クラウド リソースの識別子です。 タグを使用すると、同じ特性を共有するリソースを分類、検索、集約でき、リソース管理効率が向上します。 各ワークスペースに最大 20 個のタグを関連付けることができます。 各タグは、カスタム タグキーとタグ値で構成されます。 また、タグを使用することで、従量課金制リソースのコスト配分やきめ細かな管理も可能になります。
ワークスペースの作成時にタグを関連付けることも、ワークスペース一覧ページでいつでもタグを追加または変更することもできます。リソースにタグを関連付けると、リソースを分類し、運用を最適化するのに役立ちます。
-
-
ワークスペースの作成 をクリックします。
ワークスペースの削除
-
ワークスペースでジョブが実行中の場合、削除は失敗します。まず、実行中のすべてのジョブを停止してください。
-
削除後、ジョブ定義を含むすべてのリソースが解放され、復元できなくなります。削除する前に、ジョブスクリプトをバックアップしてください。
-
ワークスペースを削除しても、OSS または OSS-HDFS 上のログなどの関連データは削除されません。
削除手順は課金方法によって異なります:
-
サブスクリプション:最初にクォータオーダーを解約します。ワークスペースは解約後に削除されます。「解約と返金」をご参照ください。
-
従量課金:
-
Spark ページで、対象のワークスペースの [操作] 列にある 削除 をクリックします。
-
ダイアログボックスで、確認のためにワークスペース名を入力し、決定 をクリックします。
-
サブスクリプションクォータの調整
サブスクリプション ワークスペースの場合、CU クォータをアップグレードまたはダウングレードできます。
-
Spark ページで、対象のワークスペースの [操作] 列にある または サブスクリプション型クォータのダウングレード を選択します。
-
[EMR Serverless Spark Reserved Resources | Change Specification] ページで、CU クォータ パラメーターを調整します。差額は自動的に計算されます。
-
設定を確認し、[Buy Now] をクリックします。
従量課金クォータの変更
-
Spark ページで、対象のワークスペースの [操作] 列にある を選択します。
-
表示されたダイアログボックスで、従量課金クォータの上限 (CU) を調整し、決定 をクリックします。
クォータの範囲は、max(25, ワークスペース内で割り当て済みの従量課金クォータの合計) から 5,000 CU です。
関連ドキュメント
-
アクセスコントロール機能を使用して RAM ユーザーを追加し、ロールを割り当てることで、共同開発ができます。「ユーザーとロールの管理」をご参照ください。
-
キューを追加してリソースを分離し、管理します。「リソースキューの管理」をご参照ください。
> サブスクリプション型クォータのアップグレード
> 従量課金クォータの上限を編集する