ワークスペースは、EMR Serverless Spark において、タスクとメンバーの管理、およびロールと権限の割り当てを行うための基本単位です。特定のワークスペースですべての構成を実行し、タスクとワークフローを実行できます。ワークスペース管理者は、メンバーをワークスペースに追加し、ワークスペース管理者、データ分析、データ開発、ゲストなどの特定のロールを割り当てることができます。これにより、異なるロールを持つワークスペースメンバーが効果的に共同作業できるようになります。このトピックでは、ワークスペースで実行できる基本操作について説明します。
前提条件
Alibaba Cloud アカウントを登録し、実名検証を完了していること。
ワークスペースの作成に使用するアカウントに必要な権限が付与されていること。
Alibaba Cloud アカウントを使用してワークスペースを作成する場合、詳細については、「Alibaba Cloud アカウントへのロールの割り当て」をご参照ください。
Resource Access Management (RAM) ユーザーまたは RAM ロールを使用してワークスペースを作成する場合は、AliyunEMRServerlessSparkFullAccess、AliyunOSSFullAccess、および AliyunDLFFullAccess アクセスポリシーが RAM ユーザーまたは RAM ロールにアタッチされていることを確認してください。次に、EMR Serverless Spark の [リソースアクセス管理] ページで RAM ユーザーまたは RAM ロールを追加し、管理者ロールを付与します。詳細については、「RAM ユーザーへの権限付与」および「ユーザーとロールの管理」をご参照ください。
Data Lake Formation (DLF) が有効化されていること。詳細については、「クイックスタート」をご参照ください。サポートされているリージョンの一覧については、「リージョンとエンドポイント」をご参照ください。
Object Storage Service (OSS) が有効化され、バケットが作成されていること。詳細については、「OSS の有効化」および「バケットの作成」をご参照ください。
ワークスペースの作成
EMR Serverless Spark のワークスペースページに移動します。
E-MapReduce コンソールにログインします。
左側のナビゲーションウィンドウで、 を選択します。
Spark ページで、[ワークスペースの作成] をクリックします。
[ワークスペースの作成] ダイアログボックスで、パラメーターを設定します。
パラメーター
説明
リージョン
データセンターが配置されているリージョン。データが格納されているリージョンを選択することをお勧めします。ワークスペースの作成後にリージョンを変更することはできません。
課金方法
[サブスクリプション] と [従量課金] の課金方法がサポートされています。
ワークスペース名
名前は 1~64 文字で、漢字、英字、数字、ハイフン (-)、アンダースコア (_) のみ使用できます。
説明同じ Alibaba Cloud アカウント内のワークスペース名は一意である必要があります。既存のワークスペースの名前を入力すると、別の名前を入力するように求めるプロンプトが表示されます。
最大クォータ
ワークスペース内のジョブを処理するために同時に使用できる計算ユニット (CU) の最大数。
ワークスペースディレクトリ
ジョブログ、実行イベント、リソースなどのデータファイルを格納するために使用される OSS バケットのパス。O&M 中に準リアルタイムの増分ログを表示するには、HDFS サービスが有効になっているバケットを使用することをお勧めします。
メタデータストレージ用の DLF
メタデータの格納と管理に使用されます。ワークスペースに関連付けるデータカタログの ID を選択します。次のステップを実行してデータカタログを作成することもできます。
[カタログの作成] をクリックします。表示されるダイアログボックスで、[カタログ ID] を入力し、[OK] をクリックします。
ドロップダウンリストから、作成したデータカタログを選択します。
説明ワークスペースを作成した後、既存の DLF データカタログをワークスペースに追加できます。詳細については、「データカタログ」をご参照ください。
実行ロール
EMR Serverless Spark がジョブの実行に使用するロールの名前。デフォルトのロールは AliyunEMRSparkJobRunDefaultRole です。
EMR Spark はこのロールを使用して、OSS や DLF などの他のクラウドプロダクトのリソースにアクセスします。実行ロールの権限を制御したい場合は、カスタム実行ロールを使用できます。詳細については、「実行ロール」をご参照ください。
詳細設定
タグ: タグはクラウドリソースを識別するために使用されます。タグを使用して、異なるディメンションから同じ特性を持つクラウドリソースを分類、検索、集約できます。これにより、リソース管理の効率が向上します。各ワークスペースには最大 20 個のタグをアタッチできます。各タグは、多様な管理ニーズを満たすために、カスタムのタグキーとタグ値で構成されます。タグは、コスト配分や従量課金リソースの詳細な管理にも使用できます。
ワークスペースの作成時にタグをアタッチしたり、ワークスペースの作成後にいつでもワークスペースリストページでタグを追加または変更したりできます。リソースにタグをアタッチすることで、リソースの分類と運用の最適化を簡単に実装できます。
[ワークスペースの作成] をクリックします。
ワークスペースの削除
ワークスペースを削除する前に、実行中のジョブがないことを確認してください。ワークスペースでジョブが実行中の場合、システムはエラーを報告し、ワークスペースを削除する前にジョブを停止するように促します。
ワークスペースが削除されると、ジョブやデータを含むそのリソースはリリースされ、復元できなくなります。したがって、データ損失を防ぐために、ワークスペースを削除する前にジョブスクリプトをバックアップする必要があります。
OSS や HDFS 上のログなど、ワークスペースに関連付けられたデータは、ワークスペースが破棄されても削除されません。
ワークスペースを削除する手順は、課金方法によって異なります。
サブスクリプション: まず、サブスクリプションクォータの注文をサブスクライブ解除する必要があります。サブスクライブ解除後、対応するワークスペースが削除されます。詳細については、「サブスクリプション解除ポリシー」をご参照ください。
従量課金:
Spark ページで、目的のワークスペースを見つけ、[操作] 列の [削除] をクリックします。
表示されるダイアログボックスで、操作を確認するためにワークスペースの名前を入力し、[OK] をクリックします。
サブスクリプションクォータの調整
サブスクリプションワークスペースを作成し、ビジネスニーズに合わせて計算ユニット (CU) クォータを調整したい場合は、クォータをスペックアップまたはスペックダウンできます。
Spark ページで、対象のワークスペースを見つけ、[操作] 列で または [サブスクリプションクォータのスペックダウン] を選択します。
[EMR Serverless Spark 予約済みリソース | スペックアップ/スペックダウン] ページで、[CU クォータ] パラメーターを調整します。システムは自動的に価格差を計算して表示します。
変更を確認したら、[今すぐ購入] をクリックします。
従量課金クォータの変更
Spark ページで、対象のワークスペースの [操作] 列にある を選択します。
表示されるダイアログボックスで、[最大従量課金クォータ (CU)] パラメーターを調整し、[OK] をクリックします。
関連ドキュメント
共同開発のために RAM ユーザーをワークスペースに追加するには、リソースアクセス管理機能を使用してユーザーをインポートし、ロールと権限を割り当てることができます。詳細については、「ユーザーとロールの管理」をご参照ください。
リソースの隔離と管理が必要な場合は、キューを追加できます。詳細については、「リソースキューの管理」をご参照ください。
> [サブスクリプションクォータのスペックアップ]
> [従量課金クォータの変更]