DataWorks:EMR Serverless Spark リソースの関連付け

前提条件

• EMR Serverless Spark ワークスペースを作成済みであること。

• DataWorks ワークスペースを作成済みであること。ご利用の RAM ユーザーには、ワークスペースのワークスペース管理者ロールが必要です。

  重要

  新しいバージョンのData Development (Data Studio) を使用する が選択されているワークスペースのみがサポートされます。

• サーバーレスリソースグループを使用し、ターゲットの DataWorks ワークスペースに関連付けていること。

制限事項

• サポート対象リージョン：中国 (杭州)、中国 (上海)、中国 (北京)、中国 (深セン)、中国 (成都)、中国 (香港)、日本 (東京)、シンガポール、インドネシア (ジャカルタ)、ドイツ (フランクフルト)、米国 (シリコンバレー)、および米国 (バージニア)。

• 権限：

  ユーザー/ロール	必要な権限
  Alibaba Cloud アカウント	追加の権限は必要ありません。
  RAM ユーザーまたは RAM ロール	DataWorks の管理権限：O&M またはワークスペース管理者ロールを持つワークスペースメンバー、あるいは AliyunDataWorksFullAccess ポリシーを持つメンバーのみがコンピューティングリソースを作成できます。権限付与の詳細については、「ユーザーへのワークスペース管理者ロールの付与」をご参照ください。 EMR Serverless Spark サービスの権限： AliyunEMRServerlessSparkFullAccess ポリシー。 EMR Serverless Spark ワークスペースの Owner 権限。詳細については、「ユーザーとロールの管理」をご参照ください。

コンピューティングリソースリストページへの移動

1. DataWorks コンソールにログインします。左側のナビゲーションウィンドウで、対象のリージョンに切り替え、More > 管理センター をクリックします。ドロップダウンリストからワークスペースを選択し、Go to Management Center をクリックします。

2. 左側のナビゲーションウィンドウで Computing Resources をクリックして、コンピューティングリソースリストページを開きます。

サーバーレス Spark リソースの関連付け

[コンピューティングリソース] ページで、サーバーレス Spark コンピューティングリソースを設定して関連付けます。

1. 関連付けるコンピューティングリソースのタイプを選択します。

   1. コンピューティングリソースのバインド をクリックして、コンピューティングリソースのバインド ページを開きます。

   2. コンピューティングリソースのバインド ページで、コンピューティングリソースタイプとして [サーバーレス Spark] を選択します。これにより、Serverless Sparkコンピューティングリソースのバインド 設定ページが開きます。

2. サーバーレス Spark コンピューティングリソースを設定します。

   Serverless Sparkコンピューティングリソースのバインド 設定ページで、次の表の説明に従ってパラメーターを設定します。

   パラメーター	説明
   Spark工作空间	関連付ける Spark ワークスペースを選択します。ドロップダウンリストの Create をクリックして、Spark ワークスペースを作成することもできます。
   デフォルトのエンジンバージョン	使用するエンジンバージョンを選択します。 Data Studio で EMR Spark タスクを作成すると、このエンジンバージョンがデフォルトで使用されます。 特定のタスクに異なるエンジンバージョンを使用するには、Spark タスクエディターの詳細設定で設定できます。
   デフォルトのリソースキュー	使用するリソースキューを選択します。ドロップダウンリストの Create をクリックして、キューを追加することもできます。 Data Studio で EMR Spark タスクを作成すると、このリソースキューがデフォルトで使用されます。 特定のタスクに異なるリソースキューを使用するには、Spark タスクエディターの詳細設定で設定できます。
   デフォルトのKyuubiゲートウェイ	任意。Kyuubi ゲートウェイの設定は、以下のタスクの実行方法に影響します： Kyuubi ゲートウェイを設定した場合： 関連するすべてのタスク (EMR Spark SQL/Kyuubi、Serverless Spark SQL/Kyuubi) は Kyuubi ゲートウェイ経由で実行されます。 Kyuubi ゲートウェイを設定しない場合： EMR Spark SQL および Serverless Spark SQL タスクは spark-submit を使用して実行されます。 EMR Kyuubi および Serverless Kyuubi タスクは実行に失敗します。 ゲートウェイを設定するには、[EMR Serverless Spark コンソール] > [オペレーションセンター] > [ゲートウェイ] > [Kyuubi ゲートウェイ] に移動し、Kyuubi ゲートウェイを作成し、トークンを作成します。 Kerberos が有効でない場合：Kyuubi ゲートウェイの名前をクリックして JDBC URL とトークンを取得し、それらを連結して完全な URL を作成します。 Kerberos が有効な場合：設定された Kerberos 情報に基づいて Beeline URL を取得します。詳細については、「Kyuubi ゲートウェイでの Kerberos の使用」をご参照ください。 # 通常の URL の例 jdbc:hive2://kyuubi-cn-hangzhou-internal.spark.emr.aliyuncs.com:80/;transportMode=http;httpPath=cliservice/token/<token> # Kerberos が有効なクラスターの URL の例 (Kyuubi サービスのプリンシパルを必ず含めてください) jdbc:hive2://ep-xxxxxxxxxxx.epsrv-xxxxxxxxxxx.cn-hangzhou.privatelink.aliyuncs.com:10009/;principal=kyuubi/_HOST@EMR.C-DFD43*****7C204.COM
   Default Access Identity	EMR Serverless Spark ワークスペースへのアクセスに使用される ID を指定します。 開発環境：Executor ID のみがサポートされます。 本番環境：Alibaba Cloud アカウント、Alibaba Cloud RAM Sub-account、および Task Owner を使用できます。
   Computeリソースインスタンス名	コンピューティングリソースを識別します。ランタイム時に、インスタンス名を使用してタスクのコンピューティングリソースが選択されます。

3. Confirm をクリックして、サーバーレス Spark コンピューティングリソースの設定を完了します。

グローバル Spark パラメーターの設定

DataWorks では、ワークスペースレベルで各モジュールの Spark パラメーターを指定し、Data Studio などの特定のモジュール内でグローバルパラメーターがローカルパラメーターよりも優先されるかどうかを設定できます。設定後、タスクはデフォルトで対応する Spark パラメーターを使用します。次の表に、パラメーターの設定方法を説明します。

クラスターアカウントマッピングの設定

DataWorks メンバーのクラウドアカウントを EMR クラスター内の指定された ID に手動でマッピングします。これにより、メンバーはマッピングされたクラスター ID を使用して EMR Serverless Spark タスクを実行できます。

1. [コンピューティングリソース] ページに移動し、関連付けたサーバーレス Spark コンピューティングリソースを見つけます。

2. アカウントマッピング をクリックして、[アカウントマッピング] パラメーター設定ペインに移動します。

3. [アカウントマッピングの編集] をクリックして、クラスターアカウントマッピングを設定します。選択した マッピングタイプ に基づいてパラメーターを設定できます。

   マッピングタイプ	ランタイムの説明	設定の詳細
   システムアカウントマッピング	コンピューティングリソースの基本情報にある Default Access Identity と同じ名前のクラスターアカウントを使用して、EMR Spark、EMR Spark SQL、EMR Kyuubi、および Notebook ノードタスクを実行します。	デフォルトでは、同名マッピングが使用されます。異なるアカウントマッピングを使用する必要がある場合は、手動で設定できます。
   OpenLDAP アカウントマッピング	コンピューティングリソースの基本情報にある Default Access Identity を使用して、EMR Spark および EMR Spark SQL タスクを実行します。 コンピューティングリソースの基本情報にあるデフォルトのアクセス ID にマッピングされた OpenLDAP アカウントを使用して、EMR Kyuubi および Notebook ノードタスクを実行します。	Kyuubi ゲートウェイの LDAP 認証を設定および有効化している場合、対応するタスクを実行するには、クラウドアカウント と OpenLDAP アカウント (LDAPアカウント、LDAP Password) の間のマッピングを設定する必要があります。 重要 DataWorks タスクの実行に必要なクラウドアカウントがアカウントマッピングリストにない場合、タスクが失敗することがあります。
   Kerberos アカウントマッピング	コンピューティングリソースの基本情報にある Default Access Identity を使用して、EMR Spark および EMR Spark SQL タスクを実行します。 コンピューティングリソースの基本情報にあるデフォルトのアクセス ID にマッピングされた Kerberos アカウントを使用して、EMR Kyuubi ノードタスクを実行します。	EMR Serverless Spark クラスターに設定された Kerberos サービスの krb5.conf ファイルをアップロードする必要があります。 デフォルトのアクセス ID として指定されたクラウドアカウントに対して、Kerberos 認証に必要なプリンシパルと keytab を設定します。

4. [OK] をクリックして、クラスターアカウントマッピングの設定を完了します。

次のステップ

サーバーレス Spark コンピューティングリソースを設定した後、このコンピューティングリソースを使用して Data Studio でノードタスクを開発できます。詳細については、「EMR Spark ノード」、「EMR Spark SQL ノード」、「EMR Spark Streaming ノード」、「EMR Kyuubi ノード」、「Serverless Spark バッチノード」、「Serverless Spark SQL ノード」、および「Serverless Kyuubi ノード」をご参照ください。