すべてのプロダクト
Search

このプロダクト

    DataWorks:EMR Serverless Spark コンピューティングリソースの関連付け

    ドキュメントセンター

    DataWorks:EMR Serverless Spark コンピューティングリソースの関連付け

    最終更新日:Jul 18, 2026

    DataWorks で EMR Serverless Spark タスクを開発・管理できるように、ご利用の EMR Serverless Spark ワークスペースを DataWorks のサーバーレス Spark コンピューティングリソースとして関連付けます。

    前提条件

    • EMR Serverless Spark ワークスペースが作成されています。

    • DataWorks ワークスペース が作成済みである必要があります。これらの操作を実行する RAM ユーザーは、ワークスペースのメンバーであり、かつ Workspace Administrator ロールを付与されている必要があります。

      重要

      データ開発 (DataStudio) (新版) パブリックプレビューへの参加 ワークスペースのみがサポートされます。

    • サーバーレスリソースグループ が対象の DataWorks ワークスペースに関連付けられている必要があります。

    制限事項

    • リージョンの制限：中国 (杭州)、中国 (上海)、中国 (北京)、中国 (深セン)、中国 (成都)、中国 (香港)、日本 (東京)、シンガポール、インドネシア (ジャカルタ)、ドイツ (フランクフルト)、米国 (シリコンバレー)、および米国 (バージニア)。

    • 権限の制限：

      操作者

      必要な権限

      Alibaba Cloud アカウント

      追加の権限は不要です。

      RAM ユーザー/RAM ロール

      • DataWorks 管理権限：O&M および Workspace Administrator ロールを持つワークスペースメンバー、または AliyunDataWorksFullAccess ポリシーを付与されたユーザーのみが、コンピューティングリソースを作成できます。詳細については、「ユーザーに Workspace Administrator 権限を付与する」をご参照ください。

      • EMR Serverless Spark サービス権限：

        • AliyunEMRServerlessSparkFullAccess ポリシー。

        • EMR Serverless Spark ワークスペースに対する Owner 権限。詳細については、「ユーザーとロールの管理」をご参照ください。

    コンピューティングリソース一覧ページへの移動

    1. DataWorks コンソール にログインします。左側のナビゲーションウィンドウで対象のリージョンに切り替え、もっと見る > 管理センター をクリックします。ドロップダウンリストからご利用のワークスペースを選択し、管理センターへ をクリックします。

    2. 左側のナビゲーションウィンドウで、計算リソース をクリックして、コンピューティングリソース一覧ページを開きます。

    サーバーレス Spark コンピューティングリソースの関連付け

    コンピューティングリソース一覧ページ で、サーバーレス Spark コンピューティングリソースを構成・バインドします。

    1. 関連付けるコンピューティングリソースのタイプを選択します。

      1. 計算リソースのアタッチ をクリックして、計算リソースのアタッチ ページに移動します。

      2. 計算リソースのアタッチ ページで、コンピューティングリソースタイプとして Serverless Spark を選択し、Serverless Spark 計算リソースのアタッチ 構成ページを開きます。

    2. サーバーレス Spark コンピューティングリソースを構成します。

      Serverless Spark 計算リソースのアタッチ 構成ページで、以下のパラメーターを設定します。

      パラメーター

      説明

      Spark ワークスペース

      関連付ける Spark ワークスペースを選択します。ドロップダウンリスト内の 新規作成 をクリックして、Spark ワークスペースを作成することもできます。

      デフォルトデータベースエンジンバージョン

      使用するエンジンバージョンを選択します。

      • Data Studio で EMR Spark タスクを作成する際、このエンジンバージョンがデフォルトで使用されます。

      • タスクごとに異なるエンジンバージョンを設定する場合は、Spark タスク編集ウィンドウの詳細設定でバージョンを指定してください。

      デフォルトリソースキュー

      使用するリソースキューを選択します。ドロップダウンリストで 新規作成 をクリックして、キューを追加することもできます。

      • Data Studio で EMR Spark タスクを作成する際、このリソースキューがデフォルトで使用されます。

      • タスクごとに異なるリソースキューを設定する場合は、Spark タスク編集ウィンドウの詳細設定でキューを指定してください。

      デフォルト Kyuubi Gateway

      オプションです。Kyuubi Gateway の構成により、以下のタスクの実行方法が決まります。

      • Kyuubi Gateway が構成されている場合：

        • 関連するすべてのタスク (EMR Spark SQL/Kyuubi および Serverless Spark SQL/Kyuubi) は Kyuubi Gateway 経由で実行されます。

      • Kyuubi Gateway が構成されていない場合：

        • EMR Spark SQL および Serverless Spark SQL タスクは spark-submit を使用して実行されます。

        • EMR Kyuubi および Serverless Kyuubi タスクは実行に失敗します。

      ゲートウェイを設定するには、Kyuubi ゲートウェイを作成し、トークンを[EMR Serverless Spark コンソール] > [オペレーションセンター] > [ゲートウェイ] > [Kyuubi ゲートウェイ]で作成します。

      • Kerberos が有効でない場合：Kyuubi Gateway の名前をクリックして JDBC URL およびトークンを取得し、これらを組み合わせて完全な接続文字列を生成します。

      • Kerberos が有効な場合：Kerberos 構成に基づいて Beeline 接続文字列を取得します。詳細については、「Kyuubi Gateway での Kerberos の使用」をご参照ください。

        # 標準的な接続文字列の例
jdbc:hive2://kyuubi-cn-hangzhou-internal.spark.emr.aliyuncs.com:80/;transportMode=http;httpPath=cliservice/token/<token>
# Kerberos が有効なクラスターの接続文字列の例。Kyuubi サービスのプリンシパルを必ず含めてください。
jdbc:hive2://ep-xxxxxxxxxxx.epsrv-xxxxxxxxxxx.cn-hangzhou.privatelink.aliyuncs.com:10009/;principal=kyuubi/_HOST@EMR.C-DFD43*****7C204.COM

      デフォルトアクセス主体

      DataWorks からこの Spark ワークスペースにアクセスする際に使用される ID です。

      • 開発環境： Executor ID のみがサポートされます。

      • 本番環境： Alibaba Cloud アカウント、Alibaba Cloud RAM Sub-account、および タスクの所有者 ID がサポートされます。

      計算リソースインスタンス名

      コンピューティングリソースの識別子です。ランタイムでは、タスクがこの名前を使用してリソースを選択します。

    3. OK をクリックして、サーバーレス Spark コンピューティングリソースの構成を完了します。

    グローバル Spark パラメーターの構成

    ワークスペースレベルで各モジュール向けの Spark パラメーターを構成し、グローバルパラメーターがモジュール固有の設定より優先されるかどうかを制御できます。構成後、タスクは指定された Spark パラメーターをデフォルトで使用します。

    スコープ

    構成方法

    グローバル構成

    ワークスペースレベルで EMR タスクを実行するモジュール向けのグローバル Spark パラメーターを構成し、モジュール固有のパラメーターよりも優先度を設定できます。詳細については、「グローバル SPARK パラメーターの構成」をご参照ください。

    単一ノード

    Data Studio では、ノード編集ページで個別のノードタスク向けに特定の Spark プロパティを設定できます。他のプロダクトモジュールでは、モジュール内で Spark プロパティを設定することはできません。

    権限管理

    以下のロールを持つユーザーのみが、グローバル Spark パラメーターを構成できます。

    • Alibaba Cloud アカウント

    • AliyunDataWorksFullAccess ポリシーを付与された RAM ユーザーまたは RAM ロール

    • Workspace Administrator ロールを持つ RAM ユーザー

    グローバル Spark パラメーターの構成

    以下の手順でグローバル Spark パラメーターを構成します。サーバーレス Spark コンピューティングリソース向けの Spark パラメーターの詳細については、「ジョブ構成の概要」をご参照ください。

    1. コンピューティングリソース一覧ページ に移動し、関連付けたサーバーレス Spark コンピューティングリソースを見つけます。

    2. Spark パラメーター をクリックして構成ペインを開き、グローバル Spark パラメーター設定を表示します。

    3. グローバル Spark パラメーターを設定します。

      Spark パラメーター ページの右上隅で、Spark のパラメーターの編集 をクリックして、各モジュール向けのグローバル Spark パラメーターおよび優先度を構成します。

      説明

      これはワークスペースレベルの構成です。続行する前に、正しいワークスペースが選択されていることを確認してください。

      パラメーター

      手順

      Spark プロパティ

      サーバーレス Spark タスクを実行するための Spark プロパティを構成します。

      • 下部の 追加 をクリックし、Spark プロパティ名 および対応する Spark プロパティ値 を入力して、Spark プロパティ情報を設定します。

      • サポートされている Spark プロパティパラメーターの詳細については、「Spark Configuration および カスタム Spark Conf パラメーターの一覧」をご参照ください。

      グローバル設定を優先

      このオプションを選択すると、グローバル構成がプロダクトモジュール内の構成をオーバーライドします。この場合、タスクはグローバル Spark プロパティに基づいて実行されます。

      • グローバル構成： 管理センター > 計算リソース 内のサーバーレス Spark コンピューティングリソースの Spark パラメーター ページで構成された Spark プロパティを指します。

        現在、Data Studio、オペレーションセンター、およびデータ分析向けにのみグローバル Spark パラメーターを設定できます。

      • プロダクトモジュール内の構成：

        • Data Studio：EMR Spark、EMR Kyuubi、EMR Spark SQL、EMR Spark Streaming、Serverless Spark Batch、Serverless Spark SQL、および Serverless Kyuubi ノードでは、ノード編集ページの デバッグの構成 または スケジューリング設定 タブの Spark パラメーター セクションで、個別のノードタスク向けに Spark プロパティを設定できます。

        • その他のプロダクトモジュール：モジュール内で Spark プロパティを設定することはできません。

    4. OK をクリックして、構成したグローバル Spark パラメーターを保存します。

    クラスターアカウントマッピングの設定

    DataWorks メンバーの Alibaba Cloud アカウントと EMR クラスター内の ID アカウントとのマッピングを構成します。これにより、メンバーはマッピングされたクラスター ID を使用して EMR Serverless Spark タスクを実行できます。

    重要

    この機能は サーバーレスリソースグループ のみで利用可能です。2025 年 8 月 15 日より前にサーバーレスリソースグループをご購入済みで、この機能を利用したい場合は、チケットを送信してリソースグループをスペックアップする必要があります。

    1. コンピューティングリソース一覧ページ に移動し、関連付けたサーバーレス Spark コンピューティングリソースを見つけます。

    2. アカウントマッピング をクリックして、アカウントマッピング 構成ペインに移動します。

    3. アカウントマッピングの編集 をクリックして、クラスター アカウントマッピング情報を構成します。マッピングタイプ に応じて関連パラメーターを設定できます。

      アカウント マッピングタイプ

      タスク実行

      構成

      システムアカウントマッピング

      EMR Spark、EMR Spark SQL、EMR Kyuubi、および個人開発環境で開発されたノートブックタスク を、コンピューティングリソースの基本情報で指定された デフォルトアクセス主体 と同じ名前のクラスターアカウントを使用して実行します。

      デフォルトでは、同一名マッピングが使用されます。異なるアカウントマッピングを使用する場合は、手動でアカウントを構成してください。

      OpenLDAP アカウントマッピング

      コンピューティングリソースの基本情報で指定された デフォルトアクセス主体 を使用して、EMR Spark および EMR Spark SQL タスクを実行します。

      コンピューティングリソースの基本情報でデフォルトアクセス ID にマッピングされた OpenLDAP アカウントを使用して、EMR Kyuubi および 個人開発環境で開発されたノートブックタスク を実行します。

      Kyuubi Gateway 用に LDAP 認証を構成・有効化 している場合は、関連タスクを実行するために、Alibaba Cloud アカウント と OpenLDAP アカウント (LDAP アカウント および LDAP パスワード) 間のマッピングを構成する必要があります。

      重要

      必要な Alibaba Cloud アカウントがマッピングリストに存在しない場合、タスクが失敗する可能性があります。

      Kerberos アカウントマッピング

      コンピューティングリソースの基本情報で指定された デフォルトアクセス主体 を使用して、EMR Spark および EMR Spark SQL タスクを実行します。

      コンピューティングリソースの基本情報でデフォルトアクセス ID にマッピングされた Kerberos アカウントを使用して、EMR Kyuubi ノードタスクを実行します。

      1. EMR Serverless Spark クラスター向けに構成された Kerberos サービスの krb5.conf ファイルをアップロードする必要があります。

      2. デフォルトアクセス ID として指定された Alibaba Cloud アカウントについて、Kerberos 認証に必要なプリンシパルおよび keytab を構成する必要があります。

    4. 確認 をクリックして、クラスター アカウントマッピングの構成を完了します。

    次のステップ

    サーバーレス Spark コンピューティングリソースの構成が完了したら、Data Studio でノードタスクを開発するために使用できます。詳細については、「EMR Spark ノード」、「EMR Spark SQL ノード」、「EMR Spark Streaming ノード」、「EMR Kyuubi ノード」、「Serverless Spark Batch ノード」、「Serverless Spark SQL ノード」、および「Serverless Kyuubi ノード」をご参照ください。