E-MapReduce:SparkConf のカスタム パラメーター

パラメーター

説明

シナリオ

spark.emr.serverless.user.defined.jars

アップロードされた JAR パッケージを EMR Serverless Spark のドライバーとエグゼキュータの ClassPath に追加します。

• サポートされているエンジンバージョン:

  • esr-4.x: esr-4.1.0 以降

  • esr-3.x: esr-3.1.0 以降

  • esr-2.x: esr-2.5.0 以降

• アップロード方法:

  • esr-4.2.0、esr-3.2.0、または esr-2.6.0 以降:

    • Serverless Spark の [ファイル] にアップロードします。詳細については、「ファイルとファイルディレクトリを管理する」をご参照ください。

      ファイルアドレスを取得するには、[管理対象ファイルディレクトリ] タブの対象ファイルの [アクション] 列で [アドレスをコピー] をクリックします。

    • Alibaba Cloud Object Storage Service (OSS) にアップロードします。アップロード手順については、「シンプルアップロード」をご参照ください。パス形式は oss://path/to/file1.jar,oss://path/to/file2.jar です。

  • esr-4.2.0、esr-3.2.0、または esr-2.6.0 より前のバージョンでは、OSS へのアップロードのみがサポートされています。アップロード手順については、「シンプルアップロード」をご参照ください。パス形式は oss://path/to/file1.jar,oss://path/to/file2.jar です。

バッチ ジョブを開発し、spark-submit または Airflow Serverless Spark Operator を使用して Spark タスクを送信するか、セッションを作成します。

spark.emr.serverless.fusion

Livy を使用して開始されたセッションまたはバッチジョブに対して Fusion エンジンを有効にするかどうかを指定します。有効な値:

• false (デフォルト): 無効。

• true: 有効。

ジョブまたはセッションの Spark 構成に基づいて、Fusion エンジンを有効にするかどうかを決定できます。

spark.emr.serverless.environmentId

ランタイム環境 ID。計算リソースのランタイム環境を構成するために使用されます。

Airflow または spark-submit を使用して Spark ジョブを送信します。 デフォルトでは、サードパーティの依存関係ライブラリがインストールされています。 詳細については、「ランタイム環境の管理」をご参照ください。

spark.emr.serverless.network.service.name

ネットワーク接続名。計算リソースが EMR Serverless Spark を他の仮想プライベートクラウド (VPC) のデータソースに接続するように構成するために使用されます。

他の VPC のデータ ソースに EMR Serverless Spark がアクセスできるようにします。

spark.emr.serverless.excludedModules

EMR Serverless Spark の組み込みライブラリを削除します。

• サポートされているエンジンバージョン:

  • esr-4.x: esr-4.3.0 以降

  • esr-3.x: esr-3.3.0 以降

  • esr-2.x: esr-2.7.0 以降

• 削除がサポートされているコンポーネントライブラリ (複数のコンポーネントはコンマで区切る): paimon、hudi、iceberg、delta、celeborn、dlf、fusion、jindo、odps、mysql、doctor。

通常、カスタム JAR パッケージを使用する必要があるシナリオで使用されます。 EMR Serverless Spark コンソール、spark-submit、バッチジョブ、Airflow Serverless Spark Operator、Kyuubi、または Livy を介して Spark ジョブを送信する場合、またはセッションを作成する場合は、組み込みライブラリを削除します。

spark.emr.serverless.kyuu

bi.engine.queue

ワークスペースキュー名。Kyuubi によって開始された Spark アプリケーションのキューを構成するために使用されます。

このパラメーターは、Kyuubi 構成セクションで設定するか、接続を確立するときに JDBC URL で指定できます。

spark.emr.serverless.templateId

ワークスペーステンプレートを Spark アプリケーションのデフォルト構成として使用します。

templateId を取得するには、[オペレーションセンター] > [構成] > [タスクテンプレート] に移動します。

このパラメーターは、Spark Submit ツールを使用する場合にのみサポートされます。