E-MapReduce：Spark Conf自訂參數列表

參數名

參數描述

適用情境

spark.emr.serverless.user.defined.jars

將上傳的JAR包添加至Serverless Spark的Driver和Executor的ClassPath中。

• 支援的引擎版本：

  • esr-4.x：esr-4.1.0及之後版本。

  • esr-3.x：esr-3.1.0及之後版本。

  • esr-2.x：esr-2.5.0及之後版本。

• 上傳方式：

  • esr-4.2.0、esr-3.2.0或esr-2.6.0及之後版本：

    • 上傳至Serverless Spark的檔案管理，詳情請參見管理檔案。

      您可以在託管檔案目錄頁簽，單擊目標檔案操作列中的複製地址，以擷取指定儲存空間的地址。

    • 上傳至阿里雲OSS，上傳操作參見簡單上傳。

      路徑格式為oss://path/to/file1.jar,oss://path/to/file2.jar。

  • esr-4.2.0、esr-3.2.0或esr-2.6.0之前版本：僅支援上傳至阿里雲OSS，上傳操作參見簡單上傳。

    路徑格式為oss://path/to/file1.jar,oss://path/to/file2.jar。

通過Spark-Submit工具、批任務以及Airflow Serverless Spark Operator提交Spark任務時，或在建立會話資源時，可將儲存於OSS上的自訂JAR包添加至Spark Driver和Executor。

spark.emr.serverless.fusion

設定由Kyuubi和Livy啟動的會話或批處理任務是否啟用Fusion。取值如下：

• false（預設）：關閉。

• true：開啟。

支援通過任務或會話的Spark配置參數來決定是否啟用Fusion。

spark.emr.serverless.environmentId

運行環境ID，用於配置計算資源使用的運行環境。

通過Airflow和Spark-Submit工具提交Serverless Spark任務時，可以指定運行環境，預設安裝第三方依賴庫。

spark.emr.serverless.network.service.name

網路連接名稱，用於配置計算資源以實現與其他VPC內資料來源的網路互連。

在提交Serverless Spark任務時，可以添加網路連接，以支援訪問其他虛擬私人雲端（VPC）下的資料來源。

spark.emr.serverless.excludedModules

移除Serverless Spark內建的lib。

• esr-2.7.0、esr-3.3.0和esr-4.3.0及之後版本，支援移除paimon,hudi,iceberg,delta,celeborn,dlf,fusion,jindo,odps,mysql,doctor。

• esr-2.8.0 、esr-3.4.0 和 esr-4.4.0及之後版本新增支援移除kafka。

通常用於使用者需要使用自訂JAR包的情境。通過Serverless Spark控制台、Spark-Submit工具、批任務、Airflow  Serverless Spark Operator、Kyuubi、Livy提交Spark任務，或建立會話資源時，應移除Serverless Spark內建的庫。

spark.emr.serverless.kyuubi.engine.queue

工作空間隊列名稱，用於配置Kyuubi啟動的Spark Application所在的隊列。

支援在Kyuubi配置欄中進行設定，或在JDBC URL串連時指定。

spark.emr.serverless.jr.timeout

設定任務的最大運行時間長度（單位：秒），逾時後將自動終止該任務。預設值為空白，表示不設定逾時限制。

取值範圍為-1至2147483647的整數。其中，-1或0表示不設定逾時時間。

通過Serverless Spark控制台、Spark-Submit工具、批任務、Airflow Serverless Spark Operator提交任務時，設定任務逾時時間。

spark.emr.serverless.fusion.enabled

設定拉起的Serverless Spark引擎時，是否開啟Fusion。取值如下：

• false（預設）：關閉。

• true：開啟。

通過Serverless Spark控制台、Spark-Submit工具、批任務、Airflow Serverless Spark Operator提交任務時，設定是否開啟Fusion加速。

spark.emr.serverless.mount.nas.enabled

設定是否啟用 NAS 目錄掛載至 Spark Driver。掛載後還需要通過spark.emr.serverless.mount.nas.volume指定掛載目錄。

• 支援的引擎版本：

  • esr-4.x：esr-4.7.0及之後版本。

  • esr-3.x：esr-3.6.0及之後版本。

• 取值範圍：

  • false（預設）：關閉。

  • true：開啟。

通過Serverless Spark控制台、Spark-Submit工具、批任務、Airflow Serverless Spark Operator提交任務時，設定是否掛載納管NAS檔案目錄至Spark Driver，開啟後Driver可以讀寫掛載的NAS檔案。

spark.emr.serverless.mount.nas.volume

指定待掛載的納管 NAS 目錄 ID。

支援的引擎版本：

• esr-4.x：esr-4.7.0及之後版本。

• esr-3.x：esr-3.6.0及之後版本。

通過Serverless Spark控制台、Spark-Submit工具、批任務、Airflow Serverless Spark Operator提交任務時，設定掛載指定納管NAS檔案目錄。

spark.emr.serverless.mount.nas.executor

設定是否啟用 NAS 目錄掛載至所有 Spark Executor。

• 支援的引擎版本：

  • esr-4.x：esr-4.7.0及之後版本。

  • esr-3.x：esr-3.6.0及之後版本。

• 取值範圍：

  • false（預設）：關閉。

  • true：開啟。

通過Serverless Spark控制台、Spark-Submit工具、批任務、Airflow Serverless Spark Operator提交任務時，設定是否掛載納管NAS檔案目錄至Spark Executor，開啟後Executor可以讀寫掛載的NAS檔案。

spark.emr.serverless.mount.oss.enabled

設定是否啟用 OSS 目錄掛載至 Spark Driver。

掛載後還需要通過spark.emr.serverless.mount.nas.volume指定掛載目錄。取值如下：

• false（預設）：關閉。

• true：開啟。

通過Serverless Spark控制台、Spark-Submit工具、批任務、Airflow Serverless Spark Operator提交任務時，設定是否掛載納管OSS檔案目錄至Spark Driver，開啟後Driver可以讀寫掛載的OSS檔案。

spark.emr.serverless.mount.oss.volume

指定待掛載的納管 OSS 目錄 ID。

通過Serverless Spark控制台、Spark-Submit工具、批任務、Airflow Serverless Spark Operator提交任務時，設定掛載指定納管OSS檔案目錄。

spark.emr.serverless.mount.oss.executor

設定是否啟用 OSS 目錄掛載至所有 Spark Executor。取值如下：

• false（預設）：關閉。

• true：開啟。

通過Serverless Spark控制台、Spark-Submit工具、批任務、Airflow Serverless Spark Operator提交任務時，設定是否掛載納管OSS檔案目錄至Spark Executor，開啟後Executor可以讀寫掛載的OSS檔案。

spark.emr.serverless.templateId

用於指定Spark Application的預設配置模板ID，通過引用預定義的工作空間模板，簡化任務提交時的參數配置。

模板ID可以在營運中心 > 組態管理 > Spark 配置模板頁面擷取。例如，TPL-2b3859f8c0c8439faddc22f223c8****。

僅支援Spark-Submit工具。

spark.emr.serverless.livy.config.mode

用於控制通過Livy Gateway提交Spark任務時，是否使用Livy Gateway配置的 spark-defaults.conf檔案中的配置資訊。

• 未設定該參數（預設行為） 提交Spark任務時會自動載入spark-defaults.conf檔案中的配置資訊，並將其應用到任務中。

• 設定為 ignore

  如果將該參數設定為ignore，則提交Spark任務時會忽略 spark-defaults.conf 檔案中的配置資訊。此時，任務僅使用您顯式指定的配置參數或預設的Spark配置。

當您需要完全自訂Spark任務的配置，可以將該參數設定為ignore。如果希望保留Livy Gateway的預設配置行為，則無需設定該參數。

spark.emr.serverless.tag.xxxx

Livy提交的批任務標籤，通過spark.emr.serverless.tag.<key> <value>的方式給任務打標籤。

通過使用該參數，可為Livy Gateway提交的Spark任務添加標籤，以便在後續的任務歷史中通過標籤對任務進行篩選。