管理Spark配置模板 - E-MapReduce

Spark配置模板用於定義全域預設配置，支援建立、編輯和管理工作運行所需的參數。通過集中維護 Spark 配置資訊，確保任務執行的一致性和靈活性，同時支援動態更新以滿足多樣化業務需求。

前提條件

已建立工作空間，詳情請參見管理工作空間。

建立配置模板

進入組態管理頁面。
1. 登入E-MapReduce控制台。
2. 在左側導覽列，選擇EMR Serverless > Spark。
3. 在Spark頁面，單擊目標工作空間的名稱。
4. 在EMR Serverless Spark頁面，單擊左側導覽列中的組態管理。
在Spark 配置模板頁面，單擊建立模板。

在建立配置模板頁面，配置以下參數，單擊建立。

參數	說明
模板名稱	您可以自訂。
引擎版本	當前Compute使用的引擎版本。引擎版本號碼含義等詳情請參見引擎版本介紹。
逾時時間	任務的最大完成時間。說明提交任務時，可通過設定 `spark.emr.serverless.jr.timeout=-1` 覆蓋模板逾時配置，使任務無時間限制。
spark.driver.cores	用於指定Spark應用程式中Driver進程所使用的CPU核心數量。
spark.driver.memory	用於指定Spark應用程式中Driver進程可以使用的記憶體量。
spark.executor.cores	用於指定每個Executor進程可以使用的CPU核心數量。
spark.executor.memory	用於指定每個Executor進程可以使用的記憶體量。
spark.executor.instances	Spark分配的執行器（Executor）數量。
動態資源分派	預設關閉。開啟後，需要配置以下參數： executors數量下限：預設為2。 executors數量上限：如果未設定spark.executor.instances，則預設值為10。
更多記憶體配置	spark.driver.memoryOverhead：每個Driver可利用的非堆記憶體。如果未設定該參數，Spark會根據預設值自動分配，預設值為 `max（384MB, 10% × spark.driver.memory）`。 spark.executor.memoryOverhead：每個Executor可利用的非堆記憶體。如果未設定該參數，Spark會根據預設值自動分配，預設值為 `max（384MB, 10% × spark.executor.memory）`。 spark.memory.offHeap.size：Spark可用的堆外記憶體大小。預設值為1 GB。僅在`spark.memory.offHeap.enabled`設定為`true`時生效。預設情況下，當採用Fusion Engine時，該功能將處於啟用狀態，其非堆記憶體預設設定為1 GB。
Spark配置	填寫Spark配置資訊，預設以空格符分隔，例如，`spark.sql.catalog.paimon.metastore dlf`。 Serverless Spark提供了多個內建特有參數，您可以通過Spark Conf自訂參數列表查看這些參數的名稱、描述和使用情境。

配置模板建立後，您可以通過單擊操作列中的編輯或刪除，以修改或移除配置模板。

使用配置模板

通過資料開發載入配置

在進行批/流資料開發時，您可以通過設定從模板載入配置參數，直接使用已建立的配置模板。系統會自動載入所選模板中的配置參數，無需手動輸入，從而簡化配置流程並確保一致性。

通過spark-submit工具載入配置

使用spark-submit提交任務時，支援通過在--conf中指定spark.emr.serverless.templateId參數來指定模板ID。系統會根據指定的模板ID自動載入對應的配置參數，並將其作為Spark應用程式的預設參數。

樣本如下所示。

spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn \
  --conf spark.emr.serverless.templateId=<template_id> \
  /path/to/your/spark-job.jar

其中，<template_id>為模板ID，您可以在Spark 配置模板頁面擷取。

通過Livy Gateway載入配置

在建立Livy Gateway時，您可以通過建立 Livy Gateway頁面右上方設定從模板載入配置參數，直接使用已建立的配置模板。系統會自動載入所選模板中的配置參數，無需手動輸入，從而簡化配置流程並確保一致性。

通過Kyuubi Gateway載入配置

在建立Kyuubi Gateway時，您可以通過建立 Kyuubi Gateway頁面右上方設定從模板載入配置參數，直接使用已建立的配置模板。系統會自動載入所選模板中的配置參數，無需手動輸入，從而簡化配置流程並確保一致性。

恢複為預設配置

當您需要將某個配置模板的參數重設為系統初始的預設值時，可按以下步驟操作：

在Spark 配置模板頁簽，單擊操作列的編輯。
在編輯配置模板，單擊最下方的恢複為預設配置，然後單擊儲存更改。

更改預設範本

當您需要切換到一個新的配置模板作為預設範本時，可按以下步驟操作：

在Spark 配置模板頁面，單擊操作列的置為預設。
在彈出的對話方塊中，單擊確定。