會話是指EMR Serverless Spark工作空間中可用的Spark Session。您需要訪問SQL會話來運行SQL查詢和進行資料科學分析。 本文主要為您介紹如何建立SQL會話。
建立SQL會話
SQL會話建立完成後,您可以在建立SQL類型任務時選擇此會話。
進入會話管理頁面。
在左側導覽列,選擇。
在Spark頁面,單擊目標工作空間名稱。
在EMR Serverless Spark頁面,單擊左側導覽列中的會話管理。
在SQL會話頁面,單擊建立SQL會話。
在建立SQL會話頁面,配置以下資訊,單擊建立。
重要建議將所選部署隊列的並發上限至少設定為Notebook會話所需的資源大小,具體數值請以控制台展示為準。
參數
說明
名稱
建立SQL會話的名稱。
長度限制為1~64個字元,僅支援字母、數字、短劃線(-)、底線(_)和空格。
部署隊列
請選擇合適的開發隊列部署此SQL會話。僅支援選擇開發或者開發和生產共用的隊列。
隊列更多資訊,請參見管理資源隊列。
引擎版本
當前SQL會話使用的引擎版本。引擎版本號碼含義等詳情請參見引擎版本介紹。
使用Fusion加速
Fusion可加速Spark負載的運行並降低任務的總成本。有關計費資訊,請參見產品計費。有關Fusion引擎介紹,請參見Fusion引擎。
自動停止
預設開啟。支援您自訂設定SQL會話在不活動後的自動停止時間。
網路連接
選擇已建立的網路連接,以便直接存取VPC內的資料來源或外部服務。有關建立網路連接的具體操作,請參見EMR Serverless Spark與其他VPC間網路互連。
spark.driver.cores
用於指定Spark應用程式中Driver進程所使用的CPU核心數量。預設值為1 CPU。
spark.driver.memory
用於指定Spark應用程式中Driver進程可以使用的記憶體量。預設值為3.5 GB。
spark.executor.cores
用於指定每個Executor進程可以使用的CPU核心數量。預設值為1 CPU。
spark.executor.memory
用於指定每個Executor進程可以使用的記憶體量。預設值為3.5 GB。
spark.executor.instances
Spark分配的執行器(Executor)數量。預設值為2。
動態資源分派
預設關閉。開啟後,需要配置以下參數:
executors數量下限:預設為2。
executors數量上限:如果未設定spark.executor.instances,則預設值為10。
更多記憶體配置
spark.driver.memoryOverhead:每個Driver可利用的非堆記憶體。如果未設定該參數,Spark會根據預設值自動分配,預設值為
max(384MB, 10% × spark.driver.memory)。spark.executor.memoryOverhead:每個Executor可利用的非堆記憶體。如果未設定該參數,Spark會根據預設值自動分配,預設值為
max(384MB, 10% × spark.executor.memory)。spark.memory.offHeap.size:Spark可用的堆外記憶體大小。預設值為1 GB。
僅在
spark.memory.offHeap.enabled設定為true時生效。預設情況下,當採用Fusion Engine時,該功能將處於啟用狀態,其非堆記憶體預設設定為1 GB。
Spark配置
填寫Spark配置資訊,預設以空格符分隔,例如,
spark.sql.catalog.paimon.metastore dlf。建立後的SQL會話預設處於啟動狀態,當其處於運行中時,表示建立已完成。在SQL會話頁面,您可以對已有的會話進行停止、編輯和刪除操作。
查看運行記錄
在資料開發工作單位執行完成後,您可以通過會話管理頁面查看任務的運行記錄。具體操作步驟如下:
在會話列表頁面,單擊會話名稱。
單擊運行記錄頁簽。
在該頁面中,您可以查看任務的詳細運行資訊,包括運行ID,啟動時間,Spark UI等資訊。

相關文檔
隊列相關的操作,請參見管理資源隊列。
會話支援的角色及許可權,請參見系統管理使用者和角色。
SQL任務完整的開發流程樣本,請參見SparkSQL開發快速入門。