E-MapReduce：管理Livy Gateway

建立Livy Gateway

1. 進入Gateway頁面。

   1. 登入E-MapReduce控制台。

   2. 在左側導覽列，選擇Spark。

   3. 在Spark頁面，單擊目標工作空間名稱。

   4. 在EMR Serverless Spark頁面，單擊左側導覽列中的运维中心 > Gateway。

2. 在Livy Gateway頁面，單擊建立LivyGateway。

3. 在建立Livy Gateway頁面，配置以下資訊，單擊创建。

   參數	說明
   名称	建立Gateway的名稱。僅支援小寫字母、數字、短劃線（-），並且開頭和結尾必須是字母或者數字。
   Livy Gateway 资源	預設1 CPU，4 GB。
   Livy 版本	預設使用最新版0.8.0。
   引擎版本	當前Gateway使用的引擎版本。引擎版本號碼含義等詳情請參見引擎版本介紹。
   使用 Fusion 加速	Fusion可加速Spark負載的運行並降低任務的總成本。有關計費資訊，請參見產品計費。有關Fusion引擎介紹，請參見Fusion引擎。
   关联队列	建立的Gateway將部署在所選隊列。通過Gateway提交Spark任務時，將使用Gateway建立者的身份提交任務。
   认证方式	僅支援Token方式。 在您建立Gateway之後，需要為其產生一個唯一的鑒權Token，以便在之後的請求中使用該Token進行身分識別驗證和存取控制。建立Token的具體操作，請參見Gateway管理。
   挂载纳管文件目录	預設情況下，該功能處於關閉狀態。如果需要使用該功能，請先在文件管理的纳管文件目录頁簽新增檔案目錄，詳情請參見管理納管檔案目錄。 開啟後，系統會將納管檔案目錄掛載到會話資源中，從而允許在Notebook會話中直接讀取和寫入該目錄下的檔案。 掛載操作會佔用一定的Driver計算資源。預設佔用的資源為以下兩者的較大值： 固定資源：0.3核心（Core）+ 1 GB記憶體。 動態資源：spark.driver資源的10%（即0.1 × spark.driver的核心數和記憶體）。 例如，spark.driver配置為4核心（Core）和8 GB記憶體，則動態資源為0.4核心 + 0.8 GB記憶體。此時，實際佔用資源為max(0.3 Core + 1GB, 0.4 Core + 0.8GB)，即0.4核心 + 1 GB記憶體。 說明 掛載範圍：預設僅掛載到 Driver。如需同時掛載至 Executor，請開啟掛載到 Executor。 多目錄掛載：支援同時掛載多個納管檔案目錄，但 CPFS 類型不允許與其他類型混合掛載。例如，可以同時掛載多個 OSS 目錄與 NAS 目錄，但不可以將 CPFS 與 OSS 或 NAS 目錄同時掛載。 網路要求：掛載 NAS 或 CPFS 檔案目錄時，必須配置網路連接，且網路連接的 VPC 須與 NAS/CPFS 掛載點在同一 VPC 下。
   网络连接	選擇已建立的網路連接，以便直接存取VPC內的資料來源或外部服務。有關建立網路連接的具體操作，請參見EMR Serverless Spark與其他VPC間網路互連。
   运行环境	通過Livy Gateway提交任務時，任務運行所需的資源將根據所選環境進行預配置。
   公网 Endpoint	預設關閉。 開啟該功能後，則系統將通過公網Endpoint訪問Livy。否則預設通過內網Endpoint訪問Livy。
   自动停止	預設關閉。 開啟該功能後，如果在45分鐘內未檢測到任何活動，系統將自動停止該Gateway。
   spark-defaults.conf	Spark的預設設定檔，用於設定Spark任務的全域預設參數。
   livy.conf	Livy Server的核心設定檔，用於定義Livy Gateway的全域行為，包括鑒權方式（LDAP）、會話管理、逾時設定等。該檔案控制著Livy Server的運行參數，從而影響所有通過該Gateway提交的任務。
   livy-client.conf	Livy HTTP用戶端的運行參數設定檔，用於定義用戶端與Livy Gateway的互動行為。
   spark-blacklist.conf	這是一個安全相關的設定檔，用於限制使用者在提交Spark任務時不允許修改的配置項。列入黑名單的參數將被系統強制忽略，使用者無法覆蓋這些參數。

   更多關於Livy設定檔及其參數的詳情資訊，請參見Livy Gateway配置樣本。

4. 在Livy Gateway頁面，單擊已建立Livy Gateway操作列的启动。

管理Token

1. 在Livy Gateway頁面，單擊目標Gateway操作列的Token 管理。

2. 單擊创建 Token。

3. 在创建 Token對話方塊中，配置以下資訊，單擊确定。

   參數	說明
   名称	建立Token的名稱。
   过期时间	設定該Token的到期時間。設定的天數應大於或等於1。預設情況下為開啟狀態，365天后到期。

4. 複製Token資訊。

   重要

   Token建立完成後，請務必立即複製新Token的資訊，後續不支援查看。如果您的Token到期或遺失，請選擇建立Token或重設Token。

查看Session資訊

當您通過Livy建立Spark Session後，該Session的相關資訊（例如Session ID、狀態等）將顯示在列表中。

1. 在Livy Gateway頁面，單擊目標Gateway的名稱。

2. 單擊Session 列表頁簽。

   在該頁面，您可以查看通過該Livy建立的Spark Session相關資訊。

   Session 列表包含以下資訊：Session 名稱/ID、狀態、建立時間、資源配置（JSON 格式，包括 kind、driverMemory、driverCores、executorMemory、executorCores、numExecutors 等參數）、Spark UI 連結和操作（關閉 Session）。

相關文檔

關於Livy Gateway的應用情境，請參見以下資訊：

• 通過Apache Airflow使用Livy Operator提交任務

• 通過Jupyter Notebook與Serverless Spark進行互動