Livy Gateway是一個基於REST的服務，用於簡化與 Apache Spark 的互動。它支援通過HTTP提交任務、查詢計算結果，相容多種程式設計語言。通過Livy Gateway，您可以結合Airflow的livy_operator或Jupyter Notebook的spark_magic等工具，輕鬆向Serverless Spark提交任務並擷取狀態更新。
建立Livy Gateway
進入Gateway頁面。
在左側導覽列，選擇。
在Spark頁面，單擊目標工作空間名稱。
在EMR Serverless Spark頁面，單擊左側導覽列中的。
在Livy Gateway頁面，單擊建立Livy Gateway。
在建立Livy Gateway頁面，配置以下資訊，單擊建立。
參數
說明
名稱
建立Gateway的名稱。僅支援小寫字母、數字、短劃線（-），並且開頭和結尾必須是字母或者數字。
Livy Gateway資源
預設
1 CPU，4 GB。Livy版本
預設使用最新版0.8.0。
引擎版本
當前Gateway使用的引擎版本。引擎版本號碼含義等詳情請參見引擎版本介紹。
使用Fusion加速
Fusion可加速Spark負載的運行並降低任務的總成本。有關計費資訊，請參見產品計費。有關Fusion引擎介紹，請參見Fusion引擎。
關聯隊列
建立的Gateway將部署在所選隊列。通過Gateway提交Spark任務時，將使用Gateway建立者的身份提交任務。
認證方式
僅支援Token方式。
在您建立Gateway之後，需要為其產生一個唯一的鑒權Token，以便在之後的請求中使用該Token進行身分識別驗證和存取控制。建立Token的具體操作，請參見Gateway管理。
網路連接
選擇已建立的網路連接，以便直接存取VPC內的資料來源或外部服務。有關建立網路連接的具體操作，請參見EMR Serverless Spark與其他VPC間網路互連。
運行環境
通過Livy Gateway提交任務時，任務運行所需的資源將根據所選環境進行預配置。
公網Endpoint
預設關閉。
開啟該功能後，則系統將通過公網Endpoint訪問Livy。否則預設通過內網Endpoint訪問Livy。
自動停止
預設關閉。
開啟該功能後，如果在45分鐘內未檢測到任何活動，系統將自動停止該Gateway。
spark-defaults.conf
Spark的預設設定檔，用於設定Spark任務的全域預設參數。
livy.conf
Livy Server的核心設定檔，用於定義Livy Gateway的全域行為，包括鑒權方式（LDAP）、會話管理、逾時設定等。該檔案控制著Livy Server的運行參數，從而影響所有通過該Gateway提交的任務。
livy-client.conf
Livy HTTP用戶端的運行參數設定檔，用於定義用戶端與Livy Gateway的互動行為。
spark-blacklist.conf
這是一個安全相關的設定檔，用於限制使用者在提交Spark任務時不允許修改的配置項。列入黑名單的參數將被系統強制忽略，使用者無法覆蓋這些參數。
更多關於Livy設定檔及其參數的詳情資訊，請參見Livy設定檔樣本。
在Livy Gateway頁面，單擊已建立Livy Gateway操作列的啟動。
管理Token
Token使用時，請在請求的header中添加--header `x-acs-spark-livy-token: token`。
在Livy Gateway頁面，單擊目標Gateway操作列的Token管理。
單擊建立Token。
在建立Token對話方塊中，配置以下資訊，單擊確定。
參數
說明
名稱
建立Token的名稱。
到期時間
設定該Token的到期時間。設定的天數應大於或等於1。預設情況下為開啟狀態，365天后到期。
複製Token資訊。
重要Token建立完成後，請務必立即複製新Token的資訊，後續不支援查看。如果您的Token到期或遺失，請選擇建立Token或重設Token。
查看Session資訊
當您通過Livy建立Spark Session後，該Session的相關資訊（例如Session ID、狀態等）將顯示在列表中。
在Livy Gateway頁面，單擊目標Gateway的名稱。
單擊Session 列表頁簽。
在該頁面，您可以查看通過該Livy建立的Spark Session相關資訊。
相關文檔
關於Livy Gateway的應用情境，請參見以下資訊：